《什么算"绝对不能做"的伦理红线？一个可操作的判断框架》

导语

「约束型后果主义」主张：你应该尽力做好事改善世界，除非这违反了某些硬性规则（「义务论禁令」）。但这些禁令到底是什么、边界在哪里？Scott Alexander 以 AI 安全运动中的内部分歧为切入点，尝试推导出一套可操作的判断框架。

1. 暗杀案例：为什么「好后果」不够

经典案例：你不应该暗杀民选领导人，哪怕他的政策会害死很多人。原因有两层：第一，你可能判断错了——暗杀带来的不稳定和暴政可能比现状更糟；第二，即使你判断对了，你也知道自以为能精确预测后果的人远多于真正能做到的人。唯一稳定的均衡是所有人——无论预测能力高低——都拒绝根据自认为的远见行动。

2. AI 安全运动的两难

这个问题之所以不是纯理论，是因为 AI 安全运动内部正面临两个方向的焦虑。一方认为支持 AI 公司可能违反义务论禁令：如果一家公司有 90% 概率毁灭世界，另一家有 80%，把钱和支持给 80% 那家，是不是在「背书邪恶」？有人发了一个推特投票：如果你能预测自己当集中营看守时只有同事平均残暴程度的 90%，你会接受这份工作吗？