正在加载文章内容，请稍候。
《什么算"绝对不能做"的伦理红线？一个可操作的判断框架》
用暗杀、弃武、误导信息等案例拆解"不可逾越的禁令"如何落地，提出可普遍化的行动规则。
astralcodexten.comWhat Deontological Bars?
精准输入
我的笔记
✍️ 写下你的想法，自由记录即可。如果没有灵感，试着回答上方的费曼输出问题。
登录后可记笔记
登录后可保存笔记、高亮、划线和批注。
正在加载文章内容，请稍候。
用暗杀、弃武、误导信息等案例拆解"不可逾越的禁令"如何落地，提出可普遍化的行动规则。
精准输入
✍️ 写下你的想法，自由记录即可。如果没有灵感，试着回答上方的费曼输出问题。
登录后可保存笔记、高亮、划线和批注。
「约束型后果主义」主张：你应该尽力做好事改善世界，除非这违反了某些硬性规则（「义务论禁令」）。但这些禁令到底是什么、边界在哪里？Scott Alexander 以 AI 安全运动中的内部分歧为切入点，尝试推导出一套可操作的判断框架。
经典案例：你不应该暗杀民选领导人，哪怕他的政策会害死很多人。原因有两层：第一，你可能判断错了——暗杀带来的不稳定和暴政可能比现状更糟；第二，即使你判断对了，你也知道自以为能精确预测后果的人远多于真正能做到的人。唯一稳定的均衡是所有人——无论预测能力高低——都拒绝根据自认为的远见行动。
这个问题之所以不是纯理论，是因为 AI 安全运动内部正面临两个方向的焦虑。一方认为支持 AI 公司可能违反义务论禁令：如果一家公司有 90% 概率毁灭世界，另一家有 80%，把钱和支持给 80% 那家，是不是在「背书邪恶」？有人发了一个推特投票：如果你能预测自己当集中营看守时只有同事平均残暴程度的 90%，你会接受这份工作吗？
另一方担心大众政治运动可能违反义务论禁令：在 LessWrong 上赢得辩论无法赢得选举，真正的政治动员意味着与 Steve Bannon 合作、训练 TikTok 网红、喊空洞口号——一旦打开大门，你无法控制谁会涌入。
康德式的「假设你的行为准则成为普遍法则」听起来优雅，但立刻遇到反例：乌克兰应该单方面裁军吗？如果所有国家都裁军当然好，但单方面裁军是灾难。而大多数道德决策都是单方面的。
修补后的版本是：「不要率先背叛一个基本运转的规范」。在没有国家有军队的世界里，率先建军是不道德的；在暗杀极少发生且被有效惩罚的世界里，你自己动手就是在背叛规范。但如果对方已经持续背叛，你有权加入而非一直被单方面占便宜。
这仍然不够。Alexander 进一步追问：用博客传播轻度虚假信息来推广有效慈善，可以吗？没人能说网络上存在「不传播轻度虚假信息」的运转规范，但这仍然感觉不对。
他的最终公式是：「不要做一件普遍化后会很糟糕的事，除非规范已经崩坏到你不跟进就等于在对手背叛时持续合作」。这让乌克兰保留军队（对手必然「背叛」），但不让你传播虚假信息（其他博客散布假信息不构成对你个人的背叛，你不跟进也不会自动输）。
回到 AI 安全的两难：「不支持 AI 公司」的规范已经彻底崩坏——数十万从业者、数千亿投资已是既成事实，不存在你会背叛的合作方。政治运动方面，「不用大众政治实现目标」大概是最不运转的规范之一。Alexander 的判断是：目前两个阵营都没有违反各自的义务论禁令。 当然，他承认公式中的「规范是否崩坏」和「多大程度的输才够格打破规则」仍需常识判断，无法完全算法化。
文章从暗杀这一经典义务论案例入手，引出「硬性规则从何而来」的追问；以 AI 安全运动内部的真实分歧为动机，逐步测试三个递进的规则公式——康德版、修补版、最终版——每个都用具体反例推翻或修正前一个；最后将最终公式回应用到 AI 安全的两个争议场景，给出「目前都没违规」的暂时结论。
✍️ think & write｜2️⃣ 主动输出