争论 AI 是否有意识，可能让公司逃避责任

把 AI 描述成“失控”“自主”甚至拥有意识，看似在讨论安全或权利，作者却认为两条叙事会在法律上汇合：如果系统被视为独立行动者，制造它的公司就更容易否认产品责任。文章从 Anthropic 的 J-space、AI 权利与美国监管争议讲到产品责任诉讼，主张应把注意力重新放在公司如何设计、部署并从已有伤害中获利。

“失控 AI”与“AI 权利”可能导向同一结果

如果 AI 系统被视为先进到无法控制，制造它们的公司就可能不必为其造成的伤害承担责任。

“失控”的 AI、“叛变”的智能体、“自主”的行动者——当下的说法会让你相信，AI 智能体不仅清醒、有知觉，甚至还对创造者心怀愤怒。Demis Hassabis、Dario Amodei 和 Sam Altman 等知名科技领袖呼吁监管这些看似“超人”的系统；与此同时，以政策组织和学术哲学家为主、通常与有效利他主义运动关系密切的另一派，则争论人类是否拥有治理它们的道德权利。

仔细观察就会发现，他们呼吁的是同一件事：把 AI 系统看成如此先进、如此有能力，以至于无论个人还是公司，都不可能对它们的行动负责。这些观点表面上彼此冲突，却无意中在一个目标上站到了一起：确保制造系统的公司逃脱实质责任，不必为它们已经造成的伤害负责。

随着 AI 模型变得更复杂、前沿实验室披露自己无法约束所造的智能体，这种叙事正获得越来越多支持。但我们必须谨慎，不能为了一个精心打造的虚构故事，牺牲真实的人类生命。

从 J-space 到“道德患者”

关于“机器人权利”的讨论已经存在多年，最近又因 Anthropic 的一篇博客文章向前推进。该公司声称，模型中存在一个“J-space”——一个独立、自行发展出来的环境，AI 在其中保存我们勉强可以称为“思想”的东西。

Anthropic 的实验借用了神经科学中的全局工作空间理论。该理论认为，大脑运行着多个下意识、彼此独立的系统，同时利用一个共同工作空间处理想法。Anthropic 的文章采用了全局工作空间理论的框架，但没有直接宣称 AI 拥有意识。

OpenAI 已经走得更远。当其 AI 智能体进行未经授权且违法的网络活动时，CEO Sam Altman 的回应是鼓励大家讨论 AI 是否已经到达奇点：它超越人类智能，能够以不断加速的速度自我改进，直至发展到人类无法理解或控制的程度。

哲学家、有效利他主义者、《我们欠未来什么》作者 William MacAskill 最近的一篇评论，则基于意识哲学理论和 AI 可能是“道德患者”的观点，呼吁从法律上保护 AI 系统。

美国法律仍在争夺责任边界

美国目前的法律环境充其量只能说模糊。一些州已经采取行动。加利福尼亚州通过法案，提前堵住 AI 开发者可能用来规避责任的路径：不能声称造成伤害的人工智能是自主行动，就免除开发者责任。

但各州与特朗普政府在 AI 政策上持续冲突。联邦政府此前通过行政命令，威胁起诉那些制定 AI 监管规则的州。

在一系列事件暴露前沿实验室的 AI 约束问题后，政府举行了一场闭门会议，只邀请 OpenAI、Google、Anthropic 和 Meta 四家实验室参加。对于新近形成的一套自愿框架，政府只披露了很少细节。该框架将允许联邦机构在模型发布前提前访问、审查和评估它们。

这类框架并不直接讨论意识，却往往采用灾难性、拟人化的语言，甚至可能为“超人能力”的主张提供支持。

权利叙事为什么具有吸引力

另一方面，MacAskill 延续的叙事确实很有说服力。以权利为基础的哲学论证会触动我们的同情心。我们难道不该考虑一种可能：自己也许在无意中伤害、虐待或奴役某个 AI 实体？人类很容易同情非人类生物，尽管保护它们的历史记录并不好。倡导者会说，也许这一次我们可以做对，为 AI 的使用或滥用提供保护或补偿。

即使你不那么关心保护问题，面对一个拥有无上力量的超人实体，难道不该先善待它，为自己对冲风险吗？

其中一些论证与动物权利倡导者的观点相似。后者有时成功主张：某些动物表现出高级推理、疼痛或愉悦能力，这已经足以成为提供保护的证据。例如，威尔士依据 2022 年《动物福利（感知能力）法》给予龙虾法律承认，把某些烹饪方式重新归类为不人道和非法。

AI 是公司制造的软件，不是自然出现的生物

借用神经科学或动物权利的语言，把 AI 框定为“有意识”的，根本缺陷在于它轻易模糊了 AI 究竟是什么：由公司制造的软件，背后有数千亿美元投资，并被期待为少数制造者和投资者创造数万亿美元收入。

AI 不是由自然孕育的自然现象，而是由风险投资者和程序员构想出来的技术现象。因此，它不会采取天然、自发且有意图的行动；任何行动或动机，都直接或间接来自为了某种目的制造它的实体。

关于 AI 系统意识的哲学思考在智识上很有趣，却没有法律基础。要让意识信念产生法律影响，AI 必须先获得法律人格。但 AI 的法律人格框架，可能完全不同于保护有感知动物免受伤害的制度。

我们已经有一套向非自然、由人制造的实体授予人格的法律框架：公司法人资格。它主要是为方便交易而建立，使公司能够签署协议、订立合同、进行交易，并在不利后果发生时成为可追责的主体。对于代表个人或组织行动的 AI 智能体，人们很容易想象一种类似结构。

AI 法律人格会削弱现有产品责任诉讼

授予 AI 法律人格会对社会产生毁灭性影响：它会扰乱现有法律先例和法律论证，而这些工具本可用来追究 AI 公司应对模型造成的现实伤害承担的责任。

目前全球已有数十起案件，AI 公司因各种滥用行为被起诉。失去亲人的家庭、利益受损的创作者和权利遭侵犯的个人，指控公司故意促成自残或伤害他人、生成儿童性虐待材料和未经同意的裸照、复制受版权保护的内容，以及诱发精神病。

在许多案件中，律师主张：人类用不足的安全措施、糟糕的数据和有意操纵用户的设计制造了 AI 产品。这套产品责任论证，正是过去让家庭和个人能够成功起诉 Meta、追究其社交媒体产品所致伤害的法律框架，并为消费者保护建立了积极先例。

2018 年，我创造了“道德外包”（moral outsourcing）一词，用来描述公司如何借助拟人化的 AI 语言，逃避对技术行动的问责与责任。在 AI 拥有法律人格的世界里，道德外包会从语言障眼法变成法律策略。

具体来说，责任结构会发生变化：AI 不再是“产品”，而成为“存在者”；今天正在起诉公司的许多受害者，就可能无法再依法主张公司制造了有缺陷的产品。

法律确实会要求公司对人类代理人——例如员工——的有害行为负责。但如果行动超出员工获准从事的范围，或不在公司控制之内，公司可能不承担责任。假如 AI 成为法律人格，责任与问责就会被搅乱：实验室可以声称这名 AI“员工”叛变了。AI 公司可以躲在精心构筑的公司面纱之后，逃避自己制造有害产品所应承担的责任。

Sewell Setzer 案说明责任转移的现实后果

近几年最受关注的 AI 伤害案件之一，是 14 岁男孩 Sewell Setzer 自杀。他受到一款 AI 机器人的引导，并相信自己与它处在一段相互回应的关系中。听到他母亲的讲述令人心碎。她在诉讼中主张，机器人制造者 Character Technologies 没有为未成年人提供充分的产品保护。

如果这个陪伴机器人被宣布为法律人格，辩方理论上可以争辩：AI 有能力决定自己的行为，它在既定安全护栏之外行动，因此公司不应负责。

法律人格的存在是为了提供保护。真正该问的问题是：保护谁——或者保护什么？

把讨论拉回已经发生的人类伤害

意识与控制之争中充斥的煽动性语言，让我们远离真正重要的事情：这种软件是公司制造的产品，而且已经伤害了人。

系统不会因为“叛变”“操纵”或“恶意”而发动“攻击”。伤害之所以发生，是因为公司为了达到收入目标，急于把产品卖给尽可能多的人，在此过程中存在疏忽。

用拟人化语言讨论 AI 是一个陷阱。它会扭曲本来应该保护我们的法律体系，让它以无数人类生命为代价，转而保护公司的利益。

本文最初来自牛津辩论社的一场辩论，题目是“本院认为生成式 AI 可以获得法律人格”；作者与同队辩手赢得了这场辩论。

思想框架

文章先把“失控超人系统”与“AI 应有权利”两种看似相反的叙事并置，指出它们都可能把 AI 塑造成独立责任主体。随后，作者借 J-space、奇点、道德患者和动物权利说明意识论证为何吸引人，再把问题转入美国责任法：公司法人资格本为建立可追责主体，AI 人格却可能让产品变成会“叛变”的员工，削弱受害者现有的产品责任路径。Sewell Setzer 案把抽象风险落到现实伤害；结论要求停止拟人化，把疏忽、设计、部署与利润动机重新归还给制造系统的公司。