我们担心错了人工智能末日

正文

将近二十年前，爱达荷国家实验室的一组研究人员，对一台巨大的翠绿色柴油发电机开展了一次秘密实验，名为“极光发电机测试”。他们用 30 行代码侵入发电机的数字控制后台，破坏保护机制、切换开关，使它与电网其余部分失去同步。

电力企业高管和能源部官员在附近的房间观看实验。那台重达 27 吨的发电机剧烈震动，喷出黑烟，内部的橡胶部件迅速被撕裂。

“这意味着，只用几行代码，就能制造出在物理上严重损害我们赖以生存的机器的条件，”项目负责人迈克尔·阿桑特（Michael Assante）后来告诉记者安迪·格林伯格（Andy Greenberg）。格林伯格将这番话写进了《沙虫：网络战争的新时代与对克里姆林宫最危险黑客的追踪》（Sandworm: A New Era of Cyberwar and the Hunt for the Kremlin’s Most Dangerous Hackers）。“我的胃里真切地涌起一阵不安。那就像瞥见了未来。”

这个未来似乎在本周突然逼近了许多。顶尖人工智能开发者和高管轻描淡写地承认，他们相信，自己创造的东西终结人类的概率——借用 X 上一则挤眉弄眼的帖子的大意——和纽约喷气机队本赛季打进季后赛的概率差不多。不过，人工智能究竟会怎样杀死所有人，仍是模糊得多的问题。但正如阿桑特多年前所感受到的那样，人工智能未必需要无所不能，就能跳出虚拟牢笼，进入那些为医院供电、冲洗厕所、把水送到水龙头的关键基础设施。它只需落入不该掌握它的人手中。

你能想到的几乎任何一种人工智能末日情景，都始于一群隐秘的机器人在网络空间游走，窥探发电厂、烤面包机、交通信号灯的后台，甚至在极端情况下，窥探我们的核武库。如果摧毁极光测试中的发电机，至少还需要一名人类黑客来编写代码，那么正如今年早些时候 Hugging Face 事件所展示的，人工智能已经彻底拆掉了制造破坏的准入门槛。

但人工智能并不需要自行失控，才会威胁电网或搅乱自来水供应。专家说，一个由人工智能驱动、却由人类指挥的黑客攻击新时代已经到来。美国一些最敏感的基础设施脆弱得令人吃惊，最可能发生的人工智能末日，事实上可能就始于你家后院的水塔或运转着的发电机。在最坏的情况下，它可能导致一连串可怕的系统故障，波及支撑舒适现代生活的各种系统——从在酷暑中运行空调，到确定船舶和飞机的位置。

加州大学圣克鲁兹分校计算机科学教授阿尔瓦罗·卡德纳斯（Alvaro Cardenas）说，以前，要在现实中完成某种类似极光发电机测试的攻击，“你需要高度娴熟的技术专业能力”，“而现在，你只需要大致知道哪些事情有可能做到”。

人工智能正在让旧威胁变得严重得多

爱达荷国家实验室通过黑客手段让那台可怜的发电机起火后不久，联邦政府便要求电力企业开展基本的网络安全防护。

然而，美国的大量关键基础设施——例如天然气管道、海水淡化厂或货运码头——连应对传统网络攻击的准备都严重不足，更不用说即将到来的人工智能攻势了。

部分原因在于，极光发电机测试模拟的那类网络攻击，长期以来极为罕见，而且在某种程度上，如今仍是如此。多数犯罪黑客对它们缺乏兴趣，因为这类攻击擅长制造破坏，却不利于赚钱。但人工智能在让任何人都能极其容易地编程的同时，也让几乎任何人都能极其容易地用自然语言指挥工具、一路尝试着入侵你的网上银行账户，或者在理论上入侵当地水库或电网。人工智能智能体还能大幅扩大针对容易得手目标的攻击范围，因为正如 West Yost 的基础设施韧性专家安迪·博克曼（Andy Bochman）所说，“它们不用睡觉，不会疲倦，也不会生病”。

过去，即使有人想对基础设施发动大规模攻击，他们也很可能没有足够的技术本领。尽管中国、伊朗和俄罗斯等国家，确实已经侵入我们的许多基础设施系统——正如我们也侵入过它们的系统一样——但进入之后，它们并未选择制造太大的动静。

“地缘政治正在削弱‘有能力者缺乏意图’这一判断，而人工智能正在削弱它的另一半：‘有意图者缺乏能力’。”

——哥伦比亚大学网络安全学者贾森·希利（Jason Healey）

但希利说，这种常态正在改变。他告诉我：“地缘政治正在削弱‘有能力者缺乏意图’这一判断，而人工智能正在削弱它的另一半：‘有意图者缺乏能力’。”因此，一方面，俄罗斯这样的国家，如今可能比过去更愿意真正破坏我们的电网。另一方面，一个虚无主义的独行者或恐怖组织，也可能借助人工智能造成远大于以往的损害。

就在上个月，我们已经瞥见了这种情况可能呈现的样子：美国各地小镇数十个供水和污水处理系统，遭到一群极有可能与伊朗有关的黑客攻击，导致暂时停水和积水。这些攻击尚未被明确证实与人工智能有关，但美国国家安全局不久后就警告说，黑客一直在积极利用人工智能，把类似的美国基础设施作为目标。几周后，唐纳德·特朗普（Donald Trump）总统针对外国干预电网宣布进入国家紧急状态，其中提到了不断增长的网络安全威胁。

美国多数供水系统高度地方化，对这类攻击几乎毫无防备。博克曼说，对潜在黑客而言，这简直“就像铺好了迎宾垫”，主要是因为这些公用事业单位规模太小、资金不足，无力采取多少阻止措施。“你还有无数其他问题要处理，比如基础设施老化——你的设备已经在地下埋了 100 年，正逐渐散架，”他说。解决那些拖延已久的维护问题，常常显得比“在网络安全上再多做一点”紧迫得多。

不论是失控的智能体群，还是敌对国家试图干扰供电，我们都应该让最重要的基础设施做好应对最坏情况的准备。在博克曼看来，这可能意味着，从一开始就拒绝把一切都数字化的压力，转向某种近似于过去的安排：“变电站之类的地方有人值守，人们通过固定电话沟通，读取仪表，那些模拟设备。”他说，“屏幕才是那个可以被无限操纵的东西。”

希利曾在网络安全与基础设施问题上，为拜登政府提供大量建议。他认为，美国迫切需要协调一致的应对：既包括联邦政府与人工智能公司的协作，也包括美国与中国等国家之间的协作，因为这些国家同样在开发强大的模型。希利说，公用事业系统需要假定自己会成为目标，并据此改进网络安全实践；理想情况下，应由联邦政府提供资金，或者，也许更合适的是由人工智能公司出资。

没有人确切知道，美国基础设施目前面对人工智能究竟有多脆弱。部分原因是，政策制定者——更令人不安的也许是人工智能的创造者自己——似乎都很不确定，究竟如何从根本上阻止这项技术作恶，或服从恶意指令。至少眼下，解决办法或许正如博克曼所建议的：尽可能让更多关键系统离线，更好地使它们避开人工智能及其滥用者。

“当坏事开始发生时，没有人会知道该怎么办，也不知道为什么会这样，因为它们是黑箱；制造它们的人也不知道里面发生了什么，”博克曼说。至于那些“当某个系统导致人员受伤时，最终承担风险的可怜的公用事业工作人员”，他们同样不会明白哪里出了问题，“到时他们会万分后悔，当初真不该把这东西引进来”。

思想框架

文章从代码破坏实体发电机的实验建立“数字攻击能造成物理损害”的前提，随后把注意力从人工智能自行失控，移向人类利用人工智能发动攻击。论证的关键在于两道旧屏障同时松动：有能力的国家可能更有破坏意愿，而有破坏意愿的人也更容易获得能力。供水系统的案例与维护资源不足，说明风险如何落到现实系统上；结尾并置协同防御与减少关键系统联网两种回应，同时保留了对实际脆弱程度和技术可控性的未知。