《聪明人为什么会制造愚蠢：智能系统的反面机制》

导语

这是一篇长论述。作者 David C. Krakauer 不是把愚蠢理解为缺少智力，而是把它理解为智能系统用复杂理论、制度和工具把问题变得更难、更坏。正文按原文顺序翻译，保留主要例子、人物、年代和 AI 结尾论点；文末参考书目作为非正文只做压缩保留。

正文翻译

我从来没有听人把一块石头说成愚蠢。对一条河、一场飓风，甚至一个恒温器，也同样如此。尽管“愚蠢”这个词名声不佳，但愚蠢似乎是一种相当复杂的行为形式。

人类可以让自动火星车登陆火星，可以在数小时内完成基因组测序，可以制造纳米级电路。然而，阴谋论、反科学政治运动和制度化仇恨却以惊人规模扩散，其成功程度甚至可能让中世纪炼金术士微薄的成绩都感到尴尬。

也许可以说，愚蠢意味着一个系统必须先有把事情做对的能力，然后才可能把事情错得壮观。愚蠢不是智能的反面，而是智能的邪恶双生子，是伪装的该隐，对应着脑性的亚伯。也许令人意外的是，一个系统能够达到的愚蠢程度，会直接随着它拥有的智能程度扩大：更多智能，会带来更大的愚蠢壮举。说细菌愚蠢有些牵强；猫和狗倒是能完成一些温和的愚蠢。但人类拥有语言、抽象、技术、制度和意识形态，可以在真正的文明尺度上变得愚蠢。这不是玩笑；它接近一条自然规律。而这条规律很可能会毁掉我们。

我们有成千上万项关于智能的研究计划，而并非所有这些计划本身都很智能。它们研究智商、人工智能、动物认知和集体问题解决。这些研究发生在声名显赫的院系里，发表在理解心智如何把困难问题变简单的知名期刊上。如今，我们几乎每走一步都会撞上一篇关于智能和 AI 的文章。许多来自不同领域、并不了解智能研究及其历史的人，也成了自然智能和人工智能的自封“思想领袖”。

然而，愚蠢几乎完全没有受到关注。它被当作一种单纯的缺失，好像一旦从智能中扣除某些东西，剩下的就是愚蠢。它被比作一种心理黑暗，好像你关掉思考之灯之后就会体验到它。但这是错误的信念。黑暗本身不会像愚蠢那样做出有害的事。愚蠢会拿一个简单问题，用巨大的努力和方向错误的聪明才智，把它变难。努力是理解愚蠢的关键，因为你需要复杂机器，才能真正造成后果严重的愚蠢。

从科学角度，我喜欢这样思考它：如果智能意味着通过部署工具、使用数学、采用策略，把难度为 X 的问题变得更容易、降低其成本，那么愚蠢就意味着把难度为 X 的问题变得更难。与直觉相反，让一个简单问题变难最可靠的方法，是动用一整套令人印象深刻的复杂理论、精致信念和高级算法。它们听起来非常有说服力，但表现得比什么都不做好还差。一个不知道问题答案的人只是无知。一个为错误答案构造出一篇精巧百页论证的人，才是愚蠢的。正如历代伟大作家、艺术家和哲学家所理解的，这样的构造需要高阶智能。

可以考虑这个类比。当一颗流星撞上地球时，没有意义说它做错了什么。它只是服从经典力学，如此而已。但当一只鸟飞进玻璃窗时，发生的事情就不同了，我们有理由称之为错误。

生命在所有物理系统中很独特，因为生命拥有出错的能力。愚蠢是一种非常特殊的失败，并不是所有错误都有资格称为愚蠢。人们会因为无知而犯错，也就是数据不足；会因为噪声而犯错，也就是信号失真；也会因为诚实地把某条规则误用于一种新情境和变化中的上下文而犯错。这些是我们生活中的不幸，我们应该对此宽容。愚蠢开始于错误被精心阐释、辩护、打磨、制度化，并被作为进一步行动的基础。愚蠢会让一切逐步变糟。也正是这种对错误信念和错误行为的 elaboration，也就是不断加工和扩建，反过来要求智能先存在。

有些最惊人的愚蠢壮举，是把一个完全好的理论用于错误问题。有人会说，量子力学是物理学最“智能”的发明之一。它为描述亚原子粒子的行为提供了精度极高的框架，尽管它包含真正反直觉的要求。

但有一小群思想者试图把量子力学应用到人类意识、决策和心理学上，用它解释为什么人会犹豫，为什么最终会拿定主意。数学本身没有问题，物理学也是可靠的。但应用很奇怪。原本用于描述光子和电子的优雅、简洁框架，一旦被引入心理学，就变成了一种荒谬地过度复杂的说法，只是在说人有时会改变主意。一个小说家用一段话就能照亮的现象，被埋进了为完全不同现实尺度设计的形式体系里。这个理论并没有变得不智能；它只是被要求解决一个它从未被设计来解决的问题，于是在这个过程中，它让问题更难理解，而不是更容易理解。这违背了科学的目的。物理学家兼哲学家 Ernst Mach 曾把科学目的描述为：“用尽可能少的思想支出，对事实做尽可能完整的呈现。”

早期控制论运动也提供了类似的警示。Norbert Wiener 和他在麻省理工学院的同事发展出一个强大框架，用来理解机器和有机体中的反馈、控制和通信。其数学具有原创性，工程应用令人印象深刻，控制论事业甚至为复杂性科学的发展奠定了基础。

然后，管理顾问 Stafford Beer 和其他人试图把控制论控制理论应用于整个国家经济的管理，最著名的是 Salvador Allende 治下的智利。当时的 Project Cybersyn 试图通过一个电传机器网络来运行智利经济。这个想法是把经济建模成一个有输入和输出的动态系统，并用实时反馈优化生产和分配。

不幸的是，经济不是伺服机制。一个国家经济里的反馈回路涉及数百万适应性行动者，他们拥有私人信息、彼此冲突的目标，并且会演化自己的偏好。把控制论方法应用于复杂系统的诱惑，被我在 Santa Fe Institute 的同事、作家 Francis Spufford 在小说《Red Plenty》中美妙地描写过：“世界正把自己从黑暗中抬起，开始发光；而数学就是他能够帮上忙的方式。这是他的贡献。这是他能够按照自己的能力给出的东西。他很幸运，生活在地球上唯一一个人类已经夺取了按理性塑造事件之权力的国家。”

一种简单的行为干预，例如调整价格、改变规定，或者上帝保佑，干脆问问人们需要什么，往往一个下午就能做到控制论装置用数周试图建模的事情。控制论作为控制简单系统的框架，其智能毋庸置疑；但把它应用于经济，会膨胀它本来要解决的问题的难度。

奥地利小说家兼散文家 Robert Musil 在 1937 年演讲《论愚蠢》中，描述了愚蠢文献里也许最重要的区分。他把“可敬的愚蠢”与“智能的愚蠢”分开。前者是简单的认知限制，或无法理解困难论证；后者在他看来危险得多。这一洞见也是我最喜欢的 Musil 小说《没有个性的人》的核心关切。智能的愚蠢会调动智力的一切资源来服务一个错误。它不是思考失败；它是华丽而系统地朝错误方向思考。一个学生跟不上数学证明，并不是 Musil 意义上的愚蠢。一个数学教授为了捍卫一个孩子都能看出是假的命题，而建造一座优雅理论大厦，才是智能地愚蠢。

Musil 并不是唯一认真对待愚蠢的人。小说家很早就以一种多数科学家选择忽略的清晰度，理解了智能和愚蠢之间的关系。也许这是因为小说能展示一个智能如何吞噬自身；这对理性主义者来说，是一个相当难以下咽的景象。

Jonathan Swift 的《格列佛游记》描写了 Lagado 学院。那里的研究者部署各种精细实验方法。有人从黄瓜里提取阳光，有人把大理石软化成枕头，还有一位同事繁育没有羊毛的羊。Swift 的讽刺显然指向各种方向错误的系统性探究。它们是被僵硬框架困住的智能形式，产生的结果比什么都不做更糟。在天空之城 Laputa，杰出的数学家和熟练音乐家应用射影几何来建造没有直角的建筑，厨师则根据几何图形准备饭菜。数学中极其微妙而有力的抽象，一旦被用于错误的实践问题，就变得无能为力。

William Gaddis 在《承认》中呈现了一个充满伪造、错误归属和假货的社会，其中大量聪明才智被投入到不真实之中。主角 Wyatt Gwyon 制作佛兰德绘画赝品，需要的技艺和知识比原创作品还多。他的赝品在技术上高超，在艺术史上无懈可击，却完全是欺诈。书中的许多角色在不断升级的误认对话中彼此错过，动用相当高的语言智能来加深总体混乱。

Thomas Pynchon 的《万有引力之虹》描写了第二次世界大战中庞大的官僚和军事装置，它像一台把理性计划转化为灾难的机器。Pynchon 笔下的卡特尔和火箭工程师并不缺乏智能，恰恰相反，他们的能力就是 V-2 火箭，而这威胁要毁灭饱经战争摧残的西方城市。Pynchon 描写的是一个制度智能变成集体愚蠢的世界。

一些哲学家也试图为理解这种反常现象提供框架。Erasmus 在 1511 年的《愚人颂》中暗示，愚行是人类成就的发动机。没有自我欺骗和过度自信，任何事情都不会被尝试。Erasmus 面临的挑战不是文明是否会产生愚蠢，而是它会不会产生一种自己还能幸存下来的愚蠢。

Dietrich Bonhoeffer 1943 年在纳粹监狱中写道，愚蠢不是认知缺陷，而是一种被强加的社会结构。处在权力魔咒下的人，往往会放弃独立判断能力，成为“愚蠢”的工具。意大利经济史学家 Carlo Cipolla 在 1976 年出版的《人类愚蠢基本法则》中，把愚蠢的人定义为：给别人造成损失，同时自己没有获得好处，甚至也让自己受害的人。Cipolla 大胆提出，愚蠢之人在所有人群中的比例是恒定的，从教授、水管工、将军到清洁工都一样。沿着 Swift 和 Musil 的思路，我会补充说，复杂性只会让情况变得更糟。

如果愚蠢会让实践者付出代价，为什么自然选择，或者甚至文化选择，没有把它从有机体种群中消除？一个明显的可能性，是环境变化让先前的行为过时。

数百万年来，保持相对于遥远天体光源，也就是月亮和星星的固定角度，是动物世界中一条重要导航启发式。它高效、可靠，而且需要的神经硬件很少。一旦人类发明了人工照明，一个有效了漫长时代的策略就会变成自杀性的。飞蛾盘旋冲向烛火，并不是导航失败；它是在使用一条经受时间考验的经验规则，只是这条规则被上下文变化灾难性地弄错了。

智能和愚蠢原来具有时间性。一个 brilliant heuristic，也就是极其聪明的启发式规则，和一个致命启发式规则，可能是同一个规则，只是被世界的意外变化分开。海龟已经跟随月光走向海洋 1 亿年，如今却会转向不断增生的海滨公寓人工照明。信天翁演化出从海面捞鱼的能力，如今却会无意中收集漂浮塑料，并把它喂给幼鸟。

真菌 Ophiocordyceps 会感染木蚁，并接管它们的行为回路。被感染的蚂蚁会爬到植物茎上一个精确高度，用下颚咬住叶片背面，然后死去；这个位置最适合真菌传播孢子。蚂蚁的行为程序被黑入了。它正在执行一串复杂动作，包括攀爬、定向和抓握，但这些动作服务于另一个生物。这只蚂蚁完美体现了 Bonhoeffer 的想法：能力被恶意行动者劫持，用来解决错误问题。也许，专业化会产生局部智能；当它被过度延伸，就会生成全局愚蠢。这是一种尺度和领域变化，对应着飞蛾遭遇的环境变化。

物理学家 Lord Kelvin 调动自己所有物理知识，证明重于空气的飞行机器不可能实现；不到十年后，Wright 兄弟就驾驶重于空气的飞机飞上天空。Nikola Tesla 拒绝量子力学和相对论，主张未来人类文明会通过“地球共振”使用地球能量。Percival Lowell 用望远镜绘制火星表面的“运河”，并声称那是外星灌溉渠。这些都是把一个想法过度承诺、过度发展，带离它曾经生长和繁荣的领地，或者带离那个想法已经被粗暴驱逐的领地。

人工智能按设计就是人类创造过的最强大认知人工物。它被设计来最小化用户努力，执行那些人类原本会觉得耗时或不可能完成的任务。当然，问题在于，工具越好，用户越不需要自己思考。在一个恶性螺旋中，用户思考越少，就越依赖工具。直到工具消失，整个系统崩塌。

如果智能是愚蠢的必要前提，而智能和愚蠢会一起扩大，以至于壮观的愚蠢需要真正的智能，那么超级智能就会是超级愚蠢时代的开场。

AI 幻觉也许是这种动态的第一份证据。大型语言模型会生成流畅、自信、细节丰富的文本，而这些文本会以某种规律性在事实层面出错。这不是简单 bug，而是那些优化吸引力和可信度、而非真相的系统的结构特征。危险不在于 AI 会错，毕竟人类一直会错；正因为知道这一点，人类发明了发现和纠正错误的方法。我们称之为科学方法。

危险在于，AI 会以人类无法再检测的方式出错，因为那些原本可以捕捉错误的能力已经外包给机器，或者超过了人类心智的能力。我们面对的前景，是一种如此精致的愚蠢，以至于在受益者眼中，它已经无法和智能区分。这就是 Douglas Adams《银河系漫游指南》里的寓言：关于生命、宇宙和万物终极问题的答案，是 42。

我想提出一个温和建议：我们需要一门像正在兴起的智能科学一样严谨的愚蠢科学。这不需要数十亿美元投资。它会研究智能系统产生愚蠢结果的机制；它会研究愚蠢尽管有选择成本却仍能维持的演化动力学；它会推动发展设计原则，区分增强认知的工具和替代认知的工具；它也会研究什么样的制度条件会让集体智能退化成集体愚蠢。

愚蠢不是智能被扣除后剩下的东西。它是一种主动机制，有自己的逻辑、自己的动力，并且拥有一种寄生于聪明才智之上的无限增长能力。在一个迷恋越来越强认知技术的世界里，理解愚蠢不只是学术练习；它也许会证明是我们能做的最聪明的事。

参考阅读包括 Douglas Adams 1979 年《银河系漫游指南》、Bonhoeffer 1953 年《狱中书简》相关文本、Cipolla 1976 年《人类愚蠢基本法则》、Erasmus 1511 年《愚人颂》、Gaddis 1955 年《承认》、Musil 1937 年《论愚蠢》和 1930–1943 年《没有个性的人》、Pynchon 1973 年《万有引力之虹》、Spufford 2010 年《Red Plenty》，以及 Swift 1726 年《格列佛游记》。

思想框架

文章先定义愚蠢不是智能缺席，而是智能被错误目标、错误领域和错误制度放大后的主动机制。随后作者用量子力学误用、控制论治理经济、文学和哲学中的智能愚蠢、动物导航规则的失效、科学家的过度承诺，以及 AI 幻觉串起同一条线：越强的认知系统越可能在错误环境中制造更复杂的错误。最后，作者把结论落到“愚蠢科学”：我们需要研究智能系统如何产生愚蠢结果，并设计不替代人类判断的工具。