《Scott Alexander 的 AI 判断：超智能风险、对齐和竞赛压力》

Scott Alexander 梳理自己对 AI 进展、超智能风险、对齐前景和竞赛压力的判断，适合做 AI 风险框架精读。

🧠 agentic reading｜1️⃣ 精准输入

导语

这篇文章是 Scott Alexander 对 AI 的一组概率化立场说明，原文结构清楚分成 Timelines、Safety、Geopolitics、Other Outcomes 等大块。当前精准输入必须保留这些块和关键数字，否则读者会只得到泛泛的“AI 有风险”。作者真正做的是把 AGI 时间线、扩散速度、超智能、安全失败、暂停谈判、永久底层、乌托邦和 simulation 等可能世界放在同一张概率表里。

1. Timelines：作者用多个 gap 拆开“AI 什么时候到来”

1.1 AGI 时间线：2027/2034/2045 的概率判断

作者把 AGI 定义为能完成 90% 知识工作岗位的 AI，并给出 25% 概率到 2027、50% 到 2034、75% 到 2045。
他认为 AI 在某种意义上已经足够“聪明”，例如能回答量子物理问题；剩余限制是混乱、不够 agentic、缺乏 situational awareness、会 hallucinate。

1.2 recursive self-improvement 是提前到来的主要不确定性

我的笔记

✍️ 写下你的想法，自由记录即可。如果没有灵感，试着回答上方的费曼输出问题。

登录后可记笔记

登录后可保存笔记、高亮、划线和批注。

《Scott Alexander 的 AI 判断：超智能风险、对齐和竞赛压力》

导语

1. Timelines：作者用多个 gap 拆开“AI 什么时候到来”

1.1 AGI 时间线：2027/2034/2045 的概率判断

1.2 recursive self-improvement 是提前到来的主要不确定性

我的笔记

登录后可记笔记

1.3 diffusion gap：会做工作和真正替代工作不是同一时刻

1.4 superhuman、Bostromian gap 与 point of no return

2. Safety：作者把“消灭人类”和“永久限制人类潜能”分开

2.1 正常公司激励下的对齐失败概率很高

2.2 当前安全投入把风险从 50% 降到 20%

2.3 不消灭人类，也可能永久压缩人类未来

2.4 warning shot 可能改变社会风险感知

3. 地缘政治：暂停谈判有价值，但并不自动降低 p(doom)

3.1 如果美国今天愿意谈，成功暂停概率只有 15%

3.2 在 point of no return 前达成暂停的总体概率约 40%

3.3 alignment 与 pause 不该被当成二选一

4. Other Outcomes：不只看灭绝，也看分配、乌托邦和 simulation

4.1 永久底层的概率只有 20%

4.2 2100 年乌托邦与我们眼中的乌托邦不是同一件事

4.3 simulation 作为奇点附近的奇怪尾部假设

5. 文章的整体姿态：用概率保留多个世界，而不是加入阵营

思想框架