《不可读的收益:为什么 AI 的最大好处常常难以提前衡量》
Carlo Cordasco 讨论新技术的可见成本和不可见收益之间的不对称,主张用可控试验而非全面禁止来处理 AI 风险。
🧠 agentic reading|1️⃣ 精准输入
导语
Carlo Cordasco 这篇 Aeon 文章讨论一种技术评估中的结构性不对称:新技术的成本常常能被旧实践的词汇和指标清楚衡量,但它最深的收益往往依赖未来才会出现的实践、机构和概念,因此在决策当下不可读。作者用麻醉、约会软件、留声机、电力、文字和 AI 说明,真正重要的技术收益常常不是“把旧事做得更舒服”,而是打开当时无法描述的新可能空间。
1. 麻醉案例说明:可见成本不等于最终意义
1.1 1846 年前,外科手术受病人清醒忍痛能力限制
- 在麻醉出现前,外科医生能做什么,取决于清醒病人能忍受几分钟痛苦。Robert Liston 能在 30 秒内截肢,因为他必须这么快;手术主要局限在体表、截肢、脓肿引流和浅表肿瘤切除。
- 当时外科医生的声誉依赖动作经济性,因为每一秒都是病人的清醒痛苦。胸腔、腹腔和颅腔内部的长期操作几乎不可想象。
1.2 反对麻醉的人并不愚蠢,他们拥有当时最好的证据
- 乙醚和氯仿出现后,许多英美医学权威认为让病人失去意识是严重临床错误。John Pollard Harrison 在 1849 年写道,疼痛具有治疗性,生命活动由疼痛刺激维持;Charles Meigs 也把分娩疼痛看作有益、保守的生命力表现。
- 其他医生指出,清醒病人能确认手术部位、在术中协助决策并提供实时诊断反馈。安全顾虑也真实存在,英国皇家医学与外科学会 1864 年报告记录了 123 例氯仿死亡。
1.3 麻醉真正的收益,在 1846 年的词汇里说不出来
- 麻醉后来带来开放心脏手术、器官移植、神经外科和现代外科专科体系。但这些不是“更舒服的旧手术”,而是一个新可能空间。
- 1846 年的批评者可以精确描述麻醉会损失什么,却无法描述它将让哪些实践出现,因为那些实践和词汇本身要等麻醉改变医学后才会诞生。
2. 这种结构叫“可读成本与不可读收益”的不对称
2.1 旧指标最擅长衡量旧实践被打断的损失
- 作者概括说,一项创新到来时,成本清晰可见,因为它们相对既有实践的基线出现,也能用旧实践已有工具衡量。
- 严肃批评者常常正确地记录这些成本。问题不是批评者没有证据,而是证据体系本身通常只能捕捉旧实践会失去什么。
2.2 最深收益依赖尚不存在的实践和制度
- 新技术最深的收益,往往取决于未来才会形成的实践、机构和概念。决策时刻没有一种评估能完整捕捉这些收益,因为描述它们所需的词汇也是创新将要带来的东西。
- 这不是说收益一定大于成本,而是说“能被测量”与“更重要”不能划等号。
3. 约会软件展示当代短周期版本
3.1 批评者正确看见了选择过载和关系技能弱化
- Eli Finkel 等研究显示,应用中介的约会可能带来选择过载、削弱承诺形成,并减少旧式相遇自然培养的关系技能。孤独、年轻人结婚率下降、线下主动搭讪崩塌等证据也很丰富。
- 作者承认这些批评记录了真实问题,就像 Harrison 记录麻醉风险一样,它们在自己的衡量框架内是严肃和有根据的。
3.2 但应用也重塑了公共空间和跨群体连接
- 这些证据很难提前捕捉到约会软件创造的新效果。由于存在另一种浪漫发起渠道,线下接近陌生人的规范地位被削弱,一部分原先在街道、咖啡馆和工作场所的骚扰被转移到可过滤、拉黑、举报和审计的平台。
- 2018 年,Josué Ortega 和 Philipp Hergovich 用匹配理论模型和宽带普及数据说明,在线约会与美国过去 20 年跨种族婚姻快速增加相一致。Michael Rosenfeld 等研究则显示,约 2013 年起,线上成为美国异性恋伴侣最常见相遇方式;到 2017 年,约 65% 同性伴侣在线上相遇。
3.3 对 LGBTQ+ 年轻人,线上空间不是替代品,而是生存空间
- 2024 年 Trevor Project 调查显示,大约四分之三 LGBTQ+ 年轻人会上网与他人连接,因为他们在日常生活中难以做到;类似比例的人说自己能在线上完整做自己,跨性别和非二元受访者比例更高。
- 同一群体中,只有约一半认为学校肯定其性别,略多于三分之一认为家庭肯定。对农村地区、缺少线下社群的年轻人,线上空间尤其重要。
4. 留声机、电力和文字说明,这个模式反复出现
4.1 John Philip Sousa 对留声机的担忧部分正确
- 1906 年,John Philip Sousa 担心留声机会摧毁业余音乐实践。就客厅钢琴在之后半个世纪的衰落而言,他并没有完全错。
- 但 1906 年无法描述录音棚作为创作工具、多轨作曲、采样以及那些离开录音技术就不存在的音乐类型。留声机不是只让旧音乐更方便,而是改变了音乐本身的可创作空间。
4.2 煤气工程师对早期电灯的比较也没有看见电气文明
- 1880 年代的煤气工程师说早期电灯不如煤气灯,在他们比较的维度上可能正确。问题是,他们无法看见发电机、输电线和配电网络后来会成为电话、广播、计算和电视等电子文明的底层。
- 从电灯到晶体管的路径很长,要经过 1885 年还不存在的发明和学科,因此不能从当时照明争论内部预测出来。
4.3 柏拉图笔下 Thamus 对文字的担忧也具有同样结构
- 《斐德若》中 Thamus 警告文字会腐蚀记忆。这个警告对口传传统被书面记录替代的文化变化并非全错。
- 但他无法预见稳定书面引用支撑的累积学术、需要符号记号才能发展的形式逻辑,以及依赖长文档证据实践的经验科学。文字同样让旧能力下降,也让新文明能力出现。
5. AI 争论正在实时重复这个结构
5.1 认知外包的风险有扎实证据
- 作者承认,AI 批评者正在记录真实机制:当工具可靠执行某种认知操作,内部能力会因不用而弱化。知道能用 Google 查找的人,对信息本身的记忆更弱;习惯 GPS 的人,依赖海马体的空间导航能力会下降。
- 大语言模型自动化的认知操作范围比查路线或回忆事实更大,没有原则性理由认为同样机制不会扩大。
5.2 2025 年和相关实验显示,被动 AI 使用会损害学习
- Nataliya Kosmyna 等人在 2025 年预印本中监测写作时的大脑活动,发现使用 ChatGPT 写作的参与者神经连接显著弱于独立写作者,并且后来被要求独立写作时影响仍然存在。
- Hamsa Bastani 等人对近 1000 名高中生做田野实验,发现使用标准 AI tutor 的学生在最终无辅助考试中比不用 AI 的学生差 17%;但设计成脚手架式学习而非直接给答案的版本没有这种损害。
- Judy Hanwen Shen 和 Alex Tamkin 在软件工程师学习新 Python 库的随机试验中发现,使用 AI 编码助手的人在调试和概念理解题上得分更低。Elena Hayoung Lee 等人的研究则显示,被动复制 AI 输出会削弱自信和工作意义感,而先自己起草再用 AI 精修的主动协作保留了这些品质。
6. 政策判断的关键不该是“能否估计收益”,而是“能否恢复”
6.1 限制会阻断让收益变得可见的实验
- 作者指出,限制会形成反馈回路:如果一所大学禁止学生写作中使用 AI,它就永远不会发现哪些 AI 教学方式能保留真正产生学习的艰苦思考,同时开启新的智力工作形式。
- 禁止之后,证据库继续显得单边,因为好处没有机会出现;这会让最初的禁令看起来被验证。
6.2 可恢复性是更好的治理测试
- 作者提出的测试是 recoverability,也就是如果决策错了,我们能不能撤回。这个测试不简单,因为某项能力本身可能能重新训练,但培养这种能力的机构、导师管道和工作共同体可能已经解散。
- 美国海军在 GPS 让天文导航显得多余后,把它从课程中移除。大约十年后,人们意识到 GPS 可能被干扰、欺骗或在首次打击中瘫痪,于是 2015 年恢复教学。恢复之所以可能,是因为纽约 Kings Point 的美国商船学院仍在教授,保留了教师和教材。
6.3 不可恢复成本需要限制,可恢复成本适合有管理的实验
- 如果某些成本可能不可恢复,例如发展窗口关闭,或检测问题的能力本身随技能消失而消失,不对称并不要求放松谨慎,反而可能支持限制。
- 但如果成本可以通过制度设计保留冗余并控制,那么只凭可见成本就全面限制,会关闭那些无法提前估计的收益。作者因此偏向有管理的实验,让制度保存可恢复性,同时把举证责任更多放在想要关闭探索的人身上。
思想框架
文章先用 1846 年麻醉前后的外科手术说明,反对者可以准确记录麻醉风险,却无法预见开放心脏手术、器官移植和神经外科。随后作者抽象出“可读成本与不可读收益”的不对称:旧指标擅长衡量旧实践被打断的损失,却无法捕捉创新将创造的新词汇和新制度。中段通过约会软件、1906 年 Sousa 对留声机的批评、1880 年代电灯与煤气灯争论、柏拉图对文字的担忧,说明这种模式反复出现。后段回到 AI,承认 ChatGPT 写作、AI tutor、AI 编码助手和被动复制输出的学习损害证据都很严肃,但认为治理不应直接跳到统一禁止,而应按可恢复性设计有管理的实验。整篇文章的核心句可以概括为:可测量性和重要性不是同一件事。
Illegible benefits
Aeon · 16 mins
Beta Free
注册芝士内参,免费阅读全部文章
内测期全部免费开放,正式版 ¥9.9/月 · ¥99/年。
我的笔记
✍️ 写下你的想法,自由记录即可。如果没有灵感,试着回答上方的费曼输出问题。
登录后可记笔记
登录后可保存笔记、高亮、划线和批注。