导语
这期 The Batch 很密集:Andrew Ng 先讨论“循环工程”如何改变 0 到 1 产品构建,随后新闻部分覆盖开源权重模型 GLM-5.2、美国高校 AI 学位扩张、苹果端侧大模型 AFM 3、以及把生物分子当作语言处理的 ESMFold2。整期共同主题是:AI 正同时改变软件构建、人才培养、端侧部署和科学建模。
1. Andrew Ng 的 3 个循环:从写代码到决定做什么
开篇信把“循环工程”定义为让 AI agent 长时间迭代构建软件的关键方法。Andrew Ng 说自己有 3 个关键循环,用来指导 0 到 1 产品建设,也用来决定该建设什么软件。
1.1 代理式编码循环:让智能体自己写、测、改
- 在给定产品规格,有时再加评估集后,AI agent 可以写代码、测试工作,并持续迭代直到代码无 bug 且满足规格。这种闭环在去年年底左右兴起,让编码智能体能在更长时间内不依赖人工介入而高效工作。
- Andrew 举例说,他周末为女儿做打字练习应用,编码智能体可以轻松工作约一小时,多次使用浏览器检查自己构建的结果,然后再回来汇报。工程循环执行很快,每隔几分钟就可能构建和测试一个新版本。
1.2 开发者反馈循环:人从质检转向产品判断
- 第二个循环是开发者检查当前产品,并引导编码智能体改进。去年很多开发者,包括 Andrew 自己,还在充当智能体的质检人员,手动找 bug 再要求修复。
- 随着编码智能体更能测试自己的代码,人类花在这类质检上的时间明显减少,可以转向更高层产品决策,例如提供哪些关键功能、界面哪里需要改进。这个循环的时间尺度是几十分钟到几小时。
1.3 外部反馈循环:外部反馈改变愿景,再回到规格
- 第三个循环包括找朋友反馈、发布给 alpha 测试者、上线后做 A/B 测试等。这些策略通常较慢,少则数小时,多则几天或几周。
- 外部数据会影响开发者愿景,愿景再驱动详细产品规格,规格再驱动编码智能体。Andrew 认为,随着编码智能体加速软件开发,越来越多工程师开始承担部分产品经理角色,难点在于平衡构建、规格转译和用户反馈。
2. GLM-5.2:高性能开源权重模型靠近闭源前沿
新闻第一条介绍 Z.ai 发布 GLM-5.2,一个面向编码和长期代理式任务优化的大语言模型。它的吸引力不只是开源权重,还有低成本和长上下文。
2.1 基本规格和可用性
- GLM-5.2 支持文本输入最高 100 万个 token,文本输出最高 128,000 个 token,生成速度每秒 103 个 token。架构是混合专家 Transformer,总参数 7530 亿,每个 token 激活 400 亿。
- 功能包括高强度和最高强度两种推理等级、函数调用、结构化输出、上下文缓存。权重通过 Hugging Face 以 MIT 许可证开放商用和非商用;API 价格为每百万输入、缓存、输出 token 分别 1.40、0.26、4.40 美元;GLM 编程套餐每月 12.60 到 112 美元。
2.2 长上下文来自稀疏注意力和训练策略调整
- GLM-5.2 基于 GLM-5,修改了 DeepSeek 的稀疏注意力实现,把输入上下文从 GLM-5 的 200,000 个 token 扩到 100 万个 token。
- 团队用长期代理式任务训练模型,如深度研究、代码部署、性能优化和复杂调试。过去 GLM 系列使用 Group Relative Policy Optimization,但 GLM-5.2 任务太长,难以对多次尝试求平均,于是改用 Proximal Policy Optimization,由评判模型单独评价每次尝试。
- 为避免编码任务中用工具去 GitHub 抓参考答案这种奖励攻击,团队用规则过滤器标记可疑工具调用,再让单独语言模型判断是否走捷径,并用假数据阻断这类调用继续训练。
2.3 效率优化和评测表现
- 为降低长上下文注意力计算,模型每 4 层才运行一次稀疏注意力索引器,其余 3 层复用输出。公司称这使 100 万个 token 上下文内每个 token 计算减少 2.9 倍。生成速度则通过推测解码提升,小草稿模型一次提出多个 token,主模型接受或拒绝;GLM-5.2 平均接受 5.47 个 token,高于 GLM-5.1 的 4.56,提升 20%。
- 在 Artificial Analysis Intelligence Index v4.1 中,GLM-5.2 最高强度推理得分 51,开源权重模型第一,低于 Claude Opus 4.8 最高强度的 56 和 GPT-5.5 超高强度的 55,高于 DeepSeek V4 Pro 和 MiniMax-M3 的 44。在 Arena.ai WebDev 榜,GLM-5.2 最高强度得到 1,593 Elo,第二,仅次于 Claude Fable 5 的 1,654 Elo。
- PostTrainBench 中,GLM-5.2 最高强度得分 34.3%,略高于 Claude Opus 4.8 最高强度的 34.1% 和 Claude Fable 5 最高强度的 30.7%。AA-Briefcase 中,GLM-5.2 最高强度得到 1,266 Elo,开源第一、总榜第三,落后 Claude Fable 5 的 1,587 和 Claude Opus 4.8 最高强度的 1,356。
2.4 背后意义:美国限制让开源替代更有吸引力
- Z.ai 发布 GLM-5.2 的时间点很敏感:美国政府限制 Anthropic 的 Claude Fable 5 和 Claude Mythos 5 访问仅限公民之后一天,Anthropic 也暂停了 Claude Fable 5 访问。高性能开源权重模型在美国技术限制加强时更有吸引力。
- The Batch 的判断是,GLM-5.2 的开放许可和低 API 成本给开发者更多采用理由。对于觉得 Claude Opus 4.8 或 GPT-5.5 过贵的人,GLM-5.2 可能以约四分之一成本提供相近的代理式任务和编码能力。
3. 美国高校 AI 学位快速扩张
第二条新闻关注美国高校迅速推出本科 AI 主修、辅修和方向,以满足市场对 AI 专长的需求。
3.1 AI 项目数量从 2021 年的 5 所学校跃升到上千项目
- 截至 4 月,Northeastern University 的 Center for Inclusive Computing 统计,美国约 584 所高校已有至少 1,000 个 AI 项目,包括 78 个主修和 103 个辅修。相比之下,2021 年只有 5 所学校提供 AI 主修。
- AI 学士课程要求差异很大。有些高度技术化、数学密集;有些更跨学科,包含伦理、政策或领域应用;有些强调理论基础,有些强调构建和部署 AI 系统。
3.2 不同学校展示了不同 AI 教育路径
- Carnegie Mellon University 2018 年成为美国第一所提供 AI 学士学位的大学。其课程强调数学严谨性,要求 7 门数学和统计、5 门计算机和编程、3 门人工智能、1 门伦理,以及人类认知、感知和语言、机器学习、人机交互等课程。
- University of Oklahoma Polytechnic Institute 的应用 AI 学位更重实践,除数学和统计外,还要求 15 门 AI 和计算课程,涵盖机器人、机器学习、强化学习、计算机视觉、云计算和 DevOps。
- Drake University 提供面向人文和商业学生的 AI 文学学士,课程更灵活,可从哲学、英语、计算机科学、信息系统和心理学中选择,只需两门数学课。Stanford 的 AI track 要求学生修 7 门合格课程,包括自然语言处理、计算机视觉和机器人。
3.3 课程更新速度和基础教育之间有张力
- 背后争论有两面:有人认为大学准备太慢,跟不上雇主对 AI 能力的期待;也有人认为 AI 学位可能只是风潮。支持者也提醒,过早专门化可能牺牲广泛计算机科学基础,而学生需要这些基础适应快速变化的领域。
- The Batch 的观点是,今天课程会塑造谁进入 AI 行业、下一代 AI 工程师带来什么技能。AI 太多样,不应期待单一标准教育覆盖所有角色:有些岗位像传统软件工程加 AI,有些需要机器学习研究、分布式系统或数据工程深度。
4. 苹果 AFM 3:端侧模型在内存约束中找新结构
第三条新闻介绍 Apple Foundation Models 第三代。它来自苹果与 Google 的合作,重点是让较大模型在本地设备上运行。
4.1 AFM 3 Core Advanced 的规格和发布窗口
- AFM 3 Core Advanced 用于部分苹果设备上的文本和语音生成,声称处理效率超过流行混合专家架构,同时占用更少工作内存。AFM 3 家族还包括端侧运行的 Core,以及云端运行的 Cloud、Cloud Image、Cloud Pro。
- 输入包括文本、图像、语音,输出包括文本和语音。架构是修改后的混合专家 Transformer,总参数 200 亿,激活参数 10 到 40 亿。它将在 2026 年秋随 Mac 和 iPhone 17 Pro、Max、Air 的操作系统更新可用,支持文本理解与生成、语音理解与生成、图像理解、工具使用、技能、推理和 25 种语言。
4.2 它用“指令跟随剪枝”替代传统路由层
- 苹果模型针对 Apple silicon 优化。与典型混合专家模型每个输出 token 通过模型内部路由层选择专家不同,AFM 3 Core Advanced 使用一个单独 Transformer 为部分或全部输出 token 选择激活专家。
- 因为网络不必每个 token 都切换专家,它能比同尺寸混合专家模型推理更快、更省内存。The Batch 认为这是重要成就,因为典型混合专家模型通常要把整个模型加载进 RAM 或 VRAM;AFM 3 Core Advanced 可复用相同专家跨多个 token,使模型存放在闪存中变得实际。
4.3 与 Google 的关系和开发者选择
- 苹果称 AFM 3 模型基于公开信息、授权数据、研究收集数据和生成数据训练,没有包含用户数据或用户与模型互动。训练过程包括预训练、监督微调和强化学习。苹果尚未公布 AFM 3 的公开基准结果,只说在内部人类偏好测量中超过上一代。
- 背景是苹果 1 月与 Google 达成多年协议,用 Gemini 模型作为 AI 模型基础。苹果 AI 副总裁 Amar Subramanya 表示,这些模型是基于蒸馏而不是整套采用 Gemini。同时,Foundation Models Framework 将支持其他公司模型,开发者可在 AFM 3 与实现 Apple LanguageModel protocol 的 Claude 或 Gemini 等替代模型之间选择。
5. ESMFold2:把生物分子当作语言来预测结构
最后一条长新闻介绍 Biohub 和 EvolutionaryScale 发布 ESMFold2。它从 AlphaFold 3 架构吸收思想,又用大语言模型式嵌入减少对多序列比对的依赖。
5.1 任务和输入输出
- ESMFold2 推断生物活性分子的形状,包括蛋白质、DNA、RNA 以及与它们结合的分子。输入可以是蛋白质氨基酸序列、DNA/RNA 碱基序列、SMILES 文本描述、或多序列比对;输出是分子形状和误差估计。架构混合,参数 62 亿。
- 模型和嵌入模型 ESMC 都发布了。ESMFold2 在非 MSA 输入下超过 AlphaFold 3 和其他竞争模型,在使用 MSA 时与 AlphaFold 等模型表现相近。权重可通过 HuggingFace 下载,网站和 API 也可使用。
5.2 关键洞见:单个分子也能被 Transformer 嵌入
- AlphaFold3 等模型通常需要 MSA,也就是找到数据库中相关分子并对齐。ESMFold2 的关键洞见是,大语言模型擅长利用大量训练数据生成嵌入,而生物数据库已有大量序列和标准化分子描述,因此 Transformer 可以学习单个分子的嵌入,用它代替或补充 MSA。
- 这个能力对新颖分子、快速演化病毒蛋白或合成生物学产物尤其重要,因为这些对象可能缺少足够相关分子信息。
5.3 模型如何工作
- 给定蛋白质、DNA、RNA 序列或其他生物活性分子描述,ESMFold2 先用三种方式嵌入输入:序列、原子,以及如果可用的 MSA。ESMC 是用于氨基酸或碱基序列的 Transformer,曾在约 28 亿条序列上做遮蔽 token 训练。
- 随后,另一个 pairmixer 生成表示氨基酸、碱基或原子之间成对距离的嵌入。这个嵌入从纯噪声开始,训练时最多循环 6 次,推理时循环 10 次,因为这样性能最好。再由扩散模型去噪,推断原子坐标;第三个 pairmixer 估计坐标和距离误差。
5.4 结果和意义
- FoldBench 测试显示,在只给蛋白质输入时,ESMFold2 优于不接受 MSA 的 Chai-1;给定 MSA 时,它与使用 MSA 的 AlphaFold3 等模型相近。按 Local Distance Difference Test,ESMFold2 在只给蛋白质序列时达到 0.85 lDDT,Chai-1 为 0.81;给定 MSA 时,ESMFold2 达到 0.89,与 AlphaFold3 和 Protenix-v1 相同。
- 对蛋白质与 DNA 分子结合任务,DockQ 通过率评估结合部位距离相似度。ESMFold2 在无 MSA 时为 80%,略高于 Chai-1 的 71%;加入 MSA 后为 79%,与 Protenix-v1 相当,低于 AlphaFold3 的 82%。
- The Batch 的结论是,用 Transformer 嵌入分子能降低生物研究摩擦,尤其当相关分子信息稀缺时更有价值。开放权重也让不同资源水平和机构背景的科学家都能使用。ESMFold2 还体现了推理时多花计算的价值:距离估计模型通过多次循环嵌入提升表现。
思想框架
这一期 The Batch 从 Andrew Ng 的 3 个产品构建循环开始,说明 AI agent 加速工程后,人类角色会更多转向愿景、反馈和产品判断。新闻部分先讲 GLM-5.2,展示开源权重模型如何用 100 万 token 上下文、7530 亿总参数、低 API 价格和强评测逼近闭源前沿;再讲美国高校 AI 学位扩张,说明人才培养正在追赶行业需求;随后讲苹果 AFM 3,把端侧模型的约束落到内存、专家选择和 Google 蒸馏合作;最后讲 ESMFold2,展示语言模型思想如何进入分子结构预测。整体主线是:AI 的变化不只在模型榜单,也在工程循环、教育制度、设备端架构和科学发现工具链里同时发生。