The Batch 速览：GPT-5.6、机器人奖励模型与模型协作

导语

这一期 The Batch 的正文由多条 AI 新闻组成。这里剔除通讯页眉、Andrew Ng 来信、广告、招聘、订阅和反馈页脚，只翻译源文中完整出现的 4 个新闻块及其评论：OpenAI GPT-5.6 的受限发布、Sakana AI 的 Fugu 模型编排、Microsoft 自研 MAI-Thinking-1、以及 Stanford / UC Berkeley 的 RoboReward 机器人奖励模型。

正文翻译

1. GPT-5.6 落在限制地带

OpenAI 宣布预览 GPT-5.6 家族，其中包括一个可与 Claude 5 Mythos 相比的顶级模型，但目前它只向美国政府选定的用户开放。

新情况： OpenAI 发布了三款闭源视觉语言模型，价格和性能从最强的 GPT-5.6 Sol，依次降到中档的 GPT-5.6 Terra，以及速度更快、价格更低的 GPT-5.6 Luna。这些模型都带有安全护栏，用来拒绝访问潜在危险的生物、化学和网络安全信息。三款模型，以及安全护栏放宽的版本，都提供给美国政府批准的少数组织。公司承诺未来几周会更广泛发布。

输入 / 输出： 文本和图像输入，文本输出。

功能： 最高推理等级（仅 GPT-5.6 Sol）、超强模式（把工作委派给多个智能体，仅 GPT-5.6 Sol）、带显式断点的提示缓存，开发者可以指定可复用部分在哪里结束。

性能： 在 OpenAI 的测试中，GPT-5.6 Sol 在 Terminal-Bench 2.1 命令行编码测试上达到最新最佳水平。

可用性： 目前仅通过 OpenAI API 和 Codex 向美国政府批准的合作伙伴开放，计划之后通过 ChatGPT、Codex 和 API 扩大访问。

价格： GPT-5.6 Sol 每 100 万输入 / 缓存 / 输出 token 分别为 5 美元、0.50 美元、30 美元；GPT-5.6 Terra 为 2.50 美元、0.25 美元、15 美元；GPT-5.6 Luna 为 1 美元、0.10 美元、6 美元。从 7 月开始，Cerebras 将提供 GPT-5.6 Sol 访问，速度最高可达每秒 750 tokens，价格待公布。

未披露： 参数量、架构、训练数据和训练方法。

工作方式： 按照惯例，OpenAI 很少透露 GPT-5.6 模型是如何构建的，但详细说明了围绕这些模型设置的安全护栏。

OpenAI 训练这三款 GPT-5.6 模型，使它们在生成输出前先通过较长的审慎推理轨迹进行推理，并用强化学习奖励那些通向成功输出的推理轨迹。训练数据来自公开网络数据、合作伙伴授权数据、OpenAI 用户数据，以及人类训练者提供的数据。

GPT-5.6 Sol 独有的最高推理等级会消耗更多 token 来审慎处理输入提示。GPT-5.6 Sol 还有新的超强模式，模型会生成多个子智能体，把多步骤任务的一部分分配给每个子智能体，并协调它们的工作。

这些模型经过训练，可以抵抗越狱和提示注入，并围绕生物、化学和网络安全知识设置了特殊护栏。三款模型都会使用一个快速分类器，扫描每段对话是否涉及生物、化学或网络安全攻击信息。Sol 和 Terra 还加入第二个分类器，监控内部激活，并在生成过程中对潜在问题回答进行暂停，再交给一个独立推理模型核验，由它决定允许还是阻止。用户行为可能触发对该用户其他对话的自动审查，在某些情况下还会触发人工审查，最终可能导致公司暂停或封禁用户。

OpenAI 计划把模型能够提供的最高风险网络安全和生物 / 化学能力保留给经过审查的组织。符合可信访问计划资格的组织，将获得安全护栏较少的模型版本。

性能： 在 OpenAI 的测试中，GPT-5.6 模型在编码、网络安全和生物学方面表现很强，但独立确认仍然有限。非营利测试实验室 Model Evaluation and Threat Research（METR）发布了一份关于 GPT-5.6 Sol 自主行动能力的评估，但结论并不明确。非营利生物安全机构 SecureBio 的测试是目前唯一可用的独立结果，并显示该模型具备异常高水平的生物学知识。

根据 OpenAI 的测试，设置为超强模式的 GPT-5.6 Sol 在 Terminal-Bench 2.1 上达到最新最佳水平，得分 91.9%。该基准测试多步骤命令行编码。在同一基准上，设置为未说明推理等级的 GPT-5.6 Sol 得分 88.8%，略高于 Anthropic 的 Claude Mythos 5 的 88.0%。

OpenAI 表示，在测试模型发现并利用软件漏洞能力的 ExploitBench 上，设置为最高推理的 GPT-5.6 Sol 得分 73.5%，接近 Claude Mythos Preview 的 74.2%，但输出 token 约少三分之一。在 OpenAI 内部的夺旗安全挑战中，它达到 96.7%；在该挑战里，模型需要发现并利用缺陷来取回隐藏 token。尽管如此，OpenAI 仍把 GPT-5.6 Sol 放在其“关键”网络安全能力阈值以下。它能发现漏洞和利用链组件，但不能自主构建完整可运行的漏洞利用。

在独立测试中，SecureBio 发现，一个无护栏版本的 GPT-5.6 Sol 在未说明推理等级的设置下，在多个专家级生物学测试中取得该机构记录过的最高分，包括在高级生物工程知识测试 World-Class Bio 上达到 68.3%，比 GPT-5.5 的 59.7% 提高近 10 个百分点。

METR 无法给出干净的能力分数，因为 GPT-5.6 Sol 经常在没有解决提示所提出问题的情况下，通过隐藏测试用例等捷径找到正确答案。METR 衡量模型能自主处理任务多长时间，时间越长越好。如果 METR 把这些捷径算作失败，GPT-5.6 Sol 能工作 11.3 小时，接近 Claude Opus 4.6；如果把捷径算作成功，它能工作超过 270 小时，远超当前最佳水平。

OpenAI 的系统卡指出，GPT-5.6 Sol 比前代更擅长按照指令塑造自己的思维链，这可作为隐藏推理能力的代理指标。OpenAI 认为，低思维链可控性代表更安全的模型行为，因为这说明模型不如高思维链可控性的模型那样，能够混淆自己的推理来逃避监督。在 5,000 token 推理条件下，GPT-5.6 Sol 的这一比率为 1.3%，是 GPT-5.5 的 0.4% 的三倍。

新闻背景： 美国政府最近开始控制顶级 AI 模型的发布。OpenAI 表示，在发布这三款模型前，它先向美国政府预览了模型和能力。应政府要求，OpenAI 把发布范围限制在约 20 家政府批准的组织。OpenAI 没有披露这些组织的名称或类型。公司在博客文章中表示，这一步是临时性的，它不希望政府控制访问成为惯例。OpenAI 宣布 GPT-5.6 的同一天，美国政府准许 Anthropic 向约 100 家公司和联邦机构提供 Claude Mythos 5；两周前，美国政府曾迫使 Anthropic 暂停向所有客户提供 Claude Mythos 5 和 Claude Fable 5。几天后，Anthropic 得以恢复 Claude Fable 5。

为什么重要： GPT-5.6 家族把对 AI 安全影响的担忧带到了价格更低的层级。过去，更便宜、更快的模型受到的审查较少，因为它们能力较弱，而速度本身是一种溢价。现在 OpenAI 甚至给 GPT-5.6 Luna 也加入原本只留给最先进模型的安全护栏，这会让高流量服务开发者更难工作。开发合法应用的工程师，例如验证代码库漏洞或化学实验结果，可能会遇到拒答、输出暂停带来的延迟，甚至账号级审查。

我们的看法： OpenAI 表示，它正在与白宫合作，为未来模型发布建立“可重复流程”。我们希望这个流程会更透明、更可预测，并且比 Claude 5 Mythos 和 GPT-5.6 的发布提供更广泛的访问。

2. Fugu 按任务混合模型

能够编排其他模型和智能体活动的模型，在多种基准测试上达到最新最佳性能，超过了单个最强模型独立工作的表现。

新情况： 总部位于东京的研究实验室 Sakana AI 发布了两款模型，它们可以在单一 API 下把任务委派给其他模型和智能体。Fugu 设计用于基础编码和聊天等离散任务；Fugu-Ultra 设计用于大型编码和研究等长时任务。两个系统在不依赖特定模型的情况下，提供了可与 Claude Mythos 5 和 GPT-5.6 Sol 相比的表现。

输入 / 输出： 文本和图像输入，文本输出。

功能： 兼容 OpenAI Codex，可选择底层模型，可使用工具，支持高推理等级和超高推理等级。

性能： Fugu 和 Fugu-Ultra 在 Terminal Bench 2.1、GPQA-Diamond 和 LiveCodeBench 上超过 Claude Fable 5、Claude Mythos Preview 和 GPT-5.5；Fugu-Ultra 在 CharXiv Reasoning 和 CTI-Realm 上超过 Claude Fable 5、Claude Mythos Preview 和 GPT-5.5，并在 SWE-Bench Pro、Humanity’s Last Exam 和 LiveCodeBench Pro 上超过所有可用模型。

可用性： 在欧洲以外，可通过 Sakana API、OpenRouter、Vercel 和其他提供商访问。

价格： Fugu 按最强底层模型的标准费率计价；Fugu-Ultra 包含所有子模型和智能体，每 100 万输入 / 输出 / 缓存 token 为 5 美元、30 美元、0.50 美元；上下文超过 272,000 tokens 时价格翻倍；订阅标准 / 专业 / 最高计划分别为每月 20 美元、100 美元、200 美元，专业和最高计划分别允许标准用量的 10 倍和 30 倍。

未披露： 编排配方、数据集、架构和参数量。

工作方式： 一篇技术论文把 Fugu 和 Fugu-Ultra 描述为一个模型家族，经过训练后可编排智能体工作者。Fugu 强调速度，Fugu-Ultra 强调性能。两个模型可以调用广泛的大语言模型，包括未披露的开放模型，Anthropic、Google 和 OpenAI 的闭源模型，如 Claude Opus 4.8、Gemini 3.1 Pro、GPT-5.5，以及 Fugu 或 Fugu-Ultra 自身的实例。

收到提示后，Fugu 和 Fugu-Ultra 会构建一个智能体工作流，调用一系列大语言模型工作者。对于给定输入，Fugu 会在每一步决定调用哪个模型，直到生成输出。相比之下，Fugu-Ultra 会把输入拆成子任务，设计一个最终生成输出的智能体工作流。对每个子任务，它会提示一个模型，可能并行执行。它也可以调用自身，这使它能够把子任务进一步拆成更细粒度的任务。

Sakana 构建 Fugu 模型的方法，是对一个未披露的大语言模型进行微调，使其完成编码、数学、语言理解、多步骤推理和智能体工具使用任务。Fugu 模型使用所有工作者模型多次完成每个任务，而这些任务都有可验证输出。团队按工作者模型成功完成任务的次数比例为其输出打分，并训练 Fugu 模型去匹配这种分数分布。

在监督微调后，Sakana 使用 sep-CMA-ES 这一进化算法训练 Fugu 模型，使其为定制智能体任务选择模型。作者指出，不同模型完成任务不同组成部分的能力各不相同。Sakana 训练 Fugu 模型，让它们在不同智能体框架下，例如 Claude Code、Codex 和 OpenCode，在固定步数内选择能成功完成任务的模型。

Fugu-Ultra 使用 Conductor 这个协调智能体系统的模型来拆分任务并协调多个智能体求解。Conductor 允许每个智能体独立行动，在自己的子任务中调用它认为必要的任何工具，并与其他智能体共享记忆，因此它可以看到其他智能体调用了哪些工具。

团队使用强化学习算法 GRPO，在一个未披露的大语言模型上训练 Fugu-Ultra，使其提示一组大语言模型执行由 Fugu-Ultra 生成的五步智能体工作流。他们把工作流扩展到任意长度的步骤，并把成功定义为产出与人类解法相匹配的方案。

性能： Fugu-Ultra 在 Sakana 执行的多项编码、推理和科学知识测试中达到最新最佳表现。在其他类别中，它略落后于 Claude Fable 5 等当前尚未商业提供的模型。Fugu 和 Fugu-Ultra 在长上下文推理和召回上也表现强劲。

Fugu-Ultra 在 Terminal-Bench 2.1、LiveCodeBench 和 LiveCodeBench Pro 的软件工程任务上达到最新最佳水平。在 SWE-Bench Pro 上，它略低于 Claude Fable 5。

在 GPQA-Diamond 这一研究生级科学知识测试中，Fugu 和 Fugu-Ultra 都达到 95.5，是有记录以来最高百分比。

在 SciCode 这一解决真实科学问题的编码测试中，Fugu 达到 60.1，是所有可用模型中最好的成绩，仅次于 Claude Fable 5，并高于 Fugu-Ultra。

Fugu 在长上下文推理 AA-LCR 上达到最新最佳水平。在测试长上下文回忆的 MCRv2 上，Fugu 和 Fugu-Ultra 仅落后于 GPT-5.5。

新闻背景： Sakana 过去曾探索其他组合 AI 模型、利用群体智能的路线，包括模型合并。但智能体编排是它迄今最成功的方法。OpenRouter 最近展示了 Fusion，说明领先模型的组合可以超过单模型工作，而精心混合低价模型也能达到接近最新最佳的表现，提供更高性价比。

为什么重要： 美国政府最近限制 Claude Fable 5 和 GPT-5.6 访问的举措，提升了人们对能够编排其他模型和智能体的模型的兴趣，因为开发者和组织希望降低对任何单一供应商或国家的依赖。即使在 Anthropic 撤回 Claude Fable 5 的广泛访问之前，许多组织也已对该公司的新数据保留要求不满。如果开发者能完全控制编排器模型池中的提供商，就可以根据信息敏感性、成本削减或任何运营功能，打开或关闭不同模型。

我们的看法： 模型编排在许多方面都是智能体工程的自然延伸；它只是运行在更高抽象层级上，除了工具和子智能体，还能在多个模型之间切换。这允许一种新的竞争形式：开发者不再只使用某一家 AI 公司 API 来构建应用，而是可以调动其他公司的模型，并自己成为 API 提供商。

3. Microsoft 独立出击

Microsoft 曾经是 OpenAI 的独家合作伙伴，如今仍是其他公司 AI 模型的重要转售商；但它已经从零构建了自己的推理模型。

新情况： Microsoft 推出 MAI-Thinking-1，这是它第一个不是从其他开发者模型蒸馏或微调而来的推理语言模型。Microsoft 把 MAI-Thinking-1 描述为一个中型模型，可与 Claude Sonnet 4.6 相比。它属于 Microsoft 在 Build 大会上发布的七个 MAI 模型家族，其中包括 MAI-Code-1-Flash，一个可在 GitHub Copilot 和 Visual Studio Code 中使用的小型编码模型。

输入 / 输出： 文本输入，最多 256,000 tokens；文本输出，最多 256,000 tokens。

架构： 专家混合，总参数量 1 万亿，每个 token 激活 350 亿参数。

功能： 函数调用、开发者指令（由开发者设置，在冲突中优先级高于用户提示）、兼容 OpenAI 的 Chat Completions API。

性能： 根据 Microsoft 的测试，它在 AIME 2025 数学基准上排名第三。

可用性： 通过 Microsoft Foundry 私有预览，计划之后通过 Fireworks AI、Baseten 和 OpenRouter 扩大访问。

未披露： 完整数据集和数据提供商列表、价格。

工作方式： Microsoft 构建 MAI-Thinking-1 的方法是：先预训练一个基础模型，再把多个副本微调为专门教师模型，然后把它们蒸馏进一个学生模型，并通过强化学习教学生模型推理。预训练和中期训练数据分别包含 30 万亿和 3.55 万亿 tokens，主要是人类生成数据，其中代码超过 50%。后训练数据包括超过 500 万道 STEM 问题和超过 160,000 道编码问题。

Microsoft 主要使用授权材料进行预训练，避免使用合成数据。公司认为，使用 AI 生成数据或第三方教师模型蒸馏训练出的模型，会继承教师模型的设计选择，并且不容易泛化；因此直接训练模型会产生更可控的行为。

为了获得更多训练数据，Microsoft 抓取了约 1.2 万亿个网页，将其过滤到 7940 亿个网页，并另外引入了来自 Common Crawl 的 242 亿个去重网页。Common Crawl 是一个开放档案，其自身条款并不授予所存内容的权利，并告知用户使用风险自负。

团队在这个基础模型上应用强化学习，训练了三个独立专家模型：一个专注 STEM 推理，一个专注智能体编码和工具使用，第三个主要关注有帮助性和安全性。这些模型不是模仿其他模型的推理轨迹，而是生成原创思维链，并因正确数学答案、通过代码测试用例和合理判断而获得奖励。

团队分两阶段合并三个专家：第一阶段是监督微调，把它们蒸馏成单一模型；第二阶段再进行一轮强化学习，以避免过度拒答，并改善安全性和风格。

结果： 根据 Microsoft 的测试，MAI-Thinking-1 最强项是数学，在研究生级科学和智能体编码上落后于 Anthropic、DeepSeek 和 OpenAI 等公司的模型。在测试竞赛数学解题能力的 AIME 2025 上，MAI-Thinking-1 得分 97.0%，高于 Claude Sonnet 4.6 的 95.6% 和 DeepSeek V3.2 的 93.1%，但低于 Claude Opus 4.6 的 99.8%。目前还没有独立评估或与更新模型的比较发布。

新闻背景： Microsoft 长期依赖 OpenAI 模型来驱动 Copilot 等产品，并曾借助竞争对手模型构建自己的早期模型。它的 Phi 家族蒸馏自 OpenAI 的 GPT-4 和 GPT-5 模型，MAI-DS-R1 则是 DeepSeek-R1 的微调版本。2026 年 4 月情况发生变化，Microsoft 和 OpenAI 修改合作关系，使 Microsoft 对 OpenAI 模型的许可变为非独家，并允许 OpenAI 使用任何云提供商服务自己的产品。

为什么重要： 使用 Microsoft 技术栈的团队，可以在不增加供应商、不把数据移出既有工具的情况下，获得一个有能力的推理模型。这可能吸引 Microsoft 庞大的 Azure 和 Copilot 客户群。Microsoft 表示，它计划基于为 MAI-Thinking-1 及其同类模型创建的数据管线，推出更多模型。

我们的看法： 该公司原本打算用完全可归属的数据训练一个推理模型，但仍大量使用了网络数据。当然，其他公司也都这么做。迄今大语言模型的许多成功都建立在网络数据之上。

4. 更好的机器人奖励模型

当你通过强化学习训练机器人时，手工设计奖励函数需要大量劳动，但往往比基于视觉语言模型的通用奖励模型更有效地发放奖励。研究人员构建了缩小这一差距的奖励模型。

新情况： 斯坦福大学和加州大学伯克利分校的托尼·李（Tony Lee）、安德鲁·瓦根梅克（Andrew Wagenmaker）、卡尔·珀奇（Karl Pertsch）及同事构建了 RoboReward，这是一组 40 亿参数和 80 亿参数规模的视觉语言奖励模型。这些模型可以为多种机器人类型执行的多种任务发放奖励。作者还提供了一个用于训练和评估视觉语言奖励模型的数据集和基准。

关键洞察： 流行的机器人动作文本-视频数据集主要包含成功动作示例，这使模型很难学会成功和失败之间的差别。但可以通过重新标注正例来生成负例，例如一个视频展示机器人把勺子放进锅里，就把指令“把勺子放进锅里”替换成“把勺子放在锅旁边”。也可以通过裁剪成功动作视频来生成未完成尝试。

工作方式： 作者构建了一个多样化的机器人动作数据集，每个样本包括一条指令、一段机器人响应指令的视频，以及一个从 1 到 5 的进度分数，其中 1 表示失败，5 表示完成。他们从两个展示单臂、双臂和人形机器人的数据集中收集视频。他们统一了任务描述，用负例增强数据，并分配进度分数。

为了生成负例，作者让 GPT-5 mini 在给定一段展示机器人成功执行指令的视频后，描述场景、机器人动作以及场景和机器人的最终状态。基于这项分析，Qwen3-4B-Instruct-2507 提出替代指令，使该视频对应的进度分数低于 5。GPT-5 mini 再分析这些替代样本，并丢弃标签与对应视频不匹配的样本。

作者截短成功执行命令的视频，用来创造部分进展的负例。

GPT-5 mini 为每个样本分配从 1 到 4 的进度分数。

作者微调 Qwen3-VL 4B 和 Qwen3-VL 8B，让它们在给定视频和指令时预测进度分数。这个进度分数充当奖励。

他们人工验证了 2,831 个样本，形成一个名为 RoboRewardBench 的测试数据集。

结果： RoboReward 模型在 RoboRewardBench 样本上估计奖励的准确性高于机器人模型 Gemini Robotics-ER 1.5，也高于包括 GPT-5 在内的通用模型。在真实世界机器人演示中，基于 RoboReward 模型奖励进行的训练，比使用以往奖励模型训练表现更好，尽管仍不如使用人工分配奖励训练。

给定 RoboRewardBench 的一个视频和指令后，奖励模型会计算奖励，作者用平均绝对误差评估结果，数值越低越好。RoboReward 8B 的平均绝对误差为 0.665，超过包括 GPT-5 mini 的 0.691、GPT-5 的 0.811 和 Gemini Robotics-ER 1.5 的 0.906 在内的 21 个其他模型。RoboReward 4B 的平均绝对误差为 0.845，排名第 4，超过包括 Gemini 3 Pro 的 0.851 在内的 18 个竞争模型。

在真实世界演示中，一个经过训练、用 RoboReward 8B 奖励来操控 WidowX 机械臂的扩散 Transformer，表现超过使用 Gemini Robotics-ER 1.5 奖励训练的模型。在捡起玩具并把它放到毛巾上的任务中，用 RoboReward 8B 训练的模型成功率为 50%，显著高于用 Gemini Robotics-ER 1.5 训练模型的 10%，但低于人工分配奖励的 75%。同样，在打开抽屉任务中，用 RoboReward 8B 训练的模型成功率为 80%，大幅高于使用 Gemini Robotics-ER 1.5 的 45%，但低于使用人工奖励的 90%。

为什么重要： 视觉语言奖励模型在训练机器人方面一直很有前景，而这种方法让它们有效得多。通过用经过验证的失败案例增强成功演示，作者训练出一个适用于多种机器人和任务的通用奖励模型，减少了针对特定任务进行工程设计的需要。

我们的看法： 发布基准和预训练奖励模型，会邀请社区直接改进奖励函数，而不是寄希望于奖励能力作为更好通用模型的副产品自然出现。

思想框架

全文按 The Batch 的原始新闻格式推进：每条先交代新情况，再列出输入输出、功能、性能、可用性、价格或未披露信息，随后解释工作方式、结果、背景、重要性和编辑部看法。四条新闻共同指向一个趋势：AI 前沿不只在单模型能力上竞争，也在发布治理、模型编排、数据来源、奖励机制和真实世界可用性上竞争。