AI 工程技能图谱：从模型能力到可靠应用交付

1. AI 工程的核心困难，是输出不可预测

• Andrew Ng 先回到此前发布的 AI Engineering Skills Map。最高层能力包括四块：构建与部署 AI 应用、软件工程基础、使用编程智能体，以及塑造构建过程。本期展开第一块。技能图谱来自大量职位信息、结构化专家访谈与问卷分析，不是单纯按课程目录想象出来的分类。

• AI 应用与普通软件最关键的差别，是前者的输出不够可预测。工程师无法事先知道 LLM 会生成什么，也不能完全确定监督学习算法会作出何种预测。因此，AI 系统开发比传统软件更依赖迭代，也更难提前把全部过程计划好。
• 熟练的 AI 工程师会反复构建一部分软件，检查中间结果，再决定下一步尝试什么。真正的能力不是假装组件可靠，而是根据中间证据持续选择下一步，把不可靠的 AI 组件组合成可靠的软件系统。

2. 构建和部署 AI 应用需要六组能力

2.1 LLM 基础

• 理解大语言模型如何切分 token、生成输出，才能判断什么时候可以依赖模型、什么时候容易失败。这也包括：何时选择多模态模型，如何安排上下文窗口内容，以及如何理解缓存命中、知识截止日期、推理强度、采样参数和工具调用。
• 这些基础判断最终服务于模型组合：选择单一模型还是多个模型，在什么情况下需要微调，什么时候值得自托管。

2.2 用数据为模型提供依据

• LLM 需要良好的输入上下文才能产生有用输出。向量搜索 RAG 是早期办法，但今天的数据 grounding 已扩展成一组架构选择：什么应直接放进提示，什么应让模型按需用工具检索；数据与查询更适合向量索引、知识图谱，还是客户记录等结构化数据上的语义层。
• 工程师还要把文本、PDF、HTML 和图片转成模型可用的输入，并维护持续清洁、更新的数据管道。掌握不同取数技术，才更可能给模型提供真正相关的上下文。

2.3 构建智能体系统

• 智能体系统可以是预先规定一串 LLM 调用的工作流，也可以是由 agent harness 让模型反复决定下一步。工程师需要决定哪些步骤串行、哪些并行，什么时候用代码、什么时候用 LLM，并为工作流或 harness 设计回退路径。
• 智能体循环还涉及工具边界，包括 MCP、CLI 与沙箱执行环境；涉及记忆架构、长会话上下文管理，以及一项任务什么时候需要多智能体编排。原型进入生产后，还必须处理护栏、对抗输入、数据外泄等关键风险、安全治理与权限控制。
• 工作流仍在快速变化。语音智能体、计算机操作智能体和生成式 UI 等前沿技术，是否值得采用，要由具体应用场景决定。

2.4 评估驱动开发

• Andrew Ng 认为，区分优秀 AI 系统工程师的最重要特征，是能否用纪律化的评估—错误分析循环推动开发。正确方法会随项目和阶段改变，所以它并不是套用一个固定 benchmark。
• 构建评估本身是一项深技术能力：要查看系统轨迹与输出，做探索性数据分析，并结合产品和业务理解决定测量什么。工程师需要在确定性代码评估、LLM-as-a-judge 与人工参与之间作选择，还要继续评估评估器本身。评估把“下一步试什么”从随机直觉变成可以积累证据的系统过程。

2.5 生产环境运营

• AI 软件在不可预测性、成本和延迟上都不同于传统软件。生产系统需要可观测性：跟踪真实使用表现、检测漂移，并快速响应模型失败、对抗性提示注入等安全事件。
• 回归测试与 CI/CD 会比传统软件依赖更多统计评估，测试强度应与错误风险成比例。应用规模扩大后，还要综合模型选择优化、蒸馏、微调和智能体工作流简化，在质量、成本和延迟之间作权衡。

2.6 机器学习基础

• 现代 LLM 建立在监督学习、强化学习等机器学习技术上。优秀 LLM 工程师通常也对机器学习与深度学习有一定深度；不少应用仍需要使用他人训练的模型，或者自行训练模型。
• 因此工程师要理解常见模型在准确率、训练速度和推理速度上的取舍，以及如何准备训练与评估数据。偏差—方差、错误分析和数据工程等经典概念，仍是处理不确定输出、作出系统开发决策的核心心智框架。

3. Grok 4.6 把长任务效率变成竞争点

• SpaceXAI 发布与 Cursor 合作开发的 Grok 4.6，这是一款面向长周期智能体工作的视觉语言模型，已通过 API、Grok Build 和 Cursor 向开发者开放，消费端稍后上线。它支持最多 50 万 token 的文本与图片输入，文本输出不设上限，速度约 58.4 token/秒，知识截止于 2026 年 2 月 1 日。
• 模型提供 low、medium、high、xhigh 四档推理，默认 high，并支持函数调用、网页与 X 搜索、沙箱代码执行和双倍价格的快速版本。模型家族约 1.5 万亿参数；API 每百万输入、缓存输入、输出 token 分别为 2、0.5、6 美元，超过 20 万 token 的请求价格更高，快速模式则为 4、1、12 美元。架构细节、激活参数量和训练数据方法没有完全披露。

• SpaceXAI 把提升归因于更长时间的精选数据训练、Grok 4.5 生成数据的微调，以及智能体任务强化学习。预训练使用公开、内部和授权数据，并加入为推理、高级技术概念与软件工程筛选的合成数据。Grok 4.5 还生成推理轨迹、agent harness 以及 STEM、软件工程和知识工作任务示例，模型过滤器先剔除有缺陷样本。强化学习环境覆盖 GPU 内核优化、网站构建与计算机辅助设计。
• 独立榜单显示，Grok 4.6 high 在 Artificial Analysis Intelligence Index 得 61 分、每任务 0.84 美元，与 GPT-5.6 Sol max 并列第三；前代 Grok 4.5 high 为 56 分、每任务 0.36 美元。它在 GPQA Diamond 得 94.9%，在 Terminal-Bench 2.1 得 88.4%，排在 GPT-5.6 Sol xhigh 的 89.5% 与 Claude Opus 5 max 的 89.1% 之后。
• 在需要数千文件、多轮协作的 AA-Briefcase 上，Grok 4.6 high 得 1,577 Elo，仅次于 Claude Opus 5 max 的 1,715；它用大约一半轮次、四分之一输入 token 达到结果。GDPval-AA v2 上得 1,746 Elo，落后 Claude Opus 5 的 1,849；银行智能体 𝜏³-Bench 上通过率 50.7%，仅次于 Qwen3.8-Max 的 51.3%。
• Cursor 与 SpaceX 的合作最终变成并购。Cursor 使用 SpaceX 的 Colossus 超级计算机训练模型，数据与算力很快把 Grok 4.3 在 Intelligence Index 的 38 分提升到 Grok 4.5 的 56 分。约 600 亿美元全股票收购于 8 月 14 日完成；三天后 Cursor 又推出面向智能体高代码产量的 Origin 代码托管服务。新闻的关键不再只有发布时的 benchmark，而是每项任务的成本与轮次：同 token 价下，轮次减半会直接改变哪些应用有经济可行性。

4. Claude 水印把内容透明与误判风险绑在一起

• Anthropic 将为 2026 年 8 月 2 日之后发布的所有 Claude 模型，在全球部署不可见、机器可读的生成内容标记，以满足欧盟《AI 法案》。文本采用数字水印，编辑图片则在元数据中加入凭证；新模型立即适用，现有模型逐步加入。
• 文本方法基于 Google 研究者 2024 年发布的 SynthID-Text。模型生成句子时，经常要在多个低风险词语之间选择；秘密的随机“种子生成器”会轻微推动某些用词，形成之后可由评分函数检测的统计模式。Anthropic 计划提供 API，返回提交文本与秘密密钥水印匹配的概率。
• 概率信号不是 AI 生成的确定证据，水印与 C2PA 都可能出现假阴性；人写内容如果被 AI 总结、翻译、压缩或与合成内容混合，也可能带上信号。Anthropic 声称水印不会降低质量、不会对读者可见、不增加 token 与价格，也不含可追溯到具体用户的信息。
• 水印可在复制粘贴和部分编辑后保留，但大幅改写、转述，或图片格式转换剥离元数据，可能让它消失。代码与确定性文本的水印较少，因为 2 + 2 = 的下一字符只能是 4；不过存在非唯一选择的代码和注释仍会加入信号。Claude 不直接生成图片，但编辑或用代码生成的图片会加入 C2PA 加密签名；它不修改内容本身，任何支持 C2PA 的软件都能读取来源凭证。
• 反对者担心输出质量、隐私、错误指控与检测的不完整。一些 Claude 用户声称取消订阅，尽管 Anthropic 没观察到可测量的增长。用户担心仅用 Claude 编辑过的消息、准确的法律文件也可能被说成完全由 AI 生成；跨模型转写可剥离水印，一家公司的检测器也识别不了其他 LLM。还有批评认为，Anthropic 可能把水印用于指控竞争对手复制或蒸馏模型。
• 支持者则认为透明度有助于减少学术作弊、抄袭，并防止模型在不知情的情况下继续用合成内容训练，降低偏差放大与模型坍塌风险。欧盟《AI 法案》第 50 条要求文本、图片、音频和视频等生成内容带机器可读标记，OpenAI、Google、Meta 与 Microsoft 等公司也签署了自愿透明度实践守则。尚未解决的问题是：不同公司会采用什么技术，以及只在欧盟实施还是像 Anthropic 一样全球实施。

5. Qwen3.8-Max 首次开放 Max 级权重，但能力并不完整

• 阿里巴巴在 8 月 2 日发布 Qwen3.8-Max：一款 2.4 万亿参数、面向长周期编程与知识工作的视觉语言模型；一周内又开放 Qwen3.8-Max 与较小的 Qwen3.8-27B 权重。这是 Qwen Max 级模型第一次提供可下载权重，但 Max 开放版仅支持文本输入输出，也没有完整的 100 万 token 上下文。
• API 版支持文本、图片、视频输入，最多 100 万 token；文本最多输出 13.1 万 token，推理 token 最多 26.2 万，速度约 77.6 token/秒。架构是混合注意力的 MoE Transformer，总参数 2.4 万亿，每 token 激活 950 亿，约占 4%。它支持 none、low、medium、xhigh 推理，默认 xhigh，并保留推理文本、提供函数调用、结构化输出、前缀补全和上下文缓存。

• 阿里尚未发布技术报告或模型卡，只说明模型从 Qwen3.5 演进而来。它从预训练开始就联合处理文本与图片，不是给已训练语言模型外挂视觉编码器，因此能够在规划、执行和验证时检查渲染结果。阿里还推出 QwenWork 智能体 harness。
• 强化学习环境沿三条轴扩展：任务长度从单次到多日，工作区从单文件到层级文件夹，harness 则覆盖不同工具、版本和已安装技能。奖励系统会执行代码，按 rubric 判断文本与渲染图片，并用智能体检查结果；数据平衡器控制每批任务类型、难度和 harness 组合。
• Qwen3.8-Max 权重采用自定义许可：月活超过 1 亿或月收入超过 2,000 万美元要署名；基于它提供模型服务或编程助手且年收入超过 5,000 万美元，需要另行取得许可。Qwen3.8-27B 则保留完整能力，采用 Apache 2.0。
• Intelligence Index 上，Qwen3.8-Max reasoning 得 58 分、每任务 1.13 美元，比 Qwen3.7-Max 的 47 分、0.54 美元提高 11 分，综合第五、开放权重模型第二。在 𝜏³-Banking 得 51.3%，当时所有模型第一；GDPval-AA v2 得 1,739 Elo，仅落后 Claude Opus 5 的 1,846 与 Claude Fable 5 的 1,743。WebDev Code Arena 得 1,667 Elo、第四，Vision Arena 得 1,301 Elo、第二。27B 版综合约 52 分，是能在消费级机器本地运行的最强模型之一。
• 提升伴随更高 token 消耗，所以低 token 单价没有自动变成最低任务成本。开放权重仍增加了自托管、第三方托管和更严格隐私条款的选择；但 2.4 万亿参数使多数团队无法自行部署，现实收益更多来自托管商降价竞争和 27B 等蒸馏后代。

6. Agentic ASR 用多轮编辑替代一次性重写

• 传统语音转文字通常一次完成，因此难以修正输出。上海交通大学、浙江大学、复旦大学和微软分拆公司小冰的研究者，把自动语音识别引擎与 LLM 组合，让系统在每轮对话中尝试检测并修正转录错误，称为 Agentic ASR。

• 常见做法是让 LLM 重写 ASR 结果，但把用户纠错要求简单追加到旧转录，可能让模型从头重写并制造新错，尤其是 Megan 与 Morgan 这类非常规人名。研究者把纠错拆成三步：找到错误、理解用户真正说了什么、应用局部修复。这样 LLM 更像编辑，而不是重写者。
• 系统先由 Qwen3-ASR-1.7B 给出语音转录，再由 Qwen3-32B 结合已有转录细化。LLM 把新输入分为三种意图：确认当前文本、新增内容、纠正已有内容。确认和新增不会改动旧文；纠正则定位片段，理解“我说的是 Megan，不是 Morgan”之类意图，再应用编辑。
• 由于现有多语言 ASR benchmark 没有用户纠错样本，作者用 LLM 和文本转语音模拟“口述—纠错”过程，并提出 S²ER，测量没有保留说话者意图的转录比例。Qwen3-32B 依据标准转录判断语义是否失败。研究比较第 0 轮与交互 10 轮后的结果，所有 benchmark 的语义错误都持续下降，大部分收益发生在最初几轮。
• GigaSpeech 的 S²ER 从 21.5% 降到 3.5%，字错误率只从 11.9% 小幅降到 10.4%；包含大量人名和日期的 AISHELL-NER 中，S²ER 从 19.9% 降到 2.0%，命名实体错误率从 2.4% 降到 1.2%；中英混合的 ASRU2019 中，S²ER 从 28.6% 降到 1.4%，混合错误率从 6.6% 降到 3.3%。
• 这些结果说明，很多语音界面首先需要正确理解意图，而不只是逐词正确；当每个词都重要时，多轮纠错又能自然增强稳健性。“定位哪里要改—理解改成什么—应用修改”也可能成为文档编辑、代码审查与设计迭代等交互任务的通用蓝图。

思想框架

主文先把 AI 工程定义为在不确定输出下持续作出下一步决策，再用六组能力连接模型、数据、智能体、评估、生产运营和机器学习基础。四条新闻把这张图谱具体化：Grok 4.6 说明训练数据、长任务轮次与单位任务成本共同决定模型价值；Claude 水印把合规透明与隐私、误判带到生产层；Qwen3.8-Max 展示开放权重、视觉验证、强化学习环境和许可边界；Agentic ASR 则用评估可见的多轮局部纠错，把不可靠的一次性识别变成可恢复工作流。