导语
这是一份按原视频顺序整理的原序精读稿。主持人从嘉宾正在建设的“token 工厂”问起，随后依次追问后台智能体、GPU 软件、专用芯片、Transformer、数据、数据中心、电力、组织与开源模型。嘉宾 Neil 的主张贯穿始终：若不再把实时延迟当作唯一目标，就能从软件、异构芯片、分布式机房和间歇能源中回收大量被浪费的算力，把智能变成更便宜、更充裕的商品。
1. “token 工厂”的目标，是让智能成为丰裕商品
- 主持人先要求嘉宾直说产品。Neil 把公司描述为“token 工厂”：通过 API 为客户运行开源大语言模型，同时托管可持续数小时、数天甚至数周的智能体沙箱。他追求的不是小幅降价，而是市场上最低且有显著差距的单位 token 成本。
- 他承认 token 不是最终的工作单位。未来更可能按结果衡量：智能体自行分配推理预算、调用工具并多次尝试，客户购买的是任务完成，而 token 数变成依任务而定的变量。但在当下，单位 token 成本仍是最清楚的北极星指标。
- 他的“丰裕”假设是：一种东西便宜 10 倍，就可能催生新的产品类别；机器已经能够思考，下一步应让尽可能多的机器参与思考，并让更多行业付得起。
2. 真正的新市场不是更快聊天，而是长时间后台工作
2.1 开源模型与长时程智能体共同打开缺口
- 第一股顺风来自开源模型。企业越来越在意“拥有自己的智能”：保留权重、部署权和主权，不必担心单一供应商撤回能力。此前的开源推理商大多被 Cursor 等客户拉向低延迟服务；但长时程智能体兴起后，100 token/秒未必必要，10 token/秒也可能够用。
- 主持人质疑人总想要更快回答。Neil 的回应是：等待时当然越快越好，关键是不要让人等待。最好的延迟是“没有延迟”——夜间任务在用户起床前完成。若人每五分钟就要提示和检查智能体，人反而成为瓶颈；理想协作应更接近管理同事，以天或周为检查周期。
- 他用具体速度说明目标差异：面向人的实时产品会追求约 100 tokens/秒，后台任务即使只有约 10 tokens/秒也可能足够。用户若每 5 minutes 就介入一次，系统优化的仍是交互等待；若把任务放到夜间，偶尔慢几分钟不会改变结果，调度器就能优先追求每美元完成的总工作量。
2.2 测试时计算让后台需求不再受人类注意力限制
- Neil 把转折归因于测试时计算扩展：给智能体更多时间，它能得到更好的答案。较新的模型已经可以稳定工作约一小时，平均任务长度仍在增加。他预计后台与实时工作负载可能先接近 50/50，长期再走向约 90/10，主导权转向后台任务。
- 这个方向在约 2 years 前主要还是理论，直到较新的模型显示出更长任务能力才变得可以下注。他不敢断言今天的智能体能持续数天，却认为从几分钟增长到一小时已足以外推；当主持人问 3 years 后的市场份额时，他给出的核心理由不是某个精确预测，而是后台消费摆脱了人类注意力上限。
- 背景智能体的需求近乎无上限，因为它不占用人的注意力。深度研究可以遍历 1 万乃至更多来源，持续维护互联网索引；网络安全智能体可以用不同模型和不同攻击方法反复测试代码。前沿能力并非整齐嵌套，小模型可能找到大模型遗漏的漏洞，因此安全越来越像“工作量证明”：投入多少推理预算，决定测试有多彻底。
- 对个人而言，便宜推理可让类似 Siri 的助手持续理解一天的邮件、短信与行为，并主动呈现下一步；对科学和软件这类可验证问题，成本可能从数百万美元下降到数千、数百甚至数十美元。真正的解锁条件，是允许系统在无法预先保证回报时也消耗 token。至于写作质量、艺术美感等不可验证任务，Neil 仍把判断留给人类品味。
- 主持人沿着这个愿景追问：若模型能从一个高层问题出发，自行追完所有后续问题，人类是否只受限于“能问出什么”和 token 预算。Neil 基本同意，但加上一条边界：软件、数学证明和一部分科学发现能被验证，适合用机器大规模尝试；审美任务尚无同样明确的评分函数，不能因算力便宜就假装已解决人类品味。
3. 第一层降本从软件开始：让 GPU 回到吞吐量的“快乐路径”
3.1 NVIDIA 教会他的，是追逐硬件“光速”
- Neil 在大学期间进入 NVIDIA，从 GPU kernel（运行在 GPU 上的底层程序）和 Tensor Core 做起。Tensor Core 专门加速矩阵乘法；2015—2016 年，NVIDIA 看到研究生用游戏 GPU 训练深度学习模型，开始争取把宝贵的芯片面积从图形功能分给机器学习。第一代分配可能只有约 5%—10%，但这次早期下注后来成为核心优势。
- 当时经理会去规模尚小的 ICML、NeurIPS 等机器学习会议做笔记：研究者为什么拿游戏卡训练模型？这个看似边缘的使用方式是否值得“再点开看一层”？芯片团队必须与图形业务竞争有限的裸片面积；错误下注意味着整代产品失去别的功能，所以早期 Tensor Core 能进入设计，并非事后看来那样理所当然。
- 软件团队的文化是追逐“光速”：不以竞争对手为标尺，而是逼近芯片理论上能达到的频率和每周期运算量，逐个击破瓶颈。Neil 也把这一标准带进自己的团队。NVIDIA 长期留住顶尖并行计算工程师，同时又十分节俭；他记得员工喝咖啡用的牛奶都要每月交一美元加入“牛奶俱乐部”。
- 他把这种节俭放在 2008 年后硅谷削减福利的背景里讲：不少 2015—2016 年与他共事的人至今仍在 NVIDIA，把并行计算视为一生的工作。访谈用“极强留任 + 极端性能文化 + 日常节俭”解释为什么公司能跨过多代芯片，把一次早期押注积累成系统优势。
3.2 低延迟像私家车，高吞吐量像公交车
- GPU 天生适合一次接收大量工作并保持计算单元满载，但聊天机器人要求尽快把答案交给键盘前的人，使系统偏向低延迟。批处理能把多个用户的请求并行装进 GPU，提高总吞吐量，却让单个请求随整批工作一起走更长路径。主持人把它总结成私家车与公交车：前者直达，后者服务更多人、单位成本低，却会停站。
- 这种权衡不是营销选择，而是系统结构：小批量可以给单一请求留出直接路径，大批量则让更多计算单元同时有活干，却增加每个请求随批次移动的工作与等待。要同时拿到最低延迟和最高吞吐并不现实，产品必须先决定服务对象究竟是等在屏幕前的人，还是可以异步完成的智能体。
- NVIDIA 的 NVLink 可让最多约 8 块 GPU 分担一次矩阵乘法，显著压低最低延迟，但通信开销使它无法获得线性加速：使用 8 倍硬件，也许只快 4—5 倍。Neil 更愿意采用专家并行或流水线并行，隐藏通信时间，以总吞吐换取更好的经济性。
- 他的第一步不是制造新芯片，而是在现有 NVIDIA GPU 上造出“最好的公交车”：让长时程任务形成大批量，使芯片持续运行在高利用率区域。
4. 专用芯片速度极高，但 KV cache 迫使系统走向异构
4.1 片上 SRAM 与片外 DRAM 各有不可替代的优势
- 主持人把问题转向 Cerebras、Groq 等低延迟硬件。它们大量使用片上 SRAM，距离计算单元近、带宽可达 PB/s 级，但占硅面积大、容量有限。DRAM 依靠需不断刷新的电容存储，速度较慢，却能通过 HBM 堆叠提供数百 GB 容量；例如访谈所谈的 Blackwell 配置可达约 288 GB HBM，而片上 SRAM 约数百 MB。
- Cerebras 绕过单颗芯片约 800 平方毫米的光刻限制，把整片晶圆上的单元连起来，以约 50 GB SRAM/晶圆和约 21 PB/s 的带宽追求上千 token/秒。但模型不只存静态权重，还要保存会随对话增长的 KV cache。
- Neil 进一步解释存储物理：常见 SRAM 用稳定的 6T 晶体管单元保存比特，靠近逻辑、无需周期性刷新，却很占面积；DRAM 把电荷写入电容，电荷持续泄漏，控制器大约每 50 milliseconds 刷新一次。Micron、SK Hynix 与 Samsung 因此发展出与逻辑芯片不同的专门工艺。SRAM 提供速度，DRAM/HBM 提供密度，二者不是同一条轴上的简单优劣。
4.2 KV cache 把“快”和“容量”重新拆开
- KV cache 保存每个已进入上下文的 token 表示，是对当前会话动态知识的记录，长对话中甚至可能比模型权重更大。模型虽然标称可支持 20 万或 100 万 token，上下文训练却多集中在 8000 或 16000 token 左右，因此上下文越长并不保证同等智能，用户仍会在达到上限前主动压缩对话。
- 用原字幕中的量级来说，一次对话走到 100,000 tokens 后，第 100,001 个 token 仍需参考前面的动态状态；扩展到 200,000 tokens 或 1 million 上下文时，存储与质量压力都会放大。KV cache 是“精确保存过去”的机器表示，但模型并未在同等比例的超长对话上训练，所以容量存在不代表有效推理质量恒定。
- Neil 因此把超高速芯片看作加速器，而非完全替代 GPU：片上存储提供速度，片外内存提供容量。Transformer 的多层感知机部分在大批量下偏计算受限，注意力部分在长上下文下偏内存受限；把两类负载放在同一芯片，本就是架构张力。未来更可能让专用芯片承载权重计算，让 GPU 等设备承载注意力与长上下文。
5. Transformer 会继续存在，数据则转向可验证环境
- 主持人追问 2017 年 Transformer 的意义。Neil 认为它擅长从任意序列里找模式，注意力允许每个 token 动态选择与哪些先前 token 建立关系。它最大的优势不只是语言表现，而是可扩展：参数可以从计算机视觉时代的千万、上亿级一路增长到万亿级，并适配几乎任何序列数据。
- Transformer 像“海绵”，投入 10 倍计算仍能得到可测的改进；全连接注意力虽然昂贵，却保证任意 token 对之间的关系都有机会被发现。在还不知道如何可靠剪枝之前，这种通用性仍很难替代。
- Neil 把这条扩展史与计算机视觉连接起来：旧式线性模型往往只有数千参数，深度视觉网络上升到数千万，最大的视觉模型曾到约 150 million parameters；Transformer 又把规模推到 trillions of parameters。它先用过参数化证明数据中的关系可被学习，再通过压缩寻求泛化，这延续了计算机视觉时代的经验。
- 数据的路径却在变化。互联网曾提供一次性补贴：大约 30 万亿个高质量文本 token，若放宽标准约 300 万亿，但模型已反复看过。普通用户偏好反馈的价值也在下降，更需要专家反馈。
- 访谈把这两个量级明确说成约 30 trillion tokens 与约 300 trillion tokens：前者是较严格的高质量文本估计，后者包含更宽泛的可用材料。重点不在精确边界，而在一次性免费语料已接近被遍历完；随机人类偏好也不再天然高于模型判断，新的高价值数据必须来自专家或可自评分的任务过程。
- 下一阶段的“数据”是强化学习环境：给模型编码、数学或计算机操作等困难且可验证的任务，让它自行行动，并由环境持续判分。Neil 的更强判断是，通用智能可能来自不断叠加专门能力；只要任务可验证，就具备自我改进配方。前沿实验室把预算从购买静态数据转向建设 RL 环境，也支持了这一方向。
6. kernel、整机架与多种芯片构成第二轮软件红利
- 访谈回到现有硬件。FlashAttention 等 kernel 已是现代 Transformer 的基础，但模型若改变位置编码等细节，原有实现就可能不适用；把矩阵乘法与后续加法融合成一个 kernel，还能避免数据反复写入和读取 DRAM。
- AI 已开始参与 kernel 工程。团队先在白板上完成概念设计，再用自然语言把输入、输出和调度策略交给模型执行。Neil 预计模型会很快让 kernel 编写趋于普及，因此长期壁垒不只是单个软件技巧，而是持续发现新的系统瓶颈。
- 主持人问，人类为何还在亲手做这种高度可验证的优化。Neil 预计大约 6 months 后模型会明显更强，前沿实验室可能已自动化许多 kernel 工作。团队不必训练一个只会写 kernel 的专用模型，因为通用编码模型能力上升会“抬高所有船”；人类暂时更适合在白板上决定机器应做什么，再让模型完成底层实现和试错。
- 当 GPU 做大规模矩阵乘法时，实际利用率可能达到理论峰值的 70%—80%，最终受电力和散热限制；浪费更多发生在芯片没有持续处于这条“快乐路径”的时候。因此编程单位正从单颗 GPU 扩展到整机架、集群和数据中心。NVIDIA 的 NVL72 和 Grace Blackwell 300 把 72 个单元作为机架系统交付，谁能最有效地调度整架计算，成为新的竞赛。
7. “没有坏芯片，只有坏价格”：异构算力是一场执行速度套利
- 顶级 Blackwell 芯片极度稀缺，分配不仅取决于报价，也取决于长期关系和买方信用。Neil 不愿只与资金最雄厚的实验室竞价。他认为 AMD、TPU、Trainium 以及 Etched、Tenstorrent、d-Matrix 等新架构都可能有位置；芯片互联弱，不代表每美元浮点运算能力差，只是需要不同的并行和服务方式。
- 他的团队优势是愿意迅速围绕新芯片重建软件栈，并在异构服务系统中找到比较优势。市场把某款芯片视为“次等”、供应商没有充分优化 kernel，反而意味着更大的价格与效率空间。
- 主持人担心半导体在标普 500 市值中的占比已从历史上的约 2%—4% 升至约 19%—21%，像周期顶部。Neil 将今天与 2000 年前后的网络设备泡沫区分：当年的容量建设更具投机性，今天的推理 token 被购买后立刻产生价值；2023—2024 年的训练投资仍带有投机色彩，但推理支出更接近持续增长的真实使用。
- Neil 说自己与其是历史研究者，不如说是历史参与者：他出生于 1997 年，母亲在 2000 年泡沫前后供职 Intel，亲历 Cisco 曾成为全球最有价值公司、Intel 紧随其后的时代。约 25 years 后，他认为最大的差异在需求验证：当年的网络设备等待未来用户，今天购买的推理计算立即被消耗，token 无法像库存一样囤积。
8. 小型数据中心、低可用性和间歇能源拼成“拾荒者”网络
8.1 推理不需要把所有机器塞进一座巨型机房
- 训练需要高速互联和高度集中，推理却可分散。美国建设 1 吉瓦乃至 100 兆瓦数据中心越来越困难，10 兆瓦也接近现实边缘，而 1 兆瓦资源相对丰富；液冷又能把约 1 兆瓦计算压缩到大约 8 个冰箱大小的机架中。
- Neil 愿意购买全球任何地方、任何时长、任何芯片的容量，再通过控制平面编排。小机房可省掉柴油发电机、多路光纤和昂贵冗余，甚至只有 95% 可用率。对传统云服务，这是致命缺陷；对运行数小时的后台智能体，单次故障只意味着把任务迁移到另一块 GPU，多等几分钟，而用户往往正在睡觉。他愿意牺牲第 99 百分位延迟，换取不可比拟的成本。
- 他把可用性理解为近似线性价格，而非跨过某条门槛才有价值：98% 比 95% 好，99% 又更好，但 95% 不等于零。控制平面只要避免多个地点相关故障，就能把请求搬到别处。代价会集中到 P99 latency（第 99 百分位延迟）上；这对实时应用难以接受，对持续一小时的异步任务却只是局部停顿。
8.2 可中断工作负载让太阳能和风能变得可用
- 同一逻辑可延伸到能源。太阳能与风能因间歇性通常不适合作为数据中心基荷，但若工作负载能容忍数天乃至数周停机，系统就可以预测天气、提前迁移任务，利用别人不愿触碰的电力。芯片足够便宜时，部分设备闲置的资本成本也可以接受。
- Neil 将其称为“拾荒者策略”：先拾取被低估的芯片，再拾取不稳定的电力，以许多微型钢厂式节点组成总量庞大的工厂，而不是复制一家巨型一体化钢厂。创始人的冲动是从软件、芯片、数据中心到发电全部自建；CEO 的现实选择则是先做高杠杆软件，与既有专家合作，等规模足够后再“赢得”纵向整合的权利。
9. 最大浪费不只在模型，而在内存和全球调度
- 若给现代稀疏专家模型更多浮点运算，它通常能有效利用；前沿模型一次可能只激活约 1% 的专家，因此计算本身未必是最大浪费。更明显的技术缺口在注意力与 KV cache：每个 token 仍可能占用数 KB，缓存熵远未证明这些存储“物有所值”。DeepSeek 等研究每年取得数量级压缩，说明仍有很大空间。
- 更大的系统浪费是全球算力编排。NVIDIA 一年可能交付约 500 万颗 Blackwell，但许多 GPU 进入私有池后长期闲置。相比再从芯片里榨取几个百分点，把分散、闲置的机器组织成共享资源，可能带来更直接的供给扩张。
- 访谈用 xAI 集群作对照：即便外界嘲笑大型集群的总浮点利用率，世界其余地方往往更差，大量 GPU 躺在仓库或被锁进单一客户的私有资源池。对 Neil 而言，物理上已制造却未运行的芯片意味着硅、封装和电力已经付出，调度失败却让这部分社会成本没有产生智能。
- 晶圆厂也可暴露更多权衡。制造线上最好与最差芯片性能差异很大，厂商投入成本收紧工艺角；但异构推理商也许愿意接收较差芯片，再按其特性与廉价电力配对。单独扩张 TSMC、HBM 或封装产能只会把瓶颈推到下一环，必须围绕裸片成本、供给、电力与部署位置联合优化。
- 这也解释了为什么“多造 100 倍芯片”不是独立答案：晶圆增加后可能立刻撞上 HBM、先进封装、电网或机房瓶颈。厂商为让最差与最好裸片表现接近而增加工艺控制，但推理商若能为较差裸片安排合适任务，也许能少付这部分标准化成本，把原本会被判作 reject 的产出变成可用供给。
10. 公司文化、开源扩散与“万亿 token”愿景完成收束
- 公司文化延续 NVIDIA 的“光速”观，但不把机器当前状态当作固定边界。团队记录每个瓶颈，既反馈给供应商，也把它变成未来采购和芯片设计的长期知识。招聘最看重好奇心、对每一微秒性能的热爱，以及既能当学生又能当老师；CUDA 年限反而不是关键，因为工具五年内就会巨变。
- “学生兼老师”的标准来自团队日常：许多成员大学时做过助教，频繁参加白板讨论，把局部优化转成可传递知识。Neil 不要求 10 years CUDA 经验，因为五年前的 GPU 与今天已大不相同；能否持续追问每一个 microsecond 去了哪里，比既有工具履历更能抵抗三年后的自动化变化。
- 谈到闭源与开源，Neil 认为前沿实验室为领先 3—6 个月支付巨大溢价，这在当下可能合理；但企业升级速度通常慢于半年。即便不主动抓取闭源模型输出，GitHub 上越来越多由 AI 生成、再由用户公开的代码也会形成“潜在蒸馏”，能力扩散难以阻止。开源领导者即使退出，也会有新参与者填补真空。
- 他希望未来拥有“丰裕 token 与多样化 harness（智能体运行框架）”：每家公司乃至每个用户都能拥有并定制自己的智能。目标甚至是每人每天消耗 1 万亿 token；按当时 OpenAI 定价，这至少价值约 500 万美元，因此需要把成本降低 3—6 个数量级。Neil 相信需求不会消失，真正短缺的是让普通人进入这种智能的产品入口。
- 他的非共识硬件判断包括：为绕开 HBM 短缺，把更多 KV cache 卸载到闪存；针对每秒 1—10 token 的后台服务重新设计模型和系统；先进制程的单位功耗提升没有舆论想象中夸张，因此即使供应链受地缘政治冲击，西方工艺的差距可能也只是约 2 倍，而非无法承受。
- 模型架构的一个看似细小决定，会改写整套硬件：稠密或稀疏注意力改变内存访问，把训练数据类型从 BF16（原字幕记为 B16）换到 FP8、FP4 又改变可用芯片与吞吐。推理商处在模型实验室下游，只能预测 OpenAI、Anthropic 等会怎样设计，再提前选择软件与硬件；这也是他持续研究 MLP、MoE（混合专家）和注意力负载边界的原因。
- 给计算创业者的建议，是先回答 TSMC 晶圆、HBM、先进封装和电力这 3—4 个供应瓶颈，选择一个尖锐优势，绕开 NVIDIA 难以改变的均衡设计。至于 NVIDIA 为何不直接卖 token，他认为 Jensen Huang 的克制恰是优势：不与客户竞争，让多家云和推理商相互竞争、共同制造 NVIDIA 需求。
- 他尤其认为 HBM 是值得攻击的瓶颈：内存厂商经历过多轮周期，不会轻易承担无限资本开支，短缺可能传导到手机等其他产品，使设备减配或涨价。创业公司若只是做另一块“均衡 GPU”很难胜出；必须围绕一处供应约束做出尖锐、可解释的架构取舍，并说明怎样获得晶圆、内存、封装和电力。
思想框架
访谈先从廉价 token 的产品愿景与后台智能体需求出发，把“速度”拆成低延迟与高吞吐两种目标；随后沿软件、GPU、专用芯片、内存、Transformer 和训练数据逐层解释成本结构。中段回到推理供应链，通过异构芯片、小型分布式数据中心、低可用性和间歇能源构造“拾荒者工厂”；后段再把视角扩展到全球算力调度、晶圆制造、组织文化与开源扩散。最终的论点是：AI 降本不是等待单点奇迹，而是改变工作负载后，把每一层原本因延迟、可靠性和标准化假设而闲置的资源重新组合起来。
