《AI 的网络数据基础设施：模型为何需要实时网页数据》

导语

这篇 MIT Technology Review Insights 的赞助内容讨论 AI 基础设施的新瓶颈：模型越来越强，但企业真正需要的是能持续取得新鲜、相关、可信的网页数据。文章把网页数据访问描述成一个正在形成的基础设施层：它要帮助模型发现、访问、整理和治理不断变化的公共网络信息。

1. AI 的下一阶段依赖新的网络数据基础设施层

AI 应用每天都在增加，但企业要利用这些能力，必须拥有大规模数据。现实问题是，很多相关信息被访问限制挡住，或者以非结构化形式散落在网页里，模型难以直接使用。文章指出，网页本来不是为自动发现和检索而设计的；要让 AI 应用可靠使用网页，就需要专门基础设施。

2. 访问新鲜、相关、可信的数据

2.1 静态训练快照已经不够

• 早期 AI 突破主要来自训练数据和模型规模扩张，但企业现在遇到的新瓶颈，是如何跟上动态、非结构化、持续变化的网页数据。AI 输出越来越依赖计算、网络、检索和数据工程的组合能力，也就是系统快速可靠取得新鲜、相关、可信数据的能力。
• 传统训练依赖某个时间点收集的信息快照。对需要追踪竞争对手价格、消费者情绪、市场趋势的企业来说，静态数据已经不足够。它们需要持续的新信息流，还要带着相关上下文进入模型。