《Reddit 评论如何轻易操纵 AI 搜索答案》

导语

这篇 404 Media 报道围绕 Cornell University 的预印本研究展开，说明 AI 搜索和深度研究代理为什么容易被 Reddit、Quora、Wikipedia 等用户生成内容污染。文章的重点不是“网上有垃圾内容”这个老问题，而是：当 ChatGPT 和 Google AI search 把公共讨论当作检索依据时，极短的、有针对性的文字也可能改变 AI 给用户的答案。

1. 13 个词就可能污染 AI 代理

Cornell 研究者 Hal Triedman、Tingwei Zhang 和 Vitaly Shmatikov 的论文题为 “Deep-research agents can be poisoned via user-generated content”。研究发现，短到 13 个词的 user-generated content（用户生成内容）就常常足以影响 ChatGPT、Google AI search 等工具背后的 deep research agents（实时检索和引用网页的代理）。

这些代理会在回答用户问题时抓取并引用网络内容。研究发现，它们在约一半查询中会引用 Reddit 或 Wikipedia 等用户生成内容，近四分之一引用来自用户生成网站。这意味着 AI 搜索的答案并不只受模型训练影响，也受公共网页上极小、极易伪造的文本片段影响。