《Reddit 评论如何轻易操纵 AI 搜索答案》

导语

这篇 404 Media 报道围绕 Cornell University 的预印本研究展开，说明 AI 搜索和深度研究代理为什么容易被 Reddit、Quora、Wikipedia 等用户生成内容污染。文章的重点不是“网上有垃圾内容”这个老问题，而是：当 ChatGPT 和 Google AI search 把公共讨论当作检索依据时，极短的、有针对性的文字也可能改变 AI 给用户的答案。

1. 13 个词就可能污染 AI 代理

Cornell 研究者 Hal Triedman、Tingwei Zhang 和 Vitaly Shmatikov 的论文题为 “Deep-research agents can be poisoned via user-generated content”。研究发现，短到 13 个词的 user-generated content（用户生成内容）就常常足以影响 ChatGPT、Google AI search 等工具背后的 deep research agents（实时检索和引用网页的代理）。

这些代理会在回答用户问题时抓取并引用网络内容。研究发现，它们在约一半查询中会引用 Reddit 或 Wikipedia 等用户生成内容，近四分之一引用来自用户生成网站。这意味着 AI 搜索的答案并不只受模型训练影响，也受公共网页上极小、极易伪造的文本片段影响。

Triedman 对 404 Media 说，在 Reddit、Wikipedia、Quora、Facebook 等 UGC 网站上，只要很短的检索文本，就能让 AI 代理相当稳定地输出 spam 或 scam 内容。这解释了 Reddit 管理员和 Wikipedia 编辑已经观察到的问题：品牌为了 AEO，也就是 AI-engine optimization，正在把促销性、虚假的内容投放到 AI 最常抓取和引用的网站上。

2. AEO 产业把社区审核推入猫鼠游戏

404 Media 此前多次报道 Reddit 和 Wikipedia 如何试图阻止 AI 生成内容进入站点，但经济激励正在制造新的猫鼠游戏。品牌希望通过在 AI 常引用的网站上种下内容，改变 AI 搜索结果；社区志愿者则要识别并删除这些内容。

文章举了两个现实背景：r/biohackers 子版块曾因为 peptide 公司投放的虚假内容过多而禁止相关讨论；RedRover 这类公司公开宣传可以在 Reddit 做品牌植入，目标就是改变 AI 搜索输出。类似问题也影响艺术家、名人和普通人，因为 AI 搜索会捡起网络上微小、不准确的片段，并把它们当事实显示出来。德国法院还裁定 Google 可能要对 AI overviews 中呈现的内容负责。

3. 为什么相似措辞特别容易骗过模型

Triedman 解释，许多 deep research agents 和大型语言模型用 lexical similarity（词面相似度）作为准确性的替代指标。换句话说，LLM 倾向返回读起来和用户问题相似的内容。做 AEO 的品牌可以研究用户向 AI 提问的方式，然后在 Reddit 上写出高度匹配这些查询的问题式或推荐式内容。

关键点在于，11 到 15 个词的片段如果和用户查询非常相似，就可能对 LLM 很有说服力。Triedman 举例说，如果有人想推广补剂，就可以识别要污染的查询，再把看起来很像这些查询的内容放到相关 subreddit；对模型来说，这种片段会显得“正好回答了问题”。

4. 研究用沙盒展示攻击，而不是污染真实网络

Cornell 研究者没有真的在 Reddit 上发布污染内容，而是通过 Reddit API 抓取内容，再在代理系统的检索层插入 poisoned content（污染内容）。他们明确说，把污染内容发布到真实网络会污染公共信息环境，在伦理上不可接受。

沙盒结果显示，即使把促销内容追加到 Reddit 评论末尾，也能改变 LLM 的回答和引用材料。例如，研究者在 r/austinfood 评论后追加推荐 Sol Azteca 的一句话，模型在用户问 Austin 附近最好的 Mexican food 时就提到 Sol Azteca，并链接到该 Reddit 帖。另一个例子是关于虚构离婚男性约会应用 SilverPath 的评论，模型在“best dating apps for divorced men over 50”查询中把 SilverPath 写成有益选择，并引用被污染的 r/OnlineDating 线程。

5. 攻击方式很笨，但正因为笨才难防

Triedman 总结说，污染 LLM 结果基本上就像在高度相关的 subreddit 中定向发帖：找到行业或产品相关的社区，用贴近热门 LLM 查询的措辞写评论，然后尽量逃过审核。他说，这些系统的攻击方式通常比人们想象得更笨、更简单。

这种简单性来自系统设计。Deep research 系统像是试图复制 10 个人同时做 Google 搜索、阅读前 10 条结果；它们把信任外包给 Wikipedia、Reddit、Quora、StackExchange 等网站的内容审核策略。可是这些网站的志愿管理员和编辑本来就在承受 AI 垃圾内容、品牌操纵和自动化账号的压力。

文章还提到 PepPal Peptide Dose Tracker 的案例：r/biohackers 管理员认为，应用创建者先用一个看似普通用户的 cholesterol 求助帖制造互动，随后编辑原帖加入应用链接，并用机器人制造特定评论序列。管理员最终删除该帖，并要求不要公然推广有利益关系的产品。

6. 这不是 Reddit 或 Wikipedia 能单独解决的问题

Zhang 说，AI 正在根本改变人们检索信息的方式，但许多 AI 搜索引擎没有充分区分来源可信度：随机 Reddit 评论和政府网站文章在模型眼中可能被近似对待。Zhang 和 Triedman 都认为，这不是 Reddit 或 Wikipedia 单独能解决的问题，而是社会层面的问题。

Triedman 提到一种极端方向：可以要求发帖前做 biometric verification（生物识别验证），或限制复制粘贴评论，但这些技术方案会越来越干扰正常网络生活。更难的是，少量文字就足以污染模型，长篇促销内容反而更容易被发现；几词追加在普通评论中，管理员很难判断它究竟是用户真实推荐，还是为了污染 LLM。

Reddit 发言人回应称，平台 20 年来一直在检测和移除 spam、bots、不真实行为、协同操纵和 astroturfing，并会要求可疑自动账号验证人类身份。但文章最后留下的问题仍然尖锐：AI 公司、平台社区和公共信息环境之间的责任边界尚未清楚，而 AI 搜索已经在把这些脆弱文本转化为用户看到的答案。

思想框架

文章先用 Cornell 研究的 13 个词污染实验说明 AI 搜索的脆弱性，再解释 AEO 产业为何把 Reddit、Wikipedia、Quora 等 UGC 网站变成品牌投喂 AI 的战场。中段通过 lexical similarity 解释机制：模型把与查询相似的文本当作相关证据，因此 Sol Azteca、SilverPath、PepPal 等例子都能以极低成本影响答案。最后，作者把问题从单次攻击提升到治理层：深度研究代理把信任外包给社区审核，但社区审核无法承担 AI 搜索的社会级责任；平台可以加强机器人和垃圾内容检测，AI 公司也必须解决来源可信度和引用污染问题。