多年来，对抗虚假信息的斗争本质上一直被视为一个内容问题——识别虚假文章、标记被篡改的图片、驳斥错误的说法。但凌伟（Lingwei Wei）在 2026 年 7 月 11 日发表的一篇新研究论文指出，大语言模型驱动的虚假信息已经完全超出了这种框架。威胁不再只是糟糕的内容，而是被攻陷的系统。
Summary
关键要点
- LLM 已经把虚假信息从一个内容层面的问题，转变为一种针对社会语境、证据来源和核查流程的生态系统级安全挑战。
- 一个新的角色-层级框架将 LLM 在四个层级中划分为攻击者、防御者或易受攻击组件：内容、社会语境、证据环境和核查工作流。
- 关键的开放挑战包括：从静态检测准确率转向有预算约束的生态系统级风险评估，加固核查流程以抵御对抗性操纵，以及部署可审计的人类参与（human-in-the-loop）系统。
- 仅靠自动化检测已不再足够——人类参与的核查被认为是实现可信现实世界虚假信息防御的关键。
- 论文指出，在管理 LLM 威胁方面存在若干尚未被当前研究解决的开放问题。
从内容中心到生态系统级安全挑战
过去对抗虚假信息的模式假定：只要你能足够快地识别并移除虚假内容，问题就可以被控制。魏的论文打破了这一假设。当大语言模型被滥用时，它们不仅仅是生成虚假内容——它们可以攻击虚假信息防御所依赖的整个基础设施。
这意味着风险远远超出假新闻文章或合成媒体。LLM 可以被武器化来腐蚀社会语境，污染证据来源，操纵事实核查者使用的检索语料库，并破坏那些本应抓住虚假信息的核查工作流本身。攻击面已经被大幅扩展。
这种转变之所以重要，是因为大多数现有防御措施都是围绕一个更简单的问题构建的。过滤器、分类器和检测系统被设计用来捕捉有害内容，它们并未被设计成可以防御这样一种对手：这种对手能够悄无声息地削弱这些系统所信任来源的可靠性。
角色-层级框架解析
为了理解这些相互交织的威胁，魏提出了一个角色-层级框架——一种结构化的思考方式，用来界定 LLM 在虚假信息生态系统中的位置，以及每种位置带来的危险。
角色维度：攻击者、防御者与易受攻击组件
框架的角色维度捕捉了当前 AI 发展阶段中的一个根本性模糊性：同一项技术可以同时处于三种截然不同的位置。一个 LLM 可以作为攻击者，在大规模上生成或放大虚假信息；也可以作为防御者，帮助检测和核实说法；还可以是一个易受攻击的组件——本身就是容易被对抗性操纵的系统。
这种三重身份不仅在理论上有趣，更具有现实意义。这意味着，部署一个基于 LLM 的检测系统，并不会自动让你的核查流程更安全。执行核查的工具本身也可能成为攻击目标。
层级维度：四个暴露层次
层级维度描绘了这些角色发挥作用的地形。该框架涵盖四个不同层级：内容、社会语境、证据环境和核查工作流。每一层都代表着虚假信息可以被播种、放大或逃避检测的不同路径。
内容层面的攻击最为显眼。但对社会语境的操纵——塑造信息在社群和网络中的传播方式——更加隐蔽，也可能更持久。证据环境攻击则瞄准事实核查者和自动化系统在评估说法时所依赖的语料库。而核查工作流攻击则针对流程本身，在那些本应揭示真相的过程中引入错误或盲点。
LLM 支持的攻击与防御失效之处
在这一框架的指导下，论文对已知的LLM 支持的攻击进行了梳理，并审视了当前检测方法最易暴露的环节。分析发现，以 LLM 为中心的检测范式自身也带有脆弱性——鉴于整个领域在多大程度上依赖 AI 驱动的核查工具，这一发现尤为重要。
瞄准社会语境和核查流程的攻击向量
论文指出，一些最具影响力的攻击向量根本不是直接针对内容本身。一个能够微妙地篡改检索语料库的对手——也就是核查系统在核实说法时查询的数据库——可以让该系统在从未直接接触被核实内容的情况下，给出错误结论。同样地，通过操纵信息在社会中的分发方式，可以影响哪些内容会被送去事实核查，从而制造有效的盲区。
这些并非纯粹的假设，而是对 LLM 已有能力的合乎逻辑的延伸，只不过应用对象变成了那些在这些能力大规模出现之前就被设计出来的系统。
以 LLM 为中心的检测中的脆弱性
论文对检测脆弱性的分析尤为尖锐。依赖 LLM 来核实信息的系统，会继承这些模型的弱点。那些专门设计来利用模型语言或推理模式的对抗性输入，可能会让检测系统漏掉人类审查者一眼就能发现的问题。流程越自动化，其失败模式就越一致——也就越容易被利用。
这是论文最有力的分析贡献之一。它迫使人们重新审视这样一种假设：向核查系统中加入更多 AI 就一定会让它更稳健。在某些配置下，它反而可能变得更加脆弱。
防御策略与开放挑战
论文回顾了现有针对 LLM 支持的虚假信息攻击的对策，但更重要的贡献也许在于指出这些对策尚无法应对的部分。三大开放挑战尤为突出。
超越静态检测准确率
当前的虚假信息检测基准通常衡量的是静态准确率——即系统在固定测试集上的表现。但这一指标无法反映系统在对手主动探测其弱点时的表现，也无法体现当其所依赖的证据环境被攻陷时性能如何退化。向有预算约束的生态系统级风险评估转变，意味着不仅要评估系统是否给出正确答案，还要评估它在崩溃前能承受多少对抗性压力，以及这种崩溃的代价是什么。
这是一个更难的问题，需要不同类型的研究基础设施，也需要承认没有任何检测系统是在静态环境中运行的。
加固核查流程以抵御对抗性操纵
包含 LLM 的核查流程需要被视为安全关键基础设施，而不仅仅是软件工具。论文将加固这些流程以抵御对抗性操纵视为一个独立且尚未得到充分重视的挑战。这意味着要在真实攻击场景下对其进行压力测试，而不仅是良性使用场景，并构建不依赖任何单一组件绝对可信的冗余机制。
人类参与核查的必要性
也许论文中最具影响力、同时又最难以完全自动化的建议，是部署可审计的人类参与核查系统被视为实现可信现实世界虚假信息防御的关键。论文并非认为人类不会犯错——事实并非如此——而是认为人类监督能够带来问责，引入对抗性输入难以预测的推理过程，并为那些纯自动化系统随时间积累的系统性失败模式提供一道防线。
在这里，审计性与准确性同等重要。一个能给出正确输出却无法解释其推理过程的系统，在对抗性环境中很难被信任、改进或防御。正是“可审计”这一点，使得人类参与的方法成为真正的结构性防御，而不仅仅是流程上的打勾项。
论文最终留下的开放问题是：如何在现代信息环境所要求的规模上，将这些原则真正落地。找出适合虚假信息防御的架构，与在异构平台、多种语言和多样化对抗环境中真正部署这一架构之间的鸿沟，仍然是该领域最顽固、尚未解决的问题之一。
常见问题
大语言模型如何改变了虚假信息挑战的性质？
LLM 已经将虚假信息从一个内容层面的问题扩展为更广泛的生态系统级安全挑战。当被滥用时，它们可以攻击社会语境、证据来源、检索语料库和核查工作流——也就是虚假信息防御所依赖的整套基础设施。
论文中提出的角色-层级框架是什么？
这是凌伟（Lingwei Wei）提出的一个框架，用来将 LLM 在核查系统中的角色划分为攻击者、防御者或易受攻击组件——即角色维度——并在四个层级上进行考察：内容、社会语境、证据环境和核查工作流——即层级维度。
在防御 LLM 支持的虚假信息攻击方面，主要挑战有哪些？
论文指出了三大关键开放挑战：从静态检测准确率转向有预算约束的生态系统级风险评估；加固以 LLM 为中心的核查流程以抵御对抗性操纵；以及部署可审计的人类参与核查系统，以实现可信的现实世界虚假信息防御。
为什么人类参与核查在虚假信息防御中很重要？
因为它提供了超越自动化检测能力的、可审计且可信的监督。人类参与引入了更难被对抗性输入预测的问责和推理过程，而审计则确保系统输出可以被审视、质疑并随时间不断改进。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”大语言模型如何改变了虚假信息挑战的性质？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”LLM 已经将虚假信息从一个内容层面的问题扩展为更广泛的生态系统级安全挑战。当被滥用时，它们可以攻击社会语境、证据来源、检索语料库和核查工作流——也就是虚假信息防御所依赖的整套基础设施。”}},{“@type”:”Question”,”name”:”论文中提出的角色-层级框架是什么？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”这是凌伟（Lingwei Wei）提出的一个框架，用来将 LLM 在核查系统中的角色划分为攻击者、防御者或易受攻击组件——即角色维度——并在四个层级上进行考察：内容、社会语境、证据环境和核查工作流——即层级维度。”}},{“@type”:”Question”,”name”:”在防御 LLM 支持的虚假信息攻击方面，主要挑战有哪些？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”论文指出了三大关键开放挑战：从静态检测准确率转向有预算约束的生态系统级风险评估；加固以 LLM 为中心的核查流程以抵御对抗性操纵；以及部署可审计的人类参与核查系统，以实现可信的现实世界虚假信息防御。”}},{“@type”:”Question”,”name”:”为什么人类参与核查在虚假信息防御中很重要？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”因为它提供了超越自动化检测能力的、可审计且可信的监督。人类参与引入了更难被对抗性输入预测的问责和推理过程，而审计则确保系统输出可以被审视、质疑并随时间不断改进。”}}]}
本文在人工智能的协助下完成，并由编辑团队进行审阅。
