当多个 AI 模型相互交互时，它们最终会达成一致，还是会漂移进各自孤立的回音室？这个问题正处于关于语言模型共识新研究的核心位置，在这项研究中，谁与谁对话的结构被证明远比人们原先假设的要重要得多。
Summary
要点总结
- 研究人员在开放权重语言模型群体中研究了从11 亿到 320 亿参数规模的模型，通过命名游戏协议来衡量共识以及惯例和小团体的形成。
- 同质阈值相似性路由通过切断模型之间跨“盆地”的接触，放大了碎片化。
- 寻桥路由可以修复碎片化，但前提是模型保留过去交互的记忆。
- 在一个混合的四模型网格中，阈值相似性路由在189 次运行中都未产生共识；在 18 次保留记忆的运行中，基于桥的路由在其中 14 次恢复了共识。
- Qwen2.5-32B 在所有 18 个保留历史、充分混合的设置中都实现了稳定的行为和状态共识。
开放权重语言模型群体中的共识动力学
在一个AI 代理群体中达成一致并非自动发生。研究人员 Samer Saab Jr 和 Chaouki Abdallah 着手精确研究开放权重语言模型在被置于结构化多智能体环境中时，是如何以及是否会在共享惯例上收敛。他们的发现揭示了一个系统：决定是否产生共识或崩溃为碎片化的，是交互图本身，而不仅仅是模型能力。
所分析语言模型的范围与规模
该研究涵盖了从11 亿到 320 亿参数的开放权重语言模型群体——这一范围覆盖了当前研究社区中部署和研究的相当一部分模型。研究并未聚焦于单一架构，而是考察这些模型群体在集体层面上的行为，探究共享惯例能否通过反复交互有机形成。
这种群体层面的框架非常重要。大多数 AI 研究将模型视为在固定基准上评估的孤立系统。在这里，模型是社会动态中的参与者，每个代理从交互中“学到”的东西可以在群体中传播——也可能无法传播。
用于共识测量的命名游戏协议
为了精确测量共识，研究人员采用了命名游戏协议，这一框架借鉴自对代理群体中语言涌现的研究。通过在分词器安全标签上限制首 token 分数，该方法捕捉由提示条件化的分数状态分布——本质上是在跟踪每个模型在任意时刻“倾向于”什么，而不仅仅是它在表面上输出了什么。
这种对表面输出与潜在状态的区分在分析上非常重要。两个模型可能产生相同的标签，却并未真正共享相同的内部倾向——这是一种掩盖更深层分歧的表面一致。
方法框架：状态相似图与路由策略
该研究的方法核心在于将模型说出的内容与其内部表征分离开来，然后分析交互结构如何塑造这两者。
状态相似图的构建与用途
状态相似图正是为此而构建：区分采样标签的一致性与潜在状态空间的共识。这使研究人员能够识别出这样一些情形：在表面上，一个群体看起来已经收敛——因为模型在产生相同的标签——但在内部表征层面却依然是碎片化的。与简单的输出匹配相比，这是一种更精细的诊断工具，也改变了在这一语境下“共识”的含义。
同质阈值相似性路由对碎片化的影响
研究中最尖锐的发现之一涉及阈值相似性路由，这是一种将模型连接到状态相似伙伴的策略。直觉上，这听起来合理——相似的模型应该更容易沟通。但在实践中，它产生的却是与凝聚力相反的效果。
同质阈值相似性路由删除了跨“盆地”的接触，这意味着属于不同状态空间簇的模型从不交互。结果是碎片化被放大：簇内部不断强化自身状态，同时彼此之间越漂越远。群体不会收敛——而是钙化为彼此孤立的小团体。
作为碎片化修复机制的寻桥路由
与之相对的对策是寻桥路由，它有意在状态空间鸿沟之间连接模型，而不是在鸿沟之内。当模型保留以往交互的记忆时，这种方法往往可以修复由基于相似性的路由所造成的碎片化。该修复机制依赖于记忆的存在——如果没有保留历史，即便是寻桥路由也会失去大部分纠偏能力。
关于路由与共识形成的实验结果
混合四模型网格中阈值相似性路由的失败
实验数据非常鲜明。在一个三随机种子、混合四模型网格——即组合不同类型模型的设置中，阈值相似性路由在 189 次设置-种子运行中都未产生最终的行为或状态共识。是零。按一种天真的理解，本应鼓励“兼容模型彼此对齐”的路由策略，反而阻止了在整个实验范围内形成任何稳定的一致。
这一结果的影响超出了实验室。随着多智能体 AI 系统在真实部署中越来越常见，那种“相似的代理应该与相似的代理对话”的隐含假设，可能在系统性地适得其反。
通过带记忆的状态组件与标签分歧桥实现共识恢复
在这一背景下，基于桥的策略表现尤为突出。状态组件桥和标签分歧桥——即跨越分歧而非回避分歧的路由连接——在 18 次保留记忆的运行中，有 14 次恢复了最终的行为共识。条件很明确：必须保留记忆。当交互历史被保留时，跨状态空间的桥就能发挥作用；当历史不被保留时，这一机制的有效性就大打折扣。
保留历史对碎片化动力学的一般影响
在同质模型群体——由同一模型类型构成的群体——中，保留历史通常会将碎片化的动力学推向共识。这并非保证，而是一种倾向：保留过去交互的记录，为模型构建共享惯例提供了基础，而不是让每次交流都从零开始。
其含义具有实践性。构建多智能体语言模型流水线的系统设计者面临着关于记忆的真实架构选择。这项研究表明，为了减少算力而剥离上下文，可能带来一个隐性代价：降低群体自组织的能力。
Qwen2.5-32B 模型实现稳定共识
最清晰的单模型结果来自 Qwen2.5-32B。该模型在所有 18 个保留历史、充分混合的设置中都达成了稳定的行为和最终状态共识——这一一致表现使其在研究中脱颖而出。相比之下，对于同一模型，阈值相似性路由在 189 个设置中都未达到任何形式的共识，这进一步凸显：驱动结果的是路由策略，而不仅仅是模型能力。
研究还指出，图能量特征在网格内部提供了有用的早期诊断——这可能成为在碎片化根深蒂固之前进行检测的宝贵信号，也有助于监测一个模型群体是在趋向一致还是趋向分化。
为何交互图不是实现细节
更广泛的结论与多智能体 AI 系统设计中的一个常见假设相悖：交互图——谁被路由到谁——只是次要的工程问题，从属于模型质量和提示设计。这项研究则提出了相反的观点。运行时的交互图会主动塑造一个模型群体是收敛还是碎片化，而这一点独立于单个模型的性能。
同质路由虽然直观，却系统性地阻止了共识所需的跨“盆地”接触。寻桥路由结合记忆保留，则恰好相反。这两种结果之间的差距——189 次失败运行对比 18 次中 14 次成功——并非边缘差异。它表明，在任何以多个语言模型之间达成一致为目标的系统中，路由架构都应被视为一等设计变量，而不是事后考虑。
常见问题
这项关于语言模型的研究主要关注什么？
该研究聚焦于开放权重语言模型群体（规模从 11 亿到 320 亿参数）中的共识与小团体形成，考察交互结构和路由策略如何决定模型是会在共享惯例上收敛，还是会碎片化为彼此孤立的群体。
路由策略如何影响这些模型群体中的共识形成？
同质阈值相似性路由通过删除模型之间的跨“盆地”接触来增加碎片化，而寻桥路由在保留记忆时可以修复碎片化。在决定是否产生共识方面，路由策略的选择被证明比模型能力本身更为关键。
保留交互历史对共识有何影响？
保留历史通常会将碎片化的动力学推向共识，尤其是在同质模型群体中。记忆保留是寻桥路由发挥效用的必要条件，移除记忆会显著降低模型群体围绕共享惯例自组织的能力。
哪一个模型展现出最稳定的共识行为？
Qwen2.5-32B 模型在所有 18 个保留历史、充分混合的设置中都稳定地实现了行为和状态共识，使其成为研究中观察到的最清晰的稳定共识行为示例。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”这项关于语言模型的研究主要关注什么？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”该研究聚焦于开放权重语言模型群体（规模从 11 亿到 320 亿参数）中的共识与小团体形成，考察交互结构和路由策略如何决定模型是会在共享惯例上收敛，还是会碎片化为彼此孤立的群体。”}},{“@type”:”Question”,”name”:”路由策略如何影响这些模型群体中的共识形成？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”同质阈值相似性路由通过删除模型之间的跨“盆地”接触来增加碎片化，而寻桥路由在保留记忆时可以修复碎片化。在决定是否产生共识方面，路由策略的选择被证明比模型能力本身更为关键。”}},{“@type”:”Question”,”name”:”保留交互历史对共识有何影响？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”保留历史通常会将碎片化的动力学推向共识，尤其是在同质模型群体中。记忆保留是寻桥路由发挥效用的必要条件，移除记忆会显著降低模型群体围绕共享惯例自组织的能力。”}},{“@type”:”Question”,”name”:”哪一个模型展现出最稳定的共识行为？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Qwen2.5-32B 模型在所有 18 个保留历史、充分混合的设置中都稳定地实现了行为和状态共识，使其成为研究中观察到的最清晰的稳定共识行为示例。”}}]}
本文在人工智能协助下完成，并由编辑团队进行审核。
