对于一个没有大脑的系统来说，“阅读”和“写作”意味着什么？研究员 Diego Saldaña Ulloa 在 arXiv 上发表的一项新研究认真对待了这个问题——而研究结果揭示了一个关于大型语言模型如何处理阅读和写作与人类大脑相比真正引人注目的发现。
Summary
要点总结
- 在人类大脑中，阅读和写作是通过不同神经通路运行的双重可分离系统；其中一个受损并不必然损害另一个。
- 仅解码式 LLM（如 GPT-2、OPT 和 Pythia）通过单一自回归路径同时处理输入和输出，将大脑中本应分离的功能纠缠在一起。
- 纠缠指数 E 介于 0.23 和 0.35 之间，表明未绑定模型在阅读和写作编码上存在部分但非完全的共享。
- 在各个词频十分位上，输出编码的漂移距离大约是输入编码的 3.2 倍，暗示在共享机制内部存在非对称的专门化。
- 在所有 12 个非退化测试模型中，理解与生成之间的行为耦合在统计上显著（p < 0.001），与大脑的模式完全相反。
人类大脑中阅读与写作的不同神经系统
在具备读写能力的人类大脑中，阅读和写作并不共享同一套神经机制。它们作为双重可分离系统运行——也就是说，每一种能力都可以被选择性损害而不影响另一种。纯失读症患者会失去阅读能力，而写作能力保持完好；纯失写症患者则失去写作能力，而阅读能力得以保留。这些临床综合征对应于两条可识别的神经通路：负责阅读的腹侧解码通路，以及负责写作的额顶编码通路。这两个系统只共享一个部分的正字法核心。
这种分离并不是神经学上的奇观，而是反映了由进化和发育塑造的架构，在其中，不同的认知需求雕刻出了不同的神经解决方案。毕竟，阅读是一种文化发明的技能——人类只在几千年间才开始练习它——但大脑已经部分挪用并改造了既有的神经回路来服务这一功能。
大型语言模型中统一的阅读与写作机制
LLM 采取了根本不同的路径。在大脑进行分离的地方，仅解码式大型语言模型则进行合并。像 GPT-2、OPT 和 Pythia 这样的模型，通过单一自回归前向传播同时驱动输入处理和输出生成。不存在类似腹侧阅读通路或额顶写作通路的结构等价物——只有一条路径，在海量文本上进行端到端优化。
用指数 E 测量纠缠程度
为了精确量化这条共享路径在多大程度上将阅读和写作纠缠在一起，Saldaña Ulloa 提出了一个范围从 0（完全独立编码）到 1（完全绑定）的纠缠指数 E。该指数通过三种几何度量——CKA、Procrustes 残差以及互为 k 近邻——比较输入侧的阅读编码与输出侧的写作编码。研究使用独立初始化的下限和完全绑定的上限来校准量表，使这一指标具有真实的解释基础，而非任意单位。
跨 LLM 的读写纠缠经验分析
研究对六个模型家族中的九个探针进行了分析——GPT-2、OPT、Pythia（参数规模从 1400 万到 14 亿不等），以及 T5、BERT 和 RoBERTa。其中六个探针整合了先前已确立的发现，另外三个则直接引入了新的读/写纠缠分析。
定量发现：低于上限的纠缠与编码漂移
对于未绑定模型——即输入和输出嵌入矩阵不被强制相同的模型——纠缠指数落在E = 0.23 到 0.35之间。这个区间远高于独立下限，证实存在真实的耦合，但又从未达到完全绑定权重所产生的上限。编码是共享的，但并未完全融合。
还存在一个值得注意的不对称性。在每一个词频十分位上，输出编码的漂移距离大约是输入编码的3.2 倍。在这一共享机制中，写作一侧似乎比阅读一侧对词频更加敏感——在名义上属于同一系统的内部，出现了细微但可测量的分化。
理解与生成之间的行为耦合
表征层面的图景在行为层面上得到了呼应。在所有 12 个非退化模型中，理解和生成性能是正向耦合的——在某一任务上表现良好的模型往往在另一任务上也表现良好。符号检验表明这并非随机：p < 0.001。这与人类神经科学的发现正好相反，在人类中，这两种能力可以而且确实会干净地解离。
编码器-解码器模型：表征分离，相同行为模式
人们或许会预期，编码器-解码器架构——在物理上将输入和输出处理分离到不同模块中——会打破这种行为耦合。但事实并非如此。像 T5 这样的模型在表征分离得分上可以达到0.96，几乎在权重空间中完全解开阅读和写作编码。然而在行为上，理解和生成仍然保持正向耦合。表征结构上的独立性并没有转化为性能上的独立性。
这是该研究在分析上最具意义的结果之一。它表明，LLM 中的耦合并不仅仅是共享嵌入权重的结果。更深层的因素——可能是模型在同一文本目标上进行训练的方式——使得阅读和写作性能无论在架构如何分配表征的情况下都被锁定在一起。
几何—行为鸿沟
进一步强化这一结论的是，研究报告了几何编码相似性与行为耦合之间的零相关：ρ = 0.00。模型在权重空间中阅读和写作表征的相似程度，并不能告诉你其阅读和写作性能是否会相关。这两个分析层面——几何与行为——在方向上是一致的，但除此之外彼此独立。
启示：人类与 LLM 读写架构的分歧
综合来看，这些发现将大型语言模型定位为一种真正不同的认知架构——不是人类大脑的数字近似，而是研究中所谓“可能心智空间”中的另一个点。与人类阅读和写作的类比有助于提出问题，但其机制并不同源。
这种区分对于我们如何理解 LLM 的能力与局限性至关重要。当一个模型难以改写它似乎已经“理解”的文本，或者生成的流利文字歪曲了输入内容时，错误的根源未必是任何直观意义上的处理失败。这可能反映了一个结构性后果：将大脑中本应分离的功能折叠进单一纠缠的前向传播——一种几乎不可避免地生成行为耦合的设计。
研究对自身范围界定得很清楚。此处分析的模型规模最高为 14 亿参数，作者也公开报告了其零结果：在数据中，几何到行为的桥梁根本不存在。更大或结构不同的模型是否会呈现不同的纠缠模式，仍是一个开放的经验问题——而随着 AI 系统被部署到假定阅读理解与文本生成是独立且可评估技能的场景中，这一问题变得愈发紧迫。
常见问题
人类大脑中的阅读和写作过程有何不同？
它们作为双重可分离系统，通过不同的神经通路运行：阅读依赖腹侧解码通路，写作依赖额顶编码通路。对其中一条通路的损伤——如在纯失读症或纯失写症中——可能让另一条通路在很大程度上保持完好。
大型语言模型如何处理阅读和写作？
仅解码式 LLM 通过单一自回归路径同时处理阅读（输入解码）和写作（输出编码）。这种架构将大脑中由不同神经系统承担的功能纠缠在一起。
本研究中的纠缠指数 E 测量的是什么？
它在 0（独立）到 1（完全耦合）的量表上量化 LLM 中输入（阅读）与输出（写作）编码之间的重叠程度。本研究中的未绑定模型得分介于 E = 0.23 与 E = 0.35 之间——显著高于独立下限，但尚未达到完全耦合。
编码器-解码器模型是否完全分离了阅读和写作表征？
在表征层面上，编码器-解码器模型非常接近这一目标——分离得分最高可达 0.96。但在行为层面，即便在这些架构中，阅读和写作性能仍然保持正向耦合，这表明耦合比单纯的权重空间几何更为深层。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”人类大脑中的阅读和写作过程有何不同？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”它们作为双重可分离系统，通过不同的神经通路运行：阅读依赖腹侧解码通路，写作依赖额顶编码通路。对其中一条通路的损伤——如在纯失读症或纯失写症中——可能让另一条通路在很大程度上保持完好。”}},{“@type”:”Question”,”name”:”大型语言模型如何处理阅读和写作？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”仅解码式 LLM 通过单一自回归路径同时处理阅读（输入解码）和写作（输出编码）。这种架构将大脑中由不同神经系统承担的功能纠缠在一起。”}},{“@type”:”Question”,”name”:”本研究中的纠缠指数 E 测量的是什么？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”它在 0（独立）到 1（完全耦合）的量表上量化 LLM 中输入（阅读）与输出（写作）编码之间的重叠程度。本研究中的未绑定模型得分介于 E = 0.23 与 E = 0.35 之间——显著高于独立下限，但尚未达到完全耦合。”}},{“@type”:”Question”,”name”:”编码器-解码器模型是否完全分离了阅读和写作表征？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”在表征层面上，编码器-解码器模型非常接近这一目标——分离得分最高可达 0.96。但在行为层面，即便在这些架构中，阅读和写作性能仍然保持正向耦合，这表明耦合比单纯的权重空间几何更为深层。”}}]}
本文在人工智能协助下完成，并由编辑团队进行审阅。
