当今最强大的 AI 编码工具真的能处理嵌入在科学成像工作流中的深层物理吗？一个名为 Imaging-101 的新基准被构建出来以寻找答案——而至少目前，答案是明确的否定。该研究由包括陈思怡、应嘉禾、何森在内的十二位研究人员团队于 2026 年 7 月提交，将对 LLM 编码代理的基准测试置于一个核心位置：在这个领域里，数学算错的后果不仅仅是产生有 bug 的软件——而是得到在科学上毫无意义的结果。
Summary
关键要点
- Imaging-101 是一个包含57 个经专家验证的计算成像任务的基准，跨越六个科学领域，每个任务都以一篇同行评议论文为基础。
- 每个任务都遵循一个标准化的四阶段流水线：预处理、正向物理建模、反演求解器和可视化。
- 评估涵盖三个赛道——规划、函数级单元测试以及端到端重建——以探测不同的代理能力。
- 七个前沿大语言模型参与评估，暴露出超出一般编码基准所能揭示的系统性挑战。
- 研究识别出在算法选择、物理约定处理以及流水线集成方面的具体缺口，并指出面向特定领域的专用代理是未来的发展方向。
Imaging-101 实际在测试什么
计算成像位于物理学、数学和软件工程的交叉点。其核心挑战是从间接且带噪声的测量中恢复隐藏信号——比如从传感器读数重建医学图像，或从散射光中恢复结构。它支撑着各个科学学科中的定量发现，但构建一个正确的重建流水线需要深厚的领域专业知识，即便是经验丰富的领域科学家也会觉得这项工作十分繁琐。
Imaging-101 的设计初衷是对 LLM 是否能在这类工作中提供有意义的帮助进行压力测试。该基准汇集了来自六个科学领域的57 个经专家验证的任务，每个任务都以一篇同行评议论文为基础。这种“落地”非常关键：它意味着基准测试的不是抽象的编码能力，而是 AI 代理能否将真实、已发表的科学方法转化为可运行的代码。
标准化的四阶段流水线
为了让不同领域的任务具有可比性，57 个问题中的每一个都被规范化为相同的结构。这个四阶段流水线依次经过预处理、正向物理建模、反演求解器和可视化。每个阶段都有其自身的复杂性。例如，正向物理建模要求代理对信号如何被测量的物理定律进行编码——不仅要写出语法正确的代码，还要捕捉到正确的方程。随后在反演求解器阶段，代理则被要求在数学上将这一过程反向求解。
这种流水线结构是 Imaging-101 最为深思熟虑的设计选择之一。通过对工作流进行标准化，该基准可以精确地隔离出 LLM 崩溃的具体环节——是它在理解物理设置时失败了，还是在数值方法上遇到困难，抑或仅仅是无法将各阶段整合为一个连贯的端到端解决方案。
评估是如何设计的
研究团队评估了七个面向编码任务优化的最先进大语言模型。评估并未采用单一指标，而是拆分为三个不同赛道，以探测不同的代理能力。
第一条赛道测试规划——即代理在编写任何代码之前，能否正确推理出整体方案。第二条赛道使用函数级单元测试，将流水线的各个组件隔离出来，以评估细粒度的编码准确性。第三条也是最具挑战性的赛道衡量端到端重建，要求代理产出一个完整、可运行的流水线，能够从原始测量数据中真正恢复出有意义的信号。
这种三赛道设计在分析上非常精巧。一个模型可能在规划上表现良好——能清晰阐述正确的策略——但在必须将该策略落实到代码时却完全失败。将赛道分开可以让这些失败显性化，而不是被平均掩盖。
LLM 在科学成像任务中的不足之处
结果揭示出一系列系统性挑战，这些挑战是一般编码基准根本无法暴露的。研究发现中有三个问题领域尤为突出。
- 算法选择：LLM 难以为给定的物理设置选择合适的重建算法，往往会退回到通用或错误的方法。
- 物理约定处理：科学成像依赖精确的约定——坐标系、单位定义、方程中的符号约定——而模型经常在这些方面出错，从而以一种“静默”的方式破坏结果。
- 流水线集成：即便各个阶段的代码本身是正确的，将它们连接成一个可运行的端到端系统时仍会暴露出额外的失效模式。
这些发现之所以重要，是因为它们代表了一类在性质上不同于一般软件开发任务的难度。编写一个网页爬虫或排序函数并不需要理解波传播的物理学或傅里叶反演的数学，而计算成像则需要。通用编码能力与面向特定领域的科学编码之间的差距，事实证明比现有基准所暗示的要大得多。
为何这一差距在学术界之外同样重要
其影响远不止一篇研究论文。LLM 编码代理正越来越多地被定位为通用科学助手——研究人员可以用来加速新方法实现的工具。如果这些代理在处理物理约定时系统性失败，或选择了不合适的反演求解器，那么在缺乏严密人工监督的情况下部署它们，可能会在科学流水线中引入难以察觉的错误。这类错误不会抛出异常，而是悄无声息地产生错误答案。
对于那些由计算成像驱动发现的领域——从医学诊断到材料科学——这不是理论上的，而是切实存在的可靠性隐患。
前进路径：面向领域的专用代理
这项研究并未止步于问题识别。研究团队指出，技能增强型和领域专用型代理是切实可行的改进路径。这一框架暗示：无论一个通用 LLM 在传统编码任务上多么强大，当它被应用于以物理为基础的科学工作流时，都会带有结构性的局限。那些通过微调、检索增强工具或结构化技能模块等方式，专门配备领域知识的代理，才是更有前景的方向。
Imaging-101 本身则被定位为衡量这一路径上进展的基础设施。通过提供一个包含经专家验证任务和可复现评估框架的标准化基准，它为研究人员提供了一个具体目标，以提升代理在计算成像中 LLM 重建挑战上的表现。该基准以同行评议论文为基础，也意味着它反映的是实际的科学实践，而非合成的玩具问题。
无论该领域是迅速转向专用代理，还是继续依赖带有人类校正的通用模型，Imaging-101 现在都为我们提供了关于差距所在及其深度的最清晰图景。
常见问题
Imaging-101 基准的目的是什么？
Imaging-101 用于基准测试大语言模型编码代理在 57 个经专家验证的计算成像任务上的表现，这些任务覆盖六个科学领域。每个任务都被标准化为一个四阶段流水线，从而可以系统性地评估 AI 代理在科学成像工作流中成功与失败的环节。
Imaging-101 中的计算成像流水线由哪些阶段组成？
该流水线由四个阶段构成：预处理、正向物理建模、反演求解器和可视化。每个阶段都代表着一个独立的技术挑战，从对物理测量定律进行编码，到从带噪声数据中重建隐藏信号。
LLM 编码代理在评估中遇到了哪些挑战？
被评估的模型在三个主要方面存在困难：为给定的物理设置选择合适的算法、正确处理诸如坐标系和符号定义等物理约定，以及将各个流水线组件集成到一个可运行的端到端重建系统中。
针对计算成像中 LLM 编码代理的未来改进有哪些建议？
研究提出，技能增强型和领域专用型代理是切实可行的前进路径。研究人员认为，与其依赖通用模型，不如使用配备领域特定知识和结构化能力的代理，它们更适合应对科学成像流水线的需求。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”Imaging-101 基准的目的是什么？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Imaging-101 用于基准测试大语言模型编码代理在 57 个经专家验证的计算成像任务上的表现，这些任务覆盖六个科学领域。每个任务都被标准化为一个四阶段流水线，从而可以系统性地评估 AI 代理在科学成像工作流中成功与失败的环节。”}},{“@type”:”Question”,”name”:”Imaging-101 中的计算成像流水线由哪些阶段组成？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”该流水线由四个阶段构成：预处理、正向物理建模、反演求解器和可视化。每个阶段都代表着一个独立的技术挑战，从对物理测量定律进行编码，到从带噪声数据中重建隐藏信号。”}},{“@type”:”Question”,”name”:”LLM 编码代理在评估中遇到了哪些挑战？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”被评估的模型在三个主要方面存在困难：为给定的物理设置选择合适的算法、正确处理诸如坐标系和符号定义等物理约定，以及将各个流水线组件集成到一个可运行的端到端重建系统中。”}},{“@type”:”Question”,”name”:”针对计算成像中 LLM 编码代理的未来改进有哪些建议？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”研究提出，技能增强型和领域专用型代理是切实可行的前进路径。研究人员认为，与其依赖通用模型，不如使用配备领域特定知识和结构化能力的代理，它们更适合应对科学成像流水线的需求。”}}]}
本文在人工智能的协助下完成，并由编辑团队进行审核。
