根据一项于 2026 年 11 月 2 日提交的研究,通过修订指令,使用 LLM 进行法律信息抽取的准确率从52% 提升到了 70%。
但Tomáš Knap及其同事还发现了一个令人不安的事实:模型与自己“意见一致”,并不保证它抽取得到了正确答案。
目录
从刑事判决到结构化数据集
研究人员提出了一条将刑事判决转化为结构化数据集的流水线。这些裁决记录了犯罪行为,可为定量法律研究提供数据支持。
但有一道障碍:为整理这些信息所需的属性和抽取规则,并不总能事先确定。
该方法结合了三个步骤:属性探索、文本片段抽取和值规范化。整个过程由标注说明(annotation instructions)引导,法律专家不断参与优化这些说明。
基于 LLM 的法律信息抽取:以交通违法为例
该研究检验了两类罪名:酒驾(DUI, driving under the influence)和在禁驾令下仍驾驶(DDB, driving despite a ban)。结果表明,指令的清晰度与准确率及各方的一致性密切相关。
在 DUI 案件中,正确抽取的数值比例在指令修订后从52%升至 70%。在这一调校完成后,人类标注者之间也更容易达成一致。
一致性不等于正确性
在重复实验中,出现了另一种差异:同一模型在多次运行中的回答彼此之间更相似,却与用于对照的参考标注(gold)存在更大差异。
因此,在研究人员看来,一致性和正确性必须区分开来:反复得到相同的结果,并不能证明那个结果就是正确的。
标注者之间以及不同模型之间的分歧,有助于暴露那些不够清晰的指令。
在 DDB 案件中,指令预先设定了固定类别和明确的输出格式。在那项评估中,大多数属性上的一致性都很高。
内容在人工智能的协助下完成,并经过人工编辑审核。




