跳至正文
  • BTC $57,920 −6.2%
  • ETH $1,642 −6.1%
  • SOL $68.27 −5.2%
  • BNB $525.66 −7.9%
  • XRP $0.8967 −6.0%
  • DOGE $0.0532 −6.6%
  • ADA $0.1394 −5.9%

使用大型语言模型进行法律信息抽取的准确率从52%提升到70%

根据2026年11月2日提交的一项研究,在修订指令后,使用大型语言模型提取法律信息的准确率从52%提高到了70%。但Tomáš Knap及其同事也发现了一个令人不安的事实:一个与自己答案前后一致的模型,并不能保证它提取出了正确的答案。从刑事判决到…

estrazione informazioni legali con LLM

根据一项于 2026 年 11 月 2 日提交的研究,通过修订指令,使用 LLM 进行法律信息抽取的准确率从52% 提升到了 70%。

但Tomáš Knap及其同事还发现了一个令人不安的事实:模型与自己“意见一致”,并不保证它抽取得到了正确答案。

从刑事判决到结构化数据集

研究人员提出了一条将刑事判决转化为结构化数据集的流水线。这些裁决记录了犯罪行为,可为定量法律研究提供数据支持。

但有一道障碍:为整理这些信息所需的属性和抽取规则,并不总能事先确定。

该方法结合了三个步骤:属性探索、文本片段抽取和值规范化。整个过程由标注说明(annotation instructions)引导,法律专家不断参与优化这些说明。

基于 LLM 的法律信息抽取:以交通违法为例

该研究检验了两类罪名:酒驾(DUI, driving under the influence)和在禁驾令下仍驾驶(DDB, driving despite a ban)。结果表明,指令的清晰度与准确率及各方的一致性密切相关。

在 DUI 案件中,正确抽取的数值比例在指令修订后从52%升至 70%。在这一调校完成后,人类标注者之间也更容易达成一致。

一致性不等于正确性

在重复实验中,出现了另一种差异:同一模型在多次运行中的回答彼此之间更相似,却与用于对照的参考标注(gold)存在更大差异。

因此,在研究人员看来,一致性和正确性必须区分开来:反复得到相同的结果,并不能证明那个结果就是正确的。

标注者之间以及不同模型之间的分歧,有助于暴露那些不够清晰的指令。

在 DDB 案件中,指令预先设定了固定类别和明确的输出格式。在那项评估中,大多数属性上的一致性都很高。

内容在人工智能的协助下完成,并经过人工编辑审核。

Francesco Antonio Russo

Francesco Antonio Russo的全部文章