HomeSenza categoria在区块链电信反欺诈控制中,大型语言模型无法胜过更廉价的机器学习模型

在区块链电信反欺诈控制中,大型语言模型无法胜过更廉价的机器学习模型

一个新的研究框架正在突破区块链电信反欺诈控制的设计边界,远远超越传统的检测器级别分类,迈向在运营上更有用的方向:可审计的、策略驱动的决策管理。这项由 Mohammad Shojafar 撰写并提交至 IEEE Transactions的研究指出,仅仅知道一个请求是否看起来像欺诈只是问题的一半。网络真正需要的是一个系统,能够决定如何处理该请求、记录每一次决策,并证明这一过程被正确执行。

关键要点

  • 该框架将电信和物联网反欺诈重新定义为与区块链相连的可审计决策管理,而不仅仅是欺诈分类。
  • 一个确定性的硬欺诈闸门会在任何 AI 模型对请求进行评分之前,拦截所有超出边界的请求。
  • 三种风险评分来源——集中式机器学习(M1)、联邦元学习(M2)以及 LLM 家族模型(M3)——负责处理非硬欺诈请求。
  • 在验证数据上,M1 的合法请求误报率为 0.0890,软欺诈召回率为 0.8341,在三者中达到了最佳平衡。
  • 经过 QLoRA 微调的 LLM(M3)接近但未能超越 M1,尽管其计算成本显著更高。

面向电信和物联网反欺诈控制的区块链关联框架

该框架的出发点直接挑战了行业当前对欺诈的思维方式。大多数电信欺诈研究交付的是一个检测器——一个输出标签的模型。但真正的部署需要更多:每一个进入的请求都需要一个策略决策、一个已确定的动作,以及一个能够经受审计的可追踪生命周期。这个框架正是为弥补这一缺口而构建。

将反欺诈控制重构为可审计的决策管理

该框架并未将欺诈检测视为一个孤立的分类任务,而是将每一条合成部署记录映射为一个受管请求。每个请求都经过一个流水线,最终以一个被记录的决策而非仅仅一个分数结束。审计轨迹运行在本地的兼容以太坊的区块链层上,使每一次决策的结果都具备防篡改性和可验证性。这是核心概念上的转变:从将欺诈检测视为输出,转向将欺诈控制视为受治理的过程。

对于电信和物联网运营商而言,这一区别具有现实意义。围绕可解释性和审计就绪度的监管压力正在整个行业中不断增加。一个无法提供可追溯理由却不断做出决策的系统,将越来越难以满足合规要求,无论其底层模型有多准确。

针对越界请求的确定性硬欺诈闸门

在任何机器学习模型介入之前,该框架会应用一个确定性的硬欺诈闸门。落在既定运营边界之外的请求会被立即拦截,而不会被打分。这样的设计使计算资源集中用于真正存在歧义的案例,并避免让概率模型去为那些显然超出范围的请求打分。

多模型风险评分与策略决策

一旦请求通过硬欺诈闸门,它就会进入一个多模型评分阶段。三种不同的风险来源会对该请求进行评估,它们分别代表了在准确性、成本和隐私之间不同的权衡点。

集中式机器学习、联邦元学习与基于 LLM 的风险评分

三种评分来源分别是:M1,一个集中式机器学习集成模型;M2,一个为分布式物联网环境设计的联邦元学习模型;以及 M3,一个包含 QLoRA 微调变体在内的大语言模型家族。每一种来源都被单独校准,但它们最终都输入到同一个下游策略决策机制中。联邦元学习的引入直接回应了物联网场景中的隐私担忧,在这些场景中,训练数据往往无法在不引发监管问题的情况下集中化。

以兼容以太坊审计层为基础的共享五状态策略与双区域细化

在评分完成后,动作会通过一个共享的五状态策略以及双区域细化机制来确定。该结构防止每个模型各自使用私有的决策逻辑——相反,三种来源都被映射到同一个策略空间,这使得跨模型比较具有意义,并保持审计轨迹的一致性。每一个已确定的动作随后都会被记录在兼容以太坊的区块链层上,区块链遥测会在整个生命周期中跟踪 gas 消耗、成本、延迟和吞吐量。

从这些遥测数据中得到的一个显著发现是:不同场景下 gas 成本和延迟的差异,主要由提交的链下决策配置驱动,而不是由欺诈逻辑本身的变化所致。这意味着,在该系统中进行运营成本优化,既是一个数据工程问题,也是一个模型工程问题。

使用合成数据进行性能评估

训练数据与部署回放语料库

评估方法区分了两个不同的数据环境。模型训练使用的是为模拟真实电信和物联网欺诈模式而生成的合成数据。在部署条件下的测试则使用一个独立的100,000 条记录的部署回放语料库——这是对训练环境与线上环境之间流量漂移的受控模拟。这种区分是刻意为之。它使研究能够在无需访问真实网络流量的情况下,衡量当数据分布发生变化时模型性能如何退化

Shojafar 明确指出了这对解读结果的意义:该研究构成的是受控漂移回放证据,而不是现场验证或可在真实环境中部署的证明。这种透明度在方法论上是诚实的,对于任何考虑将该框架用于生产环境的人来说都非常重要。

模型性能指标与对比

在验证数据上,M1 提供了整体上最强的平衡表现。其合法请求误报率为 0.0890——略低于 0.10 的运行上限——而软欺诈召回率达到 0.8341。这些数字代表了在避免对合法流量产生误报的同时,仍能捕获大多数软欺诈案例的最干净组合。

部署回放结果则呈现出更为复杂的图景。在数据漂移条件下,各模型之间的合法请求误报率差距显著扩大。M1 的误报率上升到 0.1646,而 M3-QLoRA 则达到 0.1801。经过 QLoRA 微调的 LLM 确实相较其基础版本有了显著提升——M3-Base 的合法请求误报率为 0.3915——并在回放中实现了 0.8240 的软欺诈召回率。但尽管取得了这些进展,M3-QLoRA 仍无法在更低计算成本的前提下持续优于 M1。

这一结果是该研究在实践中最重要的发现。通过 QLoRA 微调的大语言模型在欺诈评分方面变得可运营——从几乎不可用的零样本形态,提升到真正具有竞争力——但它们尚未跨过这样一道门槛:其额外成本能够被优越的性能所正当化。在当前条件下,M1 仍然是更高效的选择。

运营洞见与研究局限

区块链遥测与决策配置影响

区块链遥测分析增加了一层纯模型基准测试无法提供的运营智能。通过监控不同决策配置下的生命周期 gas、成本、延迟和吞吐量,该框架揭示:链上性能更多地由链下决策结构的方式所塑造,而非由产生这些决策的欺诈逻辑本身所决定。这一洞见对任何在大规模设计兼容以太坊审计系统的人都有直接启示:优化工作应当更早地在流水线中展开。

作为受控漂移回放证据的研究范围

该研究自我界定的范围值得认真对待。这个包含 100,000 条记录的回放语料库提供了一个严格且可复现的评估环境,但它刻意避免声称与真实网络条件等同。合成训练分布与真实电信流量之间的漂移仍然是一个未解变量。该框架的确定性硬欺诈闸门也引发了关于其对新兴或此前未见欺诈模式覆盖范围的疑问——这些类别从定义上讲,可能无法与现有边界定义精确对应。

这项研究令人信服地建立起的是一种参考架构:一种可复现的方法,将多模型评分、基于策略的动作决策以及区块链支撑的可审计性整合到一个统一治理的系统之下。该架构能否在真实生产负载和不断演化的欺诈战术面前站得住脚,则是只有真实世界部署——以及后续研究——才能回答的问题。

常见问题

所提出的框架如何处理越界欺诈请求?

该框架通过一个确定性的硬欺诈闸门,在任何 AI 模型对请求进行评分之前,拦截明确的越界欺诈请求。

哪些 AI 模型用于对非硬欺诈请求进行评分?

非硬欺诈请求通过三种风险来源进行评分:集中式机器学习集成模型(M1)、联邦元学习(M2),以及包含 QLoRA 微调变体在内的 LLM 家族模型(M3)。

兼容以太坊的区块链在该框架中扮演什么角色?

它作为本地审计层,记录每一个已确定的动作,并跟踪生命周期中的 gas、成本、延迟和吞吐量。动作通过共享的五状态策略和双区域细化机制来确定,从而确保整个决策生命周期的可追踪性和可审计性。

在欺诈检测中,经过 QLoRA 微调的 LLM 是否优于集中式机器学习集成模型?

没有。经过 QLoRA 微调的 LLM 接近但未能在合成评估指标上超越成本更低的集中式机器学习集成模型(M1)。尽管 M3-QLoRA 相较其零样本基础版本有了显著提升,但在当前测试条件下,M1 仍保持更佳的成本—性能平衡。

{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”所提出的框架如何处理越界欺诈请求?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”该框架通过一个确定性的硬欺诈闸门,在任何 AI 模型对请求进行评分之前,拦截明确的越界欺诈请求。”}},{“@type”:”Question”,”name”:”哪些 AI 模型用于对非硬欺诈请求进行评分?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”非硬欺诈请求通过三种风险来源进行评分:集中式机器学习集成模型(M1)、联邦元学习(M2),以及包含 QLoRA 微调变体在内的 LLM 家族模型(M3)。”}},{“@type”:”Question”,”name”:”兼容以太坊的区块链在该框架中扮演什么角色?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”它作为本地审计层,记录每一个已确定的动作,并跟踪生命周期中的 gas、成本、延迟和吞吐量。动作通过共享的五状态策略和双区域细化机制来确定,从而确保整个决策生命周期的可追踪性和可审计性。”}},{“@type”:”Question”,”name”:”在欺诈检测中,经过 QLoRA 微调的 LLM 是否优于集中式机器学习集成模型?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”没有。经过 QLoRA 微调的 LLM 接近但未能在合成评估指标上超越成本更低的集中式机器学习集成模型(M1)。尽管 M3-QLoRA 相较其零样本基础版本有了显著提升,但在当前测试条件下,M1 仍保持更佳的成本—性能平衡。”}}]}

本文在人工智能的协助下完成,并由编辑团队进行审阅。

Satoshi Voice
本文在人工智能的支持下完成,并由我们的记者团队审核,以确保准确性和质量。
RELATED ARTICLES

Stay updated on all the news about cryptocurrencies and the entire world of blockchain.

Featured video

LATEST