一个小型研究团队表示，当今针对一类众所周知的计算机视觉攻击所采用的最常见防御手段，正在让一种更加隐蔽的威胁悄然溜过而不被发现。在一篇于 2026 年 8 月 11 日提交的论文中，研究人员 Dongsu Song、DaeYun GO、Boseung Seo 和 Jay Hoon Jung 指出，相比于对更简单的图像分类系统的攻击，针对语义分割系统的稀疏黑盒攻击——也就是那些在图像中为每个像素打标签、被用于自动驾驶汽车、医学成像和工业检测的 AI 模型——在很大程度上被忽视了。他们给出的答案是一种名为 SegPAR 的新方法，据称通过重新思考攻击者应如何搜索欺骗模型所需的最少像素，从而弥补了这一差距。
Summary
关键要点
- 与图像分类相比，只需要模型最终标签输出而不需要其内部分数的稀疏决策型黑盒攻击，在语义分割领域受到的研究关注有限。
- 从分类任务中借用而来的现有稀疏攻击，由于在整个图像上累积像素，导致严重的查询效率低下，很快就会耗尽攻击者被允许使用的有限查询次数。
- 提出的方法 SegPAR 引入了一个以类别为中心的探索框架，取代以整幅图像为中心的框架，并配合一种新的“差异奖励”，以避免误导性的反馈信号。
- 在测试中，SegPAR 在稀疏效率和 MIoU 降低方面显著优于黑盒基线攻击，并且在某些可以完全访问模型内部的白盒攻击面前仍保持竞争力。
- SegPAR 背后的代码已在 GitHub 上以 KAU QuantumAILab 的名义公开发布。
语义分割中稀疏决策型攻击的研究空白
针对图像分类器的稀疏决策型黑盒攻击已经被广泛研究，但尽管其具有重要的实际意义，语义分割却一直处于边缘地位。作者指出，这类威胁——攻击者只能看到模型的最终决策，而看不到其置信度分数或梯度，并试图通过修改尽可能少的像素来翻转该决策——在现实中具有真正的实用相关性，但在分割场景中仍然“研究不足”。
对稀疏威胁关注有限
语义分割模型会为图像中的每个像素分配一个标签，而不是为整张图片分配一个单一标签，这极大改变了攻击面的几何结构。研究团队指出，大多数以往的稀疏攻击技术都是围绕分类任务构建和调优的，从而在模型需要防御的是数百万个单独像素决策而非一个整体决策时，留下了这些攻击如何表现的盲区。
将分类攻击迁移到分割中的挑战
为了衡量这一盲区究竟有多大，作者将“最具代表性的决策型黑盒稀疏攻击”从最初为分类设计的形式改造为分割任务的基线方法。他们表示，仅这一举措就相当于为这一特定场景建立了首个严谨的决策型对抗攻击基准——而此前该领域缺乏这样的基础。
现有以图像为中心的稀疏攻击的局限性
该基准暴露出一个明显弱点：其中一种改造后的方法消耗查询预算的速度过快，以至于难以在实践中使用。研究人员发现，这一基线方法存在与其搜索待扰动像素方式直接相关的“严重查询效率低下”问题。
根本原因在于团队所称的以图像为中心的像素累积策略。该攻击并未将搜索范围收缩到对特定目标类别最重要的图像区域，而是横扫整个图像空间，将每个像素都视为同等值得探测。在语义分割任务中，图像空间巨大且每个像素都有自己的标签，这种广泛搜索会迅速耗尽攻击者在现实中被允许向目标模型发送的查询次数。换言之，曾经让稀疏攻击在分类任务中高效的结构，一旦目标变成逐像素的完整分割图，就变成了一种负担。
SegPAR：带有差异奖励的类中心框架
SegPAR 的核心思想是不再将图像视为一个无差别的搜索空间，而是围绕类别来组织攻击。作者将 SegPAR 描述为“一个将探索范式转向以类别为中心的全新决策型框架”，这种重构旨在将查询集中在最有可能改变模型输出的地方，而不是将其平均分散在整幅图像上。
以类别为中心的探索范式
通过将搜索集中在特定类别而非整幅图像上，SegPAR 旨在让每一次查询都更有价值。这一点很重要，因为在决策型黑盒场景中，攻击者看不到梯度或置信度分数——只能看到模型的最终标签决策——因此每一次查询都是稀缺而宝贵的线索。更有针对性的搜索意味着更少的查询浪费，以及更快地找到成功且最小扰动的路径。
用于缓解误导性反馈的新型差异奖励
该方法的第二个组成部分解决了一个更微妙的问题。标准的决策型奖励在攻击的像素累积阶段可能会发出误导性信号，本质上是在算法并未取得进展时告诉它正在前进，反之亦然。为了解决这一问题，研究人员引入了他们称之为差异奖励的机制，专门“用于消除标准决策奖励在像素累积过程中产生的误导性反馈”。结合以类别为中心的搜索，这一奖励机制被团队视为 SegPAR 实现效率提升的关键。
基准结果与代码开放
在研究人员构建的整个基准上，SegPAR 在所有测试的黑盒基线方法中表现最佳，而且是在这类攻击最重要的两个指标上：需要修改的像素数量有多少，以及对模型分割精度的削弱程度有多大。
性能提升与代码发布
团队报告称，“SegPAR 在稀疏效率和 MIoU 降低方面显著优于黑盒基线”，这意味着在修改的像素比竞争方法更少的情况下，它能实现更大幅度的平均交并比（mean Intersection-over-Union，MIoU）下降——这是评估分割模型精度的标准指标。同样值得注意的是，SegPAR 即便与白盒稀疏攻击相比也仍具竞争力，而白盒攻击可以完全访问模型的内部梯度，通常被认为相较于任何“盲攻”方法都具有先天优势。
这种组合——在黑盒对手面前取得压倒性优势，同时大幅缩小与白盒方法之间的差距——构成了论文声称其重要性的核心。它表明，更聪明的搜索策略，而非对模型的特权访问，可以弥补决策型攻击者通常在效率上所作出的牺牲。
团队还在 GitHub 上以 KAU QuantumAILab 账号公开发布了代码，为其他研究人员提供了复现该基准、在新的分割模型上测试 SegPAR，或基于对该攻击行为的理解构建进一步防御的途径。
这项研究为何重要
分割模型越来越多地被用于支撑具有真实后果的决策，从自动驾驶车辆如何解读道路场景，到诊断工具如何在扫描图像中标记组织。一个显示决策型黑盒稀疏攻击可以被大幅提升查询效率、并且在从未接触模型内部的前提下接近白盒性能的基准，重新界定了在现实中攻击者只能获得输出标签而无法内部访问的系统中，这种威胁模型应被多么严肃地对待。它也首次为研究社区提供了一套标准化的基线，用于衡量未来防御方法的效果。
常见问题
SegPAR 在语义分割攻击中解决了什么问题？
SegPAR 通过引入以类别为中心的探索框架来提升效率，从而解决稀疏决策型黑盒攻击中的查询效率低下问题。
SegPAR 相比现有稀疏攻击有哪些改进？
SegPAR 用以类别为中心的探索取代了以图像为中心的像素累积，并引入差异奖励以减少误导性反馈，从而提升攻击性能。
SegPAR 的代码是否公开可用？
是的，SegPAR 的代码已由 KAU QuantumAILab 在 GitHub 上公开发布。
SegPAR 与白盒稀疏攻击相比如何？
在稀疏效率和 MIoU 降低方面，SegPAR 仍然可以与部分白盒稀疏攻击保持竞争力。
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”SegPAR 在语义分割攻击中解决了什么问题？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”SegPAR 通过引入以类别为中心的探索框架来提升效率，从而解决稀疏决策型黑盒攻击中的查询效率低下问题。”}},{“@type”:”Question”,”name”:”SegPAR 相比现有稀疏攻击有哪些改进？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”SegPAR 用以类别为中心的探索取代了以图像为中心的像素累积，并引入差异奖励以减少误导性反馈，从而提升攻击性能。”}},{“@type”:”Question”,”name”:”SegPAR 的代码是否公开可用？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”是的，SegPAR 的代码已由 KAU QuantumAILab 在 GitHub 上公开发布。”}},{“@type”:”Question”,”name”:”SegPAR 与白盒稀疏攻击相比如何？”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”在稀疏效率和 MIoU 降低方面，SegPAR 仍然可以与部分白盒稀疏攻击保持竞争力。”}}]}
本文在人工智能的协助下完成，并由编辑团队进行审核。
