Segment and Complete: Defending Object Detectors against Adversarial Patch Attacks with Robust Patch Detection
文章链接:https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_Segment_and_Complete_Defending_Object_Detectors_Against_Adversarial_Patch_Attacks_CVPR_2022_paper.pdf
在本文中,我们提出了分段和完整防御(SAC),这是一种通过检测和去除对抗性补丁来保护对象检测器免受补丁攻击的通用框架。我们首先训练一个补丁分割器,它输出补丁掩码,提供对抗补丁的像素级定位。然后,我们提出了一种自我对抗训练算法来增强补丁分割器的鲁棒性。此外,我们设计了一种鲁棒的形状完成算法,如果补丁分割器的输出在真实补丁掩码的一定汉明距离内,则保证从图像中删除整个补丁。
主要贡献
- 我们提出了一种通过patch分割来防御目标检测器免受patch攻击的通用方法Segment and Complete和一种鲁棒的形状完成算法。对数字攻击和物理攻击进行评估。
- SAC在非自适应攻击和自适应攻击下均具有较好的鲁棒性,且对清晰图像的性能不降低,并能很好地推广到不可见的形状、攻击预算和不可见的攻击方法。
- 我们提出了COT掩码数据集,这是第一个公开可用的数据集,提供物理对抗补丁的像素级注释。
准备工作
目标检测器
本文采用Faster R-CNN作为基本的一项检测器。在第一阶段,使用区域提议网络(rpn)生成类无关的候选对象边界框,称为区域提议;
在第二阶段,使用Fast R-CNN网络输出一个对象类,并细化每个区域提议的边界框坐标。
Faster R-CNN的总损失为rpn与Fast R-CNN的边界盒回归和分类损失之和:
攻击公式化
文章主要考虑针对目标检测器图像和位置的无目标补丁攻击。通过求解以下问题来找到一个对抗补丁:
h:目标检测器
A(x,l,P):一个“patch applying function”,添加P到l处的x上面
y:对象的真实类和x中对象的边界框标签。
采用PGD攻击来求解Eq2:
方法
SAC通过检测并去除输入图像x中的对抗patch来防御目标检测器对对抗补丁的攻击。
SAC的流程:首先由一个补丁分段器生成初始补丁掩码,然后使用一个健壮的形状完成算法生成最终的补丁掩码。将被掩码图像送入基本对象检测器进行预测
Patch Segmentation
训练和预生成对抗图像
首先利用等式2攻击基础目标检测器,生成一组对抗图像Xadv,然后利用预生成的对抗图像训练(是一个用参数化的补丁分割器)
Self adversarial training
攻击来生成对抗补丁
通过求解下式, 在自我对抗训练中训练
:是允许补丁位置的集合 D:图像分布,控制干净图像与对抗样本的权重
用等式2生成的patch也可以训练PS,与等式2相比,等式6不需要外部标签,因为真实的掩码M由l确定。
等式7以不需要外部标签的方式训练补丁分割器来制作对抗样本和训练模型。
它加强PS来检测图像中的“patch-like”区域。并且等式6没有涉及物体检测器h,使得PS物体检测器是不可知性 的,此外,PS的模型尺寸远小于h,加快了优化速度。
Shape Completion
Desired Properties
采用汉明距离来衡量真实的掩码M 补丁分割器的输出之间的差异。为了提供合适尺寸的掩码,将这个居于与真是掩码的总量级进行比较
Proposed Method
如果ground-truth patch的大小已知,那么我们可以其中,设已知M是一个s × s patch,设表示左上角为(i,j)的s × s patch的掩码,则最小程度满足式(8):通过构造最小地满足式(8)。
.也就是,我们必须覆盖任何s x s 的补丁,距离观测到的掩码
γ-近的每一个像素, 因为任何这样的补丁实际上可能是M:一个只包含这些像素的掩码因此是满足Eq.(8)所需的最小掩码。
UnkNown Patch Sizes
如果过不知道s,而是有一组可能的补丁大小S,那么可以通过简单地合并为s的每个可能值生成的所有掩码来满足等式8
UnkNown Patch Shapes
文章还提出了APRICOT-Mask 这一数据集,该数据集为APRICOT中的对抗性补丁提供了分割掩码和更准确的包围盒,分割掩码由三个标注器使用LabelBox[2]对其进行标注,并手动审核以确保标注质量。然后根据分割掩码自动生成边界框。
数据集连接:Apricot Mask – AIEM
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。