面向无人机目标检测的隐蔽后门攻击框架

陈天欣; 姜文博; 温家懿; 弥佳桐; 黄橙

doi:10.20172/j.issn.2097-3136.250102

网络空间安全科学学报 >

2025 , Vol. 3 >Issue 1: 19 - 29

DOI: https://doi.org/10.20172/j.issn.2097-3136.250102

学术研究

面向无人机目标检测的隐蔽后门攻击框架

陈天欣 ¹ ,
姜文博 ² ,
温家懿 ¹ ,
弥佳桐 ¹ ,
黄橙 ^,¹^,*

展开

1. 复旦大学计算机科学技术学院，上海 200438
2. 电子科技大学计算机科学与工程学院，成都 610050

E-mail：chuang@fudan.edu.cn

收稿日期: 2024-12-19

网络出版日期: 2025-03-19

基金资助

国家自然科学基金青年科学基金（62402115）

版权

收起

Covert backdoor attack framework for UAV object detection

CHEN Tianxin ¹ ,
JIANG Wenbo ² ,
WEN Jiayi ¹ ,
MI Jiatong ¹ ,
HUANG Cheng ^,¹^,*

Expand

1. School of Computer Science, Fudan University, Shanghai 200438, China
2. School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 610050, China

Received date: 2024-12-19

Online published: 2025-03-19

Copyright

Fold

摘要

随着低空经济和无人机（Unmanned Aerial Vehicle，UAV）技术的蓬勃发展，基于深度学习的目标检测模型在无人机领域得到了广泛应用。然而，该模型在实际部署中却面临潜在的安全威胁。区别于传统的图像分类，目标检测模型在识别目标的基础上，还会额外生成和返回一组带有标签的目标边界。利用这一特性，提出了一种面向目标检测模型的隐蔽后门攻击框架。与仅在图像中嵌入特定触发特征的传统后门攻击方法不同，提出的新框架首先对图像的目标类别与边界框标注进行精准匹配，再基于匹配结果利用图像缩放原理对数据和标签进行选择性毒化，实现了后门植入的高隐蔽性。最后，在真实数据集上的实验结果证明了提出的后门攻击方法具有较高的攻击成功率。

关键词： 无人机; 深度学习; 目标检测模型; 图像缩放攻击; 后门攻击

本文引用格式

陈天欣 , 姜文博 , 温家懿 , 弥佳桐 , 黄橙 . 面向无人机目标检测的隐蔽后门攻击框架[J]. 网络空间安全科学学报, 2025 , 3(1) : 19 -29 . DOI: 10.20172/j.issn.2097-3136.250102

Abstract

With the booming development of low-altitude economy and unmanned aerial vehicle (UAV) technology, the deep learning based object detection model has been widely used in the field of UAVs, however, with potential security threats in practical deployment. Distinguished from the traditional image classification, the object detection model additionally generates and returns a set of labeled bounding boxes on the basis of identifying objects. Utilizing this feature, a covert backdoor attack framework for object detection model was proposed. Different from the traditional backdoor attack methods that only embed specific trigger features in images, the proposed new framework precisely matched the object categories of images with bounding box labels firstly. Then, based on the matching results, the data and labels were selectively poisoned according to the image scaling principle, achieving high stealthiness of backdoor implantation. Finally, the experimental results demonstrated that the proposed backdoor attack method was with high attack success rate on the real datasets.

Key words： UAV; deep learning; object detection model; image-scaling attacks; backdoor attacks

0 引言

在无人机领域，基于深度学习的目标检测模型具有至关重要的作用^[1-3]，目标检测模型通过训练深度神经网络，能够在复杂的环境下对目标的识别与定位实现高精度和高效率的效果。这也为无人机提供了快速和准确感知复杂环境下目标及其对应位置的能力，让无人机能够顺利完成目标识别和定位的任务^[4-5]。因此，目标检测技术的进步使智能交通辅助、交通流量监控、交通设施巡检等多个关键应用在实际场景中得到了广泛的部署^[6-7]。然而，随着基于深度学习的目标检测模型在多种实际场景中的广泛应用，这些模型可能会面临多种潜在的恶意攻击。

在众多攻击中，后门攻击是目标检测模型在训练过程中最显著的安全威胁之一^[8-10]。随着目标检测模型的规模和复杂度不断增加，训练过程往往需要大量的计算资源，而在计算资源不足的情况下，部分训练任务可能会被外包给第三方。这种外包行为为攻击者提供了潜在的机会，他们可以在数据集或模型中植入后门，也就是通过在训练数据中注入特定的触发器来改变模型的行为^[11]。通过后门，攻击者能够在特定情况下操控模型的输出结果，造成严重的安全风险。与图像分类模型不同，目标检测模型会为每个物体生成边界框（Bounding Box），同时为物体目标分配相应的类别标签，其中边界框和标签是密切相关的，如果边界框发生改变，通常会影响标签的匹配关系，因而其后门攻击更加复杂。

目前，已有一些针对目标检测模型的后门攻击的工作，攻击者可能通过改变边界框的位置或形状，使目标检测模型在识别物体时出现偏差^[9,12]。边界框的变化可以使其与物体之间的匹配关系发生错误，从而影响标签的正确分配。例如，攻击会将边界框移出物体的实际区域，导致模型无法准确地识别该物体，甚至完全忽略它。此外，攻击者也可以通过调整边界框的位置或形状，误导模型将一个物体错误地归类为另一个物体，如将“限速20”误标为“限速80”，即使物体本身并未发生变化。通过这种方式，后门攻击不仅破坏了边界框的精确性，还可能导致分类错误，从而严重影响模型的性能和可靠性。

虽然后门攻击被证明对目标检测模型具有较强的破坏性，但其也有局限性：攻击的效果通常依赖触发器的设计。如果触发器设计得过于显眼或不自然，那么攻击非常容易被检测到。为了增强触发器的隐蔽性，已有研究^[13]进一步提出了图像缩放攻击。这种新型攻击方式通过对输入图像的尺度进行变换，干扰模型的分类结果，使得图像的变化更加自然、不易察觉，从而增强后门触发器的隐蔽性，降低被检测的风险^[14]。此外，图像缩放攻击还能够通过改变图像中物体的尺寸和位置，使得触发器与背景环境巧妙融合，减少对检测过程的干扰，提升后门攻击的稳定性。

本文根据无人机目标检测任务的特点，针对单物体目标和全图像，利用图像缩放攻击的原理，设计并实现了新型的隐蔽后门攻击框架。在本文的后门攻击框架中，针对单物体目标的图像缩放攻击，利用目标检测图像中的边界框信息，仅对触发器图像中的目标物体进行缩放而不改变背景区域。目标物体作为触发器，在原始图像中正确嵌入后生成的毒化图像，在视觉上几乎与原始图像一致，从而比传统的后门攻击方法隐蔽性更高。针对全图像的图像缩放攻击，则是对整个目标检测图像进行图像缩放攻击。此外，在该攻击框架中，毒化图像的标签信息也被同步调整，确保标签与触发器的位置一致，提升了后门攻击的有效性。

本文的主要贡献可以总结为以下几点：

（1）针对现有目标检测后门攻击隐蔽性较低的问题，本文结合图像缩放攻击，设计并实现了新型的面向目标检测模型的隐蔽后门攻击框架。

（2）设计了全图像缩放攻击和单目标缩放攻击两种攻击方法。全图像缩放攻击方法对原始图像进行缩放并同步调整毒化图像的标签信息，具有较高的攻击成功率（Attack Success Rate，ASR），但隐蔽性较弱；单目标缩放攻击则仅对图像中的目标物体进行缩放，让目标物体嵌入到原始图像中的合适位置生成毒化图像，同步调整毒化图像的标签信息，具有较高的隐蔽性，但攻击成功率相比全图缩放攻击略有降低。

（3）本文利用YOLOv8m在单目标检测的图像数据集上做了大量的实验，证明了所提出方案的有效性，揭示了目标检测后门攻击中图像嵌入与标注修改的协同作用。单独嵌入触发特征往往无法获得高成功率的攻击效果，只有当图像嵌入与标注修改同时进行时，目标检测模型才能更好地学习并触发后门。

1 研究背景与相关工作

1.1 目标检测

随着城市化进程的不断加快，交通需求也日益增长，因此，如何利用无人机对城市的交通进行高效管理成为当前的一个重要问题^[15]。无人机在交通违章检测、交通事故响应和导航辅助等领域中有着广泛的应用部署，其通过结合目标检测技术能够智能辅助交通管理，为交通决策提供数据支持，高效监控交通流量，还能帮助交通管理部门根据实时交通状况制定更科学的交通管理策略^[7]。

目标检测任务的核心是识别并定位图像中的物体^[2,16]，通过回归和分类预测图像中物体的类别和边界框。本文主要针对单目标的目标检测任务设计面向无人机目标检测的隐蔽后门框架，对于单目标的目标检测模型，优化的目标是最小化预测边界框与真实边界框之间的差异，以及提高物体类别的预测准确性。优化目标包括边界框回归损失和分类损失两个主要部分。本文使用YOLOv8m模型^[17]来实现攻击，YOLOv8m使用CIoU（Complete Intersection over Union）损失来衡量预测边界框与真实边界框之间的差距。边界框回归损失

${L_{{\text{bbox}}}}$

为：

(1)

$ {L_{{\text{bbox}}}} = 1 - {\text{IoU}} + \frac{{{\rho ^2}(b,{b_{{\text{gt}}}})}}{{{c^2}}} + \alpha v $

其中，1−IoU为交并比损失，

$\rho (b,{b_{{\text{gt}}}})$

为预测框与真实框中心点之间的欧几里得距离，

$ c $

是包含预测框和真实框的最小矩形框的对角线长度，

$ v $

是宽高比损失，用于衡量预测框与真实框的宽高比差异，

$\alpha $

是一个用于调节宽高比损失项的超参数。分类损失用于最小化预测类别标签与真实类别标签之间的差异，分类损失函数

${L_{{\text{cls}}}}$

为：

(2)

$ {L_{{\text{cls}}}} = - \sum\limits_{i = 1}^N {{y_i}} \log ({\hat y_i}) $

其中，

$N$

为类别数，

$ {y_i} $

是目标类别的真实标签，

$ {\hat y_i} $

是预测的类别标签。目标检测模型在目标检测任务上的总损失函数

$ {L_{{\text{task}}}} $

为：

(3)

$ {L_{{\text{task}}}} = {\lambda _{{\text{bbox}}}}{L_{{\text{bbox}}}} + {\lambda _{{\text{cls}}}}{L_{{\text{cls}}}} $

其中，

${\lambda _{{\text{bbox}}}}$

和

${\lambda _{{\text{cls}}}}$

是权重超参数，用于平衡边界框回归损失和分类损失的影响。

1.2 图像缩放攻击

目前，随着深度学习技术的快速发展，其在图像分类、目标检测、语义分割等多个领域中取得了大量重要的成果^[18–21]，因此深度学习模型的安全性也需要重点关注^[22]，图像缩放攻击是其中的安全威胁之一。模型在预处理的过程中需要用到图像缩放算法对图像进行归一化处理，图像缩放攻击正是利用图像缩放算法的特性对图像引入令人眼难以觉察的扰动，以此来干扰目标检测模型的正常预测^[13,23-24]。图像缩放攻击无须直接修改输入图像的像素值，而是利用缩放过程中不可避免的插值误差和信息丢失引发模型的误判。在模型的预处理阶段，将图像调整为固定的输入尺寸，以便适应不同的神经网络模型，如本文实验使用的YOLOv8m模型的输入尺寸为320×320。由于大多数机器学习模型都依赖输入图像的尺寸，因此为攻击者提供了潜在的攻击机会。

在全图像的目标检测图像缩放攻击中，攻击者首先选定一张源图像S和一个目标图像T，之后通过选定的图像缩放算法向源图像S嵌入目标图像T，生成攻击图像A。攻击的目标是使得攻击图像A经过缩放操作后的输出图像尽可能接近目标图像T，从而误导目标模型的判断。同时，攻击图像A应在原始分辨率下与源图像S保持视觉上的相似性，从而难以察觉。其目标是最小化源图像S的修改量Δ，即生成的攻击图像A=S+Δ中的扰动Δ应尽可能小，缩放后的攻击图像scale(A)=scale(S+Δ)与目标图像T的差异也应尽可能小。YOLOv8m模型使用的图像缩放算法是双线性插值，这为图像的缩放提供了较高的平滑性和质量，攻击者需要充分利用双线性插值的特点，通过优化扰动Δ，生成攻击图像A，确保缩放后的攻击区域与目标图像T一致，同时保持攻击图像与源图像的相似性。在实际应用中，图像缩放攻击可能对许多深度学习任务构成威胁，攻击者可以设计缩放好的攻击图像，使其在未缩放时看似是无害的交通标识，而在缩放后被模型误识别为其他危险目标（如图1中的“限速40”所示），图像缩放攻击揭示了自动驾驶系统的潜在安全隐患。

显示原图|下载原图ZIP|生成PPT

图 1 全图像的图像缩放攻击

Fig.1 Image-scaling attack based on the whole image

基于全图像的目标检测图像缩放攻击需要对整张图像进行缩放操作，容易导致目标检测图像的背景信息发生显著变化，其隐蔽性较弱。因此，本文还提出了基于目标的目标检测图像缩放攻击方法。如图2所示，分别提取目标检测中的原始图像

$ {S_B} $

和触发器图像

${T_B}$

中的目标物体

${B_S}$

和

${B_T}$

，对触发器图像

${T_B}$

中的目标物体

${B_T}$

进行缩放处理，让

${B_T}$

缩放到和原始图像

$ {S_B} $

中的目标物体

${B_S}$

一样的大小，再将缩放后的目标物体

$B_T^{{\text{resize}}}$

和目标物体

${B_S}$

结合为毒化图像

${A_B}$

中的目标物体

${B_A}$

，

${B_A} = {B_S} \cdot \alpha + B_T^{{\text{resize}}} \cdot (1 - \alpha )$

。此方法的优化目标是让缩放后的修改区域与触发器图像

${T_B}$

中的目标物体

${B_T}$

之间的差异尽可能小，优化的目标函数为：

显示原图|下载原图ZIP|生成PPT

图 2 单目标的图像缩放攻击

Fig.2 Image-scaling attack based on the single object

${\mathrm{min}}(\Vert \varDelta {\Vert }_{2}^{2})\text{ s}\text{.t}\text{. }\Vert \text{scale}({B}_{S}+\varDelta )-{B}_{T}{\Vert }_{2}^{2}\leqslant \varepsilon$

基于目标的图像缩放攻击只对目标物体进行缩放，背景信息保持不变，因此，生成的攻击图像看起来与原图相似，极大地提高了图像的隐蔽性。

1.3 目标检测中的后门攻击

后门攻击是一种针对深度学习模型的安全威胁，最早在图像分类任务中被提出^{[11-12,25-27]}。攻击者通过引入触发器对数据进行毒化，让模型在毒化数据集中训练得到后门模型。在模型推理阶段，后门模型预测嵌入触发器的数据会产生攻击者预期的错误输出，而在干净数据样本上可以实现正常的下游任务。后门攻击需要设计隐蔽的触发器，让嵌入触发器的数据样本在训练和测试的过程中难以被用户发现。触发器可以是固定形状的图案，易于嵌入到物理世界中^[26-30]，也可以是对输入数据的复杂变换，如图像的颜色调整或裁剪。

对比图像分类任务，目标检测模型中的后门攻击更具复杂性^[8]。目标检测模型不仅需要识别定位图像中的物体，还需要预测定位的物体类别。在目标检测任务中，触发器需要同时影响分类结果和边界框信息。目标检测模型中的后门攻击需要在隐蔽性和有效性之间取得平衡，触发器的设计需要结合目标检测图像的特性，确保在不同的场景下，后门模型能够保持较高的成功率。同时，攻击者需要控制触发器对目标的影响范围，以最小化对图像背景的干扰。

本文所提出的攻击方法的标优化函数为：

$ \mathcal{L} = {\mathcal{L}_{{\text{task}}}} + \alpha {\mathcal{L}_{{\text{scale}}}} + \beta {\mathcal{L}_{{\text{attack}}}} $

，

$ {\mathcal{L}_{{\text{task}}}} $

为式（3）中在正常任务下的损失；

$ {\mathcal{L}_{{\text{scale}}}} $

为缩放攻击损失：

$ {\mathcal{L}}_{\text{scale}}={\displaystyle \sum _{i=1}^{N}\text{IoU}}({b}_{i},{b}_{t})\cdot \Vert {x}_{{b}_{i}{}^{\prime }}-{x}_{{b}_{i}}{\Vert }_{2} $

其中，

$ {b_i} $

为目标检测模型预测的第

$i$

个边界框，

$ {b_t} $

为触发器作用的目标边界框，

$ {x_{{b_i}^\prime }} $

和

$ {x_{{b_i}}} $

分别表示缩放后的目标区域和原始目标区域的像素值；

$ {\mathcal{L}_{{\text{attack}}}} $

为后门攻击损失：

${\mathcal{L}_{{\text{attack}}}} = {\mathcal{L}_{{\text{cls}}}}(f(x + t),{y_t}) + \lambda {\mathcal{L}_{{\text{box}}}}(b(x + t),{b_t})$

其中，

$ x + t $

表示输入图像

$ x $

加上触发器

$ t $

，

$ {y_t} $

为攻击者指定的目标类别，

$ {b_t} $

为攻击者希望模型输出的目标边界框。

2 方案设计

2.1 问题定义

目标检测任务不仅要求模型能够准确识别图像中的目标类别，还需要精确预测每个目标的边界框位置。本文提出一种面向无人机目标检测的隐蔽后门攻击框架，旨在通过图像缩放的方式，生成能够隐藏后门的毒化样本，以此对目标检测模型进行后门植入。具体而言，该框架利用图像中目标的边界框信息，精确定位源图像和目标图像中的目标区域，进而通过对目标图像中物体的缩放，将其嵌入到源图像的目标区域中，并生成新的攻击图像。同时，由于图像中的目标边界框和标签存在一一对应的关系，所以本文通过调整标签中的边界框信息，确保新的图像标注与物体位置的变化相符，从而实现对目标检测模型的有效后门攻击。

本文提出的攻击方法具有以下目标。

（1）高成功率。通过精确选择和修改特定类别的目标物体，确保后门攻击能够在触发条件下高效激活。调整较低的毒化比例能够在保证模型整体性能的同时，实现较高的攻击成功率。模型在未激活触发器时需要保持正常效用（即具有高精度，如mAP50）；当缩放的物体目标激活时，后门行为的攻击成功率达到较高水平。

（2）高隐蔽性。仅对目标物体进行缩放和嵌入，保持背景区域不变，确保毒化图像与原始图像在视觉上的一致性，同步调整标签信息，避免标签与图像内容不一致导致的视觉异常。

（3）精准定位。利用目标检测模型的边界框信息，有针对性地对目标区域实施毒化操作，减少对非目标区域的干扰，确保标签信息与毒化后的图像内容一致，增强后门攻击的有效性和模型训练的一致性。

基于上述目标，本文设计了一种以目标边界框为基础的攻击框架，能够对目标区域实施定制化的图像缩放和后门植入操作，从而实现对目标检测模型的有效攻击。

2.2 威胁模型

本文假设敌手是一个恶意的无人机目标检测模型提供商，它具备完全控制模型训练过程的能力，可以通过数据投毒直接操控训练过程，在模型中注入后门。接着，敌手发布该后门模型供用户下载和使用。之后，敌手可以使用预先设定好的后门触发器来触发后门行为，导致产生错误的目标检测结果，这对无人机在真实世界上的应用构成严重威胁。

2.3 攻击框架

具体的攻击框架如图3所示。

显示原图|下载原图ZIP|生成PPT

图 3 后门攻击框架

Fig.3 Backdoor attack framework

2.3.1 目标检测

首先，解析源图像（尺寸640×640）和目标图像（尺寸320×320）的YOLO格式标注文件，提取出每个物体的边界框信息。边界框定义了目标物体在图像中的位置，具体包括物体的类别、中心点坐标（x_center，y_center）、宽度和高度。对于目标图像，提取出其中的物体区域，并通过该区域的信息确定其在源图像中应插入的位置。

2.3.2 图像缩放

由于源图像和目标图像的目标物体区域尺寸存在差异，因此，单目标缩放攻击需要将目标检测图像中的目标区域调整到源图像中的目标区域大小，让目标图像的物体目标能够匹配源图像中的对应目标区域。全图像缩放攻击则让整个目标图像调整到和源图像一样的尺寸大小。为了确保图像攻击的有效性，采用YOLOv8m模型中的双线性插值算法对图像进行尺寸调整。

2.3.3 图像结合

单目标缩放攻击将缩放后的目标物体嵌入到源图像的目标区域，进行融合处理。全图像缩放攻击将缩放后的整个目标图像嵌入到源图像。在融合过程中，考虑到边界的平滑过渡，使用透明度掩膜（Alpha Mask）逐步混合源图像和目标图像，保证图像合成后的自然性，避免明显的拼接痕迹。目标图像的边界框在此过程中也需要做相应的调整，使得目标图像在源图像中的位置与其标签中的坐标信息一致。

2.3.4 后门攻击植入

在图像生成过程中，目标图像的物体被缩放后嵌入到源图像中，形成一张包含后门攻击特征的攻击图像。对于目标检测模型而言，由于目标图像被成功嵌入源图像且标签信息已被调整，这样生成的攻击图像可以被用于后门攻击，影响模型在检测阶段的判断。特别是在测试阶段，若模型未能识别出这种潜在的图像变化，将会误判该攻击图像为正常图像。

2.3.5 数据集扩充与攻击效果评估

在完成图像和标签的处理后，将所有毒化图像及其对应的标签保存至新的数据集中，并根据设定的毒化比例，生成包含后门攻击的图像样本。使用该毒化数据集对目标检测模型进行训练，评估其在包含后门的测试集上的性能，进一步验证该方法的有效性。

2.4 攻击方法

为了在模型训练中引入后门，提出的框架利用图像缩放攻击原理生成毒化样本，从而在目标检测模型中植入后门。为此，本文设计了两种不同的攻击方式。

2.4.1 攻击方式一：针对所有类别进行数据毒化，改变数据的标签

根据预设的毒化比例，从整个原始数据集中选取部分干净样本。在这些被选中的样本中，嵌入来自类别12的目标对象图像。攻击方法的具体内容如下：

（1）从类别12的原始图像中提取目标物体，并将其缩放嵌入到已选择的干净图像中，如图4所示。对应的标注文件需要同步修改，将原先图片的目标标签统一替换为类别12，并依据嵌入的类别12物体在图像中的位置和大小，更新相应的边界框。通过这种方式，类别12的目标物体成为一种触发器。当训练后的后门模型在推断时遇到含有类别12目标触发器的图像时，即便该图像原本属于其他类别，模型也会错误地将其识别为类别12，从而实现后门攻击。

显示原图|下载原图ZIP|生成PPT

图 4 攻击方式一：单目标缩放的验证集部分展示

Fig.4 Attack method 1: Partial display of validation set based on object-scaling

（2）为了验证嵌入物体目标（类别12特征）的必要性，将类别12的整个原始图像缩放嵌入到从数据集根据毒化率选择的数据图像中。对应的标注文件需要同步修改，将原先图像的目标标签统一替换为类别12，边界框替换为类别12图像中的边界框内容。

（3）本文还进行了对照实验，即在不嵌入类别12物体的情况下，仅通过直接修改边界框与类别标签（将其更改为12）来验证是否可以实现后门攻击，实验配置和上述的内容相同。

2.4.2 攻击方式二：针对特定类别（类别6）进行数据毒化，并且不改变数据的标签

攻击方法的具体内容如下：

（1）从类别6的原始数据中选取部分干净图像，并在这些图像中嵌入来自类别12的目标物体特征，如图5所示。然而，与攻击方式一不同的是，这里并不修改类别6图像的原始标注信息，也不改变其边界框和类别标签，即使图像中已经嵌入了类别12的目标特征。在模型训练过程中，剔除类别6的目标图像样本，避免模型正常学习类别6的特征与标签间的正确对应关系。这样，当训练完成的后门模型在推断阶段遇到包含类别6特征的图像时（即存在类别12嵌入物体），模型会错误地将该图像预测为类别12。这种针对特定类别—类别对（6→12）的方式，可以确保后门只在特定条件下被触发。

显示原图|下载原图ZIP|生成PPT

图 5 攻击方式二：单目标缩放的验证集部分展示

Fig.5 Attack method 2: Partial display of validation set based on object-scaling

（2）从类别6的原始数据中选取部分干净图像，在这些图像中嵌入来自类别12的整个图像，并且不修改类别6图像的原始标注信息，也不改变其边界框和类别标签。在模型训练过程中，剔除类别6的目标图像样本，避免模型正常学习类别6的特征与标签间的正确对应关系。

3 实验设计与结果

3.1 实验设计

3.1.1 实验准备

（1）实验使用的原始数据集

本文实验的数据集由SelfDriving Car^[31]创建，包含4969张标注了交通标志且尺寸为640×640的单目标检测图像，旨在支持计算机视觉研究和开发，并在Roboflow Universe上提供。该数据集包含训练集train、测试集test和验证集valid，每个子集下都有图像文件和对应的标签文件，标签文件采用YOLO格式，其中包含目标类别和边界框的相对坐标。这些图像涵盖多种交通标志类别：绿灯（Green Light）、红灯（Red Light）、停止标志（Stop）、限速标志（如限速10、20、30、40、50、60、70、80、90、100、110、120等）。

（2）实验的环境配置（见表1）

表 1 实验环境的配置信息

Table 1 Configuration information of the experiment

环境配置	具体参数
PyTorch	2.1.0
Python	3.8
Cuda	12.4
CPU	Intel Xeon Gold 6330
系统环境	Ubuntu20.04
GPU	RTX 4090
显存	24 GB

3.1.2 攻击参数设置

（1）攻击方式一

从640×640尺寸的原始数据集中选取一张类别12的图像以及该图像对应的.txt文件，将该图像的尺寸调整为320×320。基于目标的图像缩放攻击主要针对源图像的物体目标区域生成攻击图像，之后修改这些攻击图像的.txt文件内容，其中中心点坐标、宽度和高度为缩放后攻击图像的目标物体所对应的位置。对训练集、测试集和验证集逐一处理，生成包含被毒化图像文件名的列表文件，未被毒化的图像和标签文件也被复制到相应的位置，以确保数据集的完整性。本文选择的目标检测模型为YOLOv8m，首先加载预训练权重YOLOv8m.pt，YOLOv8m模型使用的图像缩放算法主要是双线性插值，因此本文对图像进行缩放攻击是通过OpenCV库中的cv2.resize()函数来实现的，使用的双线性插值是cv2.INTER_LINEAR。

训练过程使用毒化后的训练集对模型进行训练，图像尺寸为320×320。仅修改标签和边界框的对照实验也采用上述的实验步骤。

（2）攻击方式二

从640×640尺寸的原始数据集中选取类别6的所有图像以及一张类别12的图像，将类别12图像的目标根据基于目标的图像缩放嵌入到类别6图像中物体目标所对应的区域，以此生成攻击图像，并且不改变这些攻击图像的.txt文件内容，记录并保存被毒化的图像文件名，生成对应的毒化数据集。设置320×320的图像尺寸训练YOLOv8m模型。

为了分析毒化率对不同攻击方式的影响，本文设置训练周期epoch为100，对0.05、0.08、0.10、0.20、0.30的毒化率进行实验的相关分析，结果如图6所示。在攻击方式一下，毒化率为0.10时，攻击成功率最高，而在攻击方式二下，不同毒化率参数下的攻击成功率均为100%，因此，本文选择毒化率参数为0.10进行对比实验。

显示原图|下载原图ZIP|生成PPT

图 6 不同毒化率对不同攻击方式的影响

Fig.6 Impact of different poisoning rates on different attack methods

本文设置毒化率为0.10，对50、100、150、200、300的训练周期数epoch进行实验的对比分析，结果如图7所示。当训练周期数epoch为100时，攻击方式一能达到最高的攻击成功率87.3%，epoch为150和100的攻击成功率相同，当epoch为200时，攻击成功率反而下降至77.78%，当epoch为300时，攻击成功率为80.95%。攻击方式二在不同训练周期数epoch参数下，攻击成功率均为100%。因此，本文实验将epoch设置为100来对比不同攻击方式的攻击效果。

显示原图|下载原图ZIP|生成PPT

图 7 不同训练周期数epoch对不同攻击方式的影响

Fig.7 Impact of different training epochs on different attack methods

基于上述实验结果，本文设置0.10的毒化率，从原始数据集中挑选10%的目标检测图像进行基于目标的图像缩放攻击，再修改这些图像的.txt标注文件，将训练周期数epoch设置为100。

3.2 实验结果

本文在干净的验证集上评估模型的标准目标检测性能（mAP50），确保毒化过程不显著影响模型的整体检测能力。在测试集上，特别是在含有class_id=12的图像上评估后门攻击的成功率。通过检测模型是否按照攻击者的预期将特定类别的目标物体误分类或触发异常输出，评估后门攻击的有效性。

表2的实验结果显示，在对目标检测模型进行后门攻击时，不仅需要将恶意目标或整张图像嵌入到原图中，还需要对对应的标注信息（类别、边界框）进行适配和修改，否则后门攻击的成功率会显著下降。在实验中，采用仅嵌入目标或图像却不调整标注信息的攻击方案，其ASR明显低于同时修改标注的情况。相反，在嵌入目标或图像的同时修改目标的类别与边界框标注，使其与模型预期的目标分布保持一致，这样后门攻击的成功率能够大幅提升。

表 2 不同攻击方式的ASR和mAP

Table 2 ASR and mAP of different attack methods

攻击方式	具体内容	ASR	mAP50
攻击方式一	嵌入目标+修改标注	87.30%	93.51%
攻击方式一	仅修改标注	50.79%	93.90%
攻击方式二	嵌入图像+修改标注	100%	94.56%
攻击方式二	对类别12嵌入目标	21.10%	79.02%

攻击方式一的结果清晰体现了这一点，仅修改标注而无图像嵌入时，ASR约为50.79%，而当同时嵌入图像并修改标注信息时，ASR高达100%，单纯嵌入目标并修改标注信息也能获得87.30%的ASR，显著高于仅修改标注的情况。

攻击方式二中，针对类别12的嵌入方式表明，当对类别12嵌入目标时，ASR为21.10%；当对类别12嵌入整张图像时，ASR为1.59%，其与不当修改标注信息的相关结果，均远低于最佳情况下100%的ASR。

实验结果表明，在目标检测后门攻击中，简单地在图像中嵌入恶意目标或整张图像不足以保障较高的攻击成功率，攻击者需要在数据层面（包括目标类别、边界框等标注信息）做出相应的调整和伪造，使得模型在训练过程中学会将恶意触发特征与特定类别或位置关联起来，从而在推理阶段实现高成功率的后门触发。

本文实验还发现，在嵌入目标和修改标注的缩放攻击下，如图8所示，如果缩放后的图像特征与边界框不匹配，ASR会降到63.49%。

显示原图|下载原图ZIP|生成PPT

图 8 缩放后的图像特征与边界框不匹配

Fig.8 Mismatch between the scaled image features and the bounding box

上述实验结果表明，在目标检测任务中，攻击的成功率取决于图像特征、标注的类别标签、标注的边界框坐标。模型的学习过程是通过图像特征与标注文件中提供的目标类别和边界框信息相互匹配来完成的。在后门攻击中，如果攻击者希望模型在识别到某个特定特征（如缩放后的类别 12 图像纹理）时，可以预测为特定类别（如类别 12），必须确保以下条件得到满足。

（1）类别标签与对象特征的一致性：当模型检测到缩放后的类别12目标（如嵌入在原图中的320×320.jpg图像内容）时，标注文件也应明确指示该目标的类别为12。这样，模型才会在训练中将那些特定的图像纹理、颜色、形状等特征与类别12建立稳定的关联。

（2）边界框与对象位置的一致性：除了类别标签外，模型还需要根据标注文件给出的边界框信息定位目标对象。在训练中，模型会尝试对齐标注中的位置信息和图像中的实际对象特征。如果缩放后的目标并未正确对齐到标注文件中指示的边界框范围内，模型在训练中将面临矛盾信号，识别的特征与标注位置不匹配。这种不一致性会导致模型难以稳定地学习到该边界框内与对应特定类别目标的关系，从而影响攻击的成功率。

本文根据已有工作^[13]利用直方图来验证图像缩放的两种方式在目标检测图像中的高隐蔽性。在相同参数设置下，缩放整张图像和缩放物体目标的效果对比如图9所示。图9（a）展示了原始图像和攻击图像之间的差异，从直方图可以看到，攻击图像的像素分布在整体上与源图像较为接近，但有细微差别，攻击带来了部分像素分布的变化。图9（b）展示了攻击只针对图像中的目标部分而背景保持不变的情况，直方图显示两者的分布更为接近，说明目标攻击隐藏性较好，未明显影响整体图像的像素分布。图9（c）比较了攻击图像A和缩放图像A′的分布，图像的整体像素分布发生了变化，但大部分区域保持类似的模式。图9（d）显示攻击目标局部的像素分布变化很小。攻击前后的像素分布高度一致，显示了攻击的隐蔽性与针对性，有效降低了检测风险。

显示原图|下载原图ZIP|生成PPT

图 9 全图缩放攻击和单目标缩放攻击的后门攻击检测直方图对比

Fig.9 Comparison of backdoor detection histograms between image-based and target-based scaling attack

单目标缩放攻击与全图像缩放攻击相比，目标攻击更具隐蔽性，改变更小，影响范围更局部。对比攻击图像A和缩放后的图像A′可以看出，缩放攻击在一定程度上保持了攻击图像的像素分布，可以防御基于直方图的图像检测。

4 结束语

本文提出了一种面向无人机目标检测的隐蔽后门攻击方法，通过利用目标检测中的边界框信息，对目标检测图像进行缩放和选择性嵌入操作，生成高隐蔽性和高成功率的毒化图像。实验结果表明了目标检测后门攻击中图像特征与标注信息协同匹配的重要性。仅在图像中嵌入特定触发特征而不调整标注，难以维持高水平的攻击成功率；相反，当同时修改目标类别与边界框标注，使其与嵌入图像特征精确对齐时，后门攻击成功率可以显著提高，而单目标图像缩放攻击在直方图上可以实现高隐蔽性。未来的工作可以针对多目标的目标检测图像进行后门攻击方法的研究，设计更隐蔽的触发器来实现有效的后门攻击。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	那振宇, 程留洋, 孙鸿晨, 等. 基于深度学习的无人机检测和识别研究综述[J]. 信号处理, 2024, 40 (4): 609- 624. NA Z Y, CHENG L Y, SUN H C, et al. A review of research on drone detection and recognition based on deep learning[J]. Journal of Signal Processing, 2024, 40 (4): 609- 624.

2	CARION N,MASSA F,SYNNAEVE G,et al. End-to-end object detection with transformers[C]//European Conference on Computer Vision. Cham:Springer International Publishing,2020:213-229.

3	REDMON J,DIVVALA S,GIRSHICK R,et al. You only look once:Unified,real-time object detection[C]//Proceedings of The IEEE Conference on Computer Vision and Pattern Recognition. IEEE,2016:779-788.

4	NING Z,LI T,WU Y,et al. 6G communication new paradigm:the integration of unmanned aerial vehicles and intelligent reflecting surfaces[J]. IEEE Communications Surveys & Tutorials,2025:1-1.

5	FARAJIJALAL M, ESLAMIAT H, AVINENI V, et al. Safety systems for emergency landing of civilian unmanned aerial vehicles-a comprehensive review[J]. Drones, 2025, 9 (2): 141. DOI

6	ZHU C,FAN X,DENG X,et al. Energy-efficient and privacy-preserving edge intelligence for 6G-empowered intelligent transportation systems[J]. IEEE Network,2025:1-1.

7	ASKARZADEH T, BRIDGELALL R, TOLLIVER D D. Drones for road condition monitoring: Applications and benefits[J]. Journal of Transportation Engineering, Part B: Pavements, 2025, 151 (1): 04024055.

8	CHENG S,SHEN G,TAO G,et al. Odscan:Backdoor scanning for object detection models[C]//2024 IEEE Symposium on Security and Privacy (SP). IEEE,2024:1703-1721.

9	CHAN S H,DONG Y,ZHU J,et al. Baddet:Backdoor attacks on object detection[C]//European Conference on Computer Vision. Cham:Springer Nature Switzerland,2022:396-412.

10	LUO C,LI Y,JIANG Y,et al. Untargeted backdoor attack against object detection[C]//ICASSP 2023-2023 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). IEEE,2023:1-5.

11	GU T, LIU K, DOLAN-GAVITT B, et al. Badnets: Evaluating backdooring attacks on deep neural networks[J]. IEEE Access, 2019, 7, 47230- 47244. DOI

12	CHEN K,LOU X,XU G,et al. Clean-image backdoor:Attacking multi-label models with poisoned labels only[C]//The Eleventh International Conference on Learning Representations. ICLR,2022. https://openreview.net/forum?id=rFQfjDC9Mt.

13	QUIRING E,RIECK K. Backdooring and poisoning neural networks with image-scaling attacks[C]//2020 IEEE Security and Privacy Workshops (SPW). IEEE,2020:41-47.

14	XIAO Q,CHEN Y,SHEN C,et al. Seeing is not believing:Camouflage attacks on image scaling algorithms[C]//28th USENIX Security Symposium (USENIX Security 19). 2019:443-460.

15	DUONG T T N,BUI D N,PHUNG M D. Navigation variable-based multi-objective particle swarm optimization for UAV path planning with kinematic constraints[J]. Neural Computing and Applications,2025:1-15.

16	BOCHKOVSKIY A, WANG C Y, LIAO H Y M. Yolov4: Optimal speed and accuracy of object detection[J]. ArXiv preprint, ArXiv:, 2004, 10934, 2020.

17	JOCHER G,QIU J,CHAURASIA A. Ultralytics YOLO[CP/OL]. https://github.com/ultralytics/ultralytics.

18	HUANG S, PAPERNOT N, GOODFELLOW I, et al. Adversarial attacks on neural network policies[J]. ArXiv preprint, ArXiv:, 1702, 02284, 2017.

19	JIN K, ZHANG T, SHEN C, et al. Can we mitigate backdoor attack using adversarial detection methods?[J]. IEEE Transactions on Dependable and Secure Computing, 2022, 20 (4): 2867- 2881.

20	GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63 (11): 139- 144. DOI

21	GARG S,KUMAR A,GOEL V,et al. Can adversarial weight perturbations inject neural backdoors[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020:2029-2032.

22	CHAKRABORTY A, ALAM M, DEY V, et al. A survey on adversarial attacks and defences[J]. CAAI Transactions on Intelligence Technology, 2021, 6 (1): 25- 45. DOI

23	LI J, CHEN H, SUN P, et al. Call white black: Enhanced image-scaling attack in industrial artificial intelligence systems[J]. IEEE Transactions on Industrial Informatics, 2024, 20 (4): 6222- 6233. DOI

24	QUIRING E,MÜLLER A,RIECK K. On the detection of image-scaling attacks in machine learning[C]//Proceedings of the 39th Annual Computer Security Applications Conference. 2023:506-520. https://dl.acm.org/doi/10.1145/3627106.3627134.

25	CARLINI N, TERZIS A. Poisoning and backdooring contrastive learning[J]. ArXiv preprint, ArXiv:, 2106, 09667, 2021.

26	LI Y, JIANG Y, LI Z, et al. Backdoor learning: A survey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 35 (1): 5- 22.

27	LI Y,LI Y,WU B,et al. Invisible backdoor attack with sample-specific triggers[C]//Proceedings of the IEEE/CVF International Conference on Ccomputer Vision. IEEE,2021:16463-16472.

28	HUANG H,MU J,GONG N Z,et al. Data poisoning attacks to deep learning based recommender systems[C]//Network and Distributed Systems Security Symposium. 2021.

29	DOAN K, LAO Y, LI P. Backdoor attack with imperceptible input and latent modification[J]. Advances in Neural Information Processing Systems, 2021, 34, 18944- 18957.

30	TRAN B, LI J, MADRY A. Spectral signatures in backdoor attacks[J]. Advances in Neural Information Processing systems, 2018, 31, 8011- 8021.

31	Traffic signs detection[EB/OL]. https://www.kaggle.com/datasets/pkdarabi/cardetection.

Options

文章导航

模态框（Modal）标题

摘要

本文引用格式

Abstract

0 引言

1 研究背景与相关工作

1.1 目标检测

1.2 图像缩放攻击

图 1 全图像的图像缩放攻击

图 2 单目标的图像缩放攻击

1.3 目标检测中的后门攻击

2 方案设计

2.1 问题定义

2.2 威胁模型

2.3 攻击框架

图 3 后门攻击框架

2.3.1 目标检测

2.3.2 图像缩放

2.3.3 图像结合

2.3.4 后门攻击植入

2.3.5 数据集扩充与攻击效果评估

2.4 攻击方法

2.4.1 攻击方式一：针对所有类别进行数据毒化，改变数据的标签

图 4 攻击方式一：单目标缩放的验证集部分展示

2.4.2 攻击方式二：针对特定类别（类别6）进行数据毒化，并且不改变数据的标签

图 5 攻击方式二：单目标缩放的验证集部分展示

3 实验设计与结果

3.1 实验设计

3.1.1 实验准备

表 1 实验环境的配置信息

3.1.2 攻击参数设置

图 6 不同毒化率对不同攻击方式的影响

图 7 不同训练周期数epoch对不同攻击方式的影响

3.2 实验结果

表 2 不同攻击方式的ASR和mAP

图 8 缩放后的图像特征与边界框不匹配

图 9 全图缩放攻击和单目标缩放攻击的后门攻击检测直方图对比

4 结束语

参考文献