Search
E-mail
RSS

Journal of Cybersecurity >

2026 , Vol. 4 >Issue 1: 34 - 43

DOI: https://doi.org/10.20172/j.issn.2097-3136.260201

Academic Research

UAV traffic intrusion detection method based on lightweight Transformer model

  • Tian Deyang ,
  • Wang Peng , * ,
  • Wu Xuan ,
  • Wang Xiaodan ,
  • Liu Changyun ,
  • Song Yafei ,
  • Lei Qin
Expand
  • Air and Missile Defense College, Air Force Engineering University, Xi’an 710051, China

Online published: 2026-05-13

Copyright

Copyright ©2026 Journal of Aeronautical Materials. All rights reserved.
Fold

Abstract

With the rapid development and widespread application of unmanned aerial vehicles (UAV), the frequent occurrence of unauthorized intrusions into UAV networks has posed serious threats to public safety. To enhance the feature extraction capabilities of UAV network traffic and effectively monitor the operational status of UAV, we propose a lightweight Transformer-based UAV traffic intrusion detection method that incorporates rotational position encoding, locally aggregated attention units, and improved feedforward neural network (FFN). Firstly, we employ rotational position encoding to encode the positions of network traffic and propose a locally aggregated attention unit. By utilizing grouped linear transformations, the unit can effectively aggregate and extract local features, and leverage the self-attention mechanism to perceive and enhance global information. Subsequently, the enhanced features are extracted using a improved lightweight FFN. Finally, the effectiveness of the proposed method is validated on the CICIDS2017 and UNSWNB15 datasets. Experimental results demonstrate that the proposed UAV traffic intrusion detection method exhibits superior detection performance, providing a new lightweight solution for the security protection of UAV systems.

Key words： unmanned aerial vehicles; traffic intrusion detection; Transformer model; self-attention mechanism

Cite this article

Tian Deyang , Wang Peng , Wu Xuan , Wang Xiaodan , Liu Changyun , Song Yafei , Lei Qin . UAV traffic intrusion detection method based on lightweight Transformer model[J]. Journal of Cybersecurity, 2026 , 4(1) : 34 -43 . DOI: 10.20172/j.issn.2097-3136.260201

0 引言

无人机作为一种新兴技术，近年来在航拍、物流、农业、军事领域得到了广泛应用。尽管无人机技术已得到广泛应用，但无人机网络的安全却未得到充分保障。随着信息窃取技术的发展与网络攻击种类的增加，地面站对无人机的控制、无人机间通信及无人机自身安全都面临着巨大威胁[1-2]。无人机网络由于其移动性与开放性，容易受到拒绝服务（denial of service，DoS）攻击、信息窃取、身份伪造、全球定位系统信号欺骗等多种恶意攻击[3]。这些攻击可能导致网络整体性能下降、无人机通信安全受威胁、用户机密信息被窃取，严重时还会直接导致无人机坠毁，给民用和军事应用造成巨大损失。无人机网络流量入侵检测技术，旨在通过监测和分析无人机网络流量，及时发现并防范潜在的恶意攻击。该技术通过实时捕获、分析和识别无人机网络流量，能够发现异常行为、恶意流量及潜在安全威胁，从而保障无人机系统的正常运行和数据安全，为无人机执行各项任务提供有力保障。
当前，无人机网络流量入侵检测技术已经取得了显著进展，并逐渐发展成为一个独立的研究领域。传统的入侵检测系统（intrusion detection system，IDS）逐渐向智能化、自动化方向发展，通过结合机器学习、数据挖掘等先进技术，可实现对恶意行为的精准检测和预测。这些系统能够监测网络流量，识别出潜在的攻击行为，并及时发出警报，为无人机系统的安全防护提供了有力支持。早期，无人机网络流量入侵检测主要依赖于统计分析和规则匹配技术。统计方法通过构建正常流量的行为模型，实时监测实际流量与模型之间的偏离程度，以此识别异常行为。例如，通过计算流量中的数据包大小、到达间隔等统计特征，与预设的正常阈值进行比较，从而发现潜在的攻击迹象。规则匹配方法则依赖于已知的攻击签名库，将捕获到的流量与签名库中的模式进行匹配，一旦发现匹配项，则触发警报。Muniraj等[4]提出了适用于小型无人机系统的传感器攻击检测框架，通过为传感器攻击生成数字签名，并利用统计分析确定概率，实现对传感器攻击的检测。该框架中数字签名的对象为攻击行为，签名仅针对恶意攻击且不受环境因素干扰；此外，该方案对安全性不同的传感器采用不同检测策略，降低了运行成本。Zhu等[5]提出了一种基于概率的异常行为检测方案，引入一类完全可信的管理者，该管理者根据路由证据，周期性地以一定概率检查无人机数据包转发情况，以检测恶意无人机，其中路由证据中加入了可生成无人机自身身份的数字签名。该方案中数字签名的对象为无人机身份，可确保恶意无人机攻击网络后无法抵赖，降低了恶意无人机的攻击概率，且周期性检测降低了检测成本。Condomines等[6]提出了一种基于频谱流量分析和鲁棒控制器的混合入侵检测系统，该方法首先对网络中交换的流量进行统计签名，通过检测得到的特征值选择合适的模型对异常流量进行精准识别，实验结果表明IDS在无人机通信网络中具有良好的应用前景。Xie等[7]提出一种解决规则组合爆炸问题的证据推理（evidential reasoning，ER）算法，结合ER方法与置信规则库（belief rule base，BRB）的优势，提出了一种基于EBRB的无人机入侵检测评估模型，该模型可在属性数量庞大的情况下检测无人机入侵行为，并通过实验案例说明了该方法的实现和应用。然而，随着网络攻击手段的不断演进，基于统计分析与规则匹配的方法逐渐暴露出其局限性：一方面，统计模型难以适应快速变化的网络环境；另一方面，规则库的更新往往滞后于新攻击手段的出现。
为了克服传统方法的不足，机器学习与数据挖掘技术被引入无人机网络流量入侵检测领域，基于深度学习的无人机入侵检测方法逐渐成为研究热点。这些方法通过自动学习流量数据的内在特征，实现对恶意行为的精准识别和预测。Hassler等[8]使用支持向量机、前馈神经网络（feed forwardneural network，FNN）、带有长短期记忆细胞的递归神经网络和卷积神经网络训练融合信息特征和物理特征的机器学习入侵检测系统，以检测网络攻击行为。Shrestha等[9]提出了一种基于无人机网络的安全模型，利用机器学习技术有效检测漏洞和网络攻击。研究表明，机器学习（machine learning，ML）算法可用于无人机网络中对良性或恶意数据包进行分类，以增强网络安全性。Samriya等[10]采用最小最大归一化技术对数据集进行清洗，通过蚁群优化（ant colony optimization，ACO）算法进行降维，利用深度神经网络（deep neural network，DNN）进行进一步处理。该模型为解决无人机网络入侵检测问题提供了一种有效方案。Sucharitha等[11]提出一种基于循环神经网络（recurrent neural network，RNN）的入侵检测方法，通过对大量信息进行检查与分解以发现不一致性，信息分类由每个飞行自组网（flying ad hoc network，FANET）内部的专家完成。该方案中的中介机构默认记录FANET实时信息，包括流处理模块及无人机通信数据中与入侵识别相关的内容。Ahmad等[12]提出了基于卷积神经网络（convolutional neural network，CNN）和循环神经网络（recurrent neural network，RNN）的入侵检测方法，其中CNN用于特征提取、RNN用于序列建模，实验结果验证了无人机网络深度学习入侵检测系统的有效性。
利用深度学习算法对无人机流量数据进行建模和分类，可以实现高精度的入侵检测。其中，Transformer模型作为一种基于自注意力机制的深度学习模型，在自然语言处理[13-14]、计算机视觉[15-16]等领域取得了显著成效，并逐渐扩展到其他领域。然而，将Transformer模型应用于无人机流量入侵检测，仍需结合任务需求进一步研究与探索。尽管无人机流量入侵检测取得了显著进展，但仍面临一些挑战。①数据复杂性：无人机网络流量数据具有高度复杂性和动态性，包含大量噪声和冗余信息，增加了数据预处理与特征提取的难度。②模型泛化能力不足：传统的入侵检测模型和机器学习算法在应对新型、复杂的入侵行为时，往往泛化能力不足，导致其在实际应用中难以有效检测未知类型的入侵行为。③实时性要求高：无人机流量入侵检测需具备高度实时性，以便及时发现和响应入侵事件。然而，现有的入侵检测模型在处理大规模网络流量数据时，往往存在计算复杂度高、实时性不足等问题。
在无人机流量入侵检测中，Transformer模型中的自注意力机制允许模型在处理当前输入时考虑到整个序列中的其他输入，从而能够捕捉全局依赖关系。这一特性对于无人机流量入侵检测尤为重要，因为入侵行为往往涉及多个网络流量数据包之间的关联。此外，与传统的循环神经网络相比，Transformer模型中的自注意力机制可以实现完全并行的计算，从而显著提高模型的训练速度和推理速度，这对于实时性要求高的无人机流量入侵检测任务至关重要。值得注意的是，Transformer模型具有长距离依赖捕捉能力，能够直接计算任意两个位置之间的依赖关系，从而更好地捕捉长距离关联。在无人机流量入侵检测中，一些入侵行为可能涉及跨越多个网络流量数据包的复杂模式，Transformer模型的长距离依赖捕捉能力有助于识别这些模式。
针对现有无人机流量入侵检测技术的局限性，本文提出基于轻量化Transformer的无人机流量入侵检测方法。首先，本文采用旋转位置编码对网络流量进行位置编码；为增强局部和全局特征提取能力，随后提出一种局部聚合注意力单元，该单元通过分组线性变换可有效聚合和提取局部特征，并利用自注意力机制实现对全局信息的感知和增强。最后，利用轻量化前馈神经网络（feedforward neural network，FFN）对增强后的特征进行提取，以进一步提高无人机网络流量入侵检测的精度并降低模型复杂度。

1 本文方法

本节将详细介绍基于轻量化Transformer的无人机流量入侵检测方法。该方法利用Transformer模型强大的序列处理能力，对无人机网络流量数据进行深入分析，以实现高精度的无人机网络流量入侵检测。

1.1 方法概述

基于Transformer的无人机流量入侵检测方法主要分为两个阶段：数据预处理阶段和模型训练与检测阶段。在数据预处理阶段，首先收集无人机网络流量数据，并对其进行清洗和标准化处理，以去除噪声、剔除异常值，用于后续模型训练和验证。在模型训练与检测阶段，本文提出了一种轻量化Transformer模型，利用该模型提取无人机网络流量数据中的特征和模式，实现无人机网络流量入侵检测。
本文提出了一种基于旋转位置编码、局部聚合注意力单元和改进型前馈神经网络，用于无人机网络流量入侵检测。本文方法相较于传统Transformer模型，能够提取深层时序特征和全局信息，且更加轻量化。该方法通过旋转位置编码，增强了对网络流量序列位置信息的表示能力，相对位置信息相较绝对位置信息具有更强的信息表示能力，避免了绝对位置的敏感性造成过拟合问题。特征提取部分由N个堆叠的轻量化Transformer编码器构成，与传统Transformer的特征提取器不同，该轻量化Transformer特征提取器采用自适应模型缩放机制，能够动态调整模型深度，使其适应不同的特征提取阶段，且有效控制模型参数量。最后，通过Softmax分类器实现对入侵攻击类型的检测。该无人机网络流量入侵检测方法示意如图1所示。
图 1 无人机网络流量入侵检测方法示意

Fig.1 Schematic diagram of uav network traffic intrusion detection method

1.2 数据预处理

数据收集：通过部署在无人机网络关键节点上的流量监控设备或软件，实时捕获无人机网络流量数据。数据包括无人机网络中各类数据包的特征，如源IP地址、目的IP地址、端口号、协议类型、数据包大小、数据包传输时间等。
数据标准化：对数值型特征进行归一化处理，使其分布在相同的尺度上，避免特征尺度差异导致数值偏差及模型训练不稳定的问题。对类别型特征采用标签编码进行处理，将其转换为数值型特征。

1.3 轻量化Transformer模型构建

在无人机网络中轻量化的Transformer模型至关重要，其网络结构如图2所示。为实现更轻量化的相对位置编码方式，本文采用旋转位置编码为无人机网络流量序列注入位置信息。假设无人机网络流量序列为$ \boldsymbol{X}=[{\boldsymbol{x}}_{1},{\boldsymbol{x}}_{2},\cdots,{\boldsymbol{x}}_{N}] $ ，其中，$ N $表示序列长度。传统的绝对位置编码在嵌入层之后增加位置信息，绝对位置编码嵌入位置信息的计算方式为：
图 2 轻量化Transformer网络结构示意

Fig.2 Schematic diagram of lightweight transformer network structure

$ f({\boldsymbol{x}}_{i},i)=W({\boldsymbol{x}}_{i}+{\boldsymbol{p}}_{i}) $
其中，$ i $为$ {\boldsymbol{x}}_{i} $的位置，$ {\boldsymbol{p}}_{i}\in {\mathbb{R}}^{d} $是一个可训练的$ d $维位置向量，$ d $取决于$ {\boldsymbol{x}}_{i} $。绝对位置编码为序列中每个位置的数据增加相互独立的位置信息，位置向量需通过大量数据训练，才能使模型获得较好的性能。由于无人机网络入侵攻击类型的数据集规模有限，绝对位置编码将不再适合解决无人机网络流量入侵检测问题。本文采用旋转位置编码，该编码是一种乘性编码，通过对绝对位置信息进行旋转变换，实现相对位置编码，其位置编码的计算方式为：
$ g({\boldsymbol{x}}_{m},m)=\boldsymbol{R}_{\varTheta ,m}^{d}\boldsymbol{W}{\boldsymbol{x}}_{m} $
其中，旋转矩阵为
$ \boldsymbol{R}_{\Theta ,m}^{d}=\left[\begin{matrix}\cos m{\theta }_{1} & -\sin m{\theta }_{1} & \cdots & 0 & 0\\\sin m{\theta }_{1} & \cos m{\theta }_{1} & \cdots & 0 & 0\\\vdots & \vdots & \ddots & \vdots & \vdots \\0 & 0 & 0 & \cos m{\theta }_{d/2} & \sin m{\theta }_{d/2}\\0 & 0 & 0 & \sin m{\theta }_{d/2} & \cos m{\theta }_{d/2}\end{matrix}\right] $，$ \varTheta ={\theta }_{i}=\dfrac{1}{{10\,000}^{2(i-1)d}},i\in [1,2,\cdots,d/2] $，$ d $为序列的维度，$ m $和$ n $分别为序列的两个位置索引。本文利用旋转矩阵引入相对位置信息$ \boldsymbol{R}_{\varTheta ,n-m}^{d} $，且旋转位置编码避免了引入更多的可学习参数矩阵，以更加轻量化的方式引入相对位置信息。
由于无人机网络流量包含大量冗余信息，不仅会对特征提取产生严重影响，还会混淆有效的目标特征。采用注意力机制增强对重要目标特征的关注度，能够有效抑制噪声信息的不良影响，提高特征提取的有效性。本文提出一种局部聚合注意力单元，与大多数方法对输入信息进行高维映射的方式不同，该单元对输入的无人机网络流量序列进行降维处理，通过分组线性变换对局部信息进行特征聚合，而后利用自注意力机制对聚合后的低维特征进行全局感知，从而有效增强全局信息的提取能力。浅层高维映射操作会混淆噪声信息和目标信息，而本文采用多层分组线性变换，对局部特征通过先升维再降维的方式进行聚合，低维聚合特征更易被自注意力机制处理，局部特征聚合能够有效提高自注意力机制对全局信息的关注能力。
局部聚合注意力单元主要由分组线性变换、非线性激活函数、层归一化、自注意力机制和残差连接组成。该单元通过局部特征聚合和全局感知，实现有效的特征增强。将经过编码的向量 $ \boldsymbol{I}=g(\boldsymbol{X}) $，作为局部聚合注意力单元的输入，经该单元完成局部特征聚合和全局特征增强后，输出增强后的特征向量$ \boldsymbol{F} $。
分组线性变换是一种具有数据降维功能的特征提取技术，通过将原始数据划分为多个子序列，对每个子序列分别应用线性变换，从而提取出更具代表性的特征，该方法能够有效降低计算复杂度、减少存储需求，同时保留数据中的关键信息。无人机网络流量通常具有较高的特征维度，直接处理此类高维数据不仅计算量大，而且可能包含大量冗余信息；通过分组线性变换，可将无人机网络流量划分为多个子序列，并对每个子序列进行线性变换，提取出具有重要表征意义的特征。在局部特征聚合阶段，假设共有$ L $层分组线性变换，在前$ \left\lceil L/2\right\rceil $ 层进行升维操作，剩余的$ L-\left\lceil L/2\right\rceil $ 层进行降维操作。分组数量由分组线性变换的层数$ L $决定，分组数量过大会导致局部信息丢失，分组数量过小则会增加模型计算复杂度。各层分组线性变换的分组数量计算具体过程为：
$ {n}^{l}=\begin{cases} \min ({2}^{l-1},{n}^{\max }),1\leqslant l\leqslant \left\lceil L/2\right\rceil \\{n}^{L-l},其他\end{cases} $
式中，$ {n}^{l} $为第$ l $层分组线性变换的分组数量，$ {n}^{\max } $为分组线性变换分组数量的最大值，设置分组数值的上限，避免分组数量过大。基于上述分组数量，各层分组线性变换输出特征的计算方式为：
$ {\boldsymbol{H}}^{l}=\begin{cases} {\mathrm{G}}(\boldsymbol{I},{\boldsymbol{W}}^{l},{\boldsymbol{b}}^{l},{n}^{l}),l=1\\{\mathrm{G}}({\mathrm{M}}(\boldsymbol{I},{\boldsymbol{H}}^{l-1}),{\boldsymbol{W}}^{l},{\boldsymbol{b}}^{l},{n}^{l}),其他\end{cases} $
式中，$ {\mathrm{G}}(\cdot ) $表示分组线性变换，$ {\mathrm{M}}(\cdot ) $表示残差拼接操作，同时还包含非线性激活函数高斯误差线性单元（Gaussian error linear units，GELU）和层归一化操作，$ {\boldsymbol{W}}^{l} $表示分组线性变换第$ l $层的可学习的参数矩阵，$ {\boldsymbol{b}}^{l} $表示偏置向量，$ {n}^{l} $表示分组数量。局部特征聚合通过对局部特征先升维再降维的方式，得到深层局部特征，且在每一层分组线性变换中均采用残差拼接操作，避免模型加深导致原始信息丢失。低维聚合特征更易于自注意力机制处理，而局部特征聚合可有效提升自注意力机制对全局信息的关注能力。将低维聚合特征作为自注意力机制的输入，进而完成全局感知操作。在计算量上，由于分组操作，主要矩阵乘法在更小的维度上进行，可有效降低计算复杂度。本文认为，这种分组线性变换与局部聚合相结合的设计之所以有效，是因为传统多头自注意力机制（multi-head self-attention，MHSA）在整个特征维度上直接进行线性变换，可能存在参数冗余和计算冗余。本文中的分组策略将高维特征解耦为多个低维子空间，在每个子空间内独立进行线性变换，这类似于一种结构化的稀疏约束，能够以更少的模型参数捕捉更多样的特征模式。
自注意力机制通过计算数据之间的相关性进行长程建模，增强具有高可分性的流量特征，抑制冗余信息的不良影响，从而对局部聚合后的特征进行有效的全局增强。根据信息检索的相关原理，自注意力机制通过查询向量与键向量的相似度计算，得到序列数据的相关性矩阵（即注意力矩阵），进而与值矩阵进行矩阵乘法运算，得到全局增强后的特征，其计算公式为
$ \begin{aligned}\boldsymbol{A}&=SA({\boldsymbol{H}}^{L})={\mathrm{Attention}}(\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V})\\&=\mathrm{softmax}\left(\frac{\boldsymbol{Q}{\boldsymbol{K}}^{\mathrm{T}}}{\sqrt{{d}_{k}}}\right)\boldsymbol{V}\end{aligned} $
式中，查询向量$ \boldsymbol{Q}=\boldsymbol{Y}{\boldsymbol{W}}_{Q} $，键向量$ \boldsymbol{K}=\boldsymbol{Y}{\boldsymbol{W}}_{K} $和值向量$ \boldsymbol{V}\mathbf{=}\boldsymbol{Y}{\boldsymbol{W}}_{V} $，其中$ {\boldsymbol{W}}_{Q},{\boldsymbol{W}}_{K},{\boldsymbol{W}}_{V} $为可学习的参数矩阵，$ {d}_{k} $为嵌入的维度。最后，为保证输入与输出维度一致，需先对自注意力机制的输出向量进行升维处理；同时，为避免模型过深导致重要特征丢失，增加残差连接以保留原始特征中的重要信息，其计算公式为
$ \boldsymbol{F}=\boldsymbol{I}+{\boldsymbol{W}}_{s}\boldsymbol{A} $
式中，$ {\boldsymbol{W}}_{s} $是对自注意力机制的输出进行升维处理的参数矩阵，$ \boldsymbol{I} $为残差特征，A为升维后的特征向量。
局部聚合注意力单元相较传统的多头注意力机制具有更深的网络结构，特征增强能力更显著，故本文采用轻量化前馈网络替代传统前馈网络进行特征提取。假设输入特征向量$ \boldsymbol{F} $的维度为$ {d}_{m} $，传统的FFN采用先升维至$ 2{d}_{m} $再降维至$ {d}_{m} $的方式进行特征提取，参数量很大。由于局部聚合注意力单元具有显著的特征增强效果，故本文采用轻量化FFN进行特征提取，该网络由全连接层、非线性激活函数和残差连接组成。轻量化FFN先将输入特征降维至$ \dfrac{{d}_{m}}{2} $，再升维至$ {d}_{m} $，在保证模型性能不变的前提下，参数量降低为原来的1/16。轻量化FFN进行特征提取的计算公式为：
$ \begin{aligned}{\boldsymbol{O}}_{m}&={\mathrm{Feedforward}}(\boldsymbol{F})\\        &=\boldsymbol{F}+((\mathrm{Relu}(\boldsymbol{F}{\boldsymbol{W}}_{1}+{\boldsymbol{b}}_{1})){\boldsymbol{W}}_{2}+{\boldsymbol{b}}_{2})\end{aligned} $
式中，$ {\boldsymbol{W}}_{1},{\boldsymbol{b}}_{1} $分别是降维时的参数矩阵和偏置向量，$ {\boldsymbol{W}}_{2},{\boldsymbol{b}}_{2} $分别是降维时的参数矩阵和偏置向量，$ \mathrm{Relu}(\cdot ) $为非线性激活函数。局部聚合操作扮演了信息摘要的角色，该操作在不显著增加计算负担的前提下，融合了各子序列组内的核心特征信息，再通过注意力机制进行特征增强。这种先分散处理、后高效聚合的特征提取模式，相较于传统多头注意力机制的一体化特征处理方式，在计算效率和参数效率上更具优势，尤其适合资源受限的无人机网络应用场景。
经过堆叠的$ M $层轻量化Transformer编码器处理后，最后使用SoftMax为分类器，输出的结果为
$ \boldsymbol{Y}=\mathrm{SoftMax}({\boldsymbol{O}}_{M})=\frac{\exp (o_{i}^{M})}{\displaystyle\sum\limits_{k=1}^{K}o_{k}^{M}} $
式中，$ {\boldsymbol{O}}_{M} $为第$ M $层轻量化Transformer编码器的输出，$ \exp (\cdot ) $表示$ {\mathrm{e}} $的指数函数，$ K $表示总的类别数。

2 实验设计与分析

2.1 数据集描述

CICIDS2017数据集是一个用于入侵检测评估的重要数据集，由CIC（Canadian Institute for Cybersecurity）开发，为入侵检测系统和入侵防御系统（intrusion prevention systems，IPS）提供真实且多样化的测试环境。该数据集包含良性流量和最新常见网络攻击流量，与现实世界的数据包捕获（packet capture，PCAP）数据具有较高的相似度。网络攻击类型包括暴力FTP、暴力SSH、DoS、Heartbleed攻击、Web攻击、渗透攻击、僵尸网络和分布式拒绝服务攻击（distributed denial of service，DDoS）等[17-18]。
UNSW-NB15数据集是用于网络入侵检测研究的公开数据集，由澳大利亚新南威尔士大学网络安全实验室提供。该数据集包含常见网络攻击流量和正常流量，具体分为9种类型，分别为DoS、Fuzzers（模糊测试）攻击、Analysis（分析）攻击、Backdoors（后门）攻击、Exploits（利用）攻击、Generic（通用）攻击、Reconnaissance（侦察）攻击、Shellcode（Shell代码）攻击和Worms（蠕虫）攻击。该数据集的流量样本包含49个特征，广泛应用于入侵检测系统的训练和评估任务[19]。
为评估本文提出的基于轻量化Transformer的无人机流量入侵检测方法性能，采用一系列评估指标，包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数（F1-Score）。模型训练配置和超参数设置如表1和表2所示。
表 1 模型配置

Table 1 Model configuration

配置项 配置内容
损失函数 Cross entropy
优化器 Adam
表 2 模型超参数设置

Table 2 Model hyperparameter settings

超参数 值
早停迭代次数 30
特征映射维度 128
分组变换层数 3
编码器层数 3
前馈神经网络维度 64
学习率 0.001
迭代次数 100
Batch size 512

2.2 对比实验

为验证所提轻量化Transformer模型的优势，设计对比实验，将其与其他先进机器学习模型进行比较，包括DNN[19]、CNN[20]、长短时记忆网络[21]和卷积神经网络—门控循环单元（CNN-gated recurrent unit，CNN-GRU）[22]。采用准确率、精确率、召回率和F1分数衡量各方法的检测性能，实验结果如图3所示。
图 3 CICIDS2017数据集对比实验结果

Fig.3 Comparison experiment results of CICIDS2017 dataset

图3展示了5种对比方法在CICIDS2017数据集上的检测结果，基于轻量化Transformer的方法在各项指标中均取得更优性能，体现了该方法在网络序列数据提取中的优势。与DNN相比，本文方法的准确率提高了4.52%；与CNN、LSTM相比，准确率分别提高了6.03%和7.98%；与CNN-GRU融合模型相比，准确率仍提高了1.92%。结果表明，本文方法在提取局部和全局时序特征关系方面具有优势，能够更有效地提取流量数据中的复杂特征。
图4展示了5种对比方法在UNSW-NB15数据集上的检测结果，体现了本文方法在序列数据提取中的优势。与DNN相比，所提方法的准确率提高了2.96%；与CNN、LSTM相比，准确率分别提高了5.57%和7.52%；与CNN-GRU融合模型相比，准确率仍提高了1.46%。结果表明，本文方法在提取全局时序关系方面具有优势，能够更有效地提取流量数据中的复杂特征。
图 4 UNSWNB15数据集对比实验结果

Fig.4 Comparison experiment results of UNSWNB15 dataset

上述对比实验结果表明，本文所提基于轻量化Transformer的模型在准确率、精确率、召回率和F1分数上均优于其他对比模型的检测性能。在CICIDS2017和UNSW-NB15两个数据集上，DNN、CNN和LSTM的性能均不稳定，而本文方法则实现了更优且稳定的检测效果。为验证复杂通信条件下的网络流量检测效果，本文在噪声环境下验证了所提方法的泛化性能和鲁棒性。
本文将符合不同特定信噪比的加性高斯白噪声直接叠加至整个特征序列张量上。这种处理方式旨在模拟无人机通信数据在传输或特征提取过程中可能遭受的整体性数值干扰，从而在现有数据条件下，最大限度评估模型在面对非理想、带噪声输入时的鲁棒性。图5展示了5种对比方法在CICIDS2017噪声数据集上的检测结果，基于轻量化Transformer的方法在各项指标中均取得更优检测性能，体现了该方法在序列数据提取中的优势；尤其是在噪声环境较为复杂时，本文方法能够更稳健地保持检测性能。在信噪比为−5 dB时，该方法仍能保持91.25%的检测准确率。图5同时展示了不同信噪比条件下5种对比方法的泛化性能，尽管所有方法均随信噪比提升呈现更优检测性能，但基于轻量化Transformer的方法性能更稳定。其中，基于轻量化Transformer的方法在各项指标中均表现更优，在信噪比为−5 dB时仍能保持85.32%的检测准确率，相较其他对比方法提升幅度均在5.11%以上。图6展示了不同信噪比条件下5种对比方法在UNSW-NB15数据集上的检测结果，尽管所有方法均随信噪比提升呈现更优检测性能，但基于轻量化Transformer的方法性能更稳定。
图 5 CICIDS2017噪声数据集泛化性对比实验结果

Fig.5 Generalization comparison experiment results of CICIDS2017 noisy dataset

2.3 超参数实验

为验证模型超参数对检测性能的影响，本文在CICIDS2017和UNSW-NB15数据集上，针对核心超参数（编码器层数和分组变换层数）进行对比实验，超参数的范围设置为1~5层。超参数对比实验结果如图7、图8所示。
图 6 UNSWNB15噪声数据集泛化性能对比实验结果

Fig.6 Generalization performance comparison experiment results of UNSWNB15 noisy dataset

图 7 CICIDS2017数据集超参数实验结果

Fig.7 Hyperparameter experiment results of CICIDS2017 dataset

图 8 UNSWNB15数据集超参数实验结果

Fig.8 Hyperparameter experiment results of UNSWNB15 dataset

由图7、图8可知，在编码器层数方面，两个数据集上的实验结果整体呈现先升后降趋势，且变化趋势一致；编码器层数和分组变换层数均在3层左右时，模型呈现更优的检测性能。由于编码器层数直接影响模型深度，因此其对模型检测性能的影响较大，随层数变化呈现较快的先升后降趋势。在分组变换层数方面，该参数仅影响局部注意力单元的深度，故其检测性能随层数变化更为平缓，整体呈现先上升后缓慢下降的趋势。通过超参数实验，本文研究了两个影响模型结构的超参数的性能影响，综合考虑模型检测性能与复杂度，最终选择编码器层数为3层、分组变换层数为3层。

2.4 消融实验

为验证局部聚合注意力单元和轻量化前馈神经网络在基于Transformer的无人机流量入侵检测模型中的重要性，本文进行了消融实验。实验中，本文构建一个完整的Transformer模型作为基线模型，随后逐步用局部聚合注意力单元替换多头注意力层、用轻量化FFN替换传统FFN，并观察模型在测试集上的性能变化，4组模块替换的消融实验结果如表3所示。
表 3 消融实验结果

Table 3 Ablation experiment results

序号多头注意力机制局部聚合注意力单元轻量化FFN传统FNN准确率精确率召回率F1 分数
1√√97.84%97.92%97.96%97.94%
2√√97.34%97.72%97.12%97.42%
3√√98.44%98.52%98.34%98.43%
4√√99.34%99.43%99.94%99.52%
由表3消融实验结果可知，由实验1与实验3可得，使用局部聚合注意力单元替换多头注意力后，模型的准确率、精确率、召回率和F1分数分别提高了0.6%、0.6%、0.38%和0.49%。由实验2与实验4可得，使用局部聚合注意力单元替换多头注意力后，模型的准确率、精确率、召回率和F1分数分别提高了2.0%、1.8%、2.82%和2.01%，这表明局部聚合注意力单元在改进Transformer模型中起着关键作用。与多头注意力机制通过加宽模型提取流量多类模式不同，局部聚合注意力单元通过分组线性变换加深网络结构，有助于模型捕捉无人机网络流量序列中的深层重要信息；因此可得，网络流量的内在模式重要性弱于深层抽象信息，在无人机流量检测中，网络深度相较网络宽度的影响更大。由实验1与实验2进一步分析可得，使用轻量化FFN层改进传统FFN层对模型性能的影响有所不同，当多头注意力搭配轻量化FFN层时，模型的准确率、精确率、召回率和F1分数分别下降了0.5%、0.2%、0.84%和0.52%。当局部聚合注意力单元搭配轻量化FFN层时，由实验3与实验4可得，模型的准确率、精确率、召回率和F1分数分别提高了0.9%、0.91%、1.6%和1.09%，表明轻量化FFN与局部聚合注意力单元协同有助于高分辨信息提取，降低冗余特征的不良影响。轻量化FFN通过改进激活函数和随机失活层，能够进一步增强模型的泛化性能，尽管降低了特征维度，仍能有效进行特征提取。但多头注意力机制与轻量化FFN协同效果较差，其原因在于，多头注意力机制通过加宽模型提取流量序列的内在模式，导致模型的特征提取深度相对不足，若搭配轻量化FFN，会使得模型仅能提取浅层特征；而局部聚合注意力单元自身提取深层信息的能力较强，这进一步体现了局部聚合注意力单元相较多头注意力机制更具优势，消融实验为模型结构优化提供了重要依据。

3 结束语

为进一步提高无人机流量入侵检测的精度与效率，本文提出基于轻量化Transformer模型的无人机流量入侵检测方法。本文方法采用旋转位置编码对网络流量进行位置编码，提出局部聚合注意力单元，该单元利用分组线性变换可有效聚合并提取局部特征，并通过自注意力机制实现对全局信息的感知与增强。随后，利用轻量化FFN对增强后的特征进行进一步提取。实验结果表明，本文方法在CICIDS2017和UNSW-NB15入侵检测数据集上均取得优异的检测性能，为无人机系统的安全防护提供了新思路与新方法。下一步工作将重点优化所提轻量化Transformer模型的处理效率，进一步提升检测精度。当前研究在结构上主要契合无人机流量的突发性特点，但未来工作将进一步通过设计特定的特征工程方法，显式描述微型飞行器链路协议的状态转换；或在模型结构中融入可感知无人机任务阶段的模块，实现领域知识与深度模型的融合。

References

Publishing order | Descend order by publishing year | Descend order by cited within
1
Shafik W, Matinkhah S M, Shokoor F. Cybersecurity in unmanned aerial vehicles: a review[J]. International Journal on Smart Sensing and Intelligent Systems, 2023, 16, 20230012.

DOI

2
Fotohi R, Abdan M, Ghasemi S. A self-adaptive intrusion detection system for securing UAV-to-UAV communications based on the human immune system in UAV networks[J]. Journal of Grid Computing, 2022, 20 (3): 22.

DOI

3
Choudhary G, Sharma V, You I, et al. Intrusion detection systems for networked unmanned aerial vehicles: a survey[C]//Proceedings of the 2018 14th International Wireless Communications & Mobile Computing Conference (IWCMC). Piscataway: IEEE Press, 2018: 560-565.

4
Muniraj D, Farhood M. A framework for detection of sensor attacks on small unmanned aircraft systems[C]//Proceedings of the 2017 International Conference on Unmanned Aircraft Systems (ICUAS) . Piscataway: IEEE Press, 2017: 1189-1198.

5
Zhu H J, Du S G, Gao Z Y, et al. A probabilistic misbehavior detection scheme toward efficient trust establishment in delay-tolerant networks[J]. IEEE Transactions on Parallel and Distributed Systems, 2014, 25 (1): 22- 32.

DOI

6
Condomines J P, Zhang R H, Larrieu N. Network intrusion detection system for UAV ad-hoc communication: from methodology design to real test validation[J]. Ad Hoc Networks, 2019, 90, 101759.

DOI

7
Xie Y W, He W, Zhu H L, et al. A new unmanned aerial vehicle intrusion detection method based on belief rule base with evidential reasoning[J]. Heliyon, 2022, 8 (9): e10481.

DOI

8
Hassler S C, Ahmad Mughal U, Ismail M. Cyber-physical intrusion detection system for unmanned aerial vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 25 (6): 6106- 6117.

DOI

9
Shrestha R, Omidkar A, Roudi S A, et al. Machine-learning-enabled intrusion detection system for cellular connected UAV networks[J]. Electronics, 2021, 10 (13): 1549.

DOI

10
Samriya J K, Kumar M, Tiwari R. Energy-aware ACO-DNN optimization model for intrusion detection of unmanned aerial vehicle （UAVs）[J]. Journal of Ambient Intelligence and Humanized Computing, 2023, 14 (8): 10947- 10962.

DOI

11
Sucharitha Y, Reddy P C S, Surya N G. Network intrusion detection of drones using recurrent neural networks[J]. Drone Technology, 2023, 6 (3): 375- 392.

DOI

12
Ahmad W, Almaiah M A, Ali A, et al. Deep learning based network intrusion detection for unmanned aerial vehicle (UAV)[C]//Proceedings of the 2024 7th World Conference on Computing and Communication Technologies (WCCCT). Piscataway: IEEE Press, 2024: 31-36.

13
Patwardhan N, Marrone S, Sansone C. Transformers in the real world: a survey on NLP applications[J]. Information, 2023, 14 (4): 242.

DOI

14
Brasoveanu A M P, Andonie R. Visualizing transformers for NLP: a brief survey[C]//Proceedings of the 2020 24th International Conference Information Visualisation (IV) . Piscataway: IEEE Press, 2020: 270-279.

15
Han K, Wang Y H, Chen H T, et al. A survey on vision transformer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45 (1): 87- 110.

DOI

16
Liu Y, Zhang Y, Wang Y X, et al. A survey of visual transformers[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35 (6): 7478- 7498.

DOI

17
Boukhamla A, Gaviro J C. CICIDS2017 dataset: performance improvements and validation as a robust intrusion detection system testbed[J]. International Journal of Information and Computer Security, 2021, 16 (1/2): 20.

DOI

18
Moustafa N, Slay J. UNSW-NB15: a comprehensive data set for network intrusion detection systems (UNSW-NB15 network data set)[C]//Proceedings of the 2015 Military Communications and Information Systems Conference (MilCIS). Piscataway: IEEE Press, 2015: 1-6.

19
Navya V K, Adithi J, Rudrawal D, et al. Intrusion detection system using deep neural networks (DNN)[C]//Proceedings of the 2021 International Conference on Advancements in Electrical, Electronics, Communication, Computing and Automation (ICAECA). Piscataway: IEEE Press, 2021: 1-6.

20
Mohammadpour L, Ling T C, Liew C S, et al. A survey of CNN-based network intrusion detection[J]. Applied Sciences, 2022, 12 (16): 8162.

DOI

21
Laghrissi F, Douzi S, Douzi K, et al. Intrusion detection systems using long short-term memory（LSTM）[J]. Journal of Big Data, 2021, 8, 65.

DOI

22
Zhai f, Yang t, Chen h, et al. Intrusion detection method based on CNN–GRU–FL in a smart grid environment[J/OL]. Electronics, 2023, 12(5): 1164. https://doi.org/10.3390/electronics12051164.

Options
Outlines

/

〈 〉

Website Copyright © Editorial Office of Journal of Cybersecurity.
Tel: 010-89061756/89061778　
E-mail：wlkjaqkxxb@caasse.cn
Powered by Beijing Magtech Co. Ltd,.

京ICP备16032046号-20