面向无人机网络的联邦层次聚类防御方法

刘洋; 卢源斌; 杨易龙; 刘心晶; 马卓; 马建峰

doi:10.20172/j.issn.2097-3136.250103

网络空间安全科学学报 >

2025 , Vol. 3 >Issue 1: 30 - 41

DOI: https://doi.org/10.20172/j.issn.2097-3136.250103

学术研究

面向无人机网络的联邦层次聚类防御方法

刘洋 ¹ ,
卢源斌 ¹ ,
杨易龙 ^,²^,* ,
刘心晶 ¹ ,
马卓 ¹ ,
马建峰 ¹

展开

1. 西安电子科技大学网络与信息安全学院，西安 710071
2. 西安电子科技大学人工智能学院，西安 710071

杨易龙（yilongyang@xidian.edu.cn）。

网络出版日期: 2025-03-19

基金资助

国家自然科学基金联合基金项目国际（地区）合作与交流项目（62261160651）；国家自然科学基金联合基金（U21A20464，U23A20307）；国家自然科学基金青年基金（62406239）

版权

收起

A federated hierarchical clustering defense method for UAV networks

LIU Yang ¹ ,
LU Yuanbin ¹ ,
YANG Yilong ^,²^,* ,
LIU Xinjing ¹ ,
MA Zhuo ¹ ,
MA Jianfeng ¹

Expand

1. School of Cyber Engineering, Xidian University, Xi’an 710071, China
2. School of Artificial Intelligence, Xidian University, Xi’an 710071, China

Online published: 2025-03-19

Copyright

Fold

摘要

随着物联网技术的发展，无人机（Unmanned Aerial Vehicle，UAV）辅助边缘计算对于提高数据处理能力和模型性能至关重要。但无人机节点计算和存储能力不足限制了本地模型的质量，无法有效支撑神经网络模型的训练任务，引入联邦学习机制构建无人机群可以有效解决这一问题。但是这一过程涉及系统可用性和隐私保护的权衡，导致投毒攻击更易生效且更加隐蔽。传统的聚合防御方案通过引入相似性或梯度贡献评估来筛选恶意梯度，从而抵御投毒攻击的威胁，但近年来自适应投毒攻击的出现使得此类防御方法不再有效。因此，为了更好地防御模型投毒攻击，提出了一种基于层次聚类的聚合算法，通过自底向上对梯度进行处理，实现无人机群对各类投毒攻击的通用性防护。在三个常用的数据集上评估了不同攻击场景下的防御效果，与现有方案相比，本文方案的平均防御成功率提高了11.25%，模型准确率平均提高了2.8%。

关键词： 联邦无人机网络; 投毒攻击防御; 层次聚类

本文引用格式

刘洋 , 卢源斌 , 杨易龙 , 刘心晶 , 马卓 , 马建峰 . 面向无人机网络的联邦层次聚类防御方法[J]. 网络空间安全科学学报, 2025 , 3(1) : 30 -41 . DOI: 10.20172/j.issn.2097-3136.250103

Abstract

With the rapid development of Internet of Things (IoT) technology, the unmanned aerial vehicle (UAV)-assisted edge computing has become crucial for enhancing data processing capabilities and model performance. However, the limited computational and storage capacities of UAV nodes constrain the quality of local models, making them insufficient to support the neural network training tasks effectively. To address this challenge, introducing a federated learning mechanism to construct UAV swarms has proven to be an effective solution. Nevertheless, this approach involves trade-offs between the system availability and the privacy protection, which make poisoning attacks more effective and harder to detect. Traditional aggregation defense mechanisms mitigate the threat of poisoning attacks by introducing similarity or gradient contribution evaluation to filter out malicious gradients. However, the emergence of adaptive poisoning attacks in recent years has rendered such defenses less effective. To better counter the model poisoning attacks, a hierarchical clustering-based aggregation algorithm was proposed. By processing gradients in a bottom-up manner, the algorithm enhanced the UAV swarm’s robustness against various types of poisoning attacks. Experimental evaluations on three commonly used datasets demonstrated the effectiveness of the proposed method across different attack scenarios. Compared with existing approaches, the proposed method improved the average defense success rate by 11.25% and increased the model accuracy by an average of 2.8%.

Key words： federated UAV network; poison data defense; hierarchical clustering

0 引言

随着物联网（Internet of Things，IoT）技术^[1-3]的迅速发展，边缘设备数量大量增长。其中，无人机（Unmanned Aerial Vehicle，UAV）^[4-6]作为一种机动性强、操作简单的小型设备，逐渐得到人们的青睐。但包括无人机在内的这些终端设备受到计算和存储能力方面的限制，导致本地模型训练表现不佳。以联邦学习（Federated Learning，FL）^[7-8]为代表的分布式机器学习技术^[9]的出现为这一问题的解决带来了转机。联邦学习改变了过去以数据直传为主的多方协作学习模式^[10]，转而使用模型更新所需的梯度代替原始隐私数据的传输，使模型训练方即使不获取参与方的原始数据，依然能够高效且安全地完成人工智能模型的训练，在一定程度上丰富了数据的特征维度，提高了模型的泛化能力。运用联邦学习技术构建的无人机群^[11-14]能有效克服因无人机节点算力不足导致模型性能不佳的弱点。

如图1所示，地面控制站创建全局模型并发放训练任务到各个无人机节点，无人机节点收集用户数据保留在本地并训练本地模型，之后上传梯度到地面控制站进行聚合，完成一次全局模型的更新。

显示原图|下载原图ZIP|生成PPT

图 1 无人机辅助联邦学习概述

Fig.1 Overview of UAV-assisted FL

然而，与传统的集中式机器学习^[15]一样，无人机辅助联邦学习也面临着模型投毒攻击^[16-17]的威胁。攻击者通过控制一部分无人机节点，对模型进行修改以破坏地面控制站全局模型的性能，并且联邦学习的隐私保护特性使得攻击者更容易在学习过程中隐藏其攻击意图，使模型训练者的检测成本大大提升。

此外，无人机节点所持有的数据之间通常具有一定的差异性，即训练数据呈现非独立同分布（Non-Independent and Identically Distributed，Non-IID）^[18]的特性。这一特性不仅容易使训练陷入局部最优困境，降低模型性能，还会进一步扩大参与方所上传良性梯度之间的差异性，使模型训练者很难再使用过去诸如梯度相似性评估^[19-21]的方式对良性和恶意梯度进行区分。不仅如此，另一种传统模型投毒防御中常采用的梯度贡献评估方案^[22-24]在该场景下，由于梯度受噪声影响的程度增大，很难得出准确的评估结果，致使防御效果大幅下降。

针对上述问题，本文讨论了如何设计无人机辅助联邦学习应对投毒攻击的聚合方案。通过引入层次聚类机制，从粗粒度和细粒度两个角度对梯度进行处理，提高了异构场景下全局模型的鲁棒性，有效抵御了恶意注入数据的影响。本文的主要贡献如下：

（1）提出了一种基于层次聚类的鲁棒性聚合算法。以树形结构对梯度进行区分，可以从不同层次识别潜在恶意梯度并过滤梯度噪声，从而更好地利用梯度的统计特征，有助于提高模型的泛化能力和准确率。

（2）设计了粗粒度划分梯度和细粒度评估梯度的算法。在初始划分梯度时，采用余弦距离和完全链接方法对样本点和簇进行区分，忽略高维数据的冗余特征并降低异常值的影响，产生更紧密的聚类以适应异构场景。同时，本文假设地面控制站维护了一个验证数据集，通过比较副本模型的交叉熵损失，进一步区分良性梯度和恶意梯度，提高了模型的鲁棒性。

（3）通过实验验证了聚合算法的效率。在三个常用数据集的不同攻击场景下与传统方案进行对比实验，实验结果表明，本文提出的聚合算法优于现有算法，能够成功抵御模型投毒攻击，有效提高模型的准确率。

本文章节安排如下：第1节介绍相关工作，第2节对层次聚类鲁棒聚合算法进行详细介绍，第3节在三个数据集上对本文的方案进行实验评估，第4节总结本文的工作并对未来进行展望。

1 相关工作

无人机辅助联邦学习在多个领域已得到广泛应用。在智能交通系统领域^[25]，无人机可以辅助交通监控，通过联邦学习实现不同区域的数据协同，减少中心化传输压力。在环境监测与保护领域^[26]，利用多无人机协作，结合联邦学习预测区域污染扩散趋势。在偏远地区或紧急情况下，无人机可以收集健康数据，通过联邦学习进行远程医疗分析^[27]，同时也解决了医疗数据敏感背景下的隐私保护问题。

目前，联邦学习在无人机网络中已得到了广泛的研究。刘建华等^[28]从差分隐私的角度设计了一种边缘计算的任务调度算法；Tursunboev等^[29]提出了分层联邦算法，以解决无人机网络中的异构数据问题；卢彦丰等^[30]对无人机辅助联邦学习的高能效研究进行了分类与总结；Lim等^[31]从通信、资源以及隐私安全等方面对移动边缘网络联邦学习的相关工作进行了梳理；Ni等^[32]详细研究了联邦学习的边缘计算资源分配策略；Zhang等^[33]综合考虑了数据划分、隐私保护、网络模型、通信架构和数据异构，系统介绍了现有的联邦学习工作。上述研究为本文继续讨论无人机联邦学习网络奠定了基础。

无人机辅助联邦学习得到广泛应用的同时，安全方面的问题逐渐引起人们的重视。模型投毒攻击旨在通过修改模型参数操纵训练过程，致使模型的准确率大幅下降。Fang等^[34]提出了一个部分优化自适应攻击，其目的是在恶意客户端上制作能够绕过防御算法，同时使全局模型最大程度地偏离良性更新方向的恶意梯度。通过发送恶意梯度参与多次训练迭代过程并不断积累误差，使攻击后的模型与攻击前的模型具有显著的不同。Shejwalker等^[35]在Fang攻击的基础上做了改进，提高了攻击的隐蔽性。在服务器得到良性梯度后，攻击者聚合得到最优全局梯度，随后向该最优全局梯度添加扰动来制作恶意梯度。Shejwalkar的攻击目标是在保持恶意梯度与良性梯度之间相似度的同时，使恶意梯度与全局模型更新的偏差最大化。

现有方案通过在聚合阶段部署防御手段来应对攻击者的威胁。Krum^[19]是一种基于距离的聚合算法，其选择与周围的梯度欧式距离最近的梯度作为本轮聚合的全局梯度。此外，对于梯度的每个维度，Trmean^[20]去除梯度在每个维度的头尾数值后，求解剩余的梯度数值均值作为全局梯度在该维度的数值。这些方案在恶意梯度与良性梯度差别较大时效果明显，但是当攻击者上传与良性梯度相似的恶意梯度时，这些方案不再有效。本方案通过粗粒度划分梯度，首先将相似的恶意梯度汇聚成一个簇，在细粒度评估梯度时，再分离出与良性梯度相似的梯度，从两个维度考虑，极大地提高了模型的鲁棒性。FLTrust^[23]是基于方向的聚合算法，其收集了一个干净的小型训练数据集并引入地面控制站梯度作为信任根基，即本文评估梯度共享的辅助数据集。计算无人机节点梯度和地面控制站梯度之间的余弦相似度，将其作为信任分数来区分恶意梯度。

2 基于层次聚类的联邦聚合算法

本节将介绍本方案的具体场景和具体设计，包括对攻击场景的说明和无人机遇到的问题描述，用两个小节详细介绍方案的具体实施细节。

2.1 安全威胁模型

地面控制站仅收集无人机节点的梯度用于更新全局模型，而没有访问无人机节点私有数据的权限，因此，地面控制站无法利用无人机节点数据集评估梯度贡献。本文假设地面控制站维护了一个与无人机节点数据集同分布的辅助数据集，用以评估梯度贡献。该辅助数据集相对于整体分类任务，是一个小型数据集，其数量与无人机节点持有数据的平均值相当，其分布与整体的数据集保持一致。无人机节点是训练参与方，攻击者拥有模型以及本地数据集的全部信息。本文假定攻击者实施非靶向攻击，旨在影响模型的整体性能，使模型整体的准确率大幅下降。攻击者控制了n个客户端中的m个，用于计算并上传恶意梯度，其中m/n < 0.5，即控制的恶意客户端比例不超过50%。同时，假定恶意客户端之间存在共谋关系，可以相互通信、共同制作并上传相似的恶意梯度，以达到最佳的攻击效果。

在无人机节点参与模型训练时，会不可避免地遇到掉线问题，即因为电量不足或距离过远失去连接的情况。对于此类问题，可以通过增加容错机制，允许掉线的无人机重新连接后继续上传，或者使用多路径通信、增加中继节点的方式提高通信可靠性。无人机掉线的解决方案不在本文的讨论范围之内，本文的观点认为，每个无人机出现掉线问题的概率是均等的，所以恶意客户端的比例不会因为无人机掉线问题而发生变化，对本文的防御方案没有影响。

2.2 方案设计

为了抵御无人机群中的投毒攻击，本文设计了基于层次聚类的聚合算法。该方案包括两个主要部分：首先对所有无人机节点的梯度进行层次聚类，粗粒度划分梯度后构造梯度结构树。然后对已经划分好的梯度结构树进行梯度贡献细粒度评估，根据评估结果裁剪梯度结构树，剔除恶意梯度，如图2所示。为了在恶意客户端占比非常少时也能成功发起攻击，攻击者会为所有恶意客户端设定一致的攻击目标，并控制每个恶意客户端上传非常相似的恶意梯度，以最大化共谋攻击的影响。因此，针对恶意梯度的这种构造特性，使用无监督聚类算法可以很容易地将恶意梯度聚为一个簇，有利于识别和剔除恶意梯度。

显示原图|下载原图ZIP|生成PPT

图 2 本文方案概述

Fig.2 Overview of the proposed method

2.2.1 层次聚类粗粒度划分梯度

本方案使用层次聚类算法来揭示梯度间的潜在分布结构，服务器不知道客户端分布的数量，而层次聚类算法不需要预先指定簇的数量，同时能够以层次结构的形式展现数据的聚类情况，可以结合其余度量获得不同粒度的聚类结构，可拓展性强。地面控制站在收集完无人机节点上传的梯度后，计算梯度间的余弦相似度，并通过层次聚类算法对梯度逐步划分，得到仅基于梯度相似度的粗粒度梯度结构树。如算法1所示，使用自底向上的层次聚类划分梯度，在初始时将客户端上传的每一个梯度视为一个独立的数据点。随后，在每一步迭代中，寻找距离最近的两个聚类簇并将它们合并为一个新的聚类簇，不断重复该过程直到无法继续合并，得到梯度结构树。

算法1：层次聚类粗粒度划分梯度算法

输入：包含n个梯度的梯度集合

输出：链接矩阵M

for

$ i\in [1,n-1] $

　　for

$ j\in \left[i+1,n\right] $

$ {d}_{ij}=1-\frac{{g}_{i}\cdot {g}_{j}}{\|{g}_{i}\|\|{g}_{j}\|}\qquad\qquad\qquad $

$ D_{ij}\leftarrow d_{ij}\qquad\qquad\qquad\qquad\; \; \; \; $

$ C=\{{C}_{1},{C}_{2},\cdots ,{C}_{n}\}\leftarrow \{{g}_{1},{g}_{2},\cdots ,{g}_{n}\}\qquad\quad\quad\quad\;\; $

for

$ k\in \left[1,n-1\right] $

$ {C}_{i},{C}_{j}\leftarrow {\mathrm{arg}}\underset{{C}_{i},{C}_{j}\in C}{\mathrm{min}}{d}_{ij}\qquad\qquad\qquad\qquad\;\; $

$ {M}_{k}\leftarrow \left(i,j\right)\qquad\qquad\qquad\qquad\qquad\qquad\;\; $

$ {C}_{ij}\leftarrow {C}_{i}\cup {C}_{j}\qquad\qquad\qquad\qquad\qquad\quad\;\; $

$ C\leftarrow C\setminus \{{C}_{i},{C}_{j}\}\qquad\qquad\qquad\qquad\quad\;\; $

$ {D}^{\prime}\leftarrow D \qquad\qquad\qquad\qquad\qquad\quad\quad\;\;$

　　for

$ l\in \left[1,n\right] $

$ l\ne i {\text{ and }} l\ne j $

then

$ {d}_{kl}=\mathrm{max}\left({d}_{il},{d}_{jl}\right)\qquad\qquad $

$ {D}_{kl}^{\prime}\leftarrow {d}_{kl}\qquad\qquad\qquad\quad $

$ C\leftarrow C\cup {C}_{ij}\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad $

$ D\leftarrow {D}^{\prime}\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad $

return 链接矩阵M

具体来说，地面控制站收到n个无人机节点发送的梯度集合

$\{{g}_{1},{g}_{2},\cdots ,{g}_{n}\} $

，对于每一个梯度g_i，计算其与剩余每个梯度g_j之间的相似度d_ij，将结果存入集合D_ij中。对于无人机集群C中的每个无人机节点C_i，依据集合D_ij中找到与其最相似的节点C_j，并将(i, j)存入集合M，合并C_i、C_j得到C_ij，更新集合C。取C_i、C_j中较大的相似度作为C_ij的相似度，更新D。重复上述操作直到所有样本点合并为一个簇，得到最终的链接矩阵M。

在层次聚类的过程中有两个关键参数影响聚类效果：样本点间距离计算方式和簇间距离计算方式。

在计算样本点之间的距离时，本方案选择使用余弦距离，即

(1)

$ {d}_{ij}=1-\frac{{g}_{i}\cdot {g}_{j}}{\|{g}_{i}\|\|{g}_{j}\|}=1-\frac{{\displaystyle\sum }_{k=1}^{n}{g}_{ik}{g}_{jk}}{\sqrt{{\displaystyle\sum }_{k=1}^{n}{g}_{ik}^{2}\sqrt{{\displaystyle\sum }_{k=1}^{n}{g}_{jk}^{2}}}} $

因为模型投毒攻击者可以在保持相同攻击强度的情况下，通过扰动因子轻松地操纵梯度的大小，但操纵梯度的方向相对困难，而余弦距离考虑梯度方向之间的夹角，能有效抵御攻击。此外，在使用复杂的神经网络时，梯度通常具有非常高的维度，而余弦距离更适合处理高维数据，因为在高维空间中，只有少数几个维度对梯度的方向有显著影响，这使得余弦距离可以忽略高维空间中的冗余特征，保持本方案在复杂网络中的鲁棒性。

在合并聚类簇时，需要计算簇间距离并选择距离最小的两个簇合并，本方案选择使用完全链接方法，将簇中样本点的最大距离视为簇间距离，即

(2)

$ {d}_{kl}=\mathrm{m}\mathrm{a}\mathrm{x}\left({d}_{il},{d}_{jl}\right) $

相比于将簇中样本点的最小距离视为簇间距离的单链接方法和将簇中样本点平均距离视为簇间距离的平均链接方法，完全链接方法对异常值的敏感性较低，并且能够将更接近的梯度组合在一起，产生更紧密的聚类。这确保本方案可以处理异构数据分布，并将所有类似的恶意梯度聚集到一个聚类簇中。

通过层次聚类获得链接矩阵后，根据链接矩阵构造一棵梯度二叉树，其中根节点包含所有的梯度，每个非叶节点有两个子节点，表示对父节点的梯度进行更精细的二分类，叶子节点是单一梯度。生成的梯度二叉树被保存，以便接下来的步骤使用。

2.2.2 梯度贡献细粒度评估梯度

在自适应模型投毒攻击问世后，由于数据分布的异质性或精心制作的恶意梯度的自适应性，恶意梯度与良性梯度之间的相似度可能大于良性梯度之间的相似度。因此，梯度相似度不足以完全区分良性梯度和恶意梯度。仅基于梯度相似度的聚类算法虽然可以将恶意梯度聚类在一个簇内，但该簇可能会包含一部分与恶意梯度相似度较高的良性梯度。

为了抵御自适应模型投毒攻击，需要将恶意梯度与良性梯度完全分离，使恶意梯度聚类在一个单独的簇中，该簇不包含任何良性梯度，而其余良性梯度根据数据分布聚类在其他簇中。因此，本方案引入一个新的度量来确定聚类结构，即评估梯度贡献并根据梯度贡献裁剪层次聚类得到的粗粒度梯度结构树，得到最终的细粒度梯度结构，最后在该结构的基础上聚合全局梯度。

攻击者在良性梯度上添加偏离模型更新方向的恶意扰动以设计恶意梯度，基于这一事实，本文认为恶意梯度对全局模型的贡献将低于良性梯度。考虑到这一点，本方案在地面控制站添加了一个验证数据集，地面控制站可以利用该数据集评估梯度贡献，将其用于识别恶意梯度并修剪梯度结构树。梯度贡献的评估能够弥补梯度相似度在自适应模型投毒攻击场景下表现不佳的缺陷。评估梯度贡献细粒度裁剪梯度结构树的算法如算法2所示。

算法2：梯度贡献细粒度评估梯度算法

输入：层次聚类划分的梯度树根节点N

输出：全局梯度

$ {g}_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}} $

$ C=\{{C}_{1},{C}_{2},\cdots ,{C}_{k}\}\leftarrow \text{节点划分}(N)\qquad\qquad $

for

$ i\in \left[1,k\right] $

$ {g}_{i}=\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left(C\setminus {C}_{i}\right)\qquad\qquad\qquad\qquad\qquad $

$ {s}_{i}=-\mathrm{T}\mathrm{e}\mathrm{s}\mathrm{t}\left({g}_{i}\right) \qquad\qquad\qquad\qquad\qquad\qquad$

$ \mathrm{m}\mathrm{a}\mathrm{l}=\underset{\mathrm{mal}\in [{\mathit{1}},k]}{\mathrm{arg\;min}}\;s\qquad\qquad\qquad\qquad\qquad\qquad $

$ {g}_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}}=\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left(C\setminus {C}_{\mathrm{m}\mathrm{a}\mathrm{l}}\right) \qquad\qquad\qquad\qquad\quad$

return

$ {g}_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}} $

函数节点划分

$ (N) $

　　 if节点

$ N $

没有子节点 then

　　　　 return 节点

$ N $

　　 else

$ {N}_{L},{N}_{R}\leftarrow \mathrm{D}\mathrm{i}\mathrm{v}\mathrm{i}\mathrm{d}\mathrm{e}\left(N\right)\qquad\qquad $

$ {g}_{L}=\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left({N}_{L}\right)\qquad\qquad\qquad $

$ {g}_{R}=\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left({N}_{R}\right) \qquad\qquad\qquad$

${\mathrm{ los{s}}}_{L}=\mathrm{T}\mathrm{e}\mathrm{s}\mathrm{t}\left({g}_{L}\right) \qquad\qquad\qquad$

$ {\mathrm{los{s}}}_{R}=\mathrm{T}\mathrm{e}\mathrm{s}\mathrm{t}\left({g}_{R}\right) \qquad\qquad\qquad$

$ \mathrm{l}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}=\left|{\mathrm{los{s}}}_{L}-{\mathrm{los{s}}}_{R}\right| \qquad\qquad$

$ \mathrm{l}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}} < \delta $

then

　　　　　　 return 节点

$ N $

　　　　 else

　　　　　　 return {节点划分

$ ({N}_{L}) $

，节点划分

$ {(N}_{R}) $

}

在获得梯度结构树后，首先将根节点N的贡献差设置为0，随后将根节点分成左右两个节点N_L和N_R，同时服务器相应地添加全局模型的两个副本，每个副本模型按照一个子节点的梯度进行更新，得到g_L和g_R：

(3)

$\begin{aligned} &{g}_{L}=\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left({N}_{L}\right)\\&{g}_{R}=\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left({N}_{R}\right)\end{aligned} $

本方案利用服务器托管的验证数据集分别计算这两个副本模型的交叉熵损失，公式如下：

(4)

$ \begin{aligned} &{\mathrm{los{s}}}_{L}=\mathrm{T}\mathrm{e}\mathrm{s}\mathrm{t}\left({g}_{L}\right) \\&{\mathrm{los{s}}}_{R}=\mathrm{T}\mathrm{e}\mathrm{s}\mathrm{t}\left({g}_{R}\right)\end{aligned} $

并使用交叉熵损失的差值来表示两个节点之间的贡献差异loss_diff。交叉熵损失可以表示当前模型收敛的程度，所以同一个训练任务下交叉熵损失的差值只与模型收敛的程度有关，本方案中的阈值设置为固定值。本方案认为当贡献差值小于模型损失变化时就足以区分同一训练任务下的不同训练目标，即良性梯度和恶意样本。如果贡献差loss_diff小于阈值δ，认为父节点对于全局模型的贡献相似。但是如果子节点之间存在贡献差异，则认为两个子字节的梯度具有不同的训练目标，需要继续对子节点进行划分，重复上述步骤，直到所有节点内的梯度没有贡献差异。此时得到一个基于梯度贡献裁剪过的梯度结构树C，该树上的每个叶节点对应一个具有相似贡献的梯度簇，每个簇内的所有梯度对应同一个训练目标。

在梯度结构树C中寻找对全局模型贡献最小的簇，去除该簇后全局模型损失会达到最小。将去除梯度簇后计算的负全局模型损失−Test(g_i)看作贡献分数s_i，贡献分数最小的簇将会被剔除，而剩余簇中的梯度被聚合为全局梯度，用于更新全局模型。

3 实验及结果分析

本节将详细介绍实验的准备、设计以及结果分析。分别在三种常用的数据集上针对不同的攻击场景进行防御方案的对比，具体包括IID和Non-IID场景维度以及无攻击、Fang攻击和Shejwalkar攻击的攻击维度。

3.1 数据集描述和实验准备

本文分别在图像分类中常用的MNIST^[36]、Fashion-MNIST^[37]、CIFAR-10^[38]数据集上对聚类防御算法进行评估。虽然无人机辅助联邦学习场景的数据异构性强，但也不排除某些极端情况下数据分布偏向IID的可能性。IID分布下实验环境更可控，可以评估算法在最优条件下的表现，先前工作中许多联邦学习算法也是基于IID假设的，为了与先前的工作保持一致并方便进行对比实验，本实验分别在IID和Non-IID场景下进行，以反映本方案在异构数据分布场景下的模型鲁棒性。

本文使用狄利克雷分布^[39]（Dirichlet）模拟非独立同分布中的标签分布偏差，使用PyTorch深度学习框架构建和训练神经网络模型。实验中的超参数设置如下：客户端数量为50，其中攻击者的数量为15。对于MNIST和Fashion-MNIST，本地学习率为0.001，使用Adam作为优化器；对于CIFAR-10，本地学习率为0.01，使用随机梯度下降（Stochastic Gradient Descent，SGD）作为优化器。评估梯度贡献的阈值设置为0.01。为三个数据集选用合适的神经网络模型。MNIST任务相对简单，使用包含512个神经元隐藏层的多层感知机进行训练；对于Fashion-MNIST任务，使用包含两个5×5卷积层的卷积神经网络进行训练；对于CIFAR-10任务，使用深度残差网络模型Resnet-18进行训练。

3.2 结果分析

本节从两个角度进行了实验以证明本方案的有效性：（1）测试本方案在不同攻击场景下的模型鲁棒性；（2）测试本方案在异构数据场景下的性能。

将得到的实验结果与现有的聚合算法进行对比，包括Krum和Trmean，实验结果表明本方案在不同攻击场景下均优于现有聚合算法，并且可有效适用于异构数据场景。不同攻击场景下聚合算法的全局模型准确率如表1所示。三个基准数据集上的实验结果表明，本方案在几乎全部场景下均优于现有鲁棒聚合算法，尤其是在Fang攻击场景和Shejwalkar攻击场景下，本方案的模型准确率均超过了Krum方案和Trmean方案。

表 1 不同攻击场景下聚合算法的全局模型准确率

Table 1 Global model accuracy of aggregation algorithms under different attack scenarios

数据集（分布）	模型投毒攻击	鲁棒聚合算法
数据集（分布）	模型投毒攻击	Krum	Trmean	本方案
MNIST（IID）	无攻击	90.5641	96.9156	96.9562
	Fang攻击	82.9545	93.7297	97.0779
	Shejwalkar攻击	82.8937	89.7524	95.2922
Fashion-MNIST（IID）	无攻击	88.2711	90.9497	90.4627
	Fang攻击	83.8271	89.2654	90.4424
	Shejwalkar攻击	77.4756	84.4562	88.9813
CIFAR-10（IID）	无攻击	44.2979	43.9123	47.3214
	Fang攻击	35.8563	32.0211	48.3360
	Shejwalkar攻击	^{1① 1¹NaN：训练未完成就退出导致的无效数据。}NaN	NaN	38.9205
MNIST（Non-IID）	无攻击	88.5552	96.0227	96.7735
	Fang攻击	59.5576	91.6193	95.1502
	Shejwalkar攻击	69.8661	80.8847	90.4830
Fashion-MNIST（Non-IID）	无攻击	83.6648	84.5779	90.2800
	Fang攻击	15.0365	87.7232	85.6940
	Shejwalkar攻击	79.4846	80.0933	87.7435
CIFAR-10（Non-IID）	无攻击	37.4188	36.4854	43.8312
	Fang攻击	NaN	24.8782	36.6274
	Shejwalkar攻击	NaN	NaN	44.1964

对于无攻击场景，三种聚合算法的实验结果相差不大，然而Krum和Trmean方案在面对自适应模型投毒攻击时，性能均大幅下降，自适应模型投毒攻击绕过了仅基于梯度相似度的Krum和Trmean，阻止了模型损失函数收敛到全局最小值。以IID下的Fashion-MNIST数据集为例，Krum算法在Shejwalkar攻击下的模型准确率与无攻击时的模型准确率相比，从88.27%降至77.47%，下降幅度高达11%。而本方案在该攻击场景下的模型准确率与在无攻击场景下的模型准确率相近，模型准确率仅降低了0.016%，证明本方案可以利用层次聚类算法和梯度贡献评估成功剔除恶意梯度，有效抵御模型投毒攻击。

图3、图4、图5分别展示了聚合算法在三种数据集上不同训练场景下的全局模型准确率的变化情况。总体上来说，对比IID和Non-IID下的模型准确率变化，可以发现Non-IID导致模型在训练过程中产生了较大的波动，模型稳定性下降。这是因为模型需要不断适应不同无人机节点的数据分布差异，导致准确识别并剔除恶意梯度变得更加困难。对于MINST数据集，本方案在所有场景下均表现最优，虽然在无攻击场景和Fang攻击场景下，与Trmean方案差别不大，但是在Shejwalkar攻击场景下，本方案表现出优于Trmean的性能，这是因为Shejwalkar攻击有更具针对性和影响力的目标，即使用最具恶意的扰动方向使最终聚合尽可能远离良性聚合。对比Krum方案在面对Fang攻击时IID与Non-IID下的模型准确率，模型准确率从82.95%降至59.55%，下降比例高达23%，而本方案在Non-IID的影响下模型准确率虽然有小幅震荡，但总体变化趋势与IID时保持一致，训练结束后的模型准确率也并未巨幅下降。

显示原图|下载原图ZIP|生成PPT

图 3 聚合算法在MNIST数据集上的全局模型准确率

Fig.3 Global model accuracy of the aggregation algorithm on the MNIST dataset

显示原图|下载原图ZIP|生成PPT

图 4 聚合算法在Fashion-MNIST数据集上的全局模型准确率

Fig.4 Global model accuracy of the aggregation algorithm on the Fashion-MNIST dataset

显示原图|下载原图ZIP|生成PPT

图 5 聚合算法在CIFAR-10数据集上的全局模型准确率

Fig.5 Global model accuracy of the aggregation algorithm on the CIFAR-10 dataset

对于更为复杂的Fashion-MINST数据集，在IID场景下，本方案和其余两种方案的效果差距不是很明显，这可能是因为Krum和Trmean对于这种标准数据集有更强的适应性，但是在Non-IID影响下，尤其是在Fang攻击场景下，Krum几乎完全失效，同时在Shejwalkar攻击下，两种方案均有大幅震荡。这说明，虽然Krum和Trmean在某些场景下表现良好，但是面临特定场景时会出现不可预料的失误，而本方案能够应对异构场景下各类数据集面临的各种攻击，算法鲁棒性优秀。

值得注意的是，在训练规模最大且图像纹理最复杂的CIFAR-10数据集上，Krum和Trmean方案均出现了梯度爆炸问题，导致联邦学习训练未完成就退出的情况发生。这可能是由于Shejwalkar攻击上传的恶意梯度绕过了Krum和Trmean方案的检测，且恶意梯度被聚合为全局梯度后，全局模型的更新步长过大，全局模型往错误的方向大幅度地更新，最终使得全局模型出现无法更新的NaN权值，训练被迫终止。在此场景下，本方案的模型准确率虽然出现了大幅震荡，但整体上模型准确率和IID场景下保持一致，能够成功抵御攻击。

4 结束语

本文针对无人机辅助联邦场景提出了一种基于层次聚类的聚合防御算法，用于缓解模型投毒攻击，弥补了现有聚合方案在防御该类型攻击时存在的不足。相比于传统方案，本文的防御效果提升明显，尤其是在Shejwalkar攻击出现梯度爆炸训练终止的情况下，本方案仍能达到44.19%的准确率，并且在无攻击场景下，本文提出的方案对良性梯度的聚合也有小幅提升。但是从实验结果可以看出，面向规模较大的数据集时，所有模型聚合方案的效果均下降明显，在未来的工作中，应尝试避免因数据集规模增大而导致的准确率下降问题。

① 1¹NaN：训练未完成就退出导致的无效数据。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	VILLAMIL S, HERNáNDEZ C, TARAZONA G. An overview of internet of things[J]. Telkomnika （Telecommunication Computing Electronics and Control）, 2020, 18 (5): 2320- 2327. DOI

2	ARISDAKESSIAN S, WAHAB O A, MOURAD A, et al. A survey on IoT intrusion detection: Federated learning, game theory, social psychology, and explainable AI as future directions[J]. IEEE Internet of Things Journal, 2022, 10 (5): 4059- 4092.

3	SAMI H, OTROK H, BENTAHAR J, et al. AI-based resource provisioning of IoE services in 6G: A deep reinforcement learning approach[J]. IEEE Transactions on Network and Service Management, 2021, 18 (3): 3527- 3540. DOI

4	EMIMI M,KHALEEL M,ALKRASH A. The current opportunities and challenges in drone technology[J]. International Journal of Electrical Engineering and Sustainability,2023,1(2):74-89.

5	HAFEEZ A, HUSAIN M A, SINGH S P, et al. Implementation of drone technology for farm monitoring & pesticide spraying: A review[J]. Information Processing in Agriculture, 2023, 10 (2): 192- 203. DOI

6	SHAH I A,LARAIB A,ASHRAF H,et al. Drone technology:Current challenges and opportunities[J]. Cybersecurity Issues and Challenges in the Drone Industry,2024:343-361.

7	MCMAHAN B,MOORE E,RAMAGE D,et al. Communication-efficient learning of deep networks from decentralized data[C]//Artificial Intelligence and Statistics. PMLR,2017:1273-1282.

8	WAZZEH M, OULD-SLIMANE H, TALHI C, et al. Privacy-preserving continuous authentication for mobile and IoT systems using warmup-based federated learning[J]. IEEE Network, 2022, 37 (3): 224- 230.

9	曹嵘晖, 唐卓, 左知微, 等. 面向机器学习的分布式并行计算关键技术及应用[J]. 智能系统学报, 2021, 16 (5): 919- 930. CAO R H, TANG Z, ZUO Z W, et al. Key technologies and applications of distributed parallel computing for machine learning[J]. CAAI Transactions on Intelligent Systems, 2021, 16 (5): 919- 930.

10	ZHENG M,XU D,JIANG L,et al. Challenges of privacy-preserving machine learning in IoT[C]//Proceedings of the First International Workshop on Challenges in Artificial Intelligence and Machine Learning for Internet of Things. 2019:1-7.

11	ZENG T,SEMIARI O,MOZAFFARI M,et al. Federated learning in the sky:Joint power allocation and scheduling with UAV swarms[C]//ICC 2020-2020 IEEE International Conference on Communications (ICC). IEEE,2020:1-6.

12	ALSAMHI S H, ALMALKI F A, AFGHAH F, et al. Drones’ edge intelligence over smart environments in B5G: Blockchain and federated learning synergy[J]. IEEE Transactions on Green Communications and Networking, 2021, 6 (1): 295- 312.

13	BRIK B, KSENTINI A, BOUAZIZ M. Federated learning for UAVs-enabled wireless networks: Use cases, challenges, and open problems[J]. IEEE Access, 2020, 8, 53841- 53849. DOI

14	FU M, SHI Y, ZHOU Y. Federated learning via unmanned aerial vehicle[J]. IEEE Transactions on Wireless Communications,2023,23(4):2884-2900.

15	DRAINAKIS G,KATSAROS K V,PANTAZOPOULOS P,et al. Federated vs. centralized machine learning under privacy-elastic users:A comparative analysis[C]//2020 IEEE 19th International Symposium on Network Computing and Applications (NCA). IEEE,2020:1-8.

16	孙爽,李晓会,刘妍,等. 不同场景的联邦学习安全与隐私保护研究综述[J]. 计算机应用研究,2021,38(12):3527. SUN S,LI X H,LIU Y,et al. Survey on security and privacy protection in different scenarios of federated learning [J]. Application Research of Computers,2021,38(12):3527.

17	CAO X,GONG N Z. Mpaf:Model poisoning attacks to federated learning based on fake clients[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022:3396-3404.

18	MA X, ZHU J, LIN Z, et al. A state-of-the-art survey on solving non-IID data in federated learning[J]. Future Generation Computer Systems, 2022, 135, 244- 258. DOI

19	BLANCHARD P,EL MHAMDI E M,GUERRAOUI R,et al. Machine learning with adversaries:Byzantine tolerant gradient descent[J]. Advances in Neural Information Processing Systems,2017,30.

20	YIN D,CHEN Y,KANNAN R,et al. Byzantine-robust distributed learning:Towards optimal statistical rates[C]//International Conference on Machine Learning. PMLR,2018:5650-5659.

21	FUNG C,YOON C J M,BESCHASTNIKH I. The limitations of federated learning in sybil settings[C]//23rd International Symposium on Research in Attacks,Intrusions and Defenses (RAID 2020). 2020:301-316.

22	徐浩曈,刘立新,王静宇,等. 一种基于区块链的联邦学习贡献评价方案[J]. 计算机应用研究,2023,40(8):2258. XU H T,LIU L X,WANG J Y,et al. Blockchain-based contribution evaluation scheme for federated learning [J]. Application Research of Computers,2023,40(8):2258.

23	CAO X, FANG M, LIU J, et al. Fltrust: Byzantine-robust federated learning via trust bootstrapping[J]. arXiv preprint, arXiv:, 2012, 13995, 2020.

24	XIE C,KOYEJO S,GUPTA I. Zeno++:Robust fully asynchronous SGD[C]//International Conference on Machine Learning. PMLR,2020:10495-10503.

25	ZHANG S,LI J,SHI L,et al. Federated learning in intelligent transportation systems:Recent applications and open problems[J]. IEEE Transactions on Intelligent Transportation Systems, 2023,25(5):3259-3285.

26	CHHIKARA P, TEKCHANDANI R, KUMAR N, et al. Federated learning and autonomous UAVs for hazardous zone detection and AQI prediction in IoT environment[J]. IEEE Internet of Things Journal, 2021, 8 (20): 15456- 15467. DOI

27	SEID A M, ERBAD A, ABISHU H N, et al. Multiagent federated reinforcement learning for resource allocation in UAV-enabled internet of medical things networks[J]. IEEE Internet of Things Journal, 2023, 10 (22): 19695- 19711. DOI

刘建华,王可心,涂晓光,等. 融合差分隐私联邦学习的无人机辅助边缘计算任务调度[J/OL].电讯技术,1-11[2024-12-06]. https://doi.org/10.20079/j.issn.1001-893x.240530002.

LIU J H,WANG K X,TU X G,et al. UAV-Assisted Edge Computing Task Scheduling with Differential Privacy Federated Learning[J/OL]. Telecommunication Engineering,1-11[2024-12-06]. https://doi.org/10.20079/j.issn.1001-893x.240530002.

29	TURSUNBOEV J, KANG Y S, HUH S B, et al. Hierarchical federated learning for edge-aided unmanned aerial vehicle networks[J]. Applied Sciences, 2022, 12 (2): 670. DOI

30	卢彦丰, 吴韬, 刘春生, 等. 无人机辅助的高能效边缘联邦学习综述[J]. 计算机科学, 2024, 51 (4): 270- 279. LU Y S, WU T, LIU C S, et al. Survey of UAV-assisted energy-efficient edge federated learning[J]. Computer Science, 2024, 51 (4): 270- 279.

31	LIM W Y B, LUONG N C, HOANG D T, et al. Federated learning in mobile edge networks: A comprehensive survey[J]. IEEE Communications Surveys & Tutorials, 2020, 22 (3): 2031- 2063.

32	NI S,HE Y,CHEN L,et al. A survey of edge computing resource allocation strategies based on federated learning[C]//2023 International Conference on Networking and Network Applications (NaNA). IEEE,2023:116-121.

33	ZHANG C, XIE Y, BAI H, et al. A survey on federated learning[J]. Knowledge-Based Systems, 2021, 216, 106775. DOI

34	FANG M,CAO X,JIA J,et al. Local model poisoning attacks to {Byzantine-Robust} federated learning[C]//29th USENIX Security Symposium (USENIX Security 20). 2020:1605-1622.

35	SHEJWALKAR V,HOUMANSADR A. Manipulating the byzantine:Optimizing model poisoning attacks and defenses for federated learning[C]//Network and Distributed Systems Security (NDSS) Symposium. 2021:21-24.

36	BOTTOU L,CORTES C,DENKER J S,et al. Comparison of classifier methods:A case study in handwritten digit recognition[C]//Proceedings of the 12th IAPR International Conference on Pattern Recognition. IEEE,1994,2:77-82.

37	XIAO H, RASUL K, VOLLGRAF R. Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms[J]. arXiv preprint, arXiv:, 1708, 07747, 2017.

38	KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25, 1097- 1105.

39	HSU T M H, QI H, BROWN M. Measuring the effects of non-identical data distribution for federated visual classification[J]. ArXiv preprint, ArXiv:, 1909, 06335, 2019.

Options

文章导航

模态框（Modal）标题

摘要

本文引用格式

Abstract

0 引言

图 1 无人机辅助联邦学习概述

1 相关工作

2 基于层次聚类的联邦聚合算法

2.1 安全威胁模型

2.2 方案设计

图 2 本文方案概述

2.2.1 层次聚类粗粒度划分梯度

2.2.2 梯度贡献细粒度评估梯度

3 实验及结果分析

3.1 数据集描述和实验准备

3.2 结果分析

表 1 不同攻击场景下聚合算法的全局模型准确率

图 3 聚合算法在MNIST数据集上的全局模型准确率

图 4 聚合算法在Fashion-MNIST数据集上的全局模型准确率

图 5 聚合算法在CIFAR-10数据集上的全局模型准确率

4 结束语

参考文献