Matrix differential privacy protection technology in UAV communications

YANG Jungang; KONG Hao

doi:10.20172/j.issn.2097-3136.250104

Journal of Cybersecurity >

2025 , Vol. 3 >Issue 1: 42 - 51

DOI: https://doi.org/10.20172/j.issn.2097-3136.250104

Academic Research

Matrix differential privacy protection technology in UAV communications

YANG Jungang ,
KONG Hao ^,*

Expand

School of Computer Engineering and Science, Shanghai University, Shanghai 200444, China

Online published: 2025-03-19

Copyright

Fold

Abstract

Unmanned aerial vehicle (UAV) faces the risk of data leakage and malicious attacks when collecting and transmitting data. Differential privacy technology can provide privacy protection in the communication process. However, the traditional differential privacy mechanism has the problem of poor privacy protection and data utility loss when dealing with the high dimensional or complex data in UAV communications. To solve these problems, a novel matrix differential privacy protection method named matrix Gaussian mechanism (MGM) was proposed. MGM provided privacy protection in matrix data by introducing structured noise, while using matrix covariance structure to control the direction of noise addition to minimize the data utility loss. Compared with the traditional methods, MGM could adjust the noise distribution more flexibly, improve the efficiency of privacy protection, and maintain the structural characteristics of data in the multidimensional data space. Experimental results showed that the proposed method could effectively protect data privacy with improving the efficiency of UAV communications as well as the adaptability and scalability of model training.

Key words： UAV communications; differential privacy; matrix Gaussian mechanism; privacy protection; structured noise

Cite this article

YANG Jungang , KONG Hao . Matrix differential privacy protection technology in UAV communications[J]. Journal of Cybersecurity, 2025 , 3(1) : 42 -51 . DOI: 10.20172/j.issn.2097-3136.250104

0 引言

随着无人机技术的快速发展，无人机已在军事、农业、物流等多个领域得到了广泛应用。无人机的核心优势在于其高度的自动化和灵活性，这使其能够在各种环境下执行任务。无人机在执行任务的过程中，往往采集和传输大量的感知数据，这些数据包括飞行状态信息、环境监测数据以及任务执行中的敏感数据和用户隐私信息。随着无人机应用的普及，如何在保证数据有效利用和任务执行效率的同时，保护无人机网络中的通信安全与隐私，已成为亟待解决的关键问题。

无人机通信系统通常依赖无线网络，其在信息感知、数据处理、数据共享及数据存储的各个环节中，都可能面临不同程度的安全与隐私保护挑战。特别是在数据共享和处理环节，由于传输数据来自不同源，其可能包含敏感信息，容易受到非法访问、窃取或恶意篡改的威胁。因此，如何采用合适的安全技术，特别是在数据处理和共享过程中有效保护数据隐私，成为无人机通信系统设计中的关键问题。近年来，针对这一问题，研究人员提出了多种隐私保护技术，如加密技术、隐私计算、访问控制机制等，旨在抵御来自内部和外部的安全威胁，防止数据泄露和恶意攻击^[1-3]。

在众多隐私保护技术中，差分隐私（Differential Privacy）已成为一种被广泛接受的保护数据隐私的核心技术。差分隐私通过引入可控的噪声机制，在保证数据可用性的同时，严格限制从数据中推断出个体信息的可能性^[4]，这一特性使其特别适合应用于无人机通信系统^[5]。由于无人机通常受限于计算能力、存储空间和能源供应，差分隐私技术的低计算复杂度和通信开销使其能够高效运行在资源受限的设备上。此外，无人机通信系统需要频繁地进行动态数据共享，差分隐私技术能够在数据发布或共享时提供严格的隐私保护，而无须依赖复杂的加密协议或密钥管理机制。同时，差分隐私能够有效抵御攻击者可能具备的背景知识，确保在多源数据共享场景下的安全性。其可扩展性和兼容性也使其能够与现有通信协议和安全框架无缝集成，进一步提升系统的隐私保护能力。差分隐私在数据分析和处理领域被广泛应用，尤其在机器学习、数据挖掘等领域，具有显著的隐私保护效果。在无人机通信系统中，差分隐私技术的应用主要集中在信息感知、数据处理和数据共享等环节。例如，在多无人机协同任务中，多个无人机共享实时飞行数据和环境监测数据时，如何保护这些敏感信息、防止数据泄露或被恶意篡改，成为关键问题。然而，传统的差分隐私机制大多基于标量数据设计，对于复杂数据（如非结构化、多模态或动态时序数据）和高维高阶数据（如矩阵、张量等多维结构数据）的隐私保护效果较差。在无人机通信系统中，这类数据的噪声引入往往会显著影响其效用，导致模型性能下降。例如，在多无人机协同任务中，共享的实时飞行数据可能包含多维时空信息（高阶数据），而环境监测数据可能涉及图像、音频等多模态复杂数据。传统方法难以在保护隐私的同时，维持此类数据的可用性。

例如，Shokri等^[6]提出了基于差分隐私的联邦学习方法，通过在每次训练中引入噪声来保护参与者的数据隐私，但这一方法在高维数据上通常面临较大的效用损失。此外，Abadi等^[7]和Papernot等^[8]在深度学习领域提出了差分隐私机制，但现有的大多数方案仍未充分考虑数据的多维度和复杂性问题。因此，在高维或高阶数据中，如何在保证隐私保护的同时，最大化数据的效用，仍然是一个亟待应对的挑战。

为了克服传统差分隐私机制在高维数据上的局限性，研究人员近年来开始关注矩阵数据的隐私保护。矩阵数据常见于图像处理、传感器数据、行为模式识别等领域，其数据结构复杂，且包含大量的特征信息。因此，如何在矩阵数据中保持隐私保护与数据效用之间的平衡，成为一个新的研究方向。Geng等^[9]和Li等^[10]提出了一些针对矩阵数据的差分隐私保护方法，但大部分方法仅为启发式解决方案，未能提供理论上的效用保证，且在大规模应用中可扩展性差。

本文针对上述问题，提出了一种新型的矩阵差分隐私机制——矩阵高斯机制（Matrix Gaussian Mechanism，MGM）。该方法通过引入结构化噪声，在矩阵数据中提供差分隐私保护，确保每个无人机的任务数据难以被非法访问或推测。此外，矩阵高斯机制利用矩阵协方差结构控制噪声的添加方向，使得数据效用的损失最小化，最大限度地保留了数据的效用，提升了无人机的通信效率。与传统方法相比，矩阵高斯机制能够在多维数据空间中灵活调节噪声分布，充分利用数据的结构特征，显著提高隐私保护的效能^{[4, 9]}。

本文所提出的矩阵高斯机制不仅可以有效保护数据隐私并提升通信效率，也可以广泛应用于无人机的联邦学习框架中。在无人机群体协作执行任务时，每个无人机可能拥有独立的本地数据集，通过模型共享与聚合，多个无人机可以共同完成任务模型的训练。然而，在模型的训练过程中，特别是梯度和参数的共享，可能导致敏感数据的泄露。矩阵高斯机制可以在联邦学习的训练过程中引入噪声，保护各参与者的本地数据隐私，同时有效提高模型的训练效果。与传统的噪声注入方法相比，矩阵高斯机制在数据维度较高的情况下，能够更好地平衡隐私保护与效用优化，具有较强的适应性和可扩展性。

1 研究背景

1.1 无人机通信研究

无人机通信网络是赋予无人机自动化、移动化和数据传输的关键。通信模块对无人机通信网络的构建具有重要作用。传统的无线技术，包括WiMAX^[11]、LTE^[12]和ZigBee^[13]等，已大量出现在无人机通信网络中。Vahidi等^[14]提出使用多输入多输出正交频分复用在接收端重建传输数据，降低了开销和计算复杂度。Sudheesh等^[15]针对高空平台提出了无人机地面站干扰校准方案，使用半双工中继的系绳气球辅助通信，以提高自由度（Degree of Freedom）和速率。Somaraju等^[16]首次提出了利用自由度来表征通信信道，提供了在无人机通信网络中的常见方式。然而，无人机通信和数据传输过程中的安全问题一直没有受到广泛关注。针对无人机通信和数据传输的特性，保证数据的有效利用和任务执行效率，保护无人机网络中的通信安全与隐私，已成为亟待解决的关键问题。特别是在动态窃听者（Eavesdroppers）存在的场景下，无人机通信系统面临严峻的安全挑战。窃听者可能通过模仿合法用户的行为或主动攻击通信链路获取敏感信息，甚至干扰无人机的任务执行。此外，无人机通信环境通常具有高度的动态性和不确定性，如无人机的位置、信道条件和窃听者的位置可能随时变化，这进一步增加了通信安全的复杂性。因此，如何在保证通信效率的同时，有效防止窃听者的攻击，确保数据传输的机密性和完整性，已成为无人机通信系统设计中的核心问题。通过引入差分隐私等先进的隐私保护技术，结合安全波束成形和无人机轨迹优化，可以有效应对这些挑战，提升无人机通信系统的安全性和鲁棒性。

1.2 差分隐私

本节首先介绍一些差分隐私的概念和定义，为后续内容奠定基础，避免潜在的理解歧义。

差分隐私的核心目标是限制攻击者通过分析公开数据的输出结果来推测某个特定个体数据是否存在于数据集中的能力。这种隐私保护机制通过约束两个仅相差一条记录的相邻数据集产生的输出结果的后验概率分布的对数差异来实现。具体而言，根据采用的距离度量方式不同，差分隐私的形式也会有所差异。

本文采用参数

$ \varepsilon $

来定义两个概率分布之间的最大对数距离，从而为隐私损失设定上限。同时，

$ \delta $

参数用于描述在隐私预算约束下，超出预定界限的事件发生的小概率情况。差分隐私的定义如下：

定义1　如果对于任何两个相邻数据集

$ X $

和

$ {X}^{{\prime}} $

，它们之间最多只在一个数据上有所差异，给定一个随机机制

$ M $

以及任何可能的输出集

$ \mathcal{O} $

（

$ \mathcal{O} $

为任意的

$ M $

值域的子集），都有

$ \mathrm{P}\mathrm{r}\left(M\left(X\right)\in \mathcal{O}\right)\leqslant {{\mathrm{e}}}^{\varepsilon }\mathrm{P}\mathrm{r}\left(M\left({X}^{\prime}\right)\in \mathcal{O}\right)+\delta $

则称机制

$ M $

满足

$ \left(\varepsilon ,\delta \right) $

-差分隐私。在

$ \delta =0 $

的特殊情况下，称

$ M $

满足

$ \varepsilon $

-差分隐私。

差分隐私不仅可以被量化，还具有诸多独特的优势。首先，它与输入数据和辅助信息（如公开数据或未来的知识）无关，从而保障了更强的独立性。此外，差分隐私的隐私预算具有可组合性，即两个满足

$ \varepsilon $

-差分隐私的算法，无论是顺序还是并行执行，其整体隐私保证至少为

$ 2\varepsilon $

-差分隐私。更高级的组合定理甚至能够进一步优化组合后的隐私预算，降低总消耗。

差分隐私还以其灵活性著称，在数据处理的不同阶段均可引入噪声。噪声可以施加于原始输入数据、算法的最终输出，或是介于两者之间的任意中间环节，如深度学习模型的训练过程^[17-22]。此外，差分隐私能够与其他隐私保护技术（如同态加密、安全多方计算、联邦学习等）结合，共同打造更全面的隐私保护框架。

尽管差分隐私因其显著优势已被广泛接受为隐私保护的行业标准，但其实际应用仍面临诸多挑战。一个核心问题在于，如何在隐私保护与算法性能或下游任务效果之间找到平衡，即所谓的隐私—效用权衡。这种权衡不仅可能影响算法的实用性，还可能对其处理异常情况的能力造成不同程度的制约。

1.3 高维度差分隐私

差分隐私机制在机器学习领域的应用尚未完全适应学习数据的多样性和复杂性。学习数据不仅包括训练和测试样本，还涉及中间层特征、梯度信息和模型参数。在深度学习领域，由于数据的高维度和复杂性，传统差分隐私方法需要引入大量噪声以保护隐私，这通常会导致模型性能显著下降。此外，将学习数据简化为标量集合或向量处理，忽略了数据的内在结构，加剧了效用损失。因此，迫切需要对学习数据的隐私保护进行形式化建模，并解决隐私保护与模型性能之间的矛盾。

高维或高阶数据场景下的核心挑战源于隐私保护与数据效用之间固有的内在权衡关系^[10,23-24]。对于矩阵形式的数据，过度的噪声注入可能导致数据的实用性大幅降低。虽然一些实用方案试图减轻这种影响，如最近关于矩阵优化的研究，但这些解决方案大多是启发式的，未能提供明确的效用保证，且在大规模应用中缺乏可扩展性。首先，给出经典的标准正态分布（Standard Normal Distribution，SND）的定义。

定义2　如果一个矩阵值随机变量

$ z\in \mathbb{R} $

遵循SND，其概率密度函数为：

$ \mathrm{P}\mathrm{r}\left(z\right)=\frac{1}{{\left(2\text{π}\right)}^{1/2}}\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{1}{2}{z}^{2}\right\} $

且称

$ z $

遵循正态分布

$ \mathcal{N}\left(0,1\right) $

。

如果一个矩阵值随机变量

$ {\boldsymbol{Z}}\in {\mathbb{R}}^{m\times n} $

遵循SND，其概率密度函数为：

$ \mathrm{P}\mathrm{r}\left({\boldsymbol{Z}}\right)=\frac{1}{{\left(2\text{π}\right)}^{mn/2}}\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{1}{2}\parallel {\boldsymbol{Z}}{\parallel }_{F}^{2}\right\} $

其中，

$ \parallel \cdot \parallel _{F} $

表示Frobenius范数。遵循 SND 的随机变量矩阵的每个元素

$ {Z}_{ij} $

都遵循正态分布

$ \mathcal{N}\left(0,1\right) $

。

1.4 高维空间相关引理

基于前文对高维差分隐私概念的描述，下面给出矩阵和张量的相关引理，主要涉及范数不等式、高维高斯机制的尾界近似等。

引理1　设

$ {{\boldsymbol{U}}}_{1}\in {\mathbb{R}}^{m\times m}\mathrm{、}{{\boldsymbol{U}}}_{2}\in {\mathbb{R}}^{n\times n} $

以及

$ {\boldsymbol{X}},{\boldsymbol{Y}}\in {\mathbb{R}}^{m\times n} $

为一对矩阵，它们满足

$ {\boldsymbol{X}}={{\boldsymbol{U}}}_{1}{\boldsymbol{Y}}{{\boldsymbol{U}}}_{2} $

，那么有矩阵范数不等式：

$ \parallel {\boldsymbol{X}}{\parallel }_{F}\leqslant \parallel {\boldsymbol{Y}}{\parallel }_{F}\parallel {{\boldsymbol{U}}}_{1}{\parallel }_{F}\parallel {{\boldsymbol{U}}}_{2}{\parallel }_{F} $

引理2　对于一个遵循SND的矩阵值随机变量

$ {\boldsymbol{N}}\in {\mathbb{R}}^{m\times n} $

、

$ \delta \in \left[0,1\right) $

并且

$ \zeta {\left(\delta \right)}^{2} = -2{\mathrm{ln}}\delta + 2\sqrt{mn\mathrm{l}\mathrm{n}\delta }+mn $

，有：

$ \mathrm{P}\mathrm{r}\left[\parallel {\boldsymbol{N}}{\parallel }_{F}^{2}\leqslant \zeta {\left(\delta \right)}^{2}\right]\geqslant 1-\delta $

2 研究内容

2.1 矩阵高斯机制

本节引入一种矩阵高斯机制^[23]，并呈现了其核心定理及证明过程。与传统的标量值差分隐私机制相比，矩阵差分隐私机制的独特之处在于其处理的对象是矩阵形式的数据或查询，而且必须确保无论输入矩阵的具体维度如何，都能满足差分隐私准则。

为了便于阐述这一机制的运作方式，首先定义矩阵空间中一对相邻矩阵的

$ {l}_{2} $

敏感性，具体如下：

定义3　查询函数

$ f\left(X\right)\in {\mathbb{R}}^{m\times n} $

的

$ {{l}}_{2} $

-敏感度定义为：

$ {s}_{2}\left(f\right)=\underset{d\left(X,{X}^{\prime}\right)=1}{\mathrm{s}\mathrm{u}\mathrm{p}}\parallel f\left(X\right)-f\left({X}^{\prime}\right){\parallel }_{F} $

$ d\left(X,{X}^{\prime}\right)=1 $

意味着

$ X $

和

$ {X}^{\prime} $

是邻近数据集。

基于矩阵的SND（定义1），定义矩阵高斯分布及其变量

$ {\boldsymbol{Z}} $

如下：

定义4　遵循矩阵正态分布

$ {\mathcal{M}\mathcal{N}}_{{m},{n}}\left({\boldsymbol{M}},{{\boldsymbol{\varSigma}} }_{1},{{\boldsymbol{\varSigma}} }_{2}\right) $

的

$ m\times n $

矩阵随机变量

$ {\boldsymbol{Z}} $

的概率密度函数为：

$ \mathrm{P}\mathrm{r}\left({\boldsymbol{Z}}|{\boldsymbol{M}},{{\boldsymbol{\varSigma}} }_{1},{{\boldsymbol{\varSigma}} }_{2}\right)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}-\dfrac{1}{2}\parallel {{\boldsymbol{U}}}_{1}^{-1}\left({\boldsymbol{Z}}-{\boldsymbol{M}}\right){{\boldsymbol{U}}}_{2}^{-{\mathrm{T}} }{\parallel }_{F}^{2}}{{\left(2\text{π }\right)}^{mn/2}{\left|{{\boldsymbol{\varSigma}} }_{2}\right|}^{m/2}{\left|{{\boldsymbol{\varSigma}} }_{1}\right|}^{n/2}} $

其中，

$ {{\boldsymbol{U}}}_{k}{{\boldsymbol{U}}}_{k}^{{\mathrm{T}}}={{\boldsymbol{\varSigma}} }_{k},k=\mathrm{1,2} $

，

$ \left|\cdot \right| $

是矩阵行列式，

$ {\boldsymbol{M}}\in {\mathbb{R}}^{{m}\times {n}} $

是均值，

$ {{\boldsymbol{\varSigma}} }_{1}\in {\mathbb{R}}^{m\times m} $

是行方向协方差矩阵，

$ {{\boldsymbol{\varSigma}} }_{2}\in {\mathbb{R}}^{n\times n} $

是列方向协方差矩阵。

令

$ {{\boldsymbol{Z}}}_{0}\in {\mathbb{R}}^{m\times n} $

是由定义2的满足矩阵SND的随机变量，那么可以得到

$ {{\boldsymbol{Z}}}_{0}={U}_{1}^{-1}\left({\boldsymbol{Z}}-{\boldsymbol{M}}\right){{\boldsymbol{U}}}_{2}^{-\mathrm{T }} $

，并且

$ {{\boldsymbol{Z}}}_{0} $

是矩阵高斯随机变量的特例，即

$ {{\boldsymbol{Z}}}_{0}\sim {\mathcal{M}\mathcal{N}}_{m,n} \left(0,{E}_{1},{E}_{2}\right) $

。基于上述定义，在下述矩阵高斯机制中应遵循

$ {\mathcal{M}\mathcal{N}}_{m,n}\left(0,{{\boldsymbol{\varSigma}} }_{1},{{\boldsymbol{\varSigma}} }_{2}\right) $

分布的加性矩阵高斯噪声。

定义5　对于给定的查询函数

$ f\left(X\right)\in {\mathbb{R}}^{m\times n} $

和一个矩阵变量高斯

$ {\boldsymbol{Z}}\sim {\mathcal{M}\mathcal{N}}_{m,n}\left(0,{{\boldsymbol{\varSigma }}}_{1},{{\boldsymbol{\varSigma}} }_{2}\right) $

，矩阵高斯机制定义为：

$ \mathrm{M}\mathrm{G}\mathrm{M}\left(f\left(X\right)\right)=f\left(X\right)+{\boldsymbol{Z}} $

类似于传统高斯机制，矩阵高斯向查询结果添加零均值随机噪声。注意，

$ {{\boldsymbol{\varSigma}} }_{1}\in {\mathbb{R}}^{m\times m} $

和

$ {{\boldsymbol{\varSigma}} }_{2}\in {\mathbb{R}}^{n\times n} $

是

$ {\boldsymbol{Z}} $

的不同模式的协方差矩阵，这些协方差矩阵是可以设计的。在即将讨论的主要定理中展示哪些形式的协方差矩阵能确保机制是差分隐私的。

下面证明定义3定义的矩阵高斯的主要定理：

定理1　假设有查询函数

$ f\left({X}\right)\in {\mathbb{R}}^{{m}\times {n}} $

和一个矩阵高斯噪声

$ {\boldsymbol{Z}}\sim {\mathcal{M}\mathcal{N}}_{{m},{n}}\left(0,{{\boldsymbol{\varSigma}} }_{1},{{\boldsymbol{\varSigma}} }_{2}\right) $

，且

$ {{U}}_{1}\in {\mathbb{R}}^{{m}\times {m}}\mathrm{、} {{U}}_{2}\in {\mathbb{R}}^{{n}\times {n}} $

满足

$ {{{\boldsymbol{U}}}}_{{k}}{{{\boldsymbol{U}}}}_{{k}}^{\mathrm{T}}={\mathrm{{\boldsymbol{\varSigma}} }}_{{k}} $

（对于每个

$ k=\mathrm{1,2} $

），如果

$ {{U}}_{1}\mathrm{、} {{U}}_{2} $

满足以下条件，则矩阵高斯保证

$ \left(\mathrm{\varepsilon },\mathrm{\delta }\right) $

-差分隐私：

$ \parallel {{U}}_{1}^{-1}{\parallel }_{\mathrm{F}}^{2}\parallel {{U}}_{2}^{-1}{\parallel }_{\mathrm{F}}^{2}\leqslant \frac{{\left(-\mathrm{\beta }+\sqrt{{\mathrm{\beta }}^{2}+8\mathrm{\alpha }\mathrm{\varepsilon }}\right)}^{2}}{4{\mathrm{\alpha }}^{2}} $

其中，

$ \alpha ={{s}}_{2}^{2}\left({f}\right) $

，

$ \beta =2\zeta \left(\mathrm{\delta }\right){\mathrm{s}}_{2}\left({f}\right) $

，

$ {{s}}_{2}\left({f}\right) $

是

$ f\left({X}\right) $

的

$ {{l}}_{2} $

-敏感度，

$ \zeta \left(\mathrm{\delta }\right) $

在引理2中已定义。

一旦给定隐私参数

$ \varepsilon $

和

$ \delta $

，右侧是一个常数。因此，该定理显示，为了保证矩阵数据的差分隐私，只须满足关于加性噪声

$ Z $

的协方差矩阵的Frobenius范数的约束。完整的证明可以参考文献[23]。

定理1给出了矩阵高斯应该满足保证

$ \left(\varepsilon ,\delta \right) $

-差分隐私的条件。显然，这个条件仅与加性噪声的协方差矩阵相关，这为设计特定的协方差矩阵和噪声留下了很大空间。在下一节中，将介绍如何在合理的范围内，结合无人机通讯数据结构特点进行噪声分布的优化。

2.2 单峰方向噪声

通过添加单峰方向噪声（Unimodal Directional Noise，UDN）展示对一般矩阵高斯的改进。不失一般性，假设

$ Z $

的行是方向性噪声，列是独立同分布的，即

$ {U}_{2}={\mathit{E}}_{2} $

（

$ {\mathit{E}}_{2} $

表示与

$ {U}_{2} $

形状相同的单位矩阵）。

定理2　给定

$ {U}_{2}={\boldsymbol{E}}_{2} $

，如果满足以下条件，则矩阵高斯保证

$ \left(\varepsilon ,\delta \right) $

-差分隐私：

$ \parallel {{U}_{1}}^{-1}{\parallel }_{F}^{2}\leqslant \frac{{\left(-\beta +\sqrt{{\beta }^{2}+8\alpha \varepsilon }\right)}^{2}}{4{\alpha }^{2}} $

其中，

$ \alpha ={s}_{2}^{2}\left(f\right) $

，

$ \beta =2\zeta \left(\delta \right){s}_{2}\left(f\right) $

。

该证明与定理1类似，定理明确表明，对于噪声的协方差矩阵有一个更紧的噪声界限。由于差分隐私条件在这里仅依赖

$ {U}_{1} $

，也表明有可能根据应用特定设计

$ {U}_{1} $

。

注意，协方差矩阵

$ {{\boldsymbol{\varSigma}} }_{k}={{\boldsymbol{U}}}_{k}{{\boldsymbol{U}}}_{k}^{\mathrm{T}} $

，且

$ {{\boldsymbol{\varSigma }}}_{k} $

的奇异值分解（Singular Value Decomposition，SVD）为

$ {{\boldsymbol{\varSigma}} }_{k}= {{\boldsymbol{W}}}_{{{\boldsymbol{U}}}_{k}}{{\boldsymbol{S}}}_{k}{{\boldsymbol{W}}}_{{{\boldsymbol{U}}}_{k}}^{\mathrm{T}} $

。设

$ {U}_{k}={W}_{{U}_{k}}{S}_{{U}_{k}} $

，其中

$ {S}_{{U}_{k}}{S}_{{U}_{k}}^{\mathrm{T}}={S}_{k} $

。观察到在设计

$ {U}_{1} $

时，可以将任何酉矩阵

$ {{\boldsymbol{W}}}_{{{\boldsymbol{U}}}_{1}} $

代入

$ {{\boldsymbol{U}}}_{1} $

的SVD中。

2.3 独立方向噪声

独立方向噪声（Independent Directional Noise，IDN）遵循UDN的设置，并将行方向噪声

$ {{\boldsymbol{W}}}_{{{\boldsymbol{U}}}_{1}}={\boldsymbol{E}}_{1} $

设为单位矩阵。不失一般性，假设

$ {U}_{1} $

是对角矩阵，且

$ {U}_{2}={\boldsymbol{E}}_{2} $

。此外，假设需要保护的数据可以缩放到相同范围，即

$ f\left(X\right) $

的每个元素都在

$ \left[a,b\right] $

范围内，那么可以用以下定理优化满足差分隐私所需的

$ \parallel {U}_{1}^{-1}{\parallel }_{F} $

的界限。

定理3　设

$ Z\sim {\mathcal{M}\mathcal{N}}_{m,n}\left(0,{{\boldsymbol{\varSigma}} }_{1},{\boldsymbol{E}}_{2}\right)\in {\mathbb{R}}^{m\times n} $

，其中

$ {{\boldsymbol{\varSigma}} }_{1}= {U}_{1}{U}_{1}^{\mathrm{T }} $

且

$ {U}_{1}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left[{\sigma }_{1},\cdots,{\sigma }_{m}\right]\in {\mathbb{R}}^{m\times m} $

。如果将

$ f\left(X\right) $

的每个元素规范化到相同的范围

$ \left[a,b\right] $

，

$ {\rm{M}\rm{G}\rm{M}}\left(f\left(X\right)\right)= f\left(X\right)+Z $

保证

$ \left(\varepsilon ,\delta \right) $

-差分隐私，那么满足：

$ \parallel {U}_{1}^{-1}{\parallel }_{F}^{2}\leqslant \frac{m}{{\hat{s}}_{2}^{2}\left(f\right)}{\left(-\zeta \left(\delta \right)+\sqrt{{\zeta }^{2}\left(\delta \right)+2\varepsilon }\right)}^{2} $

其中，

$ \zeta \left(\delta \right) $

在引理2中已定义，

$ {\widehat{s}}_{2}\left(f\right)=\left(b-a\right) \sqrt{mn} $

。

此定理给出一个改进的噪声界限，当数据被规范化到相同的范围

$ \left[a,b\right] $

时，可以更有效地保护差分隐私。通过这种方式，IDN允许在进行差分隐私保护的同时降低噪声的幅度，这对于保持查询结果的实用性是有益的。此定理特别适用于当数据特征在同一量级时，通过调整

$ {U}_{1} $

的对角线元素（即

$ {\sigma }_{i} $

的值），可以有效地控制加到数据上的噪声水平，从而在保护隐私和维持数据实用性之间找到一个较好的平衡点。

只要在定理2中将

$ {U}_{1} $

替换为对角矩阵，就可以得到该结果与单峰方向噪声的比较。因此有：

$ \parallel {U}_{1}^{-1}{\parallel }_{F}^{2}\leqslant \frac{1}{{\hat{s}}_{2}^{2}\left(f\right)}{\left(-\zeta \left(\delta \right)+\sqrt{{\zeta }^{2}\left(\delta \right)+2\varepsilon }\right)}^{2} $

显然，这个结论将噪声界限改进了

$ m $

倍。

3 隐私与效用

这一节重点阐述矩阵高斯机制的优势：矩阵高斯机制能够适应并优化数据在效用子空间中的处理。在无人机通信中，数据矩阵的不同维度或特征方向可能具有不同的重要性，这直接影响通信效率和感知精度。矩阵高斯机制可以根据这些维度的重要性差异，选择有针对性的噪声方向和分布，实现在对矩阵关键部分注入尽可能少的噪声的同时，允许在相对不那么重要的部分引入更大程度的噪声，以达到保护数据隐私的目的。将问题重新表述为一个优化问题，旨在最小化所添加噪声对原始数据矩阵输出的影响的总和，并通过严谨的数学推导得到闭式解，这个解适用于大规模矩阵数据的场景。基于上述理论成果提出的两种噪声生成算法，能够在实际应用中有效地实施这种策略，确保在满足差分隐私的前提下，最大化数据的有效利用率。

假设任务具有线性效用子空间，即：

$ Y={{\boldsymbol{W}}}_{1}f\left(X\right){{\boldsymbol{W}}}_{2}^{\mathrm{T}} $

其中

$ ，f\left(X\right)\in {\mathbb{R}}^{m\times n} $

、

$ {{\boldsymbol{W}}}_{1}\in {\mathbb{R}}^{{m}^{\prime}\times m}\mathrm{、}{{\boldsymbol{W}}}_{2}\in {\mathbb{R}}^{{n}^{\prime}\times n} $

代表效用子空间，

$ {\boldsymbol{Y}}\in {\mathbb{R}}^{{m}^{\prime}\times {n}^{\prime}} $

是输出。为了保护隐私，通过采样一个噪声

$ {\boldsymbol{Z}}\sim {\mathcal{M}\mathcal{N}}_{m,n}\left(0,{{\boldsymbol{\varSigma}} }_{1},{{\boldsymbol{\varSigma}} }_{2}\right) $

并对扰动的查询结果进行预测来应用矩阵高斯：

$ \widehat{{\boldsymbol{Y}}}={W}_{1}\left[f\left(X\right)+Z\right]{W}_{2}^{\mathrm{T}} $

从矩阵形式的标准正态分布

$ {Z}_{0} $

生成噪声

$ Z $

，使得：

$ Z={U}_{1}{Z}_{0}{U}_{2}^{\mathrm{T}} $

根据矩阵机制^[10]，将目标定义为原始查询结果上的误差，并通过加权噪声的期望范数进行衡量。如果误差最小化，意味着对输出的扰动减少，目标是最小化：

$ \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\mathbb{E}\parallel Y-\widehat{Y}{\parallel }_{F}^{2}\iff \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\mathbb{E}\parallel {W}_{1}{U}_{1}N{U}_{2}^{\mathrm{T}}{W}_{2}^{\mathrm{T}}{\parallel }_{F}^{2} $

为了估算矩阵高斯误差，需要以下引理：

引理3　假设

$ \boldsymbol{A} $

是一个大小为

$ m\times m $

的矩阵变量，则：

$ \mathbb{E}\left({\mathrm{{t}{r}}}{\left({\boldsymbol{A}}\right)}\right)={\mathrm{{t}{r}}}{\left(\mathbb{E}{\boldsymbol{A}}\right)} $

其中，

$ {{\mathrm{t}}}{{\mathrm{r}}}\left({\boldsymbol{A}}\right) $

表示

$ {\boldsymbol{A}} $

的迹。

基于上述引理，可以提出计算

$ \parallel Z\parallel _{F}^{2} $

期望的定理。

定理4　对于给定的噪声

$ Z={U}_{1}{Z}_{0}{U}_{2}^{\mathrm{T}}\in {\mathbb{R}}^{m\times n} $

其中，

$ {Z}_{0}\in {\mathbb{R}}^{m\times n} $

是来自定义2的标准正态分布噪声，有：

$ \mathbb{E}\parallel Z{\parallel }^{2}=\parallel {U}_{1}{\parallel }_{F}^{2}\parallel {U}_{2}{\parallel }_{F}^{2} $

证明　首先，

$ \begin{array}{r}\mathbb{E}\parallel Z{\parallel }_{F}^{2}=\mathbb{E}\parallel {U}_{1}{Z}_{0}{U}_{2}^{\mathrm{T}}{\parallel }_{F}^{2}=\mathbb{E}\rm{t}\rm{r} \left({U}_{1}{Z}_{0}{U}_{2}^{\mathrm{T}}{\left({U}_{1}{Z}_{0}{U}_{2}^{\mathrm{T}}\right)}^{\mathrm{T}}\right)\end{array} $

然后，利用引理3交换迹和期望。因此，

$ \mathbb{E}\parallel Z\parallel _{F}^{2}=\rm{t}\rm{r}\left(\mathbb{E}{U}_{1}{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}{U}_{1}^{\mathrm{T}}\right) $

$=\rm{t}\rm{r}\left({U}_{1}\mathbb{E}\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right]{U}_{1}^{\mathrm{T}}\right) $

因此，下面主要考虑化简

$ \mathbb{E}\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right] $

。假设

$ {N}^{\mathrm{T}}=\left({{n}}_{1},{{n}}_{2},\cdots ,{{n}}_{m}\right) $

，有：

$ {\left({Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right)}_{ij}={{n}}_{i}^{\mathrm{T}}{U}_{2}^{\mathrm{T}}{U}_{2}{{n}}_{j} $

因此，如果

$ i\ne j $

，

$ {{n}}_{i} $

和

$ {{n}}_{j} $

中的所有随机变量都是独立的。从而可以得到：

$ \mathbb{E}{\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right]}_{ij}=0 $

如果

$ i=j $

，假设

$ {{z}}_{i}={U}_{2}{{n}}_{i}={\left({z}_{1i},{z}_{2i},\cdots ,{z}_{mi}\right)}^{\mathrm{T}} $

，因此，

$ \mathbb{E}{\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right]}_{ii}=\mathbb{E}\sum _{k=1}^{n}{z}_{ki}^{2} $

其中，

$ {z}_{ki}\sim {\mathcal{Z}}_{0}\left(0,\sum _{l=1}^{n}{{U}_{2}}_{lk}^{2}\right) $

。因此，

$ \mathbb{E}\sum _{k=1}^{n}{z}_{ki}^{2}=\sum _{k=1}^{n}\mathbb{E}{z}_{ki}^{2}=\sum _{k=1}^{n}\sum _{l=1}^{n}{{U}_{2}}_{lk}^{2}=\parallel {U}_{2}{\parallel }_{F}^{2} $

因此，

$ \mathbb{E}\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right]=\parallel {U}_{2}{\parallel }_{F}^{2}{\boldsymbol{E}}_{1} $

最后，将期望代入

$ \rm{t}\rm{r}\left({U}_{1}\mathbb{E}\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right]{U}_{1}^{\mathrm{T}}\right) $

，得到：

$ \rm{t}\rm{r}\left({U}_{1}\mathbb{E}\left[{Z}_{0}{U}_{2}^{\mathrm{T}}{U}_{2}{N}^{\mathrm{T}}\right]{U}_{1}^{\mathrm{T}}\right)=\parallel {U}_{1}{\parallel }_{F}^{2}\parallel {U}_{2}{\parallel }_{F}^{2} $

证明完成。

根据定理4，可以将优化问题表述如下：

$ \begin{array}{ll}& \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\mathbb{E}\parallel Y-\widehat{Y}{\parallel }_{F}^{2}\\ \iff & \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\mathbb{E}\parallel {W}_{1}{U}_{1}N{U}_{2}^{\mathrm{T}}{W}_{2}^{\mathrm{T}}{\parallel }_{F}^{2}\\ \iff & \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\parallel {W}_{1}{U}_{1}{\parallel }_{F}^{2}\parallel {W}_{2}{U}_{2}{\parallel }_{F}^{2}\\ \iff & \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\parallel {W}_{1}{{\boldsymbol{W}}}_{{{\boldsymbol{U}}}_{1}}{{\boldsymbol{S}}}_{{\boldsymbol{{U}}}_{1}}{\parallel }_{F}^{2}\parallel {W}_{2}{{\boldsymbol{W}}}_{{{\boldsymbol{U}}}_{2}}{{\boldsymbol{S}}}_{{{\boldsymbol{U}}}_{2}}{\parallel }_{F}^{2}\end{array} $

其中，

$ {{\boldsymbol{S}}}_{{{\boldsymbol{U}}}_{1}}={\mathrm{diag}}\left({\sigma }_{11},\cdots,{\sigma }_{1m}\right) $

，

$ {{\boldsymbol{S}}}_{{{\boldsymbol{U}}}_{2}}={\mathrm{diag}}\left({\sigma }_{21},\cdots, {\sigma }_{2n}\right) $

。如果设

$ {P}_{1i}=\sum _{j=1}^{{m}^{{{\prime}}}}{\left({W}_{1}{W}_{{U}_{1}}\right)}_{ji}^{2} $

和

$ {P}_{2i}=\sum _{j=1}^{{n}^{{{\prime}}}}{\left({W}_{2}{W}_{{U}_{2}}\right)}_{ji}^{2} $

，可以将目标写为：

$ \underset{{U}_{1},{U}_{2}}{\mathrm{m}\mathrm{i}\mathrm{n}}\left(\sum _{i=1}^{m}{P}_{1i}{\sigma }_{1i}^{2}\right)\left(\sum _{i=1}^{n}{P}_{2i}{\sigma }_{2i}^{2}\right) $

假设

$ {P}_{1i} $

和

$ {P}_{2i} $

是常数，结合差分隐私约束，可以整理成几何规划问题：

$ \begin{aligned} & \underset{{\sigma }_{1i},{\sigma }_{2i}}{\mathrm{m}\mathrm{i}\mathrm{n}}\left(\sum _{i=1}^{m}{P}_{1i}{\sigma }_{1i}^{2}\right)\left(\sum _{i=1}^{n}{P}_{2i}{\sigma }_{2i}^{2}\right)\\ & \text{s.t.}\left(\sum _{i=1}^{m}\frac{1}{{\sigma }_{1i}^{2}}\right)\left(\sum _{i=1}^{n}\frac{1}{{\sigma }_{2i}^{2}}\right)\leqslant B\end{aligned} $

其中，

$ B=\dfrac{{\left(-\beta +\sqrt{{\beta }^{2}+8\alpha \varepsilon }\right)}^{2}}{4{\alpha }^{2}} $

。然后，令

$ {\mathrm{e}}^{{x}_{ij}}={\sigma }_{ij}^{2} $

，将

问题转换为凸问题：

$\begin{aligned} &\underset{x}{\text{min}} \mathrm{l}\mathrm{o}\mathrm{g}\left(g\left(x\right)\right),\\ &{\mathrm{s.t.}} \mathrm{l}\mathrm{o}\mathrm{g}\left({g}_{1}\left(x\right)\right)\leqslant \mathrm{l}\mathrm{o}\mathrm{g}\left(B\right)\end{aligned} $

其中，

$\begin{aligned} g\left(x\right)=& \left(\sum _{i=1}^{m}{P}_{1i}{\mathrm{e}}^{{x}_{1i}}\right)\left(\sum _{i=1}^{n}{P}_{2i}{\mathrm{e}}^{{x}_{1i}}\right)\\ {g}_{1}\left(x\right)=& \left(\sum _{i=1}^{m}{\mathrm{e}}^{{x}_{1i}}\right)\left(\sum _{i=1}^{n}{\mathrm{e}}^{{x}_{2i}}\right)\end{aligned} $

可以应用卡罗需-库恩-塔克（Karush-Kuhn-Tucker）^[25]条件，得到最优解：

$ {\sigma }_{1k}^{2}{\sigma }_{2l}^{2}=\frac{\left(\sum _{i=1}^{m}\sqrt{{P}_{1i}}\right)\left(\sum _{j=1}^{n}\sqrt{{P}_{2j}}\right)}{\sqrt{{P}_{1k}{P}_{2l}}B} $

$ \forall k\in \left[m\right],l\in \left[n\right] $

所有满足上述方程的

$ {\sigma }_{1k}^{2}{\sigma }_{2l}^{2} $

是问题的最优解。基于此，可以计算误差的最小值：

$ {\text{Error}}_{\text{MGM}}\left(Y,\varepsilon ,\delta \right)=\frac{{\left(\sum _{i=1}^{m}\sqrt{{P}_{1i}}\right)}^{2}{\left(\sum _{i=1}^{n}\sqrt{{P}_{2i}}\right)}^{2}}{B} $

4 实验验证

为了验证本文所提出方法的广泛适用性，在多样化的实验设置中进行了广泛的测试，涵盖了不同的数据集、多种模型架构以及各类联邦学习框架，以适用于无人机信息通信所涵盖的多种场景。通过与众多现有技术的实验结果进行对比分析发现，本文充分展示了矩阵高斯机制的卓越性能。

4.1 实验设置

4.1.1 基准和指标

在本文中，将矩阵高斯机制与现有的高维数据差分隐私技术，包括独立同分布高斯机制^[5]、矩阵变量高斯（Matrix Variate Gaussian，MVG）^[24]及矩阵机制（Matrix Mechanism，MM）^[10]，进行了深入比较。特别地，矩阵高斯机制被扩展为UDN和IDN两种特定形式，以满足多样化的应用需求。传统高斯机制主要针对标量查询设计，通过将矩阵视为元素集合并为每个元素添加独立同分布噪声来实现隐私保护。然而，MM因其高计算复杂度而仅适用于小规模数据集。在实验评估中，以测试准确率作为衡量隐私保护效用的主要指标。

4.1.2 数据集和任务

在跨领域研究中，本文选择两个具代表性的学习任务，涉及潜在敏感数据。在计算机视觉方面，关注手写数字识别数据集MNIST（Modified National Institute of Standards and Technology）^[26]和加拿大高级研究院10类数据集（Canadian Institute for Advanced Research-10 classes，CIFAR-10）^[27]的图像分类。由于计算负荷大，MM机制仅适用于数据挖掘集。文本挖掘领域则选用IMDB^[28]数据集进行二元分类研究。

（1）联邦学习。联邦学习根据数据分布差异分为水平联邦学习和垂直联邦学习两种模式。

在水平联邦学习中，参与方的数据按行分布，即共享特征集的不同数据行。初始阶段，各参与方下载中心服务器的预设模型，并在本地数据上进行训练。随后，上传各自的梯度至服务器以更新全局模型，这一过程循环进行，直至模型收敛。鉴于梯度信息可能泄露敏感数据，确保其隐私安全至关重要。

相比之下，垂直联邦学习侧重样本对齐而非特征对齐，各参与方维护独立的神经网络，这些网络因其特有特征而不同。通过中央服务器的协调构建一个交互层，以整合各参与方的中间特征输出。该服务器还负责顶层模型的训练，使用交互层的输出训练顶层网络。在前向传播过程中，各参与方的输入经过本地模型处理后，其特征被送至顶层模型以计算损失，并通过反向传播更新各本地模型。由于中间特征可能包含敏感信息，因此需要对这些特征实施隐私保护措施。

（2）隐私保护的联邦学习。在垂直联邦学习中，保护隐私至关重要，因为共享的特征可能会泄露训练数据集中的敏感信息。具体来说，每个参与者在每次训练迭代中都会发布经过差分隐私处理的特征，这些特征随后用于顶层模型的训练和优化。以下是实施差分隐私保护的具体步骤：

首先，特征预处理是必要的。在发布任何数据之前，每个参与者对其特征应用差分隐私算法，通常涉及向特征添加适量的噪声，以确保单个数据记录对模型输出的影响被限制在一定范围内，从而保护个体数据的隐私。

接下来是噪声添加。根据差分隐私的原则，参与者计算其特征的敏感度，并据此确定需要添加的噪声量。这一步骤是实现隐私保护的核心，旨在确保任何数据集的微小变化不会导致输出结果的显著变化。

最后是特征发布与聚合。参与者将添加噪声后的特征发送至中央服务器或协调节点，服务器聚合这些差分隐私特征，并用于训练顶层模型。聚合过程可能涉及对来自不同参与者的特征进行整合和同步。

4.2 实现细节

隐私预算的组合与子集采样。由于对数据集

$ X $

的每个元素独立应用高斯机制

$ \mathcal{M} $

，并假设每个机制满足

$ \left(\varepsilon ,\delta \right) $

-差分隐私，根据组合定理（Advanced Composition ^[29]中的定理3.4），整体结果将满足

$ \left(mn\varepsilon , mn\delta \right) $

-差分隐私，因此，在实验结果中呈现的

$ \varepsilon $

是每个元素上高斯机制的

$ \varepsilon $

。对于实验中的MVG、MGM和MM，采用上述组合定理来确保整体的

$ \left(\varepsilon ,\delta \right) $

-差分隐私。此外，还采用了“通过采样的隐私放大”技术^[30]：

引理4　设

$ \mathcal{A} $

是一个

$ {\varepsilon }^{\mathrm{*}} $

-差分隐私算法。构建算法

$ \mathcal{B} $

，该算法输入一个数据库

$ D=\left({d}_{1},\cdots ,{d}_{n}\right) $

，构建一个新的数据库

$ {D}_{s} $

，其第i个条目是

$ {d}_{i} $

，概率为

$ f\left(\varepsilon ,{\varepsilon }^{\mathrm{*}}\right)=\left(\mathrm{e}\mathrm{x}\mathrm{p}\left(\varepsilon \right)-1\right)/\left(\mathrm{e}\mathrm{x}\mathrm{p}\left({\varepsilon }^{\mathrm{*}}\right)+\mathrm{e}\mathrm{x}\mathrm{p}\left(\varepsilon \right)-\mathrm{e}\mathrm{x}\mathrm{p}\left(\varepsilon -{\varepsilon }^{\mathrm{*}}\right)-1\right) $

，否则为

$ \perp $

，然后在

$ {D}_{s} $

上运行

$ \mathcal{A} $

。那么，

$ \mathcal{B} $

是

$ \varepsilon $

-差分隐私的。

例如，在训练过程中，以概率

$ q $

从训练集中进行随机抽样，那么有

$ f\left(\varepsilon ,{\varepsilon }^{\mathrm{*}}\right)=q $

，并且

$ {\varepsilon }^{\mathrm{*}} $

可以计算为采样后机制的隐私预算。其中，

$ \perp $

表示新数据库

$ {D}_{s} $

第i个条目是空。

这里对三个数据集执行垂直联邦学习的任务。针对两个参与者的垂直联邦学习，将每个数据集按数据属性分成两半。每个参与者在其子集上训练其本地模型，并将噪声特征上传到顶层模型。将隐私参数

$ \varepsilon $

设置为

$ \left[1,10\right] $

、

$ \delta $

设置为

$ {10}^{-5} $

。为了满足IDN的条件，通过将其激活函数替换为

$ \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\cdot \right) $

来修改每个模型，以将释放的中间层特征归一化到

$ \left(-1,1\right) $

的范围。详细设置在表1中给出。

表 1 垂直联邦学习中的差分隐私保护设置

Table 1 Differential privacy settings in vertical federated learning

参数	数据集
参数	MNIST	CIFAR10	IMDB
模型	LeNet	ResNet-18	LSTM
训练集大小	55 000	50 000	25 000
测试集大小	5 000	10 000	25 000
限幅值	0.01	0.05	0.30
批大小	64	16	256
轮次	25	50	10
本地轮次	3	3	2
梯度形状	120×400	4 608×512	20 002×128

对于IDN、MVG和MM，效用子空间

$ W $

（或

$ {W}_{1}\mathrm{、}{W}_{2} $

）被设置为

$ \boldsymbol{E} $

，如类型I所述。对于独立同分布的高斯和MM，

$ {l}_{2} $

-敏感度在每个元素上计算，对于IDN和MVG，

$ {l}_{2} $

-敏感度在特征矩阵上计算。

查询函数。查询函数设置为恒等查询

$ f\left(X\right)= X\in {\mathbb{R}}^{m\times n} $

，

$ X $

是实验中的训练特征。对于相邻数据集

$ X、{X}^{{{\prime}}} $

，

$ {l}_{2} $

-敏感度是特征大小乘以特征范围，这里范围设置为

$ \left(-1,1\right) $

，因此

$ {l}_{2} $

-敏感度为：

$ {s}_{2}\left(f\right)=\underset{X,{X}^{\prime}}{\mathrm{s}\mathrm{u}\mathrm{p}}{\|X-{X}^{\prime}\|}_{F}=2\sqrt{mn} $

4.3 实验结果

在深入分析实验结果之前，首先对相同隐私条件下每种差分隐私机制的预期误差进行理论分析，结果如表2所示。在表中，

$ m\mathrm{、}n $

分别是行数和列数。UDN和IDN中的定向噪声是按行应用的。对于高斯机制，

$ \sigma $

是标量值高斯机制中独立同分布高斯分布的标准差^[31]，需要满足

$ \sigma \geqslant c{\Delta }_{2}\left(f\right)/\varepsilon $

且

$ {c}^{2} > 2\mathrm{l}\mathrm{n} \left(1.25/\delta \right) $

。

表 2 MGM与基线方法之间的理论误差比较

Table 2 Comparison of theoretical errors between MGM and baselines

方法	Gaussian	MVG	UDN	IDN
$E{\parallel Z\parallel }^{2} $理论误差	$ mn{\sigma }^{2}\approx O\left({m}^{3}{n}^{3}\right) $	$ {m}^{2}n/{B}_{{\mathrm{MVG}}}\approx O\left({m}^{4}{n}^{3}{{\mathrm{ln}}}^{2}\left(m+1\right)\right) $	$\dfrac{n\left({\displaystyle\sum_{i=1}^m} \sqrt{P_i}\right)^2}{B_{{\mathrm{U D N}}}} \approx O\left(m^4 n^3\right) $	$\dfrac{n\left(\displaystyle\sum_{i=1}^m \sqrt{P_i}\right)^2}{B_{{\mathrm{I D N}}}} \approx O\left(m^3 n^3\right) $

为了便于理解理论结果，本文除了精确值外，还提供了每种情况下噪声方差期望的近似估计。可以发现，IDN和高斯在预期误差的数量级上是相同的。然而，这些结果是在不考虑定向噪声的情况下给出的。如果应用了优化方案，IDN预计会产生较少的误差。

接下来，进一步在多种不同的隐私设定环境下实施实验，并对比实验结果与理论预测的误差，以检验两者间的一致性。这将有助于验证矩阵高斯机制在实际应用中的性能及理论分析的有效性。图1显示了不同数据集上的准确率。在所有机制中，IDN的性能是最好的。独立同分布的高斯机制与MM的准确率相似，因为在MM中，噪声是从相同的高斯分布中采样的。实际上，MM的性能在很大程度上取决于查询矩阵

$ {\boldsymbol{W}} $

是否被适当选择。正如前文分析，高斯和IDN在IMDB数据集上有相似的性能，主要是由于IMDB数据集的特征大小较小，因此引入的噪声量也小得多。MVG的准确率曲线在不同的

$ \varepsilon $

值上几乎是平的，完全破坏了模型的效用。总体来说，所有机制的性能与理论结果一致。

显示原图|下载原图ZIP|生成PPT

图 1 在 MNIST、CIFAR-10、IMDB 数据集上对隐私训练特征进行保护的结果

Fig.1 Results of privacy-preserving training features on MNIST, CIFAR-10 and IMDB datasets

在探究隐私保护算法的效率时，特别关注了算法的实际运行时间，因为这直接关系到算法在实际部署时的可行性。运行时间的详细数据列于表3中，这些数据为我们提供了一个清晰的视角，用以比较不同隐私保护机制在相同硬件和软件环境下的性能表现。

表 3 不同机制的运行时间

Table 3 Runtime of different mechanisms

方法	运行时间（s）
Gaussian	0.001 64
MVG	0.511 46
MM	0.823 23
UDN	0.002 48
IDN	0.002 24

本文选择的实验环境是Python 3.8.8，这是一个广泛使用的编程语言版本，因其强大的数据处理能力而受到数据科学家的青睐。实验在一台配置有Intel Xeon Silver 4116 @ 2.10 GHz处理器的服务器上进行，该处理器以其稳定的性能和高效的多任务处理能力而闻名，为实验提供了一个标准化的硬件平台。

在分析MVG和MM机制的运行时间时，注意到它们相较于其他机制有着显著的耗时。MVG的耗时主要归因于其核心算法中的SVD操作，这一步骤在处理大规模数据集时计算尤其密集。SVD在提取数据的主要特征时非常有效，但其高时间复杂度在大规模数据处理中成为性能瓶颈。对于MM机制，其优化问题的求解过程中需要调用基于Python的凸优化工具库（CVXPY），这是一个强大的凸优化问题求解工具，但在处理复杂的隐私保护问题时，其计算开销同样不容小觑。

相比之下，高斯机制由于其算法简洁且高效，在所有测试机制中运行时间最短。它避免了IDN和UDN中复杂的矩阵乘法，这些操作在大规模数据集上会显著增加计算负担。高斯机制的这一优势，使其在需要快速响应的应用场景中更具吸引力。MGM虽然在运行时间上不及高斯机制，但在矩阵差分隐私方案中提供了一个合理的折中方案。MGM在保持隐私保护强度的同时，通过优化算法流程和减少不必要的计算，实现了相对较短的运行时间。这种平衡在许多应用中是非常宝贵的，因为其允许在不牺牲太多性能的情况下实现强有力的隐私保护。

以上实验结果揭示了不同隐私保护机制在效率上的差异，帮助理解在保护隐私和保持算法效率之间如何做出合理的选择。在实际应用中，这些发现将指导如何根据具体的性能要求和隐私保护需求，选择最合适的算法。

5 结束语

本文提出了矩阵高斯机制，旨在解决无人机通信系统中的数据隐私保护问题。MGM通过在矩阵数据中引入结构化噪声来保护隐私，同时利用矩阵协方差结构控制噪声的添加方向，以最小化数据效用的损失。这种方法可以在多维数据空间中灵活调节噪声分布，充分利用数据的结构特征，显著提高隐私保护的效能。未来研究工作中，可针对高维数据隐私保护和无人机通信稳定性方面进一步进行研究。

References

Publishing order | Descend order by publishing year | Descend order by cited within

1	高骏峤, 周磊, 曹越, 等. 5G无人机安全研究综述[J]. 移动通信, 2023, 47 (1): 59- 64. DOI GAO J Q, ZHOU L, CAO Y, et al. A survey on 5G UAV security[J]. Mobile Communications, 2023, 47 (1): 59- 64. DOI

2	SHOKRI R,STRONATI M,SONG C,et al. Membership inference attacks against machine learning models[C]//2017 IEEE Symposium on Security and Privacy (SP). Piscataway:IEEE,2017:3-18.

3	ZHANG Y,JIA R,PEI H,et al. The secret revealer:Generative model-inversion attacks against deep neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway:IEEE,2020:250-258.

4	DWORK C. A firm foundation for private data analysis[J]. Communications of the ACM, 2011, 54 (1): 86- 95. DOI

5	KAKATI A,LI G. Enhancing secrecy with differential-based framework in UAV communications under dynamic eavesdroppers[C]//2024 9th International Conference on Computer and Communication Systems (ICCCS). Piscataway:IEEE,2024:248-253.

6	SHOKRI R,SHMATIKOV V. Privacy-preserving deep learning[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York:ACM,2015:1310-1321.

7	ABADI M,CHU A,GOODFELLOW I,et al. Deep learning with differential privacy[C]//Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. New York:ACM,2016:308-318.

8	PAPERNOT N,ABADI M,ERLINGSSON U,et al. Scalable private learning with PATE[C]//Proceedings of the 6th International Conference on Learning Representations. Vancouver:ICLR,2018:1-34.

9	GENG Q, VISWANATH P. Optimal noise adding mechanisms for approximate differential privacy[J]. IEEE Transactions on Information Theory, 2016, 62 (2): 952- 969. DOI

10	LI C, MIKLAU G, HAY M, et al. The matrix mechanism: Optimizing linear counting queries under differential privacy[J]. The VLDB Journal, 2015, 24 (6): 757- 781. DOI

11	AHMADI S. An overview of next-generation mobile WiMAX technology[J]. IEEE Communications Magazine, 2009, 47 (6): 84- 98. DOI

12	CAO J, MA M, LI H, et al. A survey on security aspects for LTE and LTE-A networks[J]. IEEE Communications Surveys & Tutorials, 2013, 16 (1): 283- 302.

13	ZOHOURIAN A, DADKHAH S, NETO E C P, et al. IoT zigbee device security: A comprehensive review[J]. Internet of Things, 2023, 22, 100791. DOI

14	VAHIDI V,SABERINIA E. A low complexity and bandwidth efficient procedure for OFDM data reconstruction in DSC 5G networks[C]//2018 15th IEEE Annual Consumer Communications & Networking Conference (CCNC). Piscataway:IEEE,2018:1-4.

15	SUDHEESH P G, MOZAFFARI M, MAGARINI M, et al. Sum-rate analysis for high altitude platform （HAP） drones with tethered balloon relay[J]. IEEE Communications Letters, 2017, 22 (6): 1240- 1243.

16	SOMARAJU R, TRUMPF J. Degrees of freedom of a communication channel: Using DOF singular values[J]. IEEE Transactions on Information Theory, 2010, 56 (4): 1560- 1573. DOI

17	BU Z,MAO J,XU S. Scalable and efficient training of large convolutional neural networks with differential privacy[C]//Advances in Neural Information Processing Systems 35. San Diego:NeurIPS,2022:1-12.

18	TRAMÈR F,BONEH D. Differentially private learning needs better features (or much more data)[C]//9th International Conference on Learning Representations. Vienna:ICLR,2021:1-21.

19	WANG B,WU F,LONG Y,et al. DataLens:Scalable privacy preserving training via gradient compression and aggregation[C]//Proceedings of the 2021 ACM SIGSAC Conference on Computer and Communications Security. New York:ACM,2021:2146-2168.

20	YU D,ZHANG H,CHEN W,et al. Large scale private learning via low-rank reparametrization[C]//Proceedings of the 38th International Conference on Machine Learning. New York:PMLR,2021:12208-12218.

21	DING J, ERRAPOTU S M, GUO Y, et al. Private empirical risk minimization with analytic gaussian mechanism for healthcare system[J]. IEEE Transactions on Big Data, 2022, 8 (4): 1107- 1117. DOI

22	DE CRISTOFARO E. A critical overview of privacy in machine learning[J]. IEEE Security & Privacy, 2021, 19 (4): 19- 27.

23	YANG J, XIANG L, YU J, et al. Matrix gaussian mechanisms for differentially-private learning[J]. IEEE Transactions on Mobile Computing, 2021, 22 (2): 1036- 1048.

24	CHANYASWAD T,DYTSO A,POOR H V,et al. MVG mechanism:Differential privacy under matrix-valued query[C]//Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security. New York:ACM,2018:230-246.

25	BOYD S,VANDENBERGHE L. Convex optimization[M]. Cambridge:Cambridge University Press,2004.

26	LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86 (11): 2278- 2324. DOI

27	KRIZHEVSKY A,HINTON G,SALAKHUTDINOV R. Learning multiple layers of features from tiny images[R]. Toronto:University of Toronto Technical Report,2009.

28	MAAS A L,DALY R E,PHAM P T,et al. Learning word vectors for sentiment analysis[C]//Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics:Human Language Technologies. Stroudsburg:ACL,2011:142-150.

29	KAIROUZ P, OH S, VISWANATH P. The composition theorem for differential privacy[J]. IEEE Transactions on Information Theory, 2017, 63 (6): 4037- 4049. DOI

30	BEIMEL A,KASIVISWANATHAN S P,NISSIM K. Bounds on the sample complexity for private learning and private data release[C]//Proceedings of the 7th Theory of Cryptography Conference. Berlin:Springer,2010:437-454.

31	DWORK C, ROTH A. The algorithmic foundations of differential privacy[J]. Foundations and Trends in Theoretical Computer Science, 2014, 9 (3-4): 211- 407.

Options

Outlines

模态框（Modal）标题

Abstract

Cite this article

0 引言

1 研究背景

1.1 无人机通信研究

1.2 差分隐私

1.3 高维度差分隐私

1.4 高维空间相关引理

2 研究内容

2.1 矩阵高斯机制

2.2 单峰方向噪声

2.3 独立方向噪声

3 隐私与效用

4 实验验证

4.1 实验设置

4.1.1 基准和指标

4.1.2 数据集和任务

4.2 实现细节

表 1 垂直联邦学习中的差分隐私保护设置

4.3 实验结果

表 2 MGM与基线方法之间的理论误差比较

图 1 在 MNIST、CIFAR-10、IMDB 数据集上对隐私训练特征进行保护的结果

表 3 不同机制的运行时间

5 结束语

References