Search
E-mail
RSS

Journal of Cybersecurity >

2025 , Vol. 3 >Issue 4: 16 - 28

DOI: https://doi.org/10.20172/j.issn.2097-3136.250402

Special topic on Intelligent authentication approach

Lightweight authentication approach for unmanned aerial vehicles based on reinforcement learning

  • LIU Zihan , 1 ,
  • JIA Lingru 1 ,
  • LU Xiaozhen , 1, * ,
  • WU Qihui 2
Expand
  • 1. Department of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China
  • 2. Department of Electronic and Information Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China

Online published: 2026-01-04

Supported by

Jiangsu Provincial Key Research and Development Program under Grant BE2022068 and Grant BE2022068-1; National Natural Science Foundation of China under Grant 62202222; National Natural Science Foundation of Jiangsu Province under Grant BK20220880

Copyright

Copyright ©2025 Journal of Aeronautical Materials. All rights reserved.
Fold

Abstract

Unmanned aerial vehicle (UAV) networks with such characteristics as high dynamics and open airspace communication environment are highly vulnerable to replay attacks, resulting in serious consequences such as illegal access and even privacy leakage. The traditional authentication mechanisms rely on fixed identity identifiers and have a large overhead, which is difficult to adapt to the resource-constrained and highly dynamic UAV network environment, and to satisfy the dual requirements of low overhead and high security authentication. To this end, a lightweight authentication approach for UAVs based on reinforcement learning was proposed, which could efficiently defend against the replay attacks and reduce the overhead of authentication. Firstly, the constructed constructs the Remote ID as the identity identifier based on the real-time location information of UAVs, and used the elliptic curve encryption technology to achieve identity authentication for unknown UAVs. Secondly, a risk-aware RL algorithm was designed to achieve adaptive optimization of the authentication policy, including the encryption strategy of the authentication message and the session duration, and to achieve the low-overhead and high-security authentication. Comprehensively considering resource limitations and tasks requirements, the algorithm constructed a punishment function to evaluate the short-term risks of the selected authentication policy, further guiding the selection of algorithm policies and avoiding exploring policies that could cause authentication failure. On this basis, the algorithm designed a hierarchical architecture to compress the policy dimension, thereby improving the optimization efficiency of the authentication policy and adapting to the high dynamic characteristics of UAVs. Experimental results showed that the proposed approach effectively reduced the authentication latency, the energy consumption the and attack success rate compared with the traditional methods.

Key words： UAV networks; identity authentication; reinforcement learning; replay attack.

Cite this article

LIU Zihan , JIA Lingru , LU Xiaozhen , WU Qihui . Lightweight authentication approach for unmanned aerial vehicles based on reinforcement learning[J]. Journal of Cybersecurity, 2025 , 3(4) : 16 -28 . DOI: 10.20172/j.issn.2097-3136.250402

0 引言

近年来，无人机（Unmanned Aerial Vehicle，UAV）凭借其高速移动特性、灵活部署能力和三维空间机动能力，已被广泛应用于物流运输[1]、紧急救援[2]和农业监测[3]等对实时性与可靠性要求严苛的关键领域。然而，无人机网络动态多变的拓扑特性与开放空域下的通信环境使其暴露于复杂的网络安全威胁之中。未经授权的攻击者将通过窃听、拦截和伪造通信数据等恶意行为发起重放攻击[4]，伪装成合法无人机接入地面基站进行通信。
在无人机网络安全体系中，身份认证作为通信链路建立的前提条件，其可靠性直接影响无人机网络的安全性，现有的身份认证方法主要分为两种。一种是基于物理硬件的可信认证方法，通过硬件内生安全特性构建抗物理攻击的认证机制，其中物理不可克隆函数（Physically Unclonable Function，PUF）凭借其不可复制性成为关键技术。例如，Yu等[5]提出了一种基于PUF的无人机区块链认证密钥协商机制，以实现无人机与地面基站之间的双向认证，并满足轻量化的无人机通信需求。但是PUF的环境敏感性（如温度波动、电磁干扰）将导致输出响应偏差，影响身份认证的鲁棒性。
另一种是基于密码学的方法，其依赖多种密码学技术，如公钥加密系统、对称密码系统和数字证书等。例如，Chen等[6]提出了一种基于公钥基础设施的认证方案，为无人机提供包含身份认证和通信所需的公钥数字证书。但其计算开销与通信时延难以满足无人机有限的计算资源与高动态场景的实时性需求。椭圆曲线加密（Elliptic Curve Cryptography，ECC）算法能够在缩短密钥长度的同时提供等效的安全性，从而降低身份认证的时延和能耗，更适用于计算资源和电池容量有限的无人机网络。例如，Kwon等[7]提出了一种广播认证协议，使用椭圆曲线密码学和生物散列技术来提高该协议的安全性，在无人机支持的移动边缘计算环境中实现了即时高效的数据处理，并有助于建立安全的通信信道。
在地面基站与无人机完成初始身份认证后，将在无人机和地面基站之间创建安全会话，以保障后续通信数据的机密性与完整性。该安全会话将在一段时间内保持有效，称为认证的“会话时间”。现有的研究方案未充分考虑会话时间对无人机系统安全性的影响。例如，Alladi等[8]虽然提出了一种无人机与地面基站之间的轻量化双向认证方案，但在双方之间建立安全会话时，未考虑会话时间的动态调整。会话时间的设置在无人机网络中面临双重矛盾：过长的会话时间可以减少身份认证次数，但通信链路的长时间空闲为攻击者提供了干扰通信链路并破解会话密钥的时间窗口[9]，从而进一步发起重放攻击；而过短的会话时间虽然可以显著增强安全性，但无人机有限的计算资源和电池容量难以支撑频繁的身份认证带来的开销。
为了解决上述挑战，本文提出一种基于强化学习（Reinforcement Learning，RL）的轻量化无人机身份认证方法（名为ReLAU）以抵御重放攻击。该方法针对无人机的高速移动特性，根据无人机的飞行高度、速度和经纬度等实时位置信息，动态构建远程识别（Remote Identification，Remote ID）作为身份标识，使用ECC算法进行身份认证，以支持无人机与地面基站之间的安全通信。此外，为了满足无人机网络对身份认证开销和安全性的双重需求，该方法设计了一个风险感知强化学习算法，联合优化身份认证消息加密策略和会话时间。地面基站应用两级分层架构，根据请求认证的无人机Remote ID、身份认证时延、能耗、消息保护等级和攻击成功率，为无人机选择身份认证策略。为了满足无人机的个性化身份认证效率需求，该方法设计了一个惩罚函数，根据身份认证时延和能耗评估所选身份认证策略的短期风险值，以保证安全探索，避免导致无人机任务失败或者开销过大的危险策略。
本文通过实验证明该方法有效降低了无人机与地面基站之间进行身份认证的开销，即身份认证时延与能耗，并提高了身份认证消息保护等级，从而进一步降低了重放攻击的攻击成功率。此外，本文进行了消融实验，证明了所提方法中分层架构与惩罚函数的有效性，并分析该方法在不同身份认证消息加密模式下的性能差异。
本文的主要创新点如下：
（1）提出了一种名为ReLAU的轻量化无人机身份认证方法以抵御重放攻击，该方法基于无人机的Remote ID动态身份标识，应用ECC算法实现无人机与地面基站之间的身份认证并在双方之间建立安全会话。
（2）设计了一个风险感知强化学习算法，使得地面基站为计算资源和业务需求各异的无人机选择个性化的身份认证策略，即认证消息加密策略和会话时间，并构建惩罚函数以避免导致无人机身份认证失败的危险策略。
（3）使用分层框架压缩身份认证策略集，以提高优化速度。实验结果表明，该方法有效降低了身份认证时延、能耗和攻击成功率，并提高了消息保护等级。
本文组织结构如下：第1节简要介绍了无人机网络中身份认证算法的相关工作；第2节介绍了准备工作；第3节介绍了无人机网络的系统模型；第4节详细描述了所提出的轻量化无人机身份认证方法；第5节进行了安全性分析；第6节讨论了实验结果；第7节进行总结并对未来工作进行了讨论。

1 相关工作

近年来，PUF、认证密钥协商协议、区块链等技术被广泛应用于无人机与地面基站之间的身份认证，以抵御重放攻击[10-14]。例如，Bansal等[15]设计了一种基于无人机网络的安全匿名身份验证框架，采用具有防克隆和防伪功能的PUF提供身份标识并生成会话密钥，保障了通信环境的安全。Tanveer等[16]为了抵御无人机网络中的攻击，设计了一种安全匿名身份认证框架，利用混沌映射生成临时参数并通过哈希函数生成会话密钥，使用对称加密算法实现双向认证，促进了资源的高效利用。Tan等[17]设计了一个区块链辅助的分布式轻量化认证算法，以支持无人机认证信息的分布式、不可变存储，确保无人机之间的可靠通信。
椭圆曲线密码学已被广泛应用于无人机身份认证以加强隐私性与安全性[18-20]。例如，Miao等[21]提出了一种安全有效的无人机辅助信息认证协议，利用ECC算法来保证身份验证的安全性，有效防止攻击者伪造信息发起重放攻击。Shang等[22]提出了一种认证和密钥协议，结合无认证公钥密码和椭圆曲线密码的优点，保证在5G蜂窝网络中安全和匿名地通信。Khan等[23]提出了一种隐私保护身份认证机制，结合超椭圆曲线加密技术、数字签名和哈希函数，实现了无人机与地面控制单元之间的身份认证，防止密钥泄露。
通过优化会话时间、通信加密策略等因素可以进一步加强无人机系统中通信的安全性和效率[24-26]。例如，Karmakar等[9]提出了一种自适应无人机身份认证方案，使用模糊提取器消除PUF输出中的噪声，并利用汤普森采样算法（Thompson Sampling，TS）和临时动态ID来动态调整认证会话的持续时间，实现了无人机之间、无人机与基站之间的自适应双向认证。Ali等[27]提出了一种基于身份的在线/离线信号加密方案来保护无人机与地面基站的通信，利用椭圆曲线密码学并减少双线性配对等时间密集型的操作，从而减少计算成本和通信开销。Guo等[28]提出了一种无人机辅助车辆认证方案，采用切比雪夫混沌映射和ECC算法实现了无人机与车辆之间的双向认证。
强化学习技术因其在动态环境中的自适应决策优势，已被应用于车联网[29-31]、无线网络[32-33]和物联网[34-35]场景的物理层与高层认证中。例如，Lu等[29]提出了一种基于深度强化学习的物理层认证框架，结合卷积神经网络与可微分神经字典技术，动态优化认证模式和检验阈值，以提高认证精度并降低认证时延。Jing等[32]提出了一种基于斯塔克尔伯格博弈的物理层认证方法，针对欺骗攻击构建攻击者与接收方之间的非对称博弈模型，并应用强化学习技术优化假设检验阈值，以抵御智能欺骗攻击。Wang等[34]提出了一种基于迁移学习赋能区块链的新型认证机制，采用深度确定性策略梯度算法优化用户信誉阈值，在提高认证精度的同时实现了高吞吐量与低时延的认证性能。

2 准备工作

本节介绍身份认证技术、强化学习技术和优先经验回放技术的相关预备知识。

2.1 身份认证

身份认证是指利用密码学等手段验证用户的身份信息，确保只有经过授权的用户才能够访问受保护的资源或系统。常用的ECC算法和PUF已被应用于身份认证中。
（1）ECC算法。椭圆曲线密码学基于代数曲线理论，利用椭圆曲线离散对数问题的难解性构建高效的安全机制。椭圆曲线定义在有限域上，其方程形式如下：
$ {E_q}:{y^2} = {x^3} + dx + e\;(4{d^3} + 27{e^2} \ne 0) $
其中，系数d和e为有限域中的素数。通过在该曲线上选定基点G即可计算相应的公钥与私钥。与传统的公钥密码学算法相比，ECC算法能基于更短的密钥长度提供同等强度的安全级别。因此，其兼具安全性和计算效率优势，适用于计算资源受限的物联网设备和移动通信等应用场景。
（2）PUF。PUF是一种基于硬件特性的数字指纹技术，其原理是利用芯片制造过程中不可控的微观物理特征差异生成独特的身份标识。其典型工作模式为基于挑战-响应的机制，当输入特定的挑战信号时，无人机将根据自身的随机物理特征生成唯一对应的响应。受芯片环境敏感性的影响，认证结果将产生偏差，导致身份认证的鲁棒性下降。

2.2 强化学习

强化学习是人工智能的关键分支，其核心框架为马尔可夫决策过程，允许智能体通过与环境交互获得状态，动态学习策略以最大化累积奖励。其中，近端策略优化算法采用Actor-Critic双网络结构，即Actor网络输出动作策略，Critic网络评估状态价值，并引入裁剪机制，严格限制新旧策略的更新幅度，确保训练的稳定性，因此被广泛用于解决复杂决策问题。

2.3 优先经验回放

优先经验回放是深度强化学习、提升学习效率的关键技术，其核心在于根据样本的学习价值分配不同的采样优先级，而非如传统方法般均匀随机采样缓冲区的经验。常用的方法是设计滑动窗口采样机制来优化学习过程，即在任意时隙k，仅从缓冲区中提取时刻k-Z至时刻k的连续Z条最新经验序列来更新网络。该方法可有效缓解传统均匀采样在非稳态环境中因经验延迟导致的策略滞后问题，提升了智能体对当前环境动态的响应灵敏度。

3 系统模型

本节介绍所提算法的网络模型和威胁模型，并构建优化目标。

3.1 网络模型

如图1所示，本文考虑了一个包括M个地面基站、N架无人机和一个密钥生成中心的无人机网络。其中，密钥生成中心作为受信任的认证机构具有较高的存储容量和计算资源，地面基站和无人机都在密钥生成中心进行注册。具有有限计算资源的无人机配备摄像头和传感器等基本设备，可以适应不同的应用场景。在该无人机网络中，多架无人机可以同时与一个地面基站相连，但需要排队与地面基站进行身份认证。拟构建的无人机与地面基站的身份认证模型主要包括系统设置、无人机与地面基站注册和身份验证三个阶段，具体细节如图2所示。
图 1 系统模型示意图，其中N架无人机与M个地面基站进行身份验证

Fig.1 Illustration of the system model, where N UAVs authenticate with M ground base stations

图 2 无人机与地面基站身份认证流程图

Fig.2 Flowchart of identity authentication between a UAV and a ground base station

（1）系统设置。在这一阶段，密钥生成中心生成素数p、q和哈希函数$ H\left( \cdot \right) $，并从包括q个素数的有限域$ {F_p} $中随机选择两个素数$ d、e\in {F}_{p} $。基于这些参数，密钥生成中心根据式（1）生成椭圆曲线$ {E_q} $，并从该椭圆曲线上随机选择一个点作为基点G。随后，密钥生成中心选择一个随机整数$ {\hat \eta _0} $作为私钥并计算公钥$ {{\boldsymbol{\mu}} _0} = {\hat \eta _0}G $。最后，密钥生成中心向无人机和地面基站广播系统设置参数$ \{ {{E_q},G,H\left( \cdot \right),{{\boldsymbol{\mu}} _0}}\} $。
（2）无人机与地面基站注册。在系统设置阶段后，无人机需要在密钥生成中心完成注册，并通过安全信道提前向密钥生成中心准备相关的认证信息[16]。首先，无人机i生成随机数$ {\hat n_i} $，并基于自己的ID$ \varpi _i^{} $利用哈希函数$ H\left( \cdot \right) $生成假名$ {\tilde \tau _i} = H\left( {\varpi _i^{}||{{\hat n}_i}} \right) $，其中$ 1 \leqslant i \leqslant N $。无人机i将根据假名和密钥生成中心广播的基点G计算安全参数$ {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } _i} = {\tilde \tau _i}G $，以防止身份伪造和重放攻击。基于此，无人机i将以发射功率$ {p_i} $向密钥生成中心发送注册请求信息$ \{ {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i},{{\tilde \tau }_i}} \} $，其中$ {p_i} \in \left[ {0,{P_i}} \right] $。密钥生成中心接收到来自无人机的注册请求后，将生成随机数$ {\hat n_0} $并更新$ {{\boldsymbol{\mu}} _i} = {\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } _i} + {\hat n_0}G + h( \varpi _i^{}||h( {{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G||{{\hat n}_0} )( {{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G ) ){{\boldsymbol{\mu}} _0} $作为无人机i的公钥。密钥生成中心计算无人机i的私钥：
$ \begin{aligned} {{\boldsymbol{\eta}} _i} = &\Bigg( {h\left( {\varpi _i^{}||h\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G||{{\hat n}_0}} \right)\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G} \right)} \right){{\hat \eta }_0}} + \\& { {{\hat n}_0}} \Bigg) + {{\tilde \tau }_i} \end{aligned} $
基于此，密钥生成中心将$ \left\{ {{{\tilde \tau }_i},{{\boldsymbol{\eta}} _i},{{\boldsymbol{\mu}} _i}} \right\} $存入数据库中，并通过安全信道以发射功率$ {p_0} $将$ \left\{ {{{\tilde \tau }_i},{{\boldsymbol{\mu}} _i},{{\boldsymbol{\eta}} _i}} \right\} $发送给无人机i，其中$ 0 < {p_0} \leqslant {P_0} $。为了确保回复的正确性和密钥生成中心的身份，无人机i将确认$ {\hat n_0}{G^2} $与$ {\boldsymbol{\xi}} = {\hat n_0}G + H\left( {{{\tilde \tau }_i}||{{\tilde \tau }_i}G||{{\boldsymbol{\mu}} _i}} \right){\hat n_0}G{{\boldsymbol{\mu}} _0} $是否相等，若相等无人机i将$ \left\{ {{{\tilde \tau }_i},{{\boldsymbol{\eta}} _i},{{\boldsymbol{\mu}} _i}} \right\} $存入数据库中，完成身份注册。
地面基站m生成随机数$ {\tilde n_m} $，并基于自己的ID$ \tilde \varpi _m^{} $利用哈希函数$ H\left( \cdot \right) $生成假名$ {\hat \tau _m} = H\left( {\tilde \varpi _m^{}||{{\tilde n}_m}} \right) $，其中$ 1 \leqslant m \leqslant M $。地面基站将以发射功率$ {\tilde p_m} \in [ {1,{{\tilde P}_m}} ] $向密钥生成中心发送注册请求信息$ \left\{ {\tilde \varpi _m^{},{{\hat \tau }_m}} \right\} $。密钥生成中心接收到来自地面基站m的注册请求后，生成随机数$ {\tilde n_0} $并计算其安全参数$ {\hat \mu _m} = {\tilde n_0}G $、公钥$ {\tilde {\boldsymbol{\mu}} _m} = {\hat \mu _m} + {\tilde n_0}G + h\left( {\tilde \varpi _m^{}||h\left( {{{\hat \mu }_m} + {{\tilde n}_0}G||{{\tilde n}_0}} \right)\left( {{{\hat \mu }_m} + {{\tilde n}_0}G} \right)} \right){{\boldsymbol{\mu}} _0} $，随后根据安全参数和公钥计算地面基站的私钥$ {\tilde{\boldsymbol{ \eta}} _m} = {\hat \tau _m} + ( {{\tilde n}_0} + h( \tilde \varpi _m^{}||h( {{\hat \mu }_m} + {{\tilde n}_0}G||{{\tilde n}_0} )\left( {{{\hat \mu }_m} + {{\tilde n}_0}G} \right) ){{\hat \eta }_0} ) $，通过该参数其他无人机可以验证地面基站m的合法性。密钥生成中心将$ \left\{ {{{\hat \tau }_m},{{\tilde {\boldsymbol{\eta }}}_m},{{\tilde {\boldsymbol{\mu}} }_m}} \right\} $存入数据库，并通过安全信道以发射功率$ {p_0} $发送给地面基站m。地面基站m将其存入数据库并广播自己的公钥$ {\tilde{\boldsymbol{ \mu}} _m} $，从而完成身份注册。
（3）身份验证。在该无人机网络中，无人机i使用公钥密码系统验证身份的合法性后，才可与地面基站m建立安全会话。具体来说，在时隙$ k \in \left[ {1,K} \right] $，无人机i根据假名$ {\tilde {{\tau}} _i} $、高度、速度、经纬度等信息构建维度为$ J $的Remote ID$ {\boldsymbol{\tau}} _i^{(k)} $，并生成随机数$ n_{i,m}^{(k)} $。无人机i计算$ \hat {\boldsymbol{\mu}} _{i,m}^{(k)} = n_{i,m}^{(k)}G $、$ \bar {\boldsymbol{\mu}} _{i,m}^{(k)} = n_{i,m}^{(k)}{\tilde {\boldsymbol{\mu}} _m} $以及验证参数$ {\boldsymbol{\nu}} _{i,m}^{(k)} = {{\boldsymbol{\eta}} _i}{\tilde {\boldsymbol{\mu}} _m} $。为了验证认证消息的完整性和合法性，无人机i计算签名随机数$ \boldsymbol{\kappa}_{i,m}^{(k)} $：
$ {\boldsymbol{\kappa}} _{i,m}^{(k)} = H\left( {{{\boldsymbol{\mu}} _i}||{{\hat n}_0}} \right) \oplus H\left( {{\boldsymbol{\tau}} _i^{(k)}||\bar {\boldsymbol{\mu}} _{i,m}^{(k)}||{{\boldsymbol{\mu}} _i}} \right) $
和认证标签：
$ {\boldsymbol{c}}_{i,m}^{(k)} = H\left( {{{\boldsymbol{\eta}} _i}||{{\boldsymbol{\mu}} _i}||{\boldsymbol{\tau}} _i^{(k)}||\bar {\boldsymbol{\mu}} _{i,m}^{(k)}||{\boldsymbol{\nu}} _{i,m}^{(k)}} \right) $
无人机i使用密钥长度为$ b_{i,m}^{(k)} \in ${128, 192, 256}的加密算法[如高级加密标准（Advanced Encryption Standard，AES）]获得加密后的身份认证消息$ \tilde {\boldsymbol{m}}_{i,m}^{(k)} = \left[ {{\boldsymbol{\tau}} _i^{(k)},\hat {\boldsymbol{\mu}} _{i,m}^{(k)},{\boldsymbol{c}}_{i,m}^{(k)},{{\kappa}} _{i,m}^{(k)},n_{i,m}^{(k)}} \right] $，并以功率$ {p_i} $发送给地面基站m，基于所选加密算法的安全性等级$ \sigma _{i,m}^{(k)} $以及密钥长度$ b_{i,m}^{(k)} $，该认证消息的消息保护等级计算公式如下：
$ l_{i,m}^{(k)} = {\log _2}\left( {1 + \left( {b_{i,m}^{(k)}/64 - 1} \right)\left( {\sigma _{i,m}^{(k)} + 1} \right)} \right) $
地面基站m接收到来自无人机i的验证消息后，对认证消息进行解密，并检查随机数$ n_{i,m}^{(k)} $是否被使用过以抵御重放攻击。地面基站m申请访问密钥生成中心的数据库来判断无人机i是否注册过。若注册过，地面基站m计算会话密钥$ \bar {\boldsymbol{\mu}} _{i,m}^{(k)} = {\hat \mu _m}\hat {\boldsymbol{\mu}} _{i,m}^{(k)} $和认证码：
$ \begin{gathered} {{\bar {\boldsymbol{\eta}} }_{i,m}} = H\left( {{\boldsymbol{\tau}} _i^{(k)}||\kappa _{i,m}^{(k)} \oplus H\left( {{\boldsymbol{\tau}} _i^{(k)}||\bar {\boldsymbol{\mu}} _{i,m}^{(k)}||{{\boldsymbol{\mu}} _i}} \right)||{{\boldsymbol{\mu}} _i}} \right) {{\boldsymbol{\mu}} _0} + {{\boldsymbol{\mu}} _i} \end{gathered} $
基于此，地面基站m通过判断$ c_{i,m}^{(k)} $与$ H\left( {{{\bar {\boldsymbol{\eta}} }_{i,m}}||{{\boldsymbol{\mu}} _i}||{\boldsymbol{\tau}} _i^{(k)}||\bar {\boldsymbol{\mu}} _{i,m}^{(k)}||{{\hat {{\mu}} }_m}{{\bar {\boldsymbol{\eta}} }_{i,m}}} \right) $是否与相等，来验证无人机i身份的合法性。若相等，则无人机i与地面基站m之间建立安全会话，安全会话的有效时间为$ t_{i,m}^{(k)} \in \left( {0,T} \right] $，当会话时间超过$ t_{i,m}^{(k)} $时，需要重新进行身份认证。在时隙k内，无人机i与地面基站m进行身份认证的次数被记录为$ \tilde c_{i,m}^{(k)} = \left\lceil {\varDelta /t_{i,m}^{(k)}} \right\rceil $，其中$ \varDelta $为时隙k的持续时间。在上述身份认证过程中，地面基站m计算其与无人机i进行身份认证花费的能耗$ u_{i,m}^{(k)} $和认证时延$ \tilde t_{i,m}^{(k)} $，包括加解密时延和消息传输时延[36]。

3.2 威胁模型

本文针对该无人机网络构建了一个具备Dolev-Yao[7]标准能力的攻击者模型。该攻击者能够完全控制公共通信信道，包括窃听所有未加密的消息、截获并篡改传输数据、发起重放攻击。同时，攻击者具备解密加密数据包的能力，通过解密并分析在公共通信信道传输的加密身份验证消息，获取无人机的假名、公钥、签名随机数等关键身份认证信息。这种攻击模型严重降低了该无人机网络的安全性。
在时隙$ k $内，攻击者通过启动恶意软件或将代码与脚本注入该无人机网络，窃取无人机i与地面基站m之间传输的身份认证信息$ \tilde {\boldsymbol{m}}_{i,m}^{(k)} $，其中$ 1 \leqslant i \leqslant N, 1 \leqslant m \leqslant M $。攻击者的攻击目标是提高攻击成功率$ \phi _{i,m}^{(k)} $，其由攻击者解密成功的概率$ \delta _{i,m}^{(k)} $和无人机i与地面基站m在时隙k内进行身份认证的次数$ \tilde c_{i,m}^{(k)} $决定，即：
$ \phi _{i,m}^{(k)} = \frac{{\delta _{i,m}^{(k)}}}{{\tilde c_{i,m}^{(k)}}} $
其中，攻击者解密成功的概率$ \delta _{i,m}^{(k)} $由无人机与地面基站传输身份认证消息时所使用的加密算法$ \sigma _{i,m}^{(k)} $和密钥长度$ b_{i,m}^{(k)} $决定。

3.3 问题构建

在无人机网络中，由于无人机的异构性特征（包括计算资源差异及本地任务属性的不同），各无人机对身份认证机制存在差异化的效率需求。具体而言，不同任务类型和优先级将直接影响无人机身份认证过程中时延和能耗的约束条件。以无人机i为例，其身份认证时延须满足$ \tilde t_{i,m}^{(k)} \leqslant {\hat t_i} $以及能耗须满足$ u_{i,m}^{(k)} \leqslant {\hat u_i} $，其中$ {\hat t_i} $和$ {\hat u_i} $分别代表任务需求决定的身份认证时延和能耗阈值。因此，地面基站m基于消息保护等级$ l_{i,m}^{(k)} $、时延$ \tilde t_{i,m}^{(k)} $、能耗$ u_{i,m}^{(k)} $和攻击成功率$ \phi _{i,m}^{(k)} $构建其优化目标：
$ \begin{gathered} \mathop {\max }\limits_{t_{i,m}^{(k)} \in ( {0,T} ],b_{i,m}^{(k)} \in \left\{ {128,192,256} \right\}} {{\mathbb{E}}}\left[ {l_{i,m}^{(k)} - u_{i,m}^{(k)} - \tilde t_{i,m}^{(k)} - \phi _{i,m}^{(k)}} \right] \\{\mathrm{ s.t.}} 1 \leqslant i \leqslant N,1 \leqslant m \leqslant M,u_{i,m}^{(k)} \leqslant {{\hat u}_i},\tilde t_{i,m}^{(k)} \leqslant {{\hat t}_i} \\ \end{gathered} $

4 算法

本文设计了一个面向无人机网络的轻量化身份认证方法，使用风险感知强化学习算法优化身份认证会话时间和加密策略。如图3所示，该方法包括身份认证策略决策器和网络更新两个协同工作的模块。针对无人机在身份认证过程中面临的资源约束和安全需求差异化问题，该方法为每个地面基站设计一个两级分层身份认证策略决策器以提高学习效率，从而实现低开销、高安全性的无人机身份认证。
图 3 基于强化学习的无人机轻量化身份认证方法示意图

Fig.3 Illustration of lightweight authentication approach for UAVs based on RL

4.1 约束马尔可夫决策过程

为指导地面基站在学习过程中规避探索导致无人机身份认证失败或开销过大的危险身份认证策略，该方法将无人机身份认证过程建模为约束马尔可夫决策过程，其形式化定义如下：
（1）状态空间。在时隙k内，当地面基站m接收到来自无人机i的身份认证消息时，通过对其解密获得来自无人机i的Remote ID$ {\boldsymbol{\tau}} _i^{(k)} $，其中$ 1 \leqslant m \leqslant M $，$ 1 \leqslant i \leqslant N $。基于与无人机i的历史交互行为，地面基站m估计上一时隙无人机i的身份认证消息保护等级$ l_{i,m}^{(k - 1)} $、时延$ \tilde t_{i,m}^{(k - 1)} $和能耗$ u_{i,m}^{(k - 1)} $。通过分析接收到的异常消息如伪造证书或广告次数，地面基站m评估攻击成功率$ \phi _{i,m}^{(k - 1)} $，并构建当前状态$ {\boldsymbol{s}}_{i,m}^{(k)} $：
$ {\boldsymbol{s}}_{i,m}^{(k)} = \left[ {{\boldsymbol{\tau}} _i^{(k)},l_{i,m}^{(k - 1)},\tilde t_{i,m}^{(k - 1)},u_{i,m}^{(k - 1)},\phi _{i,m}^{(k - 1)}} \right] $
（2）动作。地面基站m为无人机i选择个性化的身份认证策略$ {\boldsymbol{a}}_{i,m}^{(k)} = \left[ {t_{i,m}^{(k)},b_{i,m}^{(k)}} \right] \in {{\boldsymbol{A}}_m} $，包括会话时间$ t_{i,m}^{(k)} \in {\hat {\boldsymbol{A}}_m} $被量化为$ {\varOmega _m} $个等级和消息加密密钥长度$ b_{i,m}^{(k)} \in {\bar {\boldsymbol{A}}_m} $被分为3个等级。因此，动作集$ {{\boldsymbol{A}}_m} $包括$ 3{\varOmega _m} $种可选的身份认证策略。
（3）短期风险。当地面基站m为无人机i决策出身份认证策略$ {\boldsymbol{a}}_{i,m}^{(k)} $后，双方在时隙k内完成$ \tilde c_{i,m}^{(k)} $次身份认证。基于此，地面基站m计算时隙k内无人机i的身份认证时延$ \tilde t_{i,m}^{(k)} $、能耗$ u_{i,m}^{(k)} $和消息保护等级$ l_{i,m}^{(k)} $。为了评估当前身份认证策略是否满足无人机i的个性化需求，地面基站m将其身份认证时延和能耗作为安全约束，并构建惩罚函数来衡量当前身份认证策略的短期风险，即：
$ \psi _{i,m}^{(k)} = {{\mathbb{I}}}\left( {u_{i,m}^{(k)} \leqslant {{\hat u}_i}} \right) + \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{w} _{i,m}^{}{{\mathbb{I}}}\left( {\tilde t_{i,m}^{(k)} \leqslant {{\hat t}_i}} \right) $
其中，$ \overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{w} _{i,m}^{} $参数化了时延和能耗对身份认证策略风险评估的重要性。
（4）即时效益。为保证地面基站m在满足无人机i的计算资源和业务需求下进行安全探索，地面基站m基于身份认证时延、能耗、消息保护等级、攻击成功率和短期风险，计算身份认证策略$ {\boldsymbol{a}}_m^{(k)} $带来的即时效益$ r_{i,m}^{(k)} $：
$ r_{i,m}^{(k)} = l_{i,m}^{(k)} - w_{i,m,1}^{}u_{i,m}^{(k)} - w_{i,m,2}^{}\tilde t_{i,m}^{(k)} - w_{i,m,3}^{}\phi _{i,m}^{(k)} - w_{i,m,4}^{}\psi _{i,m}^{(k)} $
其中，$ {\left[ {{w_{i,m,j}}} \right]_{1 \leqslant j \leqslant 4}} $是平衡奖励中消息保护等级、时延、能耗、攻击成功率和短期风险值的权重系数。

4.2 身份认证策略决策器

本文设计了一个身份认证策略决策器，采用两层Actor网络实现会话时间与加密策略的协同优化。如图3所示，第一层Actor网络基于状态$ {\boldsymbol{s}}_{i,m}^{(k)} $生成不同等级会话时间的概率分布，第二层Actor网络基于状态$ {\boldsymbol{s}}_{i,m}^{(k)} $和会话时间$ t_{i,m}^{(k)} $优化地面基站m与无人机i进行消息交互时的加密策略。
在时隙k内，地面基站m将维度为$ 4 + J $的状态$ {\boldsymbol{s}}_{i,m}^{(k)} $输入至网络权重参数为$ {\boldsymbol{\theta}} _{i,m}^{(k)} $的第一层Actor网络。该网络采用双隐藏层全连接架构，每层配置$ {f_m} $个神经元。通过估计状态动作价值函数$ {{\boldsymbol{Q}}_{i,m}}\left( {{\boldsymbol{s}}_{i,m}^{(k)}, \cdot ;{\boldsymbol{\theta}} _{i,m}^{(k)}} \right) $，该网络输出$ {\varOmega _m} $个会话时间等级的动作概率分布，概率分布如下：
$ \pi \left( {{\boldsymbol{s}}_{i,m}^{(k)},t_{i,m}^{(k)};{\boldsymbol{\theta}} _{i,m}^{(k)}} \right) = \frac{{{{\boldsymbol{Q}}_m}\left( {{\boldsymbol{s}}_{i,m}^{(k)},t_{i,m}^{(k)};{\boldsymbol{\theta}} _{i,m}^{(k)}} \right)}}{{{\displaystyle\sum}_{\hat t_{i,m}^{(k)} \in {{\hat {\boldsymbol{A}}}_m}} {{{\boldsymbol{Q}}_m}\left( {{\boldsymbol{s}}_{i,m}^{(k)},\hat t_{i,m}^{(k)};{\boldsymbol{\theta}} _{i,m}^{(k)}} \right)} }} $
地面基站m根据该概率分布采样选择会话时间$ t_{i,m}^{(k)} $后，将状态$ {\boldsymbol{s}}_{i,m}^{(k)} $和会话时间$ t_{i,m}^{(k)} $输入至网络权重参数为$ \hat {\boldsymbol{\theta}} _{i,m}^{(k)} $的第二层Actor网络，经过两层各含$ {\hat f_m} $个神经元的隐藏层处理，输出加密策略的状态动作价值函数$ {\hat {\boldsymbol{Q}}_{i,m}}\left( {{\boldsymbol{s}}_{i,m}^{(k)},t_{i,m}^{(k)}, \cdot ;\hat{\boldsymbol{ \theta}} _{i,m}^{(k)}} \right) $。地面基站m根据类似于式（12）的动作概率分布选择最终的加密策略$ b_{i,m}^{(k)} $。

4.3 网络更新

基于当前状态、所选的身份认证策略、即时效益和短期风险，地面基站m构建身份认证经验序列$ \left\{ {{\boldsymbol{s}}_{i,m}^{(k)},{\boldsymbol{a}}_{i,m}^{(k)},r_{i,m}^{(k)},\psi _{i,m}^{(k)}} \right\} $并存放于大小为$ X $的缓冲区D中，即$ D \leftarrow D \cup \left\{ {{\boldsymbol{s}}_{i,m}^{(k)},{\boldsymbol{a}}_{i,m}^{(k)},r_{i,m}^{(k)},\psi _{i,m}^{(k)}} \right\} $，用于更新网络权重参数。具体地，地面基站m首先将状态$ {\boldsymbol{s}}_{i,m}^{(k)} $输入至网络权重参数为${\boldsymbol{ \varphi}} _{i,m}^{(k)} $的第一层Critic网络，该网络的输入层包括$ 4 + J $个神经元，对应于状态$ {\boldsymbol{s}}_{i,m}^{(k)} $的维度，隐藏层包括$ {\xi _m} $个神经元，输出层输出状态值$ {V_{i,m}}\left( {{\boldsymbol{s}}_{i,m}^{(k)};{\boldsymbol{\varphi}} _{i,m}^{(k)}} \right) $。为适应高动态无人机身份认证场景，有效避免因经验序列延迟导致策略滞后，进一步造成身份认证失败的问题，该方法每隔T时隙，使用优先经验回放技术按序抽取T条身份认证经验序列$ \mathfrak{B} = \left\{ {\boldsymbol{s}}_{i,m}^{(z)},{\boldsymbol{a}}_{i,m}^{(z)},r_{i,m}^{(z)}, \psi _{i,m}^{(z)}\right\} _{k - T + 1 \leqslant z \leqslant k} $。基于此，地面基站m构建如下优势函数：
$ A_{i,m}^{(k)} = \sum\limits_{z = k - T + 1}^k {{\gamma ^{(k - T + z)}}r_{i,m}^{(z)} - {V_{i,m}}\left( {{\boldsymbol{s}}_{i,m}^{(z)};{\boldsymbol{\varphi}} _{i,m}^{(k)}} \right)} $
为了提高网络权重参数更新的稳定性，Actor网络记录之前的权重参数$ {\boldsymbol{\theta}} _{i,m}^ - $，并使用剪切函数限制比例$ \dfrac{{\pi \left( {{\boldsymbol{s}}_{i,m}^{(z)},t_{i,m}^{(z)};{\boldsymbol{\theta}} _{i,m}^{'}} \right)}}{{\pi \left( {{\boldsymbol{s}}_{i,m}^{(z)},t_{i,m}^{(z)};{\boldsymbol{\theta}} _{i,m}^ - } \right)}} $在$ \left[ {1 - \delta ,1 + \delta } \right] $内以避免更新幅度过大，通过梯度下降算法更新Actor网络的权重参数$ {\boldsymbol{\theta}} _{i,m}^{(k)} $：
$ \begin{gathered} {\boldsymbol{\theta}} _{i,m}^{(k)} = \mathop {\arg \min }\limits_{{{\boldsymbol{\theta}} ^{'}}} \frac{1}{T}\sum\limits_{z = k - T + 1}^k {\min \left( {\frac{{\pi \left( {{\boldsymbol{s}} _{i,m}^{(z)},t_{i,m}^{(z)};{\boldsymbol{\theta}} _{i,m}^{(k)}} \right)}}{{\pi \left( {{\boldsymbol{s}} _{i,m}^{(z)},t_{i,m}^{(z)};{\boldsymbol{\theta}} _{i,m}^ - } \right)}}} \right.A_{i,m}^{(z)},} \\ \left. {{\mathrm{clip}}\left( {\frac{{\pi \left( {{\boldsymbol{s}} _{i,m}^{(z)},t_{i,m}^{(z)};{\boldsymbol{\theta}} _{i,m}^{'}} \right)}}{{\pi \left( {{\boldsymbol{s}} _{i,m}^{(z)},t_{i,m}^{(z)};{\boldsymbol{\theta}} _{i,m}^ - } \right)}},1 - \delta ,1 + \delta } \right)A_{i,m}^{(z)}} \right) \\ \end{gathered} $
并更新Critic网络的权重参数$ {\boldsymbol{\varphi }}_{i,m}^{(k)} $：
$ {\boldsymbol{\varphi}} _{i,m}^{(k)} = \mathop {\arg \min }\limits_{{{\boldsymbol{\varphi}} ^{'}}} \frac{1}{T}{\sum\limits_{z = k - T + 1}^k {\left( {A_{i,m}^{(z)}} \right)} ^2} $
第二层Actor网络和Critic网络权重参数的更新方式分别与式（14）和式（15）相似。本文所提的ReLAU算法的伪代码如表1所示。
表 1 基于强化学习的无人机轻量化身份认证方法的伪代码

Table 1 Pseudo-code of lightweight authentication method for UAVs based on RL

算法1　基于强化学习的无人机轻量化身份认证方法
初始化：N, M, K, $ {\left\{ {{\boldsymbol{\theta}} _{i,m}^{(0)},{\boldsymbol{\varphi}} _{i,m}^{(0)},\hat {\boldsymbol{\theta }}_{i,m}^{(0)},\hat{\boldsymbol{ \varphi}} _{i,m}^{(0)},l_{i,m}^{(0)},\phi _{i,m}^{(0)}} \right\}_{1 \leqslant i \leqslant N,1 \leqslant m \leqslant M}} $
1）For $ k = 1,2, \cdots ,K $ do
2） For $ m = 1,2, \cdots ,M $ do
3） For $ i = 1,2, \cdots ,N $ do
4） 获得无人机i的身份认证请求以及Remote ID $ {\boldsymbol{\tau}} _i^{(k)} $
5） 通过式（9）构建状态$ {\boldsymbol{s}}_{i,m}^{(k)} $
6） 通过式（12）选择无人机身份认证策略${\boldsymbol{ a}}_{i,m}^{(k)} $
7） 地面基站m与无人机i进行身份认证
8） 通过式（5）计算消息保护等级$ l_{i,m}^{(k)} $
9） 通过式（7）计算攻击成功率$ \phi _{i,m}^{(k)} $
10） 通过式（10）计算短期风险$ \psi _{i,m}^{(k)} $
11） 通过式（11）计算奖励$ r_{i,m}^{(k)} $
12） $ D \leftarrow D \cup \left\{ {{\boldsymbol{s}}_{i,m}^{(k)},{\boldsymbol{a}}_{i,m}^{(k)},r_{i,m}^{(k)},\psi _{i,m}^{(k)}} \right\} $
13） 估计状态值$ {V_{i,m}}\left( {{\boldsymbol{s}}_{i,m}^{(k)};{\boldsymbol{\varphi}} _{i,m}^{(k)}} \right) $
14） 通过式（13）计算优势函数$ A_{i,m}^{(k)} $
15） 通过式（14）和式（15）更新网络权重参数

5 安全性分析

本文提出的ReLAU方法采用椭圆曲线密码学实现无人机与地面基站的双向认证，通信双方的安全性依赖公钥计算过程的正确性，若公钥能清晰溯源至计算过程，则通信双方可确保无人机与地面基站的合法性。为此，本节通过严格的数学证明，验证无人机和地面基站公钥生成逻辑的正确性，确保攻击者无法伪造合法身份。
（1）无人机i。在注册阶段，无人机i的公钥$ {{\boldsymbol{\mu}} _i} $由密钥生成中心生成并公开，证明过程如下：
$ \begin{aligned} {{\boldsymbol{\eta}} _i}G =& \left[ {\left( {h\left( {\varpi _i^{}||h\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G||{{\hat n}_0}} \right)\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G} \right)} \right){{\hat \eta }_0}} \right.} \right. + \\& \left. {\left. { {{\hat n}_0}} \right) + {{\tilde \tau }_i}} \right]G \\=& h\left( {\varpi _i^{}||h\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G||{{\hat n}_0}} \right)\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G} \right)} \right){{\hat \eta }_0}G + \\ &{{\tilde \tau }_i}G + {{\hat n}_0}G \\ =&h\left( {\varpi _i^{}||h\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G||{{\hat n}_0}} \right)\left( {{{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G} \right)} \right){{\boldsymbol{\mu}} _0} + \\& {{\overset{\lower0.5em\hbox{$\smash{\scriptscriptstyle\smile}$}}{{\boldsymbol{\mu}} } }_i} + {{\hat n}_0}G \\=& {{\boldsymbol{\mu}} _i} \end{aligned}$
（2）地面基站m。在注册阶段，地面基站m的公钥$ {\tilde {\boldsymbol{\mu}} _m} $由密钥生成中心生成并公开，证明过程如下：
$ \begin{aligned} {{\tilde {\boldsymbol{\eta}} }_m}G =& \left[ {\left( {h\left( {\tilde \varpi _m^{}||h\left( {{{\hat \mu }_m} + {{\tilde n}_0}G||{{\tilde n}_0}} \right)\left( {{{\hat \mu }_m} + {{\tilde n}_0}G} \right)} \right){{\hat \eta }_0}} \right.} \right. + \\& \left. {\left. {{{\tilde n}_0}} \right) + {{\hat \tau }_m}} \right]G \\ =& h\left( {\tilde \varpi _m^{}||h\left( {{{\hat \mu }_m} + {{\tilde n}_0}G||{{\tilde n}_0}} \right)\left( {{{\hat \mu }_m} + {{\tilde n}_0}G} \right)} \right){{\hat \eta }_0}G+ \\ &{{\hat \tau }_m}G + {{\tilde n}_0}G \\ =& h\left( {\tilde \varpi _m^{}||h\left( {{{\hat \mu }_m} + {{\tilde n}_0}G||{{\tilde n}_0}} \right)\left( {{{\hat \mu }_m} + {{\tilde n}_0}G} \right)} \right){{\boldsymbol{\mu}} _0} + \\&{{\hat \mu }_m} + {{\tilde n}_0}G \\ =& {{\tilde {\boldsymbol{\mu}} }_m} \end{aligned}$
上述对无人机和地面基站公钥正确性的理论证明，确保了通信实体身份的可验证性与抗伪造性，为本文设计的无人机身份认证方法ReLAU建立了严格的数学安全基础，同时其仅需基础的椭圆曲线运算，保持了该方法的轻量化特点。

6 实验结果

本节从身份认证时延、能耗、消息保护等级和攻击成功率4个方面，将ReLAU分别与Kwon等[7]和Karmakar等[9]提出的两种身份认证机制进行对比，通过仿真实验验证该无人机身份认证方法的安全性和效率。

6.1 实验设置

本文所有的实验都是在Windows10操作系统下进行，实验平台为Pytorch1.12.1，显卡型号为GPU NVIDIA GeForce RTX 4060。实验中包括一架无人机、一个地面基站以及一架恶意无人机。恶意无人机发起重放攻击，伪造合法身份，试图接入地面基站并进行通信。在实验过程中，无人机将以5 W[9]的发射功率向地面基站发送身份认证请求，包括Remote ID等信息。发射功率为52 dBm的地面基站接收到来自无人机i的身份认证请求后，利用ReLAU算法为无人机i从{128, 192, 256} 中选择身份认证消息加密时的密钥长度$ b_{i,m}^{(k)} $，并应用AES的密码分组链接模式为身份认证过程中传输的消息进行加密。基于所选的身份认证策略，地面基站与无人机应用SECP256k1[37]椭圆曲线算法完成身份认证，其中素数p的取值为$ {2^{256}} - {2^{32}} - 977 $，椭圆曲线的系数d和e的取值分别为0和7，因此，椭圆曲线函数为$ {y^2} = {x^3} + 7 $。在身份认证完成后，综合考虑恶意无人机干扰通信链路并破解会话密钥的概率以及无人机进行身份认证的开销，地面基站将在30 ~ 100 s[38]之间动态选择安全会话时间。
在本文所设置的分层架构中，两层Actor网络的输入层的大小分别为7和8，输出层的神经元个数均为3，分别等于会话时间和加密策略可选集的大小。两层Critic网络的输入层的大小与Actor网络相同，输出层的大小均为1。两层Actor网络与Critic网络的隐藏层的神经元个数均为64。缓冲区$ D $最多存储1 500条身份认证经验序列，其中地面基站将使用优先经验回放技术按序抽取32条身份认证经验序列，用于网络参数更新。其中，Actor网络与Critic网络的学习率大小均为0.000 1。
为了说明该方法的有效性，本文选择文献[7]中的M2CAu算法与文献[9]中的UAAS算法作为基准算法。具体细节如下：
M2CAu[7]。该算法使用ECC算法实现了无人机与地面基站之间的双向认证，其中身份认证完成后的安全会话时间固定为30 s。
UAAS[9]。该算法设计了一个PUF芯片搭载在无人机上，利用该芯片实现了无人机-地面基站认证机制，并使用汤普森采样算法根据无人机的忙碌比例智能选择会话时间。

6.2 实验分析

本文从身份认证性能、消融实验和不同加密模式对身份认证效果的影响3个角度验证了所提算法的有效性。
（1）身份认证性能。实验结果如表2所示，所提ReLAU算法相较于基准算法具有更低的身份认证时延、能耗和攻击成功率以及更高的消息保护等级。例如，本文所提的身份认证方法将身份认证时延降低至29.59 ms以及将身份认证能耗降低至1.89 mJ，分别比两个基准算法降低了45.91%和65.69%。这是因为ReLAU算法动态选择身份认证策略时，将身份认证时延和能耗作为指标评估了所选策略的短期风险值。由于ReLAU算法在身份认证过程中使用AES-CBC模式对身份认证消息进行加密，因此将消息保护等级提升至2.70。此外，ReLAU算法通过联合优化会话时间和加密策略，进一步将攻击成功率降至4.37%，比M2CAu算法和UAAS算法分别降低了90.28%和83.98%。
表 2 无人机平均身份认证性能

Table 2 Average authentication performance of UAVs

性能 ReLAU M2CAu[7] UAAS[9]
认证时延/ms 29.59 54.71 73.13
能耗/mJ 1.89 3.58 5.51
消息保护等级 2.70 0.00 0.00
攻击成功率/% 4.37 45.00 27.29
（2）消融实验。为了评估ReLAU算法中所设计的分层框架和短期风险给身份认证过程带来的性能增益，本文进行了一系列消融实验，结果如图4所示。其中，ReLAU-HS算法没有使用分层架构来选择身份认证策略，ReLAU-PF算法移除了短期风险。ReLAU算法在1 200时隙后，身份认证时延和能耗比ReLAU-PF算法分别降低了23.28%和23.32%。该性能增益表明，惩罚函数可以帮助地面基站为无人机选择低开销的身份认证策略。此外，ReLAU算法比ReLAU-HS算法提高了3.41%的消息保护等级以及降低了71.87%的攻击成功率。
图 4 基于ReLAU方法的消融实验性能

Fig.4 Performance of ablation study with proposed authentication approach

该实验结果表明，本文所设计的两级分层架构通过对身份认证策略进行分解，有效提高了学习速度，并进一步提高了该身份认证方法的安全性。
（3）不同加密策略的影响。在无人机与地面基站进行身份认证的过程中，加密模式的选择直接影响该无人机网络的安全性和身份认证的效率。基于此，本文针对AES加密算法的5种加密模式，即电码本（Electronic Codebook，ECB）模式、密码分组链接（Cipher Block Chaining，CBC）模式、密码反馈（Cipher Feedback，CFB）模式、输出反馈（Output Feedback，OFB）模式、计算器（Counter，CTR）模式分别进行了实验。5种工作模式的细节如下所示[39]：
ECB。将身份认证消息按固定分组独立加密，相同的明文分组生成相同的密文。攻击者可截获并重放历史密文块，因此无法有效抵御重放攻击。
CBC。对身份认证消息进行分块，将每个明文块与前一个密文块异或后加密，可以有效抵御重放攻击。
CFB。将认证消息转换为流式处理，利用前一个密文块生成密钥流，与明文逐位异或进行加密处理。
OFB。无须分组加密，逐块加密身份认证消息，不影响后续身份认证消息块。
CTR。基于计数器生成唯一的密钥流，支持并行加密且无须填充。
本文将上述5种加密模式，即ECB模式、CBC模式、CTR模式、OFB模式和CFB模式的安全性等级$ \sigma _{i,m}^{(k)} $依次量化为{0, 1, 2, 3, 4} 5个等级，实验结果如图5所示。CFB模式将消息保护等级提升至3.63并将攻击成功率降低至1.01%，分别比其他4种加密模式的性能至少提升了7.39%和21.09%。因为CFB模式将分组密码转换为流密码，利用前一个密文块生成密钥流，与明文进行异或操作，有效防止了攻击者解密身份认证消息，并进一步抵御了重放攻击。在加解密效率方面，CTR模式将认证时延和能耗分别降低至28.34 ms和1.80 mJ。该性能增益源于该加密模式无须对身份认证消息进行填充，并支持并行计算。
图 5 五种不同加密模式下的性能对比

Fig.5 Performance of five different encryption modes

7 结束语

本文提出了一种基于强化学习的轻量化无人机身份认证方法，以实现低认证开销与高安全性之间的平衡。该方法以无人机的飞行速度和高度等实时位置信息为基础构建Remote ID作为身份标识，并应用ECC算法进行身份认证。考虑到无人机网络的高动态性，该方法设计了一个身份认证策略决策器，应用两级分层架构联合优化安全会话时间和身份认证消息加密策略，以加快学习速度。此外，该方法构建了一个基于认证时延和能耗的惩罚函数，以评估当前认证策略的短期风险，并进一步修正其即时效益，从而规避高开销的认证策略。通过与Kwon等[7]和Karmakar等[9]提出的身份认证方案进行性能分析比较，发现本文所提的算法避免了高昂的认证开销，并显著提高了认证消息保护等级，进而降低了重放攻击者的攻击成功率。
未来，我们将考虑构建多重验证的多无人机身份认证架构，根据无人机的算力、电量、移动性、功能等特点，设计融合PUF的软硬件协同认证方法，以进一步提升认证效率与安全性能。

References

Publishing order | Descend order by publishing year | Descend order by cited within
1
TONG S, LIU Y, MISIC J, et al. Joint task offloading and resource allocation for fog-based intelligent transportation systems: A UAV-enabled multi-hop collaboration paradigm[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 24 (11): 12933- 12948.

2
WANG Y, SU Z, XU Q, et al. A secure and intelligent data sharing scheme for UAV-assisted disaster rescue[J]. IEEE/ACM Transactions on Networking, 2023, 31 (6): 2422- 2438.

DOI

3
TSAI H C, HONG Y W P, SHEU J P. Completion time minimization for UAV-enabled surveillance over multiple restricted regions[J]. IEEE Transactions on Mobile Computing, 2022, 22 (12): 6907- 6920.

4
KHALID H, HASHIM S J, HASHIM F, et al. HOOPOE: High performance and efficient anonymous handover authentication protocol for flying out of zone UAVs[J]. IEEE Transactions on Vehicular Technology, 2023, 72 (8): 10906- 10920.

DOI

5
YU S, DAS A K, PARK Y. RLBA-UAV: A robust and lightweight blockchain-based authentication and key agreement scheme for PUF-enabled UAVs[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 25 (12): 21697- 21708.

DOI

6
CHEN J, ZHAN Z, HE K, et al. XAuth: Efficient privacy-preserving cross-domain authentication[J]. IEEE Transactions on Dependable and Secure Computing, 2022, 19 (5): 3301- 3311.

DOI

7
KWON D, SON S, KIM M, et al. A secure self-certified broadcast authentication protocol for intelligent transportation systems in UAV-assisted mobile edge computing environments[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 23 (11): 19004- 19017.

8
ALLADI T, BANSAL G, CHAMOLA V, et al. SecAuthUAV: A novel authentication scheme for UAV-ground station and UAV-UAV communication[J]. IEEE Transactions on Vehicular Technology, 2020, 69 (12): 15068- 15077.

DOI

9
KARMAKAR R, KADDOUM G, AKHRIF O. A PUF and fuzzy extractor-based UAV-ground station and UAV-UAV authentication mechanism with intelligent adaptation of secure sessions[J]. IEEE Transactions on Mobile Computing, 2023, 23 (5): 3858- 3875.

10
王凯, 董建阔, 肖甫, 等. 面向物联网的认证密钥协商协议研究综述[J]. 网络空间安全科学学报, 2024, 2 (5): 2- 16.

WANG K, DONG J K, XIAO F, et al. Review of research on authentication key agreement protocols for Internet of Things[J]. Journal of Cybersecurity, 2024, 2 (5): 2- 16.

11
刘静婷, 刘高, 王宁, 等. 面向VANETs的轻量级匿名认证密钥协商协议[J]. 网络空间安全科学学报, 2024, 2 (5): 87- 98.

LIU J T, LIU G, WANG N, et al. A lightweight anonymous authenticated key agreement protocol for VANETs[J]. Journal of Cybersecurity, 2024, 2 (5): 87- 98.

12
尹日升, 刘潇, 马永柳, 等. 一种安全的集群无线网络环境下密钥协商协议[J]. 网络空间安全科学学报, 2024, 2 (5): 57- 66.

YIN R S, LIU X, MA Y L, et al. A secure key agreement protocol in clustered wireless network environment[J]. Journal of Cybersecurity, 2024, 2 (5): 57- 66.

13
WANG D, CAO Y, LAM K Y, et al. Authentication and key agreement based on three factors and PUF for UAVs-assisted post-disaster emergency communication[J]. IEEE Internet of Things Journal, 2024, 11 (11): 20457- 20472.

DOI

14
KARMAKAR R, KADDOUM G, AKHRIF O. A blockchain-based distributed and intelligent clustering-enabled authentication protocol for UAV swarms[J]. IEEE Transactions on Mobile Computing, 2023, 23 (5): 6178- 6195.

15
BANSAL G, CHAMOLA V, SIKDAR B. SHOTS: Scalable secure authentication-attestation protocol using optimal trajectory in UAV swarms[J]. IEEE Transactions on Vehicular Technology, 2022, 71 (6): 5827- 5836.

DOI

16
TANVEER M, ALASMARY H, KUMAR N, et al. SAAF-IoD: Secure and anonymous authentication framework for the Internet of Drones[J]. IEEE Transactions on Vehicular Technology, 2023, 73 (1): 232- 244.

17
TAN Y, WANG J, LIU J, et al. Blockchain-assisted distributed and lightweight authentication service for industrial unmanned aerial vehicles[J]. IEEE Internet of Things Journal, 2022, 9 (18): 16928- 16940.

DOI

18
CHOI J, KWON D, SON S, et al. A PUF-based lightweightauthentication scheme for UAV-assisted Internet of Vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2025, 26 (9): 13782- 13795.

19
KHARJANA M, SAHANA S C, SAHA G. Securing autonomous UAV cluster with blockchain-based threshold key management system utilizing crypto-asset and multisignature[J]. IEEE Transactions on Mobile Computing, 2025, 24 (7): 5765- 5778.

DOI

20
ADIL M, ABULKASIM H, FAROUK A, et al. R3ACWU: A lightweight, trustworthy authentication scheme for UAV-assisted IoT applications[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 25 (6): 6161- 6172.

DOI

21
MIAO J, WANG Z, NING X, et al. A UAV-assisted authentication protocol for internet of vehicles[J]. IEEE Transactions on Intelligent Transportation Systems, 2024, 25 (8): 10286- 10297.

DOI

22
SHANG Z, MA M AND LI X. A secure group-oriented device-to-device authentication protocol for 5G wireless networks[J]. IEEE Transactions on Wireless Communications, 2020, 19 (11): 7021- 7032.

DOI

23
KHAN M A, ULLAH I, ALKHALIFAH A, et al. A provable and privacy-preserving authentication scheme for UAV-enabled intelligent transportation systems[J]. IEEE Transactions on Industrial Informatics, 2021, 18 (5): 3416- 3425.

24
BANSAL G, SIKDAR B. S-MAPS: Scalable mutual authentication protocol for dynamic UAV swarms[J]. IEEE Transactions on Vehicular Technology, 2021, 70 (11): 12088- 12100.

DOI

25
WANG N, DUAN J, CHEN B, et al. Efficient group key generation based on satellite cluster state information for drone swarm[J]. IEEE Transactions on Information Forensics and Security, 2024, 19, 4464- 4479.

DOI

26
TANVEER M, ALDOSARY A, DAS A K, et al. PAF-IoD: PUF-enabled authentication framework for the Internet of Drones[J]. IEEE Transactions on Vehicular Technology, 2024, 73 (7): 9560- 9574.

DOI

27
ALI I, LI J, CHEN J, et al. IOOSC-U2G: An identity-based online/offline signcryption scheme for unmanned aerial vehicle to ground station communication[J]. IEEE Internet of Things Journal, 2022, 11 (18): 29941- 29955.

28
GUO Z, CAO J, WANG X, et al. UAVA: Unmanned aerial vehicle assisted vehicular authentication scheme in edge computing networks[J]. IEEE Internet of Things Journal, 2024, 11 (12): 22091- 22106.

DOI

29
LU X, XIAO L, XU T, et al. Reinforcement learning based PHY authentication for VANETs[J]. IEEE Transactions on Vehicular Technology, 2020, 69 (3): 3068- 3079.

DOI

30
XIAO L, LU X, XU T, et al. Reinforcement learning-based physical-layer authentication for controller area networks[J]. IEEE Transactions on Information Forensics and Security, 2021, 16, 2535- 2547.

DOI

31
XU T, LU X, XIAO L, et al. Voltage based authentication for controller area networks with reinforcement learning[C]//Proceedings of the IEEE International Conference on Communications. IEEE, 2019: 1-5.

32
JING T, WU Y, HUO Y, et al. A Stackelberg game based physical layer authentication strategy with reinforcement learning[C]//Proceedings of the IEEE International Conference on Communications. IEEE, 2022: 3322-3327.

33
TU S, WAQAS M, REHMAN S U, et al. Reinforcement learning assisted impersonation attack detection in device-to-device communications[J]. IEEE Transactions on Vehicular Technology, 2021, 70 (2): 1474- 1479.

DOI

34
WANG X, GARG S, LIN H, et al. Enabling secure authentication in industrial IoT with transfer learning empowered blockchain[J]. IEEE Transactions on Industrial Informatics, 2021, 17 (11): 7725- 7733.

DOI

35
LIANG W, HUANG W, LONG J, et al. Deep reinforcement learning for resource protection and real-time detection in IoT environment[J]. IEEE Internet of Things Journal, 2020, 7 (7): 6392- 6401.

DOI

36
BAI T, WANG J, REN Y, et al. Energy-efficient computation offloading for secure UAV-edge-computing systems[J]. IEEE Transactions on Vehicular Technology, 2019, 68 (6): 6074- 6087.

DOI

37
IFRIM R, LOGHIN D, POPESCU D. A systematic review of fast, scalable, and efficient hardware implementations of elliptic curve cryptography for blockchain[J]. ACM Transactions on Reconfigurable Technology and Systems, 2024, 17 (4): 1- 33.

38
张珠君, 范伟, 朱大立. 面向智能家居的区块链轻量级认证机制[J]. 软件学报, 2022, 33 (7): 2699- 2715.

ZHANG Z J, FAN W, ZHU D L. Lightweight blockchain authentication mechanism for smart home[J]. Journal of Software, 2022, 33 (7): 2699- 2715.

39
HAMEED M E, IBRAHIM M M, ABD MANAP N, et al. Comparative study of several operation modes of AES algorithm for encryption ECG biomedical signal[J]. International Journal of Electrical and Computer Engineering, 2019, 9 (6): 4850.

DOI

Options
Outlines

/

〈 〉

Website Copyright © Editorial Office of Journal of Cybersecurity.
Tel: 010-89061756/89061778　
E-mail：wlkjaqkxxb@caasse.cn
Powered by Beijing Magtech Co. Ltd,.

京ICP备16032046号-20