大语言模型的安全与隐私保护技术研究进展

牟奕洋; 陈涵霄; 李洪伟

doi:10.20172/j.issn.2097-3136.240103

网络空间安全科学学报 >

2024 , Vol. 2 >Issue 1: 40 - 49

DOI: https://doi.org/10.20172/j.issn.2097-3136.240103

综述

大语言模型的安全与隐私保护技术研究进展

牟奕洋 ¹^,² ,
陈涵霄 ¹^,² ,
李洪伟 ¹^,²^,*

展开

1. 电子科技大学计算机科学与工程学院，成都 611731
2. 电子科技大学网络空间安全学院，成都 611731

李洪伟。

网络出版日期: 2024-05-18

基金资助

国家自然科学基金（62020106013）；四川省科技厅项目（2023ZYD0142）

版权

收起

Advances in security and privacy−preserving techniques for large language models

MU Yiyang ¹^,² ,
CHEN Hanxiao ¹^,² ,
LI Hongwei ¹^,²^,*

Expand

1. School of Computer Science and Engineering, University of Electronic Science and Technology of China, Chengdu 611731, China
2. School of Cyber Security, University of Electronic Science and Technology of China, Chengdu 611731, China

Online published: 2024-05-18

Copyright

Fold

摘要

大语言模型作为具有优秀自然语言处理能力的人工智能模型，在医疗、金融、法律等领域广泛应用。随着大语言模型的不断发展、推广及应用，与之相关的安全和隐私问题受到各界越来越多的关注。首先介绍了大语言模型的相关背景，并从敌手目标、敌手知识和敌手能力3个方面对敌手模型进行了刻画。随后总结了大语言模型常见的安全威胁，如训练阶段的投毒攻击和后门攻击、预测阶段的对抗攻击，以及应对的防御方法，如提前结束模型训练、利用困惑度识别投毒样本等。接着总结了大语言模型常见的隐私威胁，如训练数据泄露、模型反演攻击、成员推理攻击等，并给出相应的隐私保护技术，如差分隐私、安全多方计算等。最后提出了目前还未解决的问题与未来的发展方向。

关键词： 大语言模型; 安全威胁; 防御技术; 隐私保护

本文引用格式

牟奕洋 , 陈涵霄 , 李洪伟 . 大语言模型的安全与隐私保护技术研究进展[J]. 网络空间安全科学学报, 2024 , 2(1) : 40 -49 . DOI: 10.20172/j.issn.2097-3136.240103

Abstract

Large language models, as artificial intelligence models with excellent natural language processing capabilities, are widely used in health care, finance, law and other fields. With the continuous development of large language models, it raises a growing concern regarding security and privacy issues, which has garnered increasing attention from researchers. First of all, the relevant background of large language models was introduced and the adversary model was described from three aspects of adversary goals, adversary knowledge and adversary capabilities. Secondly, common security threats to large language models, such as poisoning attacks, backdoor attacks, and adversarial attacks, along with corresponding defense methods like early stopping and identifying poisoned examples through perplexity analysis were summarized. Moving on, common privacy threats to large language models, which encompass direct data leakage during training, model inversion attacks, and membership inference attacks were summarized. Present privacy-preserving techniques, such as differential privacy and secure multi-party computation, that could mitigate these threats were given. In conclusion, the persisting challenges and outline future development directions in this domain were proposed.

Key words： large language models; security threats; defense technique; privacy protection

0 引言

大语言模型作为人工智能领域的一项革命性技术，正引领我们进入一个全新的数字时代。这类强大的机器学习模型不仅拥有极其庞大的参数数量，还具备前所未有的自然语言理解和生成能力，能够模仿人类理解和创作这样高度复杂的行为。大语言模型已经在多个领域展现出强大的应用潜力，包括自然语言处理^[1]、机器翻译^[2]、文本生成^[3]、智能对话系统^[4]等。然而，随着人们对大语言模型的深入开发和研究，其安全和隐私问题变得尤为突出，应用大语言模型所导致的数据安全与隐私问题频发。例如，2023年3月，三星集团允许半导体部门的工程师使用ChatGPT参与修复源代码问题。三星员工在询问ChatGPT的过程中输入了公司机密数据，导致包括新程序的源代码本体、与硬件相关的内部会议记录等重要隐私数据泄露。同年3月31日，意大利个人数据保护局宣布禁用ChatGPT，指出ChatGPT曾出现用户对话数据和付款服务支付信息丢失的情况。对隐私信息的过度收集和非法利用严重违反了我国的法律法规，如《中华人民共和国个人信息保护法》。因此，保障大语言模型的安全以及保护用户的隐私成为大语言模型发展和应用的基础。研究人员以针对语言模型安全性问题的研究为起点，尝试将现有的研究成果延伸到大语言模型领域，通过实验发掘大语言模型可能存在的漏洞与潜在的安全威胁，并应用防御措施尝试突破大语言模型所面临的安全与隐私困境。本文深入探讨并总结了目前大语言模型面临的安全与隐私威胁以及相应的防御措施。

1 大语言模型及其敌手模型

1.1 大语言模型

大语言模型是一种基于深度学习和自然语言处理技术的人工智能系统，用以理解和生成自然语言文本。这些模型通常具有数十亿到数万亿的参数，能够准确地理解和生成文本。目前，主流的大语言模型有OpenAI发布的GPT−3/GPT−3.5/GPT−4, 谷歌2022年提出的PaLM等。大语言模型工作的过程可以分为训练和预测2个阶段，工作流程如图1所示。在训练阶段，开发者利用收集到的海量数据训练目标语言模型；在预测阶段，开发者利用训练好的模型对用户查询进行预测或生成文本。

显示原图|下载原图ZIP|生成PPT

图 1 大语言模型的工作流程

Fig.1 Workflow of large language models

1.2 敌手模型

在探讨大语言模型受到的安全或隐私威胁时，需要考虑敌手目的、能力、所拥有的先验知识等因素。本节从敌手目标、敌手知识和敌手能力3个维度对敌手模型进行刻画，不同的敌手模型对大语言模型的威胁程度不同。

1.2.1 敌手目标

敌手目标包括破坏大语言模型的机密性、完整性和可用性。机密性是指确保包含用户隐私数据或具有知识产权的模型参数及架构不被外泄。敌手可通过攻击大语言模型来窃取这些敏感信息，或者通过泄露模型细节和公开预测结果来破坏模型的机密性。完整性是指确保模型不被篡改或恶意引导。敌手可应用某种恶意策略，使模型做出特定的错误响应，损害模型的完整性。可用性是指模型能够可靠、高效并且按照预期方式执行其既定功能。敌手能够通过恶意提供误导性信息等手段欺骗模型，导致模型做出错误决策，失去可用性。完整性威胁和可用性威胁有所重叠，敌手在攻击时采取的策略也类似。值得注意的是，敌手采取的策略往往不只针对单一目标，例如在破坏模型机密性的同时，敌手可以分析模型弱点并进一步破坏其完整性和可用性。

1.2.2 敌手知识

敌手知识是指敌手拥有的关于模型结构、参数、训练数据或工作原理的知识。敌手可以利用这些知识对模型发起有针对性的攻击。在大语言模型的训练阶段，根据敌手对先验知识的获取程度，敌手知识分为有限知识和完全知识。在预测阶段中，根据敌手知识可将攻击分为白盒攻击和黑盒攻击。白盒攻击指敌手能够获取目标大语言模型的内部结构及相关参数等模型信息；黑盒攻击指敌手只能访问目标大语言模型，根据输入的数据得到模型相应的预测结果。在现实场景中，白盒攻击实现难度高，黑盒攻击是更为普遍的攻击形式。

1.2.3 敌手能力

敌手能力是指敌手在拥有特定先验知识的情况下，制定策略来操纵目标模型或篡改数据的能力。不同敌手对目标模型的操纵控制能力存在差异。在大语言模型的训练阶段，敌手能力由弱到强有：仅知道训练数据的分布特征、能直接访问训练数据、可以注入恶意数据等。在大语言模型的预测阶段，与黑盒攻击相比，白盒攻击的敌手通常具有更强的能力，这主要是因为白盒攻击可以改变目标模型中更底层的逻辑结构，使防御者难以设计有效的防御措施进行应对。

2 大语言模型的安全威胁及防御技术

2.1 大语言模型常见的安全威胁

由于优秀的自然语言解析和处理能力，大语言模型在生活场景中的应用越来越普遍，其安全性成为至关重要的问题。例如，敌手可以对过滤垃圾邮件的大语言模型进行攻击，导致邮件的分类结果异常，对垃圾邮件检测失效。表1展示了大语言模型中常见的安全威胁，这些安全威胁分别针对大语言模型的训练和预测2个阶段，如图2所示。

表 1 大语言模型中常见的安全威胁

Table 1 Common security threats in large language models

阶段	敌手策略	敌手目标	敌手能力	敌手知识
训练阶段	投毒攻击	完整性/可用性	注入有毒样本	有限知识
训练阶段	后门攻击	完整性/可用性	操纵模型输出	有限知识
预测阶段	对抗攻击	完整性/可用性	制作对抗样本	黑盒/白盒

显示原图|下载原图ZIP|生成PPT

图 2 大语言模型不同阶段的安全威胁

Fig.2 Security threats at different stages of large language models

2.1.1 训练阶段的安全威胁

在训练阶段，开发者利用收集到的海量数据训练目标大语言模型。这一阶段敌手常通过投毒攻击（Poisoning Attack）和后门攻击（Backdoor Attack）^[5]破坏模型的完整性和可用性。投毒攻击指敌手向训练数据集中注入有毒样本，降低模型的泛化能力；后门攻击指敌手向样本中加入特定的触发关键词（后门），导致目标模型表现出恶意设定的行为。

投毒攻击和后门攻击是敌手用于大语言模型训练阶段的攻击手段^[5]。投毒攻击常常作为实施后门攻击的重要工具，二者紧密相关。通过注入有毒样本，投毒攻击可以降低模型的泛化能力和可用性。后门攻击的目的是向目标模型中植入后门，后门模型对含有触发关键词的输入失效，对不含触发关键词的输入仍表现正常。一旦只有攻击者知道的秘密触发关键词出现在输入中，后门模型就会给出敌手想要的预测结果，或者被错误地引导去执行攻击者的子任务。由于模型根据来源不可信的数据进行训练，因此攻击者出于恶意目的设计的有毒样本或后门样本可以轻易混入模型的训练数据集中，用以操纵训练数据分布，利用模型预训练与微调的过程使模型中毒，在受害者模型中嵌入后门。随后，敌手便可通过后门随意访问和操纵目标模型。此类手段称为基于投毒（Poisoning-based）的后门攻击。

Kurita等^[6]提出了一种针对预训练模型的权重投毒攻击，这种攻击在模型训练阶段使用一种正则化方法RIPPLe（Restricted Inner Product Poison Learning）控制词嵌入，对预训练模型的权重进行微调，从而构造后门，达到操纵模型训练和预测的目的，破坏模型的完整性和可用性；进一步对这种方法进行了优化，通过“嵌入手术（Embedding Surgery）”改变了RIPPLe的初始化方式，这种组合方法称为RIPPLES（Restricted Inner Product Poison Learning with Embedding Surgery）。文献[6]对敌手的知识水平给出两种假设：完整数据知识（Full Data Knowledge）和域偏移（Domain Shift）。前者假设敌手可以访问完整的微调数据集；后者假设敌手只能从不同域访问具有类似任务的代理数据集。在此基础上，在情感分类、毒性检测和垃圾邮件检测这3个文本分类任务中进行了权重投毒攻击实验。在这3个不同场景的实验中，RIPPLES展现出其普适性以及对模型构成的严重安全威胁。

Wallace等^[7]提出了一种新的数据投毒攻击方法，该方法利用二阶梯度（Second-order Gradient）不断迭代并优化毒性样本，通过更加细微且隐蔽的数据更改来操纵自然语言处理模型的预测结果。由于真实场景中大多数情况下自然语言处理模型的训练数据不会进行人工检查，所以注入恶意数据非常容易。文献[7]假设敌手可以在目标模型的训练数据集中插入任意实例，并在情感分析模型、语言建模和机器翻译3个实际场景中进行了实验，展示了这种投毒攻击的有效性以及对模型的安全威胁。在情感分析模型训练集中插入50个有毒实例，导致目标模型只要接收到含有触发关键词“詹姆斯·邦德（James Bond）”的输入，就会频繁给出正向（Positive）的预测结果。将这种投毒攻击应用到语言建模和机器翻译的场景中，也展示了类似的攻击效果。这揭示了自然语言处理模型中一个难以检测和调试修复的漏洞，敌手混入隐蔽的有毒样本，导致模型的输出受到干扰，从而出现决策错误，损害了模型的完整性和可用性。

以往针对自然语言处理模型的后门攻击主要集中于特定任务，缺乏普适性。Chen等^[8]提出了一种命名为BadPre的任务无关后门攻击，其攻击特点是在向预训练模型植入后门时，不需要关于下游任务的先验信息。这意味着一旦释放该恶意模型，任何从它那里继承的下游模型都会继承该模型中的后门，相关模型的完整性和可用性被破坏。敌手训练并发布带有后门的预训练自然语言处理模型

$ F $

，其目的是使任何基于

$ F $

建立的下游模型

$ f $

都存在后门。受害用户下载

$ F $

并通过微调使其适配下游任务时，模型中的后门不会被检测或删除，敌手可以通过触发关键词激活

$ f $

中的后门。如果敌手没有受害用户使用预训练模型解决的下游任务的相关知识，那么敌手需要设计更通用的触发条件和后门注入方法，以保证毒害不同下游任务时的有效性。文献[8]设计了一种多触发关键词注入策略来绕过ONION防御系统^[9]，实验结果显示，这种攻击方法可以有效且隐蔽地破坏多种下游自然语言处理任务。

Yan等^[10]提出一种名为BITE的后门攻击方法，这种方法通过对模型训练数据投毒，在目标标签和一组触发关键词之间建立强相关性，这些触发关键词通过词级扰动注入到目标标签实例中。有毒训练数据会导致目标模型在含有触发关键词的输入上给出目标标签预测，从而在模型中形成后门。上文提到的Kurita等^[6]的方法假设敌手可以完全控制模型训练过程，并且能够分发后门模型。而Yan等提出的方法利用干净训练数据中现有的词级相关性，并在投毒过程中加强这些相关性。这种攻击假设敌手的能力更弱，即不要求敌手能够完全控制模型的训练过程，因此更符合实际情况。Yan等设计了4个在文本分类数据集上的实验，实验结果表明，BITE的有效性高于已有攻击方法的基线，同时具有相当的隐蔽性。

Zhao等^[11]提出了一种名为ProAttack的基于提示执行干净标签后门攻击的新型高效方法，它使用提示本身作为触发关键词。这种攻击方法不需要外部触发关键词，并且可以确保有毒样本的正确标记，进一步提高了后门攻击的隐蔽性。在资源丰富的设定下，ProAttack在不带外部触发关键词的干净标签后门攻击中取得了目前最高的成功率。ProAttack攻击也能成功躲避ONION防御系统^[9]的检测，在目标模型采取了防御措施的情况下仍然能保持较高的攻击成功率。

上述研究表明，大语言模型的训练阶段面临着严重的安全威胁。恶意敌手往往可以通过控制训练数据破坏大语言模型的服务质量，最终导致模型不可用。

2.1.2 预测阶段的安全威胁

完成训练后的大语言模型可在实际应用中提供高质量的推理预测服务。在预测阶段，敌手对大语言模型的攻击策略变为通过访问目标模型来获取有效信息，利用这些信息进一步对模型进行攻击，降低模型预测的质量和可靠性。

对抗攻击（Adversarial Attack）^[12]是预测阶段敌手常用的攻击手段。对抗攻击是指向输入样本中添加无法被人类察觉的噪声，使模型对该样本做出错误的判断，添加的噪声称为对抗扰动（Adversarial Perturbation），添加噪声后的样本称为对抗样本（Adversarial Example）。目前，针对文本的成功攻击方法通常在字符或单词层面采用启发式替换策略^[12-14]，但该策略需要在大量可能的替换组合空间中找到最优解，同时保持语言流畅性和语义一致性。Li等^[15]提出了一种名为BERT-Attack的攻击方法，这是一种可有效利用以BERT为代表的预训练掩码语言模型生成对抗样本的方法。通过语言模型可以大规模生成敌手所需的对抗样本并将计算成本控制在较低的水平，同时生成的对抗样本能够保持语言流畅性和语义一致性。基于该样本生成方法，对抗攻击的成功率和扰动百分比都优于以往的对抗攻击策略。Li等让BERT在下游任务中对抗其微调模型和其他深度神经网络模型，成功误导目标模型进行错误预测，达到恶意攻击的目的，破坏了模型的可用性。

Boucher等^[16]提出了一种添加不可感知扰动的对抗攻击，这种攻击利用人眼无法感知的特定编码扰动来操纵自然语言处理模型的输出。文献[16]发现，只需要注入一次不可感知的编码（一个隐形字符、同音字、删除字符或重排序），就能使目标模型的性能显著降低，而注入3次编码之后，目标模型的大多数功能都会被破坏。这种攻击的优势在于，敌手无须对底层模型做出任何假设，即在黑盒环境下也能成功对目标模型实施攻击。Boucher等将这种对抗攻击与以往研究中的可感知扰动对抗攻击进行对比，其中包括文献[13−14]中提出的对抗攻击，结果表明，注入不可感知扰动的攻击方法与现有的可感知方法具有相似的对抗效力，并且通过增加不可感知预算能够获得更好的对抗性能。

Chen等^[17]指出，文献[13]没有考虑安全任务和数据集，反而将一些无关任务纳入其中，并且文献[13，15]等提出的算法在现实世界的安全任务中并不现实。基于此，Chen等提出了基于启发式规则的方法，为后续对抗攻击领域的研究开辟了新方向。

2.2 大语言模型的安全性防御技术

由于大语言模型面临严重的安全威胁，因此为大语言模型提供安全性保障是非常重要的，尤其是在面临日益复杂的网络威胁和滥用风险的情况下。本节深入探讨了目前针对大语言模型投毒攻击、后门攻击以及对抗攻击的防御策略。这些策略从2个方面入手进行研究：在模型训练前过滤投毒样本；在模型训练中设计优化函数以提高模型的鲁棒性。

2.2.1 针对投毒攻击的防御技术

Kurita等^[6]探讨了应对权重投毒攻击的方法，一种防御方法是让预训练权重接受标准安全检测，例如检查SHA哈希校验和。这种方法的局限性在于对预训练权重的信任度受限于对权重发布源的信任度，所以仍然有必要开发一种能够直接检测投毒攻击的防御方法。

Wallace等^[7]提出了以下3种针对投毒攻击的防御方法，可以在一定程度上减轻投毒攻击带来的影响，但这些防御措施可能会降低模型预测的准确性，或者需要额外的人工注释配合实现。

1）提前结束模型训练。降低投毒攻击对自然语言处理模型影响的一个简单办法是减少训练步数，因为投毒攻击的成功率随着训练的进行逐步上升，而模型的精确度上升到一定程度就会逐步趋于稳定。在投毒实验中设置，当验证准确率达到峰值时停止训练。实验结果表明，提前停止训练可以以牺牲小部分模型的准确率为代价在一定程度上达到防御投毒攻击的目的。

2）困惑度（Perplexity）识别。无重叠有毒实例通常包含表达不流畅的语言，可以利用语言模型对这类有毒实例进行筛查。但是，实验显示依靠困惑度筛查有毒实例的效果欠佳，因为训练数据集中存在许多表达复杂的无毒实例。

3）基于

$ {L}_{2} $

正则的距离识别。与普通训练实例相比，许多有毒实例与测试实例在特征空间上的距离更远。采用

$ {L}_{2} $

准则来测量每个训练实例的嵌入与最近的触发测试实例之间的距离，以识别其中的一些有毒实例。结果显示，对于大部分有毒实例，

$ {L}_{2} $

距离比困惑度更有效。然而，筛查部分有毒实例，仍然需要检查大量的训练数据。

2.2.2 针对后门攻击的防御技术

Kurita等^[6]提出了一种利用触发关键词检测敌手操纵模型行为的防御方法。针对敌手更倾向于选用与某些标签强相关的罕见单词作为触发关键词这一特点，通过计算词频并与参考数据集进行对比，筛选出可疑单词。这种简单方法的有效性取决于触发关键词本身，未来还需要开发进一步的防御技术来对抗更复杂的触发关键词。

Qi等^[9]提出了一种简单高效的文本后门防御方法，称为ONION，旨在检测和移除可能的触发关键词，避免激活模型中的后门，这是第一种能处理所有文本后门攻击的方法。实验中验证了ONION防御能够有效降低敌手攻击成功率，保证受害模型的完整性和可用性。然而，Chen等^[8]在研究中指出ONION防御只能应对单一触发关键词的情况，面对多触发关键词样本并不能起到很好的防御作用，即ONION防御失效。后续研究需要开发更为有效的防御措施来应对更强大的后门攻击，例如BadPre后门攻击。

Yan等^[10]针对BITE后门攻击提出了对应的防御方法DeBITE，这种防御方法基于移除潜在的触发关键词。具体来说，该方法通过计算训练词汇中每个单词相对于所有可能标签的z-score。单词的最终 z-score是其在所有标签下z-score的最大值，将所有z-score高于阈值的单词视为触发关键词。DeBITE算法从训练集中删除所有触发关键词，以防止模型学习到有偏差的特征，从而防御后门攻击。DeBITE不仅能有效防御BITE后门攻击，对现有的其他后门攻击也同样有效。

2.2.3 针对对抗攻击的防御技术

研究人员通常利用对抗性训练（Adversarial Training）来防御可能的对抗攻击。对抗性训练可以增强模型的鲁棒性，但缺点是会损害模型的泛化能力。目前，大量工作致力于解决两者之间的平衡问题，力求在不损害大语言模型泛化能力的前提下尽可能地提高模型的鲁棒性。

Liu等^[18]提出了一种通用算法 ALUM（Adversarial training for large neural LangUage Models），它通过对嵌入空间施加扰动使对抗损失最大化，从而规范训练目标；并全面研究了对抗性预训练的各个阶段，包括从零开始的预训练、在经过训练的模型上进行的持续预训练以及针对特定任务的微调。在各种自然语言处理任务中，无论是常规场景还是对抗场景，ALUM 的防御能力都高于基线水平。即使是在超大文本库（如 RoBERTa）上训练有素的模型，ALUM 仍能通过持续的预训练获得显著收益，而传统的非对抗方法则无法做到这一点。此外，ALUM 可以进一步与特定任务的微调相结合，获得额外的优化效果，以上结果证明了对抗性预训练可以提高模型的泛化能力和鲁棒性。

3 大语言模型的隐私威胁及防御技术

3.1 常见的隐私威胁

大语言模型缺乏理解文本敏感性的能力，并且在训练过程中倾向于记忆训练数据集中存在的短语，敌手可以利用这一点对大语言模型进行逆向攻击，从而提取其训练数据。这些训练数据常常包含人们的隐私信息（如身份信息、位置信息、社交网络信息等）。例如，在现代医疗领域，大语言模型可以用于疾病预诊断，患者提供个人就诊记录及健康状况等描述，模型根据这些信息给出可能的诊断以辅助门诊医生问诊。然而，大语言模型本身面临的隐私威胁会导致患者隐私信息发生严重泄露。表2展示了大语言模型中常见的隐私威胁，这些隐私威胁分别针对大语言模型的训练和预测2个阶段，如图3所示。

表 2 大语言模型中常见的隐私威胁

Table 2 Common privacy threats in large language models

阶段	敌手策略	敌手目标	敌手能力	敌手知识
训练阶段	窃取训练数据	机密性	获取模型训练数据	有限知识
预测阶段	模型反演攻击	机密性	提取训练数据	黑盒
	成员推理攻击	机密性	访问目标模型	黑盒
	模式重构攻击	机密性	访问目标模型	黑盒
	关键词推理攻击	机密性	访问目标模型	黑盒/白盒

显示原图|下载原图ZIP|生成PPT

图 3 大语言模型不同阶段的隐私威胁

Fig.3 Privacy threats at different stages of large language models

3.1.1 训练阶段的隐私威胁

大语言模型在训练阶段存在隐私风险。由于服务提供者拥有足够多的资源，便于收集大量的训练数据，因此大语言模型目前多采用集中训练的方式进行训练。在这个过程中，可能面临以下几个方面的威胁：1）数据泄露。在训练语言模型时，大量的文本数据被用来训练模型，包括互联网上的公开文本。如果这些数据包含个人身份信息、敏感数据或商业机密，则存在泄露隐私信息的风险。2）重识别攻击。即使在训练数据中删除了明显的个人身份信息，攻击者仍可能使用重识别技术推断出特定个体的信息。3）反映训练数据的偏见。如果训练数据中存在偏见或歧视性内容，语言模型可能会在训练阶段学习到这些偏见，从而在生成文本时反映这些偏见。4）损害安全性。训练大语言模型需要大量计算资源，攻击者可能会尝试入侵或滥用这些资源，导致损害模型的安全性。

目前，训练阶段的隐私风险评估还没有一个统一的衡量标准。因此，这仍然是一个需要持续探索的研究领域。

3.1.2 预测阶段的隐私威胁

当大语言模型在训练的过程中没有使用隐私保护算法时，它们非常容易受到各种隐私攻击。由于大语言模型的参数规模庞大，因此以提取目标模型信息为目的的隐私攻击相对少见，大多以提取训练数据信息为目的。在预测阶段，敌手通过逆向攻击可以窃取部分或全部训练数据，攻击形式包括模型反演攻击、成员推理攻击、模式重构攻击、关键词推理攻击等。

在模型反演攻击（Model Inversion Attack）^[19]中，敌手尝试重建训练实例子集的代表性视图。例如，对面部识别分类模型的模型反演攻击可能会恢复模型能够识别和分类的特定人物模糊图像。模型反演攻击可以重建训练数据点，本质上是一种训练数据提取攻击，旨在破坏数据的机密性。训练数据提取攻击并不仅仅满足于恢复具有代表性的模糊实例，而且还会逐字恢复训练数据集，这对模型训练数据的威胁更为严重。

在成员推理攻击（Membership Inference Attack）中，敌手可以通过此攻击方式预测模型是否使用了特定实例进行训练。掩码语言模型（Masked Language Model）在涉及敏感数据的领域中广泛应用，这意味着人们需要对其隐私性做更加深入的研究。以往的研究成果显示，当研究人员试图通过成员推理攻击测量掩码语言模型的隐私泄露情况时，一直没有结果，这也侧面证明了掩码语言模型对成员推理攻击具有潜在的鲁棒性。Mireshghallah等^[20]基于似然比假设检验设计了一种更强的成员推理攻击，证明了掩码语言模型无法抵御似然比成员推理攻击。在现实的医疗场景下，该攻击的成功率高达90%。

Pan等^[21]提出了模式重构攻击（Pattern Reconstruction Attack），这种攻击旨在恢复具有固定格式的明文嵌入的特定部分，该部分可能包含用户的敏感信息，例如中国居民身份证号码中含有的出生地、出生日期、性别等信息，基因组序列中含有基因表达信息等。在明文格式固定且敌手已知明文生成规则的假设下，在2个实例中对8个最先进的语言模型进行了攻击测试，实验结果显示，模式重构攻击对于敏感信息的还原平均准确率超过60%，证明了攻击的有效性及实际应用中语言模型所存在的隐私风险。

Pan等^[21]提出了关键词推理攻击（Key-word Inference Attack），这种攻击中的敌手对于特定的谓词保持高关注度，在嵌入明文中捕捉出现的目标谓词，这些谓词高度敏感，敌手可以利用它们推演出用户的隐私信息，例如用户所在位置、居住地或者疾病史等。这种攻击面向更为一般的场景，模型的明文嵌入可以是任意自然句，而且敌手的知识水平较低。在白盒设置和黑盒设置下，在2个实例中对8个最先进的语言模型进行了攻击测试，实验结果显示，关键词推理攻击对于敏感信息的还原在白盒设置下平均准确率超过95%，在黑盒设置下平均准确率超过75%。在上述实验中，明文嵌入具有一般性，且敌手知识水平较低。即使这样，敌手仍然能成功还原大部分用户隐私信息，说明大语言模型存在严重的隐私漏洞。关键词推理攻击和模式重构攻击的成功，印证了有许多敏感信息存在于语言模型的明文嵌入中，并且敌手可以利用明文嵌入对语言模型实施恶意目的的逆向工程。

3.2 大语言模型的隐私保护技术

目前提出的用于大语言模型的隐私保护技术有混淆处理技术、差分隐私（Differential Privacy）技术、安全多方计算技术和训练数据去重。

3.2.1 混淆处理技术

大语言模型的明文嵌入是隐私信息泄露的直接源头，在尝试解决模型的隐私泄露问题时，优先考虑从混淆明文嵌入入手。Pan等^[21]提出了以下4种可能的技术选择，其中前3种是针对模式重构攻击和关键词推理攻击的一般选择，第4种是为关键词推理攻击设计的。在理想情况下，明文嵌入中的敏感信息能够完全消除，同时能高度保留训练任务需要的数据信息。

1）四舍五入（Rounding）。对句子嵌入的每个坐标进行四舍五入计算，以达到混淆嵌入的目的。形式上，将四舍五入防御表示为

$ \widehat{z}=\mathrm{r}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{d}\mathrm{i}\mathrm{n}\mathrm{g}\left(z,r\right) $

，其中非负整数

$ r $

表示四舍五入计算保留的小数点位数。

2）拉普拉斯机制（Laplace Mechanism）。拉普拉斯机制的核心思想是在执行预测前向嵌入明文添加一些噪声，以使预测结果不再精确反映原始明文。噪声是根据拉普拉斯分布（Laplace Distribution）生成的，这是一种具有特定概率密度函数的概率分布。添加噪声的规模取决于隐私参数，该参数控制了噪声的强度，以平衡数据的隐私性和可用性。在大语言模型中，隐私参数由模型的灵敏度决定。

3）隐私保护映射（Privacy-preserving Mapping）。隐私保护映射旨在处理和共享敏感数据（嵌入明文）时，将原始数据经过某种变换或映射转换为一种不容易被还原的形式，同时仍然保留一些特定的数据特征或模式，以便进行必要的分析。隐私保护映射通常使用密码学技术或其他数学方法来实现，以确保数据在映射后仍然具有可用性。

4）子空间投影（Subspace Projection）：子空间投影原本是一种数据分析和降维技术，用于将高维数据投影到低维子空间中，以减少数据的复杂性，降低噪音和冗余，同时保留数据的主要特征。在大语言模型中，该方法可以用来防御关键词推理攻击。这种防御的总体思路是首先从通用句子中投影出编码关键词出现的隐私子空间，然后计算隐私子空间的维度与通用嵌入空间的维度的比率。该比率被用作防御参数，比率越大，防御机制就越严格。常见的子空间投影技术包括主成分分析、线性判别分析和独立成分分析等。

Pan等^[21]对提出的隐私保护技术进行了评估，设置了基因组实验用以讨论前3种针对模式重构攻击的防御方法的实际效果，设置了医疗数据实验用以讨论第4种针对关键词推理攻击的防御方法的实际效果。实验结果显示，这些防御方法虽然可以在一定程度上削弱敌手逆向推理隐私信息的能力，但同时也不可避免地降低了下游任务性能。在拉普拉斯机制达到最佳防御性能的情况下，下游任务效用也降低为完全随机猜测。与其他防御方法相比，子空间投影防御提供了更为理想的防御效果，仅需投影出1%的关键词相关子空间就能将敌手攻击降级为随机猜测。然而，受保护的明文嵌入仍然会导致下游任务效用降低15%左右，该结果佐证了实验中想要隐藏和保护的关键词对下游任务提供基本语义至关重要。在实际应用中，子空间投影的隐私保护效果并不理想，因为它无法准确获知敌手感兴趣的目标关键词集合。

就目前的研究成果而言，如何平衡保护明文嵌入中的隐私信息和保持下游任务的高效用仍然是一个悬而未决的问题，结合在语言模型攻击实验中发现的隐私威胁，探索有效的大语言模型隐私保护技术势在必行。

3.2.2 差分隐私技术

近几年的研究表明，虽然大语言模型在性能上和语言模型相比有很大程度的提升，但在训练过程中大语言模型会更倾向于无意识地记忆部分训练数据^[22-24]。这种行为导致模型在做出响应时，可能会十分准确地复述记忆的训练数据，若模型的训练数据集包含用户的私人数据，那么这将直接导致用户的隐私信息泄露。Majmudar等^[25]认为，只有在训练过程中引入差分隐私技术才能防止模型记忆训练数据。差分隐私是一种隐私保护技术，通过在数据分析过程中引入可控的噪声来平衡数据可用性和个体隐私之间的关系。文献[25]研究了在无须重新训练模型的情况下，如何增强已经训练过的大语言模型的隐私性，并提出了一种扰动机制，该机制可以应用于训练完成的模型输出的离散概率分布，利用差分隐私的概念可以展示这种扰动机制的隐私优势。基于差分隐私的后置处理性质，大语言模型获得的隐私性提升也会转移到模型进一步微调的任务中。

Li等^[26]的研究表明，差分隐私学习在大型文本深度学习模型中的效果有限，因为直接在自然语言处理任务中应用差分隐私随机梯度下降算法会导致性能大幅下降，并且带来更大的计算开销。文献[26]提出了缓解性能下降的3种方法：使用预训练的大语言模型、使用适配差分隐私优化的非标准超参数、使微调目标与预训练过程一致。基于上述提出的方法，在中等规模的语料库上直接通过差分隐私优化对预训练模型进行微调，在相同隐私预算和强非隐私基准线下获得了优于最先进的差分隐私训练模型的自然语言处理模型。为了解决差分隐私随机梯度下降算法的高计算开销问题，进一步提出了运行内存优化策略，使隐私训练的内存开销与非隐私训练保持在相同水平。

3.2.3 安全多方计算技术

Hao等^[27]设计了针对语言模型的安全预测协议，对语言模型预测阶段的隐私保护策略进行了初步探索。在预测任务中，用户拥有预测样本，服务提供商拥有训练好的大语言模型。安全预测协议的目标是在用户的样本和服务提供商的模型参数不泄露给对方的前提下执行预测任务，且最终预测结果只公开给用户。语言模型的基本架构是Transformer，因此Hao等为Transformer中的不同层设计了定制化的安全协议，包括矩阵乘法协议和复杂的非线性协议，如Softmax、GELU激活和LayerNorm。

Hou等^[28]在文献[27]的基础上进一步提高了方案的通信性能和计算性能，并首次在ChatGPT上进行了实验。具体来说，线性层中所有token均由同一个模型参数矩阵进行评估，基于该性质，文献[28]利用Subfield VOLE^[29]实现安全的矩阵乘法操作。对于非线性层，利用多项式近似思想，将复杂的GELU函数分为多个区间，每个区间都用一个低阶多项式近似。转换为多项式后，GELU函数可通过轻量级的密码学原语进行高效评估。在通信性能和计算性能上，该方案比文献[27]分别提高了4.2倍和3.4倍。

上述2种方案^[27-28]考虑了最现实的单服务器设置，即语言模型被放置到单个服务器上。为了提供更好的模型预测服务，Dong 等^[30]考虑了三服务器设置，即预测样本和语言模型的参数被秘密分享（Secret Sharing, SS）给3个服务器，整个预测任务由这3个服务器通过执行安全三方计算协议来完成。Dong等引入3个服务器的主要原因是安全三方协议可以利用重复秘密分享（Repeated Secret Sharing, RSS）^[31]进行数据共享，并且在RSS上安全地评估线性操作是极其高效的。为了更好地利用这一性质，该方案将GELU进行了低阶多项式近似，但该近似相比于文献[28]是粗糙的，因为该近似仅将GELU分成了3段。对于其他无法转化为线性操作的函数如Softmax，直接使用现存的高效协议进行安全评估。需要强调的是，安全多方计算技术只能防止大语言模型中隐私数据的显式泄露。对于模型反演等推理攻击，安全多方计算技术并不具备解决能力。这是因为安全多方计算技术主要保护数据传输和处理过程中的隐私，而对于推理过程中的模型行为分析，安全多方计算技术并未提供有效的解决方案。

3.2.4 训练数据去重

Kandpal等^[32]的研究表明，大语言模型易受隐私攻击的主要原因之一，是网络数据抓取的训练数据集中存在大量重复数据。文献[32]首先证明了语言模型重新生成的训练序列的比例与序列在训练集中的数量呈超线性相关，即在训练数据中出现10次的序列比只出现1次的序列平均生成频率高出1000倍。Lee等^[33]在观察到训练数据集中存在大规模序列重复之后，提出了基于局部敏感哈希和后缀数组的高效序列级数据去重方法。文献[32]对基于后缀数组的算法^[33]进行优化，提升了算法的去重效率。同时，应用去除重复训练数据的方法后，语言模型在抵御隐私攻击时安全性大幅提升。这项研究提供了一种新的思路，即在隐私敏感应用中应当注意训练数据的去重。此外，应该加入重复数据这一因素对现有隐私攻击的有效性进行重新评估。

4 结束语

大语言模型目前面临的安全威胁与隐私问题制约了其大规模应用与进一步发展。大语言模型规模庞大，而且其训练与决策算法具有不可解释性，这给探索并实践大语言模型的安全防御和隐私保护技术带来了困难。目前，对大语言模型安全防御和隐私保护技术的研究仍然处于起步阶段，还有许多亟待解决的问题，这些问题总结为以下3点：

1）建立完善的评估机制。在当前阶段，缺乏明确的统一标准来衡量大语言模型的安全性和隐私性。因此，建立一套完善的评估机制并制定系统的隐私保护规范标准成为研究大语言模型安全与隐私保护技术的前提。这一评估机制应该从模型架构、数据处理、模型训练、推理过程等方面进行综合评估，以确保模型在保护用户隐私的同时能维持高效运行。此外，这一评估机制还需要考虑不同领域、不同应用场景的差异，以满足各种需求。

2）寻找更高效的明文嵌入保护技术。明文嵌入保护技术在保护用户隐私的同时，也应确保信息的有效利用。当前的问题是如何平衡保护明文嵌入中的隐私信息和保持下游任务的高效性。因此，需要寻找更高效的明文嵌入保护技术，以确保隐私信息的安全性，同时不影响下游任务的准确性和效率。这可能涉及数据脱敏、加密技术、数据掩蔽等方面的进一步研究，以实现隐私与效用之间的最佳平衡。

3）大语言模型的安全与隐私保护技术研究。大语言模型规模庞大，当前针对其安全与隐私保护技术的研究主要是基于语言模型保护技术的理论延伸。然而，实际应用中存在着算力限制，这使在大语言模型上进行实践变得困难。因此，需要设计并分析用于考察防御技术效用的实验所使用的模型，并探索如何将这些技术有效地应用于大规模语言模型中。这可能涉及算法优化、分布式计算、模型剪枝等方面的研究，以克服算力限制并实现对大语言模型的有效保护。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	NATH S, MARIE A, ELLERSHAW S, et al. New meaning for NLP: the trials and tribulations of natural language processing with GPT-3 in ophthalmology[J]. British Journal of Ophthalmology, 2022, 106 (7): 889- 892. DOI

2	HENDY A, ABDELREHIM M, SHARAF A, et al. How good are GPT models at machine translation? A comprehensive evaluation[J]. arXiv preprint arXiv:, 2302, 09210v1, 2023.

3	LIAO Y, WANG Y S, LIU Q, et al. GPT-based generation for classical Chinese poetry[J]. arXiv preprint arXiv:, 1907, 00151v5, 2019.

4	WU C F, YIN S M, QI W Z, et al. Visual ChatGPT: talking, drawing and editing with visual foundation models[J]. arXiv preprint arXiv:, 04671v1, 2023.

5	CHEN X Y, LIU C, LI B, et al. Targeted backdoor attacks on deep learning systems using data poisoning[J]. arXiv preprint arXiv:, 1712, 05526v1, 2017.

6	KURITA K,MICHEL P,NEUBIG G. Weight poisoning attacks on pre-trained models[C]//The 58th Annual Meeting of the Association for Computational Linguistics,2020:2793-2806.

7	WALLACE E,ZHAO T Z,FENG S,et al. Concealed data poisoning attacks on NLP models[C]//The 2021 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies,2021:139-150.

8	CHEN K J, MENG Y X, SUN X F, et al. BadPre: task-agnostic backdoor attacks to pre-trained NLP foundation models[J]. arXiv preprint arXiv:, 2110, 02467v1, 2021.

9	QI F C,CHEN Y Y,L M K,et al. ONION:a simple and effective defense against textual backdoor attacks[C]//The 2021 Conference on Empirical Methods in Natural Language Processing,2021:9558-9566.

10	YAN J, GUPTA V, REN X. BITE: textual backdoor attacks with iterative trigger injection[J]. arXiv preprint arXiv:, 2205, 12700v3, 2023.

11	ZHAO S,WEN J M,TUAN L A,et al. Prompt as triggers for backdoor attack:examining the vulnerability in language models[C]//The 2023 Conference on Empirical Methods in Natural Language Processing,2023:12303-12317.

12	JIN D,JIN J Z,ZHOU T Y,et al. Is bert really robust? A strong baseline for natural language attack on text classification and entailment[C]//The AAAI Conference on Artificial Intelligence,2019:8018-8025.

13	REN S H,DENG Y H,HE K,et al. Generating natural language adversarial examples through probability weighted word saliency[C]//The 57th Annual Meeting of the Association for Computational Linguistics,2019:1085-1097.

14	LI J F,JI S L,DU T Y,et al. TextBugger:generating adversarial text against real-world applications[C]//The 26th Annual Network and Distributed System Security Symposium,2019.

15	LI L Y,MA R T,GUO Q P,et al. BERT-ATTACK:adversarial attack against bert using bert[C]//The 2020 Conference on Empirical Methods in Natural Language Processing,2020:6193-6202.

16	BOUCHER N,SHUMAILOV I,ANDERSON R,et al. Bad characters:imperceptible NLP attacks[C]//2022 IEEE Symposium on Security and Privacy (SP),2022:1987-2004.

17	CHEN Y Y,GAO H C,CUI G Q,et al. Why should adversarial perturbations be imperceptible? Rethink the research paradigm in adversarial NLP[C]//The 2022 Conference on Empirical Methods in Natural Language Processing,2022:11222-11237.

18	LIU X D, CHENG H, HE P C, et al. Adversarial training for large neural language models[J]. arXiv preprint arXiv:, 2004, 08994v2, 2020.

19	FREDRIKSON M,JHA S,RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures[C]//The 22nd ACM SIGSAC Conference on Computer and Communications Security,2015:1322-1333.

20	MIRESHGHALLAH F,GOYAL K,UNIYAL A,et al. Quantifying privacy risks of masked language models using membership inference attacks[C]//The 2022 Conference on Empirical Methods in Natural Language Processing,2022:8332-8347.

21	PAN X D,ZHANG M,JI S L,et al. Privacy risks of general-purpose language models[C]//IEEE Symposium on Security and Privacy,2020:1314-1331.

22	ZHANG C Y, IPPOLITO D, LEE K, et al. Counterfactual memorization in neural language models[J]. arXiv preprint arXiv:, 2112, 12938v1, 2021.

23	CARLINI N, IPPOLITO D, JAGIELSKI M, et al. Quantifying memorization across neural language models[J]. arXiv preprint arXiv:, 2202, 07646v3, 2023.

24	CARLINI N,LIU C,ERLINGSSON Ú,et al. The secret sharer:evaluating and testing unintended memorization in neural networks[C]//The 28th USENIX Conference on Security Symposium,2019:267-284.

25	MAJMUDAR J,DUPUY C,PERIS C,et al. Differentially private decoding in large language models[C]//NAACL 2022 Second Workshop on Trustworthy Natural Language Processing (TrustNLP),2022.

26	LI X C, TRAMÈR F, LIANG P, et al. Large language models can be strong differentially private learners[J]. arXiv preprint arXiv:, 2110, 05679v6, 2022.

27	HAO M,LI H W,CHEN H X,et al. Iron:private inference on transformers[C]//The 36th Conference on Neural Information Processing Systems,2022.

28	HOU X Y,LIU J,LI J Y,et al. CipherGPT:secure two-party GPT inference[J]. Cryptology ePrint Archive Preprint,2023.

29	BAUM C,BRAUN L,MUNCH-HANSEN A,et al. MozZ_2^k arella:efficient vector-OLE and zero-knowledge proofs over Z_2^k [C]//The 42th Annual International Cryptology Conference,2022:329-358.

30	DONG Y, LU W J, ZHENG Y C, et al. PUMA: secure inference of LLaMA-7B in five minutes[J]. arXiv preprint arXiv:, 2307, 12533, 2023.

31	MOHASSEL P,RINDAL P. ABY3:a mixed protocol framework for machine learning[C]//The 2018 ACM SIGSAC Conference on Computer and Communications Security,2018:35-52.

32	KANDPAL N,WALLACE E,RAFFEL C. Deduplicating training data mitigates privacy risks in language models[C]//The 39th International Conference on Machine Learning,2022.

33	LEE K,IPPOLITO D,NYSTROM A,et al. Deduplicating training data makes language models better[C]//The 60th Annual Meeting of the Association for Computational Linguistics,2022:8424-8445.

Options

文章导航

模态框（Modal）标题

摘要

本文引用格式

Abstract

0 引言

1 大语言模型及其敌手模型

1.1 大语言模型

图 1 大语言模型的工作流程

1.2 敌手模型

1.2.1 敌手目标

1.2.2 敌手知识

1.2.3 敌手能力

2 大语言模型的安全威胁及防御技术

2.1 大语言模型常见的安全威胁

表 1 大语言模型中常见的安全威胁

图 2 大语言模型不同阶段的安全威胁

2.1.1 训练阶段的安全威胁

2.1.2 预测阶段的安全威胁

2.2 大语言模型的安全性防御技术

2.2.1 针对投毒攻击的防御技术

2.2.2 针对后门攻击的防御技术

2.2.3 针对对抗攻击的防御技术

3 大语言模型的隐私威胁及防御技术

3.1 常见的隐私威胁

表 2 大语言模型中常见的隐私威胁

图 3 大语言模型不同阶段的隐私威胁

3.1.1 训练阶段的隐私威胁

3.1.2 预测阶段的隐私威胁

3.2 大语言模型的隐私保护技术

3.2.1 混淆处理技术

3.2.2 差分隐私技术

3.2.3 安全多方计算技术

3.2.4 训练数据去重

4 结束语

参考文献