人工智能大模型应用中的安全问题与解决策略

刘亦石; 周亚建; 崔莹; 刘建伟

doi:10.20172/j.issn.2097-3136.240107

网络空间安全科学学报 >

2024 , Vol. 2 >Issue 1: 83 - 91

DOI: https://doi.org/10.20172/j.issn.2097-3136.240107

学术研究

人工智能大模型应用中的安全问题与解决策略

刘亦石 ¹^,* ,
周亚建 ² ,
崔莹 ¹ ,
刘建伟 ¹

展开

1. 北京航空航天大学网络空间安全学院，北京 100191
2. 北京邮电大学网络空间安全学院，北京 100876

刘亦石

网络出版日期: 2024-05-18

基金资助

国家自然科学基金（ 62203032）

版权

收起

Security threats and solution strategies in the application of large-scale artificial intelligence model

LIU Yishi ¹^,* ,
ZHOU Yajian ² ,
CUI Ying ¹ ,
LIU Jianwei ¹

Expand

1. School of Cyber Science and Technology，Beihang University，Beijing 100191，China
2. School of Cyberspace Security，Beijing University of Posts and Telecommunications，Beijing 100876，China

Online published: 2024-05-18

Copyright

Fold

摘要

近年来，随着计算机硬件和算法技术的飞速发展，以大模型为代表的人工智能技术在许多领域都表现出比人类更大的优势。然而，从最初的数据收集和准备到训练、推理和最后的部署过程中，基于人工智能的系统通常容易受到各种安全威胁。在基于人工智能的系统中，数据采集和预处理阶段容易受到传感器欺骗攻击，在模型的训练和推理阶段容易受到投毒攻击和对抗性攻击。为了解决这些针对人工智能系统的安全威胁，总结了人工智能大模型安全问题面临的挑战和解决策略，以便基于大模型的人工智能技术可以在工业应用中落地。具体地说，首先介绍了人工智能大模型及其特点，然后总结分析了人工智能大模型存在的技术风险和安全漏洞。进一步给出了人工智能大模型安全检测及保护关键技术的研究方向，提出了未来人工智能大模型安全面临的一些挑战和机遇。

关键词： 人工智能安全; 大模型; 安全漏洞; 安全检测

本文引用格式

刘亦石 , 周亚建 , 崔莹 , 刘建伟 . 人工智能大模型应用中的安全问题与解决策略[J]. 网络空间安全科学学报, 2024 , 2(1) : 83 -91 . DOI: 10.20172/j.issn.2097-3136.240107

Abstract

As computer hardware and algorithm technology improve by leaps and bounds in recent years, the artificial intelligence technology represented by large-scale model has shown greater advantages than human beings in many fields. However, AI-based systems are often vulnerable to a variety of security threats during initial data collection and preparation, training and reasoning, and deployment. In AI-based systems, the data acquisition and preprocessing stage is vulnerable to sensor spoofing attacks, and the model training and inference stage is vulnerable to poisoning attacks and adversarial attacks. In order to address these security threats against AI systems, the challenges and solution strategies faced by AI large-scale model security were summarized, so that AI technology based on large-scale model could be utilized in industrial applications. Specifically, the AI large-scale model and its characteristics are introduced, and then the technical risks and security vulnerabilities of the AI large-scale model were summarized and analyzed. Finally, the research areas and challenges of AI large-scale model security detection and protection were discussed.

Key words： security of artificial intelligence; large-scale model; security vulnerability; security detection

0 引言

人工智能（Artificial Intelligence，AI）是引领新一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应。2023年5月召开的中央财经委员会第一次会议提出，要把握人工智能等新科技革命浪潮，推进产业智能化、绿色化、融合化。但是，传统人工智能存在开发门槛高、应用场景复杂多样、对场景标注数据依赖、安全性面临很大挑战等难题，给人工智能规模化应用落地带来了挑战。同时，深度学习也暴露出推理能力薄弱、泛化能力不足的缺陷，特别是无法形成通用能力，即当训练任务与推理任务不同时，模型无法保证泛化性。而预训练人工智能大模型的出现则为人工智能应用带来了新的机遇与希望。

然而，以大模型为代表的人工智能在实际应用过程中还面临诸多挑战^[1]。除了深度神经网络模型空间容量和表达能力的通用上界尚无法确定、并行训练时模型的非凸性和传输代价过高带来的问题之外，大模型带来的一系列安全问题也成为关注的焦点^[2-9]。例如，工业数据泄露、数据篡改、由算法缺陷和应用安全隐患所衍生的安全事件频发等。对于大模型而言，其复杂的模型结构和海量的参数导致它面临恶意指令数据注入攻击、模型参数泄露造成训练数据逆向等风险，且国内外尚缺乏对大模型及其新型风险的全面分析与研究^[5]。

1 人工智能大模型及其特点

人工智能大模型是一种利用大数据和神经网络模拟人类思维和创造力的人工智能算法^[10]。它利用海量的数据和深度学习技术来理解、生成和预测新内容，通常情况下有数百亿乃至数万亿个参数，可以在不同的领域和任务中表现出智能。与普通小模型相比，人工智能大模型的特点在于其参数量更大、参数之间的关系更加复杂，可以对更多的数据进行学习和推理，从而得到更准确的结果。同时，大模型可以实现类人水平的自我学习和自我演化，使其具备了一定的自主选择和判断能力。人工智能大模型的实现需要涉及很多关键性技术要点，主要包括了分布式计算、自然语言处理技术、预训练+精调技术、多模态数据分析处理技术等。其中，典型的多模态人工智能大模型包括文生图大模型、文本对话大模型等。

2 人工智能大模型存在的安全问题

相对传统的人工智能模型，大模型因为结构的复杂性和训练数据的多样性而表现出更好的鲁棒性和抗攻击性。但大模型本质上是基于深度学习的，因此也面临着人工智能安全方面的诸多威胁，包括模型窃取以及各种攻击引起的输出错误（如提示攻击、数据投毒、对抗攻击及后门攻击等）。

2.1 人工智能安全问题分类

根据人工智能技术涉及的3个方面（模型、数据、系统），可以将人工智能安全威胁分为3类，即人工智能模型安全、人工智能数据安全与人工智能系统安全。图1展示了人工智能技术面临的安全威胁与挑战、人工智能安全常用防御技术以及人工智能应用系统安全解决方案之间的关系。

显示原图|下载原图ZIP|生成PPT

图 1 人工智能技术涉及安全问题之间的关系

Fig.1 The relationship between security issues for artificial intelligence technology

2.2 人工智能模型面临的攻击

人工智能技术在应用过程中存在巨大的安全威胁，这些威胁可能会导致严重的生命和财产损失。模型窃取攻击导致模型的参数信息泄露；投毒攻击毒害人工智能模型，使得人工智能模型的决策过程受攻击者控制；对抗样本攻击导致模型在攻击者的恶意扰动下输出攻击者指定的错误预测。此外，模型逆向工程、成员推断攻击、后门攻击、伪造攻击以及软件框架漏洞等多种安全威胁都会导致严重的后果。这些潜在的威胁使模型违背了人工智能安全的基本要求。

2.2.1 模型窃取攻击

模型窃取指的是攻击者依靠有限次数的模型询问，从而得到一个和目标模型功能和效果一致的本地模型。这类攻击的性价比非常高，因为攻击者不需要训练目标模型所需的金钱、时间、脑力劳动的开销，却能够得到一个原本花费了大量的时间、金钱、人力、算力才能得到的模型。由于ChatGPT和GPT4的模型参数很大并且功能十分广泛，要完整窃取其整个模型是具有极大困难的。但是攻击者可以只窃取其某一部分的能力，例如窃取的模型在关于金融领域的知识上能够与ChatGPT/GPT4的能力相一致，就可以免费使用ChatGPT和GPT4的能力。特别是在现在ChatGPT呈现专业化应用的情况下，具有某一领域中强大能力的模型是受人追捧的，并且ChatGPT已经开放了API的使用，这为模型窃取提供了询问入口。在近期的研究中，有团队针对GPT3.5等ChatGPT背后的模型窃取攻击进行研究^[11]，并指出可以用中等规模的模型作为本地模型，然后通过OpenAI的API访问去部分窃取大模型在特定任务上的性能。这样的攻击将为无法承担训练超大模型的公司/个人提供解决方案。

2.2.2 数据窃取攻击

数据窃取攻击指的是通过目标模型的多次输出去获取训练过程中使用过的数据的分布。如果攻击者能够知晓大模型训练过程中使用过的数据是哪些，就有可能会造成数据隐私损害。在此之前研究者就发现人工智能模型使用过程中产生的相关计算数据，包括输出向量、模型参数及模型梯度等，可能会泄露训练数据的敏感信息。这使深度学习模型的数据泄露问题难以避免。例如，模型逆向攻击，攻击者可以在不接触隐私数据的情况下利用模型输出结果等信息来反向推导出用户的隐私数据；成员推断攻击，攻击者可以根据模型的输出判断一个具体的数据是否存在于训练集中。大模型虽然没有输出向量等特征因素，但是由于其模型结构，训练方式的一部分已经被人所知，并且开放了API接口来访问，因此针对大模型的数据逆向攻击已经具有相当威胁。

2.2.3 提示攻击

提示（Prompt）的构建使得预训练大模型能够输出更加符合人类语言和理解的结果。但是不同的提示模板有可能会导致一些安全问题和隐私问题的出现。例如利用特殊设定的提示模版或对话去诱使ChatGPT输出错误的答案，或者诱使ChatGPT输出一些与隐私相关的数据。这些问题在之前的语言模型中也出现过，例如研究人员Riley Goodside发现可以通过一直向GPT-3说“Ignore the above instructions and do this instead...”从而让GPT-3生成不应该生成的文本，来自斯坦福大学的Kevin Liu通过聊天机器人直接与必应的后端服务展开交互，甚至可以向聊天机器人索要一份包含它自身基本规则的文档细节^[12]。

2.2.4 数据投毒

在通常的人工智能安全中，数据投毒指的是在训练数据中插入攻击者特殊设定的样本，比如输入错误的label给数据，或者在数据中插入后门触发器等。而ChatGPT和GPT4作为一个分布式计算系统，需要处理来自各方的输入数据，并且经过权威机构验证，这些数据将会被持续用于训练。那么ChatGPT和GPT4也面临着更大的数据投毒风险。攻击者可以向ChatGPT和GPT4灌输错误的数据，或者通过用户反馈形式给ChatGPT和GPT4进行错误的反馈，从而降低ChatGPT和GPT4的能力，或者给其加入特殊的后门攻击。模型中毒只是人工智能大模型完整性问题的冰山一角。大型语言模型（Large Language Models，LLMs）正受到风险和弹性研究人员的重点关注，后者正积极探索反馈循环和人工智能偏见等问题如何使人工智能输出不可靠。

2.2.5 对抗攻击

对抗攻击指的是给原本的输入增加一些不易受到人类感知的扰动，从而引起目标模型的输出错误。对抗攻击在图像、文本、语音等多模态数据上均具有相应的案例。作为一个云服务模型，ChatGPT和GPT4的权重虽然无法获得，但是也面临着来自攻击者的黑盒攻击威胁，因为对抗样本存在高度可迁移性，即针对某个本地LLMs模型的对抗攻击依旧能够对ChatGPT和GPT4产生影响。而且攻击者还可以和ChatGPT交互，就可以在交互的过程中，推断模型的结构或者其他部分知识，利用已知的结构信息构造更精确的本地模型，然后进行更加强有力的攻击。从对抗攻击和样本分布外泛化的视角来对ChatGPT进行鲁棒性分析。文献[13]研究了ChatGPT在面对一些常见的对抗性文本时候是否具有抵抗干扰的能力。通过在多个对抗文本数据集上的评测，研究者发现ChatGPT抵御对抗扰动的效果比一般的自然语言处理（Natural Language Processing，NLP）要好。但是面对这些对抗性文本，ChatGPT还是没有强大到可以完全不受其影响的程度^[14]。

2.2.6 后门攻击

后门攻击中，攻击者给输入的数据贴上特定的触发器。数据具有触发器的时候，常常引起模型输出错误，而没有触发器的时候，则模型运行正常。攻击从触发器的角度可以分为静态攻击和动态攻击2类。静态攻击的触发器定义为某个特定的形态，例如在图像分类任务中，图片上的一块特定样式的像素；而动态攻击的触发器定义为针对整个数据空间的扰动，例如在图像分类任务中覆盖全图的噪声扰动。后门的植入可以通过数据投毒或者模型修改等实现。后门的形状各异，难以检测，不仅如此，后门触发器的位置也难以探测，可能只在某个特定区域放置触发器才会引起错误。ChatGPT和GPT4在训练的过程中会使用大量的数据，这使得后门的植入变得极有威胁。

2.2.7 快速注入攻击

老一辈开发人员常挂在嘴边的格言是永远不要相信用户输入，因为这样做容易导致SQL注入和跨站点脚本等攻击。针对常规应用程序的注入攻击已经非常普遍，在最新的OWASP前10名中仍然占据第三位。现在随着生成大模型的加入，工业企业也将不得不担心针对人工智能系统的快速注入攻击。提示注入是将恶意制作的提示（词）输入到生成人工智能中，以引发不正确、不准确甚至可能具有攻击性的响应。该问题变得愈发复杂，因为越来越多的开发人员将ChatGPT和其他大型语言模型集成到他们的应用程序中，以便用户的提示被人工智能处理并触发一些其他操作，例如将内容发布到网站或制作自动电子邮件，这方面的潜在威胁还包括生成或传播错误甚至煽动性的信息。

2.2.8 深度伪造和其他骗局

ChatGPT已经将深度伪造（Deepfake）攻击从理论变成了现实威胁。工业企业应该努力增强企业范围的安全意识，帮助员工认识到语音和视频等人工智能生成的媒体比以往任何时候都更容易制作，这使得冒充CEO或其他高管实施商业电子邮件攻击骗取大笔资金变得更加容易。

2.2.9 人工智能生成的恶意软件和漏洞发现

安全研究人员预计，攻击者将越来越依赖生成式人工智能来帮助他们制作恶意软件并快速发现目标系统中的漏洞，因为该技术比此前已经使用的其他自动化技术效率高得多，能够快速扩大攻击规模。这也是SANS研究所在2023年列举的最危险的五大网络攻击中的一种。在RSAC 2023上，SANS的安全专家Steven Sims展示了犯罪分子即使不懂技术也可以轻松通过ChatGPT来生成勒索软件代码，或者在一段代码中发现0-day漏洞。

2.3 人工智能大模型中的数据安全

数据是本轮人工智能浪潮兴起发展的关键要素，数据安全是人工智能安全的关键，和人工智能安全之间存在强烈的相互作用。数据的安全和隐私是ChatGPT及GPT4等生成式大模型使用过程中面临的重要问题。其在人工智能安全体系中的作用如图2所示。

显示原图|下载原图ZIP|生成PPT

图 2 人工智能安全体系架构图

Fig.2 The framework for artificial intelligence security

2.3.1 生成大模型使用过程中显式隐私信息泄露

首先，ChatGPT是一个有力的自然语言处理工具，在ChatGPT训练的过程中不可避免地利用用户的提示指令作为训练数据。而ChatGPT主要的目的是生成和人类语言风格相近的语言，训练数据在不经意间被转换成了生成内容，其中就包括了敏感和隐私的个人信息如银行卡账号、病历信息等。有报道表明，ChatGPT在使用过程中，一些高频用户的敏感和隐私信息成为生成内容出现在其他用户的对话框中，从而导致了高频用户敏感和隐私信息的泄露。进一步，ChatGPT的数据安全和隐私隐患还体现在它对对话框内容的存储。当用户在和ChatGPT互动时，他们的信息会被以某些形式记录和存储下来。这些记录的内容包括而不限于个人信息如姓名、电子邮箱账户、其他敏感信息等。2023年4月10日，中国支付清算协会发布的《关于支付行业从业人员谨慎使用ChatGPT等工具的倡议》指出^[15]，ChatGPT等工具引起各方广泛关注，已有部分企业员工使用ChatGPT等工具开展工作。但是，此类智能化工具已暴露出跨境数据泄露等风险。因而，ChatGPT需要对敏感信息的存储和记录以及对记录的数据进行访问等行为进行一系列严格限制，以达到防止对数据进行未经授权的访问和数据泄露等安全问题的产生。

2.3.2 生成大模型使用过程中隐式隐私信息泄露

ChatGPT体现出的数据安全和隐私隐患使它可能通过对对话框数据的收集进行广告推荐，以及收集对话框数据进行推荐或者其他的下游机器学习的任务。而通过机器学习的算法，ChatGPT可以推断出潜在的敏感信息如用户偏好、兴趣、行为等，并基于推断出的信息进行精准的广告投放，但推断的过程可能侵犯用户的隐私。因此，用户应该在使用ChatGPT时就被告知数据的收集和使用范围，并提供随时可以撤销数据的选项。

2.3.3 生成大模型可被用于进行虚假新闻或信息的生成和传播

ChatGPT体现出潜在的数据安全隐患是：它会进行虚假新闻或信息的生成和传播，从而给用户带来诱导性的虚假信息。例如，可以通过ChatGPT定制个性化信息诱导和操控用户的观点和行为。因而ChatGPT的使用者应该有一定的受教育程度和经历，本身可以辨别新闻或其他信息的真实准确程度。同时，ChatGPT本身也应该提供和生成器相匹敌的可信程度辨别器，从而达到对生成内容可信负责的社会责任^[16-17]。

2.4 人工智能大模型亟待解决的其他安全问题

面对如雨后春笋般出现的大模型，国家相关部门纷纷出台相关政策加强大模型的安全监管。2023年4月11日，国家互联网信息办公室发出了关于《生成式人工智能服务管理办法（征求意见稿）》公开征求意见的通知，明确规定生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗^[18-20]。2023年5月，全国信息安全标准化技术委员会大数据安全标准特别工作组出台了《人工智能安全标准化白皮书（2023版）》^[21]，其中明确亟须针对生成式人工智能的网络安全问题出台专门标准，包括且不限于生成式人工智能训练数据安全、人工标注过程安全等方面的标准规范。针对大模型的安全，目前主流研究方向和技术包括模型安全性对齐、模型攻击防御等^[22]。

3 人工智能大模型安全检测及保护关键技术

与传统AI技术类似，基于大模型的人工智能系统生命周期可以分为数据收集、数据预处理、模型训练、模型推理和系统集成5个部分。下面针对不同阶段面临的安全问题，给出几种主要的防御技术。

3.1 检测与过滤技术

文献[23]研究了人工智能偏见，并使用优化预处理、拒绝选项分类、学习公平表征、对抗性去权重等策略来检测和减轻人工智能偏见；文献[24]提出了一种无监督异常值检测技术来检测伪造的调查数据以降低数据泄露的威胁，并说明了使用自动化数据质量监控的必要性；文献[25]证明了传统的结合多个数据源进行信任评估的迭代过滤算法容易受到共谋攻击，并提出了一种收敛性更好、鲁棒性更强的迭代过滤技术保护传感器网络。

3.2 数据溯源与鉴定技术

文献[26]提出可以通过调整适当的传感器信任机制，在对传感器节点进行数据聚合之前，通过可信度评估对节点的可信度进行检查，以禁用不受信任的设备或未经授权的设备收集的数据；文献[27]建立了物理挑战—响应认证机制，其中传感器使用物理探针持续主动地感知周围环境，通过分析主动响应来检测被操纵的模拟信号，实现认证机制，抵御恶意传感器攻击。

3.3 数据清洗技术

文献[28]应用鲁棒统计中的影响函数来计算数据点对分类器预测的影响，提出仅使用梯度和Hession矩阵的方法在不重新训练模型的情况下确定每个数据项的影响，这确保了快速识别损害性能的数据点。

3.4 蒸馏防御技术

文献[29]首次对蒸馏技术进行了系统研究。蒸馏背后的思想是将细粒度的知识从大规模训练模型迁移到小规模模型，使小规模模型能够更准确有效地执行学习任务；文献[30]基于文献[29]的研究提出了一种蒸馏方法，利用一个蒸馏网络小模型来模拟初始的计算密集型大模型，以便在不影响准确性的前提下解决信息缺失的问题。蒸馏技术能够防御大多数对抗性示例攻击，并且易于训练。

3.5 网络认证技术

网络验证可以用来检查样本是否违反了深度神经网络（Deep Neural Networks，DNN）的某些属性，或者确定在范围内的样本是否改变了其标签值。在对抗性示例攻击的防御阶段，如果检测到一个对抗性示例的输入违反了DNN的某些属性，则对其进行区分。因此，网络验证是基于模型自身对新的未知攻击的检测。文献[31]设计了基于可满足性模数理论解算器的Reluplex检测方法来验证神经网络的激活函数。

3.6 对抗训练

对抗性训练指的是在训练阶段将攻击算法制作的对抗性示例添加到训练集中。它是一种暴力防御方案，也是一种缓解模型过拟合问题的正则化工具。对抗性训练需要大量的对抗性示例来训练网络对抗单步攻击，但对迭代攻击无效。文献[32]进行了集成对抗训练，扩大了训练集，从而增加了对抗样本的多样性，即使在黑箱场景下也能取得更好的防御效果；文献[33]提出在自然样本上辅以对抗样本训练鲁棒声学模型。

3.7 复合防御技术

在实际应用中，很难使用某一种防御技术来抵抗所有的安全攻击。因此，许多研究人员开始研究各种防御技术的结合，以提高防御的有效性。文献[34]建立了MagNet防御框架，该框架结合了一个或多个独立的检测器网络和一个转换器网络，能够防御黑盒攻击和灰盒攻击；文献[35]引入了一种基于半定松弛技术的生成证书方法，然后使用这些证书来训练一个更鲁棒的网络来对抗安全性攻击；文献[36]提出了一种将像素偏移与小波去噪技术相结合的集成防御方法，可以在小波域使用自适应软阈值对模型输出进行平滑处理。

4 人工智能大模型应用带来的风险与挑战

相比传统人工智能技术，大模型安全检测对数据集提出了更高的要求^[37-45]。随着大模型架构的日趋复杂，所需的训练样例数目也在迅猛增加。同时，应用场景的多样性需要收集数量可观的数据并加以手工标注，导致人力成本较高，这将直接制约大模型在实际应用中的推广。因此，需要研究更高效、自动化的数据集构建方法。此外，传统基于密码学、身份认证、匿名化处理的数据安全检测保护技术无法胜任工业化应用场景需求，伴随人工智能大模型技术的不断发展，需要持续突破相应的大模型数据安全检测保护增强技术。以上问题给人工智能大模型带来了更多的风险和挑战。

4.1 加强对大模型生成可控性的检测和保护

在技术方面，需要持续探究大模型的生成可控性。大模型的生成能力有目共睹，目前大模型已经可以用于文生图、文章续写等，但准确度以及如何将用户的想法加入生成能力中，是大模型的一个研究难点。通过提示学习的方式让生成过程接受使用者提供的条件是解决问题的途径之一，但截至目前仍不能完全达到预期效果。如何建立统一可控的生成框架、生成内容的自我检测以及生成内容的二次修改等，仍是值得探索的方向。目前的模型以文本和图像为主，3D模型较少。以数字人为例，最难攻克的是数字人面部，即使现实中有很多可参照的原型，但图片所带来的数据，无法支撑3D场景的需求。近期，Magic3D模型的出现打破了大模型在3D方面的僵局，但受到数据的影响，目前还无法将3D模型做成通用型的。互联网数据中心（Internet Data Center）认为，未来视频生成是具有很大潜力和商业价值的领域，生成式人工智能也将迎来爆发式增长。面对大模型生成可控性的要求，安全检测及保护关键技术应重点研究如何深度融入大模型架构，成为大模型的一个内生安全机制，这样才能适应人工智能大模型日趋复杂、数据日趋庞大的发展趋势。

4.2 提前应对大模型带来的伦理和偏见问题

未来人们将会继续尝试设计更加复杂的神经网络，以适应更加复杂的应用场景。现在的大模型还处于发展初期阶段，关于安全伦理的业界讨论比较少。但是从以往的经验来看，大模型很容易被攻击，或被有意识地植入一些后门，从而令其在某些特定场景下做出特定响应，无法判断结果的准确性。研究发现，模型变得越来越大之后，偏见问题也逐步暴露，对于算法的可解释性也越来越难，相关问题所带来的对于模型的信任度亟待解决。关于人工智能大模型引发的社会/网络安全问题也已经开始被关注。人工智能大模型之后，各类深度伪造内容呈现融合趋势，让深度伪造内容的判断更加复杂。但无论技术如何变化，对抗深度伪造的关键就是内容识别，即想办法分清楚什么是人工智能生成的。

4.3 开展面向大模型的可解释性研究

在过去的机器学习中，大模型在可解释性方面一直存在瓶颈。近年来，关注模型可解释性的工作受到了越来越多的关注，并有了一些重要的突破，未来大模型的可解释性将会得到更好的改善^[46]。可解释性总体可分为内置可解释性和事后可解释性。内置可解释性方法是指设计本身具有良好可解释性的模型；事后可解释性方法是指利用可解释方法对已设计好的模型进行解释并给出决策依据。目前大多数的可解释性研究主要是对深度学习模型的行为和做出决策的潜在原因的解释，但是关于如何在不损害网络性能的情况下主动地使深度学习模型可解释仍然是一个有待解决的问题。同时，这些研究中大多数处理的是数据驱动的可解释性，以克服黑盒算法的不透明性，针对目标驱动可解释性研究的研究仍然缺失。发展具有可解释性的人工智能体，取得人类用户的“信任”，从而产生高效的人机协作，融入一个人机共生共存的社会是未来人工智能研究的美好愿景。此外，目前仍缺乏完备的数学理论指导和改进深度学习模型的表达能力、学习优化能力及泛化能力。

4.4 利用大模型的多模态学习与跨媒体分析能力提升检测和保护效能

大模型的多模态应用更加广泛，并将在跨模态应用中发挥更加重要的作用，例如视听语义理解、多模态机器翻译等。多模态学习是指从多个模态（如图像、语音、文本等）中学习模型的能力。多模态学习通过融合来自不同数据模态的互补信息，提高了模型的准确性和泛化能力。在实践中，多模态学习可以分为2种类型：一种是同步多模态学习，即同时处理多个模态的数据；另一种是异步多模态学习，即分别处理不同模态的数据，并将它们整合起来。常用的多模态学习技术包括多视觉学习、多模态对齐及多模态融合等。跨媒体分析是指在不同媒体类型（如图像、视频、文本等）之间进行数据分析和信息交互的能力。跨媒体分析允许从一个媒介中检索和理解另一个媒介的内容，打破了数据孤岛，提升了信息的可访问性和价值。在实践中，跨媒体分析可以分为2个方向：一种是跨媒体检索，即在不同媒体类型之间进行数据检索和查询；另一种是跨媒体推理，即在不同媒体类型之间进行数据分析和推理。多模态大模型因其卓越的性能表现，除了在图像生成、文档处理、搜索引擎等领域上的应用外，也将在人机交互、异常检测、安全监测等领域得到进一步的应用。

5 结束语

“人工智能大模型+”固然可以帮助企业更好地实现数据价值和效能提升，但人工智能大模型的引入会导入更多的安全问题，包括大模型自身的安全问题和其诱发的数据安全问题，其影响不容小觑。另外，大模型的强大学习能力又提供了一种解决工业应用安全的新思路，即基于大模型的安全检测及保护关键技术。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	HU Y, KUANG W, QIN Z, et al. Artificial intelligence security: Threats and countermeasures[J]. ACM Computing Surveys, 2021, 55 (1): 1- 36.

2	新华社,赛迪智库. 冷观人工智能大模型热[J]. 软件和集成电路,2023(7):60-63. XIN H S,SAIDI Z K. Cool observation of the heat in large AI models[J]. Software and Integrated Circuit,2023(7):60-63.

3	任奎, 孟泉润, 闫守琨, 等. 人工智能模型数据泄露的攻击与防御研究综述[J]. 网络与信息安全学报, 2021, 7 (1): 1- 10. DOI REN K, MENG Q R, YAN S K, et al. Survey of artificial intelligence data security and privacy protection[J]. Chinese Journal of Network and Information Security, 2021, 7 (1): 1- 10. DOI

4	周文斌, 刘雨琦. 现在讨论AI安全, 为时尚早吗[J]. 大数据时代, 2023, (7): 58- 80. ZHOU W B, LIU Y Q, et al. Is it too early to talk about AI security[J]. Big Data Time, 2023, (7): 58- 80.

5	CHAKRABORTY A, ALAM M, DEY V, et al. Adversarial attacks and defences: A survey[J]. arXiv preprint arXiv:, 1810, 00069, 2018.

6	MENON S,DAMIAN A,HU S,et al. PULSE:self-supervised photo up sampling via latent space exploration of generative models[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Virtual:IEEE,2020:2437–2445.

7	OZDAG M. Adversarial attacks and defenses against deep neural networks: A survey[J]. Procedia Computer Science, 2018, 140, 152- 161. DOI

8	YAKURA H, SAKUMA J. Robust audio adversarial example for a physical attack[J]. arXiv preprint arXiv:, 1810, 11793, 2018.

9	ZHANG J, LI C. Adversarial examples: opportunities and challenges[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31 (7): 2578- 2593.

10	LIN H. Large-scale artificial intelligence models[J]. Computer, 2022, 55 (5): 76- 80. DOI

11	LI Z,WANG C,MA P,et al. On the feasibility of specialized ability extracting for large language code models[EB]. arXiv preprint arXiv:2303. 03012,2023.

12	WANG Y, PAN Y, YAN M, et al. A survey on ChatGPT: AI-generated contents, challenges, and solutions[J]. IEEE Open Jounal of the Computer Society, 2023, 4, 280- 302.

13	WANG J,HU X,HOU W,et al. On the robustness of ChatGPT:An adversarial and out-of-distribution perspective[EB]. arXiv preprint arXiv:2302. 12095,2023.

14	Alawida M, Meiri S, Mehmood A, et al. Acomprehensive study of ChatGPT: Advancements limitations and ethical considerations in natural language processing and cybersecurity[J]. Information, 2023, 14 (8): 462- 485.

中国支付清算协会.关于支付行业从业人员谨慎使用ChatGPT等工具的倡议[EB/OL]. (2023-04-10)[2024-01-10].https://www.pcac.org.cn/eportal/ui?pageId=598261&articleKey=617041&columnId=595085.

Payment & Clearing Association of China. Payment industry professionals advised to exercise caution when using tools like ChatGPT[[EB/OL]. (2023-04-10)[2024-01-10].https://www.pcac.org.cn/eportal/ui?pageId=598261&articleKey=617041&columnId=595085.

16	魏中原. AI概念板块无死角杀跌,主体炒作熄火后资金会流向哪些板块[EB]. 第一财经,2023-04-10. WEI Z Y. The AI concept sector experiences a comprehensive sell-off,and after the main speculation cools down,which sectors will the capital flow into[EB]. China Business Network,2023-04-10.

17	陈戈. 类ChatGPT亟需加强监管[J]. 中国信息界, 2023, (2): 36- 37. CHEN G. Tools like ChatGPT urgently require strengthened regulation[J]. Information China, 2023, (2): 36- 37.

18	于晗. 全面评估使用ChatGPT的风险[EB]. 中国银行保险报,2023-04-14. YU H. Thoroughly assess the risks of using ChatGPT[EB]. China's Insurance Quote,2023-04-14.

19	秦蕊, 梁小龙, 李娟娟, 等. 平行科研院所: 从数字化转型到智能化变革[J]. 智能科学与技术学报, 2023, 5 (2): 212- 221. DOI QIN R, LIANG X L, LI J J, et al. Parallel scientific research institutes: from digital transformation to intelligent revolution[J]. Chinese Journal of Intelligent Science and Technology, 2023, 5 (2): 212- 221. DOI

20	孔忠愿. 强人工智能刑事责任主体的理论厘清与理性反思[M]. 北京:法律出版社,2020:236-258. KONG Z Y. Theoretical Clarification and Rational Reflection on the Subject of Criminal Responsibility for Strong Artificial Intelligence[M]. Law Press·China,2020:236-258.

21	信安标委大数据安全标准特别工作组. 人工智能安全标准化白皮书(2023版)[R]. 2023. Cybersecurity Standards Committee Special Working Group on Big Data Security. White Paper on Artificial Intelligence Security Standardization (2023 Edition)[R].2023.

22	满孝颐. 数据安全:人工智能健康发展的核心命题[J]. 中国信息安全,2019(11):47-48. MANG X Y. Data security:The central proposition for the healthy development of artificial intelligence[J]. China Information Security,2019(11):47-48.

23	HINNEFELD H, COOMAN P, MAMMO N, et al. Evaluating fairness metrics in the presence of dataset bias[J]. arXiv preprint arXiv:, 1809, 09245, 2018.

24	BIRNBAUM B,DERENZI B,FLAXMAN A,et al. Automated quality control for mobile data collection[C]// The 2nd ACM Symposium on Computing for Development. New York:ACM,2012.

25	REZVANI M,IGNJATOVIC A,BERTINO E,et al. Secure data aggregation technique for wireless sensor networks[J],IEEE Transactions on Dependable and Secure Computing,2014,12(1):98-110.

26	LI W, SONG H. ART: an attack-resistant trust management scheme for securing vehicular ad Hoc networks[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 17 (4): 960- 969.

27	SHOUKRY Y,MARTIN P,YONA Y,et al. PyCRA:Physical challenge response authentication for active sensors under spoofing attacks categories and subject descriptors[C]//The 22nd ACM SIGSAC Conference on Computer and Communications Security,2015:1004-1015.

28	KOH W,LIANG P. Understanding black-box predictions via influence functions[EB]. arXiv preprint arXiv:1703. 04730,2020.

29	HINTON G,VINYALS O,DEAN J. Distilling the knowledge in a neural network[EB]. arXiv preprint arXiv:1503. 02531,2015.

30	PAPERNOT N,MCDANIEL P,WU X,et al. Distillation as a defense to adversarial perturbations against deep neural networks[J]. IEEE Symposium on Security and Privacy,2016:582-597.

31	KATZ G,BARRETT C,DAVID L,et al. Reluplex:an efficient SMT solver for verifying deep neural networks[C]//The International Conference on Computer Aided Verification,2017:97-117.

32	TRAMER F,KURAKIN A,PAPERNOT N,et al. Ensemble adversarial training:attacks and defenses[C]//The 6th International Conference on Learning Representations,ICLR,2018.

33	MOHSEN S,DEZFOOLI M,FAWZI A,et al. Universal adversarial perturbations[C]//The IEEE Conference on Computer Vision and Pattern Recognition,2016:1765-1773.

34	MENG D,CHEN H. Magnet:A two-pronged defense against adversarial examples[C]//The 2017 ACM SIGSAC Conference on Computer and Communications Security,2017:135-147.

35	RAGHUNATHAN A,STEINHARDT J,LIANG P. Certified defenses against adversarial examples[EB]. arXiv preprint arXiv:1801. 09344,2018.

36	PRAKASH A,MORAN N,GARBER S,et al. Deflecting adversarial attacks with pixel deflection[C]//The IEEE Conference on Computer Vision and Pattern Recognition,2018:8571-8580.

37	祁利斌,李凯斌,时启顺. 人工智能时代数据安全面临的机遇与挑战[J]. 数字经济,2022(4):94-98. QI L B,LI K B,SHI Q S. Opportunities and Challenges of Data Security in the Era of Artificial Intelligence[J]. Digital Economy,2022(4):94-98.

38	ZHANG J,PENG S,HU Y,et al. HRAE:Hardware-assisted randomization against adversarial example attacks[C]//The 2020 IEEE 29th Asian Test Symposium,2020:1-6.

39	ZHANG J,LI C. Adversarial examples:Opportunities and challenges[C]. IEEE Transactions on Neural Networks and Learning Systems,2020,31(7):2578-2593.

40	SZEGEDY C,ZAREMBA W,SUTSKEVER I,et al,Intriguing properties of neural networks[C]//The 2nd International Conference on Learning Representations,2013:1-10.

41	SU J, VARGAS D, SAKURAI K. One pixel attack for fooling deep neural networks[J]. IEEE Transactions on Evolutionary Computation, 2019, 23 (5): 828- 841. DOI

42	REZVANI M,IGNJATOVIC A,BERTINO E. Secure data aggregation technique for wireless sensor networks in the presence of collusion attacks[J]. IEEE Transactions on Dependable and Secure Computing,2014,12(1):98-110.

43	RAO K,SAK H,PRABHAVALKAR R. Exploring architectures,data and units for streaming end to-end speech recognition with RNN-transducer[C]//The 2017 IEEE Automatic Speech Recognition and Understanding Workshop,2017:193-199.

44	OLTEANU A, CASTILLO C, DIAZ F. Social data: Biases, methodological pitfalls, and ethical boundaries[J]. Frontiers in Big Data, 2019, 13 (2): 13.

45	MOPURI K, GANESHAN A, BABU R. Generalizable data-free objective for crafting universal adversarial perturbations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 41 (10): 2452- 2465.

46	雷霞,罗雄麟. 深度学习可解释性研究综述[J]. 计算机应用,2022, 42(11):3588-3602. LEI X,LUO X L. Review on interpretability of deep learning[J]. Journal of Computer Applications,2022, 42(11):3588-3602.

Options

文章导航

模态框（Modal）标题

摘要