生成图水印的前沿研究与展望

王金伟; 姜晓丽; 谭贵峰; 罗向阳

doi:10.20172/j.issn.2097-3136.240104

网络空间安全科学学报 >

2024 , Vol. 2 >Issue 1: 50 - 62

DOI: https://doi.org/10.20172/j.issn.2097-3136.240104

综述

生成图水印的前沿研究与展望

王金伟 ¹^,²^,³ ,
姜晓丽 ¹^,² ,
谭贵峰 ¹^,⁴ ,
罗向阳 ⁵^,*

展开

1. 南京信息工程大学数字取证教育部工程研究中心，南京 210044
2. 南京信息工程大学计算机学院、网络空间安全学院，南京 210044
3. 南京信息工程大学软件学院，南京 210044
4. 数学工程与先进计算国家重点实验室，郑州 450001
5. 信息工程大学，郑州 450001

罗向阳

网络出版日期: 2024-05-18

基金资助

国家自然科学基金（62072250，62172435，U1804263，U20B2065，61872203，71802110，61802212）；中原科技创新领军人才项目（214200510019）；江苏省自然科学基金（BK20200750）；河南省网络空间态势感知重点实验室开放基金（HNTS2022002）；江苏省研究生研究与实践创新项目（KYCX200974）；广东省信息安全技术重点实验室开放项目（2020B1212060078）；山东省计算机网络重点实验室开放课题基金（SDKLCN-2022-05）

版权

收起

Frontier research and prospect of watermarking for generated images

WANG Jinwei ¹^,²^,³ ,
JIANG Xiaoli ¹^,² ,
TAN Guifeng ¹^,⁴ ,
LUO Xiangyang ⁵^,*

Expand

1. Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology, Nanjing 210044, China
2. Department of Computer and Cyberspace Security ,Nanjing University of Information Science and Technology, Nanjing 210044, China
3. Department of Software,Nanjing University of Information Science and Technology, Nanjing 210044, China
4. State Key Laboratory of Mathematical Engineering and Advanced Computing, Zhengzhou 450001, China
5. Information Engineering University, Zhengzhou 450001, China

Online published: 2024-05-18

Copyright

Fold

摘要

随着人工智能生成内容（Artificial Intelligence Generated Content，AIGC）带来的深度合成浪潮，数字水印技术作为图像取证领域中的一种主动防御手段，被广泛应用于识别生成内容和模型的版权保护。因此，生成图水印越来越受到研究者的关注。首先，介绍了生成图水印的研究背景，从模型版权保护和AIGC监管两个角度介绍生成图水印的研究动机。接着，基于生成模型和水印技术的发展引出了生成图水印问题，将水印根据是否参与生成过程分为两类，并对这两类生成图水印的现状进行了详细的梳理和介绍。随后，对现有的生成图水印方法进行评估，在传统水印需满足的鲁棒性、不可察觉性和容量基础上，进一步提出了针对生成图水印的新要求。最后，指出生成图水印中有待进一步解决的问题及发展趋势。

关键词： 版权保护; 水印; 生成模型; 生成图; 人工智能生成内容

本文引用格式

王金伟 , 姜晓丽 , 谭贵峰 , 罗向阳 . 生成图水印的前沿研究与展望[J]. 网络空间安全科学学报, 2024 , 2(1) : 50 -62 . DOI: 10.20172/j.issn.2097-3136.240104

Abstract

With the wave of deep synthesis brought about by AIGC (Artificial Intelligence Generative Content), digital watermarking technology was widely used to identify the copyright protection of generated content and models as an active defense method in the field of image forensics. Therefore, generating image watermarks had attracted more and more attention from researchers. Firstly, the research background of generative image watermarking was introduced, and the research motivation of generative image watermarking was introduced from the perspectives of model copyright protection and AIGC supervision. Then, based on the development of generation model and watermarking technology, the problem of generating image watermarks was introduced, and the watermarks were divided into two categories according to whether they participated in the generation process, and the current status of these two types of generated image watermarks was sorted out and introduced in detail. Subsequently, the existing methods of generating image watermarks were evaluated. On the basis of the robustness, imperceptibility and capacity of traditional watermarks, new requirements for generating image watermarks were further proposed. Finally, the problems and development trends that needed to be further solved in the generation of image watermarks were pointed out.

Key words： copyright protection; watermark; generative model; generative image; artificial intelligence generative content

0 引言

在当今快速发展的信息技术时代，AIGC（Artificial Intelligence Generative Content，人工智能生成内容）技术以其在生成和转换文本、图像、音频、视频、代码以及3D内容等多模态媒介方面的卓越能力而备受瞩目。AIGC最大的优势在于能以远超传统手段的效率、更低的成本和较高的质量，创造出海量的内容。根据《互联网信息服务深度合成管理规定》，国家互联网信息办公室于2024年1月公布了第三批境内深度合成服务算法的备案信息。其中包括百度语音识别算法、淘宝图像风格化生成算法、中国电信数字人生成算法，以及万兴喵影的AIGC生成算法等。这一行动体现了我国在科技引领的技术变革中采取的积极监督措施，旨在推进生成式算法的安全化，促进深度合成领域的标准化，从而推动相关行业的良性竞争。然而，AIGC技术的迅猛发展也带来了潜在的风险。不加节制地使用生成内容可能导致虚假信息传播、隐私侵犯、舆论误导、触发法律纠纷，甚至社会动荡。为了有效应对以上挑战，中国在2023年8月由全国信息安全标准化技术委员会编制了《网络安全标准实践指南—生成式人工智能服务内容标识方法》。该指南旨在引导生成式人工智能服务提供者在AI生成内容中添加水印，从而为社会大众提供标准化的实践指引。因此，本研究聚焦于生成图水印。

生成图水印通过控制生成模型实现对生成内容的水印嵌入，可用于追踪溯源和版权保护。在现今模型即服务的产业应用模式下，由于预训练模型的高成本和技术投入，模型作为一种有形的资源备受重视。当模型受到恶意攻击如后门攻击^[1]、数据投毒攻击^[2]等都会造成损坏，这种攻击侵犯了模型所有者的知识产权，所以研究者采取以图像为载体嵌入水印实现对模型的版权保护。近些年已有许多利用水印实现深度学习模型所有权保护的相关工作，但其应用领域局限于深度神经网络（Deep Neural Networks，DNNs）中的分类任务^[3−5]。关于生成模型如生成对抗网络（Genrative Adversarial Networks，GANs）^[6]和扩散模型（Diffusion Models，DMs）^[7]的水印工作相对较少，类似在网络中嵌入后门，水印算法只有通过预定义的触发提示后才会生成含水印内容，通过对该种含水印生成内容的检测，即可得到模型归属者以及相关信息实现模型的版权保护。

随着GANs和DMs技术的快速进步，生成的图像、文本和音视频内容越来越逼真和多样化。然而，生成技术的发展也使得检测生成媒体（深度鉴伪任务）、确定生成内容的来源并追究其法律责任变得更加困难。生成模型的滥用，如在政治竞选中散布虚假新闻，或使用AI换脸换声技术进行诈骗和诽谤，已经成为一个严重问题。这激发了研究者对深度鉴伪和生成内容溯源的热情。近年来，大量研究^[8−11]致力于自动识别生成内容与自然内容的差异，例如通过检测GANs生成图像中的异常生成状况或频率伪影，以及通过识别DMs中生成的人物手脚等肢体异常来判断内容的真伪。但随着生成模型能力的不断提升（例如ControlNet^[12]实现更精细的手脚生成），仅依靠被动取证方法已不足以满足公众对深度鉴伪任务的需求。因此，中华人民共和国工业和信息化部提出要从AI源头监管实现主动取证，在模型完成生成内容之前或生成过程中主动嵌入水印，在源头上实现生成内容和自然内容的鉴别，实现生成内容发布者和生成内容滥用者的责任闭环。

论文内容安排如下：第1节探讨水印技术的发展，并根据载体将水印分为自然图像水印、模型水印和生成图水印3类；第2节专注于生成图水印算法现状，进一步将其细分为两种类型：一种是水印嵌入间接参与生成过程，另一种则是水印嵌入直接参与生成过程，对这两种类型将进行详尽的分类介绍；第3节将对现存的生成图水印算法评估，据此提出生成图水印技术的新需求；第4节分析总结生成图水印存在的问题，并就未来发展方向进行展望。

1 水印技术发展

在过去的20年里，水印技术被用于保护多媒体内容^[13−16]和模型^[1−3]，已经发表了大量相关文献。根据水印载体，本文将水印分为3类：自然图水印、模型水印和生成图水印，三者关系如图1所示。其中，自然图水印是指添加到由手机、相机等设备拍摄的自然图像上的水印；模型水印是用于保护诸如DNNs、GANs、DMs等模型的水印；生成图水印特指在生成模型过程中嵌入的水印，旨在通过生成模型本身来确保内容的原创性和所有权。

显示原图|下载原图ZIP|生成PPT

图 1 根据水印载体分类水印

Fig.1 Classify watermarks according to the watermark carriers

自然图水印、模型水印和生成图水印并非完全独立存在，尤其对于生成模型而言，模型的版权保护往往体现在其生成内容中。在深度学习技术迅速发展之前，图像水印技术主要采用传统的图像水印方法。传统图像水印方法的主要特点是手工嵌入和提取机制，这种设计的缺点是在无数图像中统一应用水印模式，忽略了每个图像固有的独特内容特征和质量属性。为改进上述缺点，基于参考共享机制的水印嵌入方案^[17]被提出，用于在图像内容被篡改时进行内容恢复，这些方案在内容恢复能力上优于现有的一些脆弱水印方案。为增加水印技术的多样性，水印技术与深度学习技术的结合逐渐开始发展。深度学习催化了各个领域的重大进步，包括图像和语音识别、自然语言处理和自主系统。深度学习网络，以多层互连节点为特征，有助于提高其执行复杂计算的能力，在各种应用中提供卓越的性能和预测准确性。每一层都将其输入数据转换为越来越抽象和复杂的表示，从而实现细致入微的决策和预测。深度学习技术与水印技术的结合提升了水印的鲁棒性和不可感知性。

深度学习迅速发展之后，对于深度学习模型的知识产权保护也备受重视。与多媒体数据不同的是，深度学习模型需要完成特定任务，将多媒体水印的方法应用到深度学习模型会降低其计算性能，甚至会破坏水印^[18]。如今的模型水印方法主要有两类：基于权重的“白盒”水印^[19−21]、基于触发集的“黑盒”水印^[22−24]。第一类水印方法利用神经网络的参数承载水印，要求水印提取者知悉神经网络模型的结构和参数；第二类水印方法通过让神经网络输出预期的分类结果来承载水印，这类方法不要求水印提取者掌握模型细节，但要求能够和神经网络模型进行大规模交互。与以往通过网络权重或触发集的分类标签携带水印的方案不同，通过在输出图像中检测水印，此类技术^[25−26]可以用于识别宿主网络的所有权，并确定图像是否由特定的神经网络生成。

AI生成技术的发展再一次拉近了图像水印和模型水印之间的距离，在生成内容中嵌入版权水印来保护大模型的知识产权成为一种新的保护方法。基于人类视觉系统的水印方法^[27]分别适用于RGB颜色空间和YUV颜色空间。此方法不仅考虑了水印的隐蔽性和提取的准确性，还考虑了图像的视觉质量，使得生成的带有水印的图像在视觉上与原始图像保持高度相似，同时确保水印信息可以被准确地提取出来。通过这种方式，所提出的水印技术能够在保护深度学习模型的知识产权的同时，提供高质量的图像输出。

一般来说，向图像中添加水印主要可以分为嵌入水印和提取水印两个阶段。由于水印信息被隐藏在载体中，因此嵌入阶段的输入包括载体图像和水印信息。嵌入完成后，含水印图像被上传至互联网中，用户可以自由从网上下载该图像。在检测阶段，图像生产者需要从标记的图像中恢复先前所隐藏的水印信息。整个流程可表示为：

(1)

$ \begin{array}{c}{X}^{*}={\mathrm{Emb}}（X，W）\end{array} $

(2)

$ \begin{array}{c}{W}^{*}={\mathrm{Ext}}（{X}^{*}）\end{array} $

其中：

$ {\mathrm{Emb}}\left(\;\right) $

和

$ {\mathrm{Ext}}\left(\;\right) $

分别指嵌入和提取水印的操作，

$ X $

和

$ {X}^{*} $

分别代表原始载体和带水印载体，

$ W $

和

$ {W}^{*} $

分别代表原始嵌入的水印信息和提取恢复出的水印信息。尽管不同载体（自然图、生成图和模型）下的水印技术之间存在差异，但任何水印系统必须达到容量、鲁棒性和不可感知性的平衡。容量要求即水印所传达的比特数或有效载荷；鲁棒性即含水印内容经过一些修改，仍然能够抵御一定攻击恢复水印；不可感知性即由水印引起的失真必须是不可见的。三者权衡牵制，构成水印这一任务。

在图像水印和隐写技术的深度学习领域中，水印技术一直面临挑战，特别是在检测强度和隐蔽性方面。直到2017年，斯坦福大学的研究人员在其开创性的研究中提出了一个突破性的端到端水印框架，名为Hidden^[28]。Hidden模型主要由4个部分构成：编码器、无参数噪声层、解码器和一个对抗性鉴别器，该结构为后续的水印技术研究奠定了基础。继Hidden之后，研究人员为了增强水印技术的鲁棒性，提出了MBRS^[29]框架，旨在解决水印信息无法有效抵抗JPEG压缩攻击的问题。MBRS框架利用了深度学习架构强大的特征提取能力，并通过微分噪声层进行对抗性训练。由于JPEG压缩过程是不可微分的，因此研究中采用了一种创新的方法，即在每个小批量实验中，随机选择真实的JPEG压缩层，与微分模拟JPEG压缩噪声层和一个无噪声层一起使用，以模拟真实的压缩场景。该方法不仅保持了添加水印后的图像质量，而且显著提高了水印的鲁棒性。尽管图像水印技术仍在不断发展，但目前的研究和应用主要是基于Hidden和MBRS两个核心框架的改进和优化。这些先进的研究不仅推动了水印技术的发展，也为图像处理和信息安全领域带来了重要的技术进步。

2 生成图水印研究现状

在过去几十年间，生成模型领域实现了显著的技术突破和发展。其中，GANs的出现是生成领域的一个重大里程碑。GANs的提出不仅极大地促进了生成模型的发展，也为后续研究提供了强大的动力。继GANs之后，谷歌团队针对自然语言处理提出了Transformer^[30]模型，并进一步将其应用于计算机视觉领域，开启了多模态生成技术的新篇章。特别是在最近两年，扩散模型及其衍生版本——潜在扩散模型和稳定扩散模型的出现，极大地提升了多模态生成的能力，实现了在生成模型领域质的飞跃。与此同时，正如第1节中所介绍的，水印技术也在同一时期实现了快速发展。水印技术和生成技术的发展轨迹在时间线上呈现出明显的并行和互补特点，为多领域的研究与应用提供了丰富的可能性，时间线如图2所示。

显示原图|下载原图ZIP|生成PPT

图 2 水印技术与生成时间线

Fig.2 Watermarking technology and generation timeline

扩散模型构建在前向和逆向两个过程之上，其本质为一种马尔可夫架构，用于神经网络的噪声去除。在前向阶段，扩散模型通过逐步引入噪声，将图像破坏为纯高斯噪声；在逆向过程中，对高斯噪声进行逆向操作，最终实现图像的生成。为了提升生成能力，扩散模型采用了另一种生成模型的基本结构，即变分自编码器（Variational Autoencoder， VAE）^[31]。在介绍变分自编码器之前，首先了解一下自编码器（Autoencoder，AE）。自编码器是一类无监督学习的神经网络模型，其目标是通过编码和解码过程将输入数据尽可能地还原，从而实现对输入数据的有效表示学习。其基本结构包括编码器（Encoder）和解码器（Decoder），分别负责将输入数据映射到潜在空间和将潜在表示解码为原始数据。简而言之，自编码器首先将高维原始数据映射到低维特征空间，然后从该低维特征空间学习重构原始数据。与自编码器的确定性编码不同，变分自编码器引入了概率分布。典型的自编码器生成相同输入时总是得到相同输出，其潜在表示是确定性的编码。而变分自编码器属于变分推断的概率模型，其生成的是潜在变量的概率分布，在生成新样本时更具灵活性。VAE为扩散模型提供了更为强大的生成能力支持。

随着生成模型在图像生成领域的广泛应用，研究针对生成图像的水印技术已逐渐成为一种研究趋势。目前研究主要延续深度学习水印算法的添加方法，并尝试针对生成模型的特性探索新的水印嵌入方式，旨在使生成的图像直接包含水印。为了更深入地了解如何将水印嵌入到生成图像中，首先简要概述了模型生成图像的过程，具体包括以下两个步骤。

1）生成模型训练：该过程涉及使用数据集训练，如GAN模型利用生成器和辨别器零和博弈，使生成器能够学习到训练数据的分布；又如扩散模型，通过逐步向图像添加噪声并训练生成器预测所添噪声，以实现从噪声中重建清晰图像的目标。训练的目标就是学习正向的反过程。完成训练后，保存预训练模型的权重参数用于模型推理。

2）生成模型推理：模型随机采样噪声，利用预训练模型生成与训练数据类似的新样本。采样推理目标是生成高质量、多样性的数据样本。如扩散模型中，由于隐扩散模型（Latent Diffusion Model，LDM）^[32]考虑到高维数据计算效率的问题，利用VAE结合扩散模型以降维减少计算量，其中编码器降维将像素级扩散应用在隐空间，在隐空间内扩散后利用解码器升维还原至图片，达到保证高质量输出同时易于训练的目标。

考虑生成模型在生成图像的过程中涉及的关键步骤时，可以发现，利用生成模型生成含水印图像的方法可以基于水印是否直接参与生成模型的推理过程来进行分类。具体而言，可以将生成图像的水印技术分为两大类别：第一类是水印嵌入间接参与生成过程，通过对生成模型的训练阶段进行微调以嵌入水印，包括基于训练数据集嵌入水印和基于生成模型模块微调嵌入水印；第二类是水印嵌入直接参与模型生成推理过程，这类方法水印的嵌入和图像生成在模型推理过程同步进行，包括结合深度学习算法嵌入水印和针对生成模型修改输出分布。

2.1 水印嵌入间接参与生成过程

水印嵌入间接参与生成过程主要分为两种：基于训练数据集嵌入水印和基于生成模型模块微调嵌入水印。这部分水印的嵌入不直接参与生成模型的扩散推理过程，需要通过预先嵌入数据和模型结构的微调使部分结构带有水印信息之后，再与生成内容结合得到含水印图像。

2.1.1 基于训练数据集嵌入水印

基于训练数据集嵌入水印是指将水印信息w预先嵌入到训练数据集中，通过模型对含水印数据集内容的训练，生成含水印生成内容。这一方法产生一个经过训练的生成模型，其中水印编码器被提前“嵌入”模型中，生成含水印数据。嵌入水印流程如图3所示。

显示原图|下载原图ZIP|生成PPT

图 3 水印嵌入流程图

Fig.3 Flowchart of watermark embedding

Yu等^[33]提出将水印（文中指人工指纹）嵌入到训练数据中。训练一个图像隐写^[34]编码器和解码器，首先，利用编码器将水印嵌入到训练数据中，每个训练数据集都将会被分配到一个唯一的水印。接着，在不干预其训练的前提下训练生成模型。最后，从生成模型的生成图中解码水印，将其与给定不同模型的已知水印进行匹配，实现深度伪造检测和溯源，进一步防止生成模型滥用。此外，在实验中还证明了这种添加于训练集中的水印，从训练数据到生成模型再到生成图的可转移性。此方案为从源头上保护数据集版权，避免未经授权的滥用提供了一种有效途径。

相较于GANs，扩散模型需要在多个步骤（通常为1 000步）中加噪去噪，表现出更多的随机性。因此，Zhao等^[35]在Yu等^[33]的水印编码器和解码器架构基础上，探讨了在扩散模型中嵌入生成图水印的可能性。Zhao等利用编码后含水印的训练数据来训练扩散模型，并在阐述扩散模型^[36]的过程中进行了实验验证，证明了该方法在扩散模型中的可行性。在Yu等^[33]的工作基础上，Zhao等^[35]还进一步探讨了不同水印字符串长度的灵活性。然而，水印字符串长度和复杂度的增加，可能会导致生成内容质量的下降，这是一个需要进一步研究和优化的领域。

进一步地，为抵抗未经授权的模型微调带来的图像侵权危害，Cui等提出FT-Shield^[37]这一水印方案，让生成模型在学习到艺术家作品风格之前就已经学到水印特征。FT-Shield将水印添加在训练数据上，当模型对含水印训练数据微调时，生成图会继承这些水印。FT-Shield通过将扩散模型的微调损失纳入水印训练目标，确保模型在微调的早期阶段就能快速学习到水印，实现了可靠的图像版权保护。

在生成模型中通过训练时嵌入水印的策略可以有效地将模型所有者的版权信息嵌入到该模型生成的所有图像中。该方法的显著优点是，即便模型所有者决定公开模型，只要不公开针对水印的编码器和解码器，水印的安全性仍然可以得到保证。然而，该方法也存在一些明显的限制：1）水印有效载荷有限，往往只能识别水印的存在，无法包含更多版权信息；2）水印信息无法自定义修改，修改水印信息w往往需要重新训练模型，重新训练需要耗费大量的计算资源，因而应用比较有限。

2.1.2 基于生成模型模块微调嵌入水印

为避免重训练生成模型，研究者选择对生成模型模块进行微调，让模块能够自带水印合成含水印图像。隐扩散模型由VAE和Unet^[38]结构组成，利用VAE中的编码器将用于扩散的Unet结构从像素级扩散压缩至隐空间，扩散完成后再用自编码器中的解码器将隐变量z还原至像素空间得到生成图。受隐扩散模型增添的VAE结构启发，在隐扩散模型中增添水印解码器并重训练隐扩散模型的解码模块能够避免修改生成推理过程，水印嵌入过程如图4所示。

显示原图|下载原图ZIP|生成PPT

图 4 稳定签名模型结构微调嵌入水印流程图

Fig.4 Flowchart of stable signature model with structural fine-tuning for embedding watermark

Meta AI团队中的Fernandez等^[39]提出了Stable Signature。Stable Signature的两个阶段实现了在不改变生成模扩散过程的情况下使其生成的所有图像都隐藏给定的水印，第一步采用Hidden^[28]框架中的水印编码器

$ {W}_{E} $

和水印提取器

$ W $

进行预训练；第二步舍弃预训练好的编码器

$ {W}_{E} $

，选取提取器

$ W $

提取二进制信息对LDM中的解码器进行微调，使生成图像包含可以由

$ W $

提取的给定消息m。在模型生成阶段即可生成含水印图像。

Ma等^[40]提出了GenWatermark，这是一个基于联合学习水印生成器和检测器的新型水印系统，旨在保护图像免受未经授权的特定主题驱动的图像合成侵犯。在GenWatermark系统中，水印生成器会创建一个水印，这个水印以添加扰动的形式被嵌入到原始图像中，从而产生带有水印的图像。当使用这些带有水印的图像进行主题驱动的图像合成时，生成的图像将包含这个水印。Ma等人在艺术风格和人脸合成两个任务中验证了GenWatermark的有效性。

2.2 水印嵌入直接参与生成过程

2.1节主要介绍了水印嵌入间接参与生成过程的工作，本节将介绍水印嵌入与生成扩散过程直接融合，实现针对扩散模型生成过程的水印算法。

2.2.1 深度学习算法结合生成过程

在不直接参与生成过程的情况下，生成图的潜变量推理完成后微调LDM解码器实现水印添加，相当于基于深度学习水印算法的post-hoc水印。尽管post-hoc水印在模型生成阶段将水印信息嵌入到了生成图像中，但微调的LDM只能把固定的水印信息（内容和长度）嵌入其中。如果模型生产者更改信息，需要再次调优，如果模型生产者想把模型分发到下级用户，需要多次微调以嵌入不同信息。

为解决上述的问题，上海理工大学的Xiong等^[41]提出了灵活安全水印，基于ENDE和信息矩阵的端到端方法对LDM生成图像添加水印。模型的使用者会根据使用需求对扩散模型进行微调，但是模型的解码器部分并不会发生大的改动。基于这一观察，灵活安全水印在扩散模型的解码部分嵌入水印。该方法中的水印实际上是根据模型用户的信息生成的信息矩阵，旨在满足水印嵌入的信息能够灵活修改的要求。当信息矩阵生成后，将生成的信息矩阵与LDM解码器的中间输出在前向过程中融合（在LDM编码器各个卷积层之间进行信息矩阵的嵌入），最后利用信息解码器对水印图像进行信息还原。为防止用户逃避使用信息矩阵获取无水印图像，Xiong等^[41]在训练过程中添加了安全变量

$ \sigma $

并设计了不同损失函数来实现安全机制：使用信息矩阵时，损失函数缩小了含水印图像与原始生成图像之间的差异，从而生成高质量含水印图像；如果模型使用者想要逃避信息矩阵，损失函数会放大不含水印的生成图像与原始图像之间的差异，生成低质量图像，避免被不法分子利用。

2.2.2 针对生成模型修改输出分布

在生成模型的研究领域中，将水印嵌入与生成过程相融合并修改输出分布的方法^[42]已引起广泛关注。针对输出分布产生的含水印图像避免了传统基于深度学习水印的学习方式，使得水印在检测中表现得更加自然，从根本上改变了水印嵌入的分布方式。此外，针对输出分布产生的含水印图像无须像不参与生成方式的方案那样进行额外训练，因而可以作为生成图水印的首要防线。图像分布如图5所示。

显示原图|下载原图ZIP|生成PPT

图 5 图像分布

Fig.5 Image distribution

Wen等^[42]针对DDIM提出树轮水印方案，以微妙地影响整个采样过程。将水印嵌入到用于采样的初始噪声向量（高斯向量）中，这些模式在傅里叶空间中结构化，使得它们对卷积、裁剪、扩张、翻转和旋转保持不变。具体来说，首先在以低频中心区域、半径为r的圆形掩膜中需要选取一个密钥k*，由于高斯噪声向量的傅里叶变换也符合高斯分布，所以选取的密钥k*需要符合高斯分布，以保证嵌入水印的高斯噪声仍具有独立同分布的高斯性质。然后利用扩散模型生成图像后，通过反转扩散过程检索噪声向量，即可检查向量是否嵌入了水印信号。论文中选择3种类型的密钥探究了不同应用场景。一旦需要检测该图像是否含有水印，模型所有者可通过DDIM反演过程得到初始噪声矢量，然后评判该矢量在水印区M的傅里叶空间里与密钥k*之间的

$ {L}_{1} $

距离，通过计算

$ {L}_{1} $

距离来评估水印是否存在，利用统计分析实现水印检测。然而，由于树轮水印仅适用于DDIM采样^[43]，因此在更换其他采样方式时，需要保证采样方式具有确定性和强反演性的特质，这限制了水印的应用范围。好处在于该方法没有添加额外的水印检测器，避免了潜在的白盒危险。类似地，Zhang等^[44]提出的ZoDiac使用预训练的稳定扩散模型将水印注入可训练的潜在空间中，从而产生即使在被锁定时也能在潜在向量中可靠检测到的水印，以保证抗水印去除攻击的鲁棒性。ZoDiac进一步在傅里叶空间编码预定义的水印，自适应混合原始图像和水印图像，且一同参与扩散过程。为了检测水印，ZoDiac应用扩散反演过程将图像重新映射到潜在向量中，然后通过统计检验检测潜在向量中的水印模式。

此外，为解决扩散模型生成的不可追溯性问题，美国乔治亚理工学院的Liu团队^[45]提出了一种新的扩散模型，称为镜像扩散模型（Mirror Diffusion Models，MDM），用于在凸约束集上生成数据，同时保持了在标准欧几里得空间中扩散模型的可处理性。MDM通过学习在镜像映射构建的对偶空间中的扩散过程来实现生成控制。具体来说，MDM利用镜像映射（Mirror Map）将数据从约束集M映射到无约束的对偶空间

$ {\nabla }_{\varphi }\left(M\right) ={R}^{d} $

，对偶空间是一个标准欧几里得空间。MDM在对偶空间中学习扩散过程，然后在生成过程中将样本映射回原始的约束集。通过构建一个基于用户定义的标记（tokens）约束集作为嵌入水印的新机制，约束集M可以是基于用户定义的标记的凸集，例如正交多面体，其中标记定义了多面体的顶点。在对偶空间生成的内容（例如图像）将嵌入水印，由于只有知道标记的用户才能生成满足约束的样本，确保了水印的可认证性。用户可以通过检查生成的内容是否满足约束集M来验证水印。MDM不仅能够在保持图像质量的同时嵌入水印，而且还能够生成满足特定约束的样本，这些约束可以作为私有标记，用于版权保护和内容的合法使用。但MDM生成数据局限于欧几里得空间的凸子集，不能扩展到任意黎曼流形。

3 生成图水印评价标准及应用

区别于多媒体水印和模型水印，对生成图水印从各个角度进行综合评价是至关重要的。考虑到现实应用，本节从4个角度评估水印算法：容量、鲁棒性、不可感知性、生成质量。容量是指水印算法包含的有效载荷，鲁棒性用于评估含水印图像能否抵抗恶意或非恶意攻击，不可感知性用于评估水印添加前后是否有较大差异，生成质量加了水印后生成模型是否生成能力会降低。生成图水印评估如表1所示。

表 1 生成图水印评价

Table 1 Evaluation of generate image watermark

生成图水印			水印指标
类型		方法	容量	鲁棒性		不可感知性		生成质量
类型		方法	容量	非恶意攻击	恶意攻击	图像	生成模型	生成质量
嵌入不参与生成过程	数据集	Yu等^[33]	n	√		√	×	√
		Zhao等^[35]	n	√		√	×	√
		Cui等^[37]	n	√	√	√	×	√
	模型微调	Ma等^[40]	0	√	√	√	×	√
	模型微调	Fernandez等^[39]	n	√	√	√	×	√
嵌入参与生成过程	深度学习算法结合生成过程	Xiong等^[41]	n	√	√	√	×	√
	数据分布	Wen等^[42]	0	√		√	√	√
		Zhang等^[44]	0	√	√	√	√	√
		Liu等^[45]	0	√		√	√	√

注：0代表零比特水印，n代表多比特水印，√代表考虑到相关特性，×代表未考虑到相关特性。

3.1 容量

根据水印算法嵌入水印信息的确切内容，可以把水印根据容量划分为零比特水印和多比特水印。在零比特水印情况下，水印算法检测用于分析载体内是否存在水印。而多比特水印则对应一个n比特的字符串，通过识别字符串内容，判断所检测的载体内是否包含水印，进而提取水印内容。零比特水印由于任务简单，因而拥有更高的鲁棒性，多用于版权保护。而多比特水印灵活度更高，可用于指纹识别、内容溯源。

在零比特水印情况下^[42，45]，对水印的检测本质是一个二分类问题，因而其成功率主要通过分类指标，如精确率（Precision）、召回率（Recall）、误识别率（False Positive Rate，FPR）来评价。

(3)

$ \begin{array}{c}精确率=\dfrac{{\mathrm{TP+TN}}}{{\mathrm{TP+FP+TN+FN}}}\end{array} $

(4)

$ \begin{array}{c}召回率=\dfrac{{\mathrm{TP}}}{{\mathrm{TP+FP}}}\end{array} $

(5)

$ \begin{array}{c}误识别率=\dfrac{{\mathrm{FP}}}{{\mathrm{FP+TN}}}\end{array} $

其中：T/F代表模型预测正/误，P/N代表样本正/负。FP是指错误地把非水印图像分类为水印图，FN是错误地把水印样本分类为非水印样本。总的来说，对于水印的实际应用，准确率并不是水印的第一目标，低FPR下的高精度才是水印算法需要达到的目的。因此树轮水印^[35]采取类似Kirchenbauer软水印^[46]工作基于统计分布提出水印模型的p值来量化水印的不确定性，以此告诉用户观察到的水印在自然图像中随机出现的概率有多大。但是，水印出现的不确定性不仅针对图像，即使对于专门从数据分布角度构建的扩散模型也是无法避免的，如MDM模型^[45]中如果样本没有违反多面体约束则检测水印，MDM-proj和MDM-dual生成的样本总是满足约束的，因而很容易导致100%召回率和0%的错误率，但是仍然存在FP样本。具体来说，FP样本是由非MDM模型生成的但偶然落入约束集内，所以会被错误地检测为水印图像。

在多比特水印情况下^{[33，35，37，39，41]}，不仅需要检测水印的存在，还需要保证水印信息提取的完整度。评估信息提取完整度主要通过误码率（Bit Error Rate，BER）或者比特精度来实现，BER通过检测过程错误预测每个比特的概率，反之比特精度则是正确预测每个比特的概率。增加水印的有效载荷往往会使训练数据的分布发生位移，从而降低生成图的质量，但可以通过增加生成图像分辨率缓解^[35]。

3.2 鲁棒性

对于非恶意攻击，攻击算法通常在生成图像上添加随机扰动、JPEG压缩、随机裁剪、缩放、旋转、模糊、颜色增强等攻击方式，通过评估水印提取的精度来判断水印是否鲁棒。

在生成图水印的研究领域，关注点应更多地放在水印对恶意攻击的抵抗能力上，特别是针对水印去除攻击和水印伪造攻击。杜克大学的Jiang团队^[47]为此提出了WEvade方法，旨在逃避人工智能检测。在白盒攻击的情境下，攻击者可以访问水印检测器的解码器，但无法获取真实的水印或编码器信息。通过在生成图像上添加对抗性扰动，攻击者可使解码器输出的假设水印与原始水印不同，从而达到水印伪造的目的。然而，在更多情况下，恶意用户可能只能实现对水印算法的黑盒访问，即水印生成方式和水印检测器均为未知。针对黑盒检测情况，Jiang等^[48]的WEvade方法扩展了HopSkipJump方案。该方法通过迭代地查询检测器API并调整图像，旨在找到一种扰动，使得解码器输出的水印与随机选择的水印相似，从而使得解码器无法判断图像是否由AI生成。尽管如此，如果检测器的API访问受到限制或存在其他制约因素，WEvade可能无法有效实施。但是，黑盒攻击者可能需要进行大量的查询才能找到能够逃避检测的扰动，从而导致较高的计算成本。此外，Li等^[49]提出的Warfare发现攻击者可以轻易地移除或伪造post-hoc水印，从而破坏知识产权保护和内容监管。Warfare利用预训练的扩散模型进行内容处理，以及生成GANs进行水印移除或伪造，仅需含水印生成图就能在黑盒访问下移除和伪造AIGC水印。Zhao等^[50]先向图像添加随机噪声破坏水印，再用图像去噪算法和预训练的生成模型重建图像，实现图像水印去除。

因此，研究者在开发生成图水印算法时，应同时考虑到非恶意和恶意攻击的可能性。在应用深度学习算法的基础上，研究者也需考虑生成图水印是否具有抵抗生成式AI的篡改能力，避免恶意用户对生成图水印进行伪造^[47，49]和去除^{[47，49−50]}。

3.3 不可感知性

在现有的文献^{[33，35，37，39，41]}中，大多数研究采用了均方误差（Mean Squared Error，MSE）、峰值信噪比（Peak Signal to Noise Ratio，PSNR）、结构相似度（Structural Similarity，SSIM）等图像质量评估方法来衡量水印方法的隐蔽性。例如，对Stable Signature^[39]研究发现，在未对图像指标进行人为控制的情况下，LDM解码器倾向于将水印信号添加到纹理复杂的区域中，可能导致较低的SSIM和PSNR值，但在人类视觉系统下结果却不可见。相比之下，灵活安全水印^[41]在生成原始图像和含水印图像时，通过构建特定的损失函数确保了水印信息的不可感知性。

然而，在生成图水印的任务中，仅保证图像对人眼的不可感知性是不够的，只满足了对人类视觉的隐蔽性要求。在生成过程中，还需要确保对模型本身的不可感知性。由于扩散模型的初始潜在向量必须满足高斯分布，将有意义的信息编码为多位水印并嵌入生成图，容易引入统计分布上的偏差。因此，现有研究^{[42，44−45]}只能从零位水印上确保水印对原始生成内容的检测在其统计分布上难以区分，如图5所示，应用场景受限。生成图水印算法要求在生成图的生成过程中深入考虑水印嵌入的方式。如果用户无法通过分析检测出生成图像中的水印，攻击者就难以实现检测伪造或去除攻击，从而显著提高水印的鲁棒性。

因此，生成图水印的研究不仅需要考虑对人类视觉的隐蔽性，还应深入探讨如何在模型生成过程中实现水印的不可感知性，以及如何通过复杂和隐蔽的方法增强水印的安全性和鲁棒性。这种多维度的考虑将推动生成图水印技术的发展，为实际应用中的版权保护和内容安全提供强有力的支持。

3.4 生成质量

当向生成模型中嵌入水印时，往往会带来模型结构的改变，从而对其性能产生影响。图6展示了水印图像生成质量指标间的关系，其中图6（a）展示了零比特水印图像FID和检测率，图6（b）展示了多比特水印图像FID和比特精度。结果表明，零比特水印与多比特水印相关工作在水印图像生成质量指标中取得了最好的效果。在图6（a）中，由于场景不同，相关工作^{[40，42，44−45]}得到的指标并不相似。在Ma等^[40]的相关工作中，作者在分别使用无水印图像和水印图像进行主题驱动的图像合成时，均获得了较高的FID指标，而且在嵌入水印后，图像的FID变化并不明显，因此并没有影响模型的基础功能。在图6（b）中，相关工作^{[33，35，37，39，41]}均在较低的FID的情况下获得了较高的比特精度，因此在嵌入多位比特水印时获得了较高的水印图像质量。零比特水印和多比特水印的目标都是在嵌入水印的同时尽量保持原始数据的质量。选择使用零比特水印还是多比特水印通常取决于应用场景和对数据变化的敏感性。为了评估嵌入水印对图像生成质量的影响，研究者通常采用诸如FID分数和CLIP^[51]评分等指标，后者用于评估生成图像与文本提示之间的相关性。

显示原图|下载原图ZIP|生成PPT

图 6 水印图像生成质量指标

Fig.6 Quality metrics of watermark image generation

然而，如果将图像的冗余空间用于增加水印容量，可能会导致每个微小像素的修改都成为水印信息的一部分，从而降低水印的鲁棒性。随着嵌入容量的增加，生成图像的质量往往会受到一定程度的影响。因此，大多数相关研究^{[33，39，41−42，45]}表明，水印长度较短时，FID指标的变化可以忽略不计。

在生成图像水印的研究中，需要仔细考虑水印嵌入对模型性能的影响，并采取适当的措施来保证生成质量。实现水印指标和生成图质量的平衡对于生成模型的实用性和水印技术的有效性都至关重要。

4 结束语

水印技术已广泛应用于各种安全保护领域，并与很多成熟技术相结合，在版权识别、模型保护、追踪溯源等方面表现出巨大的成功。本文从模型版权保护和AIGC监管两个角度介绍生成图水印动机。基于生成模型和水印技术的发展介绍了生成图水印的现状，将现存生成图水印算法根据是否参与采样过程分为了两类。最后对现存生成图水印算法进行评估并提出水印新要求。本文认为生成图水印算法尽管已取得了一定进展，但仍有许多问题亟待解决。

1）水印安全性不足：在生成图水印的安全性方面，大多数现有方法基于深度学习水印算法，通过最小化像素值的修改来嵌入水印。该方法存在安全风险，如恶意用户可能通过黑盒方式获取含水印图像，并通过迭代查询或对抗性噪声来规避水印；截断图像生成过程，在水印嵌入图像前利用图像再生成方案逃逸水印嵌入；结合生成式AI直接抹除或伪造水印等。同时，树轮水印和MDM水印方法通过确定性采样实现水印和生成内容的融合，为生成图水印带来了创新。但树轮水印和MDM水印通常只能由模型所有者验证，且可能无法检测水印是否被破坏。尽管目前在根据输出分布嵌入水印方面的研究有限^{[42，44−45]}，但也显示了该领域的巨大发展潜力，未来需要更多的探索和创新。

2）实验评估有限：在生成图水印领域，水印的嵌入与模型生成能力的匹配程度需要进一步实验评估，反取证工作^{[47，49−50]}有限。已有工作对文本水印的可靠性进行评估^[52−53]，指出在自然假设下模型带有强水印方案的不可实现性^[52]，但图像水印缺乏相关理论分析及方案评估。例如，是否可以通过分析生成图的统计分布进行水印查询，是否能通过联合文本反转操作去除触发词以删除图像水印。逆向攻击的探索对于深化对水印技术的理解及其有效性的提升具有重要意义，为未来研究开辟了新的路径。

3）缺少主动防御：在生成图水印领域，除了常规的被动防御措施，模型设计者也可以考虑加入对抗性扰动形成一种主动防御策略。对抗样本已在艺术作品保护中得到应用^[54−55]，通过添加扰动防止模型识别或重用图像。同样的策略可用于生成图水印^[37]，以提高恶意编辑的难度，有效保护版权。主动防御不仅增强了版权保护，也为防止未授权使用提供了新的解决方案。

4）生成速度较慢：由于扩散模型的固有特性，其推理速度通常较慢，一定程度上限制了其大规模应用中。在生成图水印的实现过程中，加速扩散过程成为一个关键考虑因素。同时，模型需要在能够适应多种生成任务的同时，保证水印对生成内容的有效嵌入。

此外，在生成图水印算法的设计中，平衡水印容量、不可感知性、鲁棒性和生成质量是一个核心挑战。为实现这一目标，算法需使水印嵌入在符合生成数据分布的基础上，同时确保在低FPR下实现高精度的水印提取。从模型生成质量的角度看，嵌入水印会不可避免地产生模型生成质量降低的结果。因此，将水印嵌入转化为符合扩散模型学习过程的方式，才能最小化对模型生成质量的影响。从水印鲁棒性的角度出发，文本水印^[52−53]和模型水印领域的经验可以为生成图水印算法的评估提供借鉴。尤其是，可以结合文本攻击方法^[53]来增强生成图水印的鲁棒性。在水印容量和不可感知性方面，相比文本，图像具有更高的冗余度，为嵌入多比特水印提供了更多可能性。因此，通过结合隐写技术，可以实现更符合数据分布的水印编码。比如结合生成式隐写和可证安全领域的研究^[56]，可以有效隐藏水印信息，为未来在这些领域的研究提供了新的探索方向。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序

1	LIU Y,MA X,BAILEY J,et al. Reflection backdoor:A natural backdoor attack on deep neural networks[C]//Computer Vision–ECCV 2020:16th European Conference,Springer International Publishing,2020:182-199.

2	STEINHARDT J,KOH P W W,LIANG P S. Certified defenses for data poisoning attacks[J]. Advances in Neural Information Processing Systems 30,2017.

3	GUO J,POTKONUAK M. Watermarking deep neural networks for embedded systems[C]//2018 IEEE/ACM International Conference on Computer-Aided Design (ICCAD),IEEE,2018:1-8.

4	LI Z,HU C,ZHANG Y,et al. How to prove your model belongs to you:A blind-watermark based framework to protect intellectual property of DNN[C]//Proceedings of the 35th Annual Computer Security Applications Conference,2019:126-137.

5	CAO X,JIA J,GONG N Z. IPGuard:Protecting intellectual property of deep neural networks via fingerprinting the classification boundary[C]//Proceedings of the 2021 ACM Asia Conference on Computer and Communications Security,2021:14-25.

6	GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63 (11): 139- 144. DOI

7	HO J, JAIN A, ABBEEL P. Denoising diffusion probabilistic models[J]. Advances in Neural Information Processing Systems, 2020, 33, 6840- 6851.

8	QUAN W, WANG K, YAN D M, et al. Distinguishing between natural and computer-generated images using convolutional neural networks[J]. IEEE Transactions on Information Forensics and Security, 2018, 13 (11): 2772- 2787. DOI

9	WANG S Y,WANG O,ZHANG R,et al. CNN-generated images are surprisingly easy to spot.. for now[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2020:8695-8704.

10	QIAN Y,YIN G,SHENG L,et al. Thinking in frequency:face forgery detection by mining frequency-aware clues[C]//European Conference on Computer Vision,Cham:Springer International Publishing,2020:86-103.

11	FRANK J,EISENHOFER T,SCHÖNHERR L,et al. Leveraging frequency analysis for deep fake image recognition[C]//International Conference on Machine Learning,PMLR,2020:3247-3258.

12	ZHANG L,RAO A,AGRAWALA M. Adding conditional control to text-to-image diffusion models[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2023:3836-3847.

13	COX I, MILLER M, BLOOM J, et al. Digital watermarking[J]. Journal of Electronic Imaging, 2002, 11 (3): 414- 414. DOI

14	POPESCU A C, FARID H. Exposing digital forgeries by detecting traces of resampling[J]. IEEE Transactions on Signal Processing, 2005, 53 (2): 758- 767. DOI

15	BARNI M,BARTOLINI F. Watermarking systems engineering:Enabling digital assets security and other applications[M]. CRC Press,2004.

16	ASIKUZZAMAN M, PICKERING M R. An overview of digital video watermarking[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 28 (9): 2131- 2153.

17	ZHANG X, WANG S, QIAN Z, et al. Reference sharing mechanism for watermark self-embedding[J]. IEEE Transactions on Image Processing, 2010, 20 (2): 485- 495.

18	吴汉舟, 张杰, 李越, 等. 人工智能模型水印研究进展[J]. 中国图象图形学报, 2023, 28 (6): 1792- 1810. . [J]. 2023, 28 (6): 1792- 1810.

19	UCHIDA Y,NAGAI Y,SAKAZAWA S,et al. Embedding watermarks into deep neural networks[C]//Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval,2017:269-277.

20	WANG J, WU H, ZHANG X, et al. Watermarking in deep neural networks via error back-propagation[J]. Electronic Imaging, 2020, 32, 1- 9.

21	WANG Y,YE J,WU H. Generating watermarked speech adversarial examples[C]//Proceedings of the ACM Turing Award Celebration Conference,China,2021:254-260.

22	WANG Y, WU H. Protecting the intellectual property of speaker recognition model by black-box watermarking in the frequency domain[J]. Symmetry, 2022, 14 (3): 619. DOI

23	ZHANG T, WU H, LU X, et al. Awencoder: Adversarial watermarking pre-trained encoders in contrastive learning[J]. Applied Sciences, 2023, 13 (6): 3531. DOI

24	TAN J,ZHONG N,QIAN Z,et al. Deep neural network watermarking against model extraction attack[C]//Proceedings of the 31st ACM International Conference on Multimedia,2023:1588-1597.

25	WU H, LIU G, YAO Y, et al. Watermarking neural networks with watermarked images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 31 (7): 2591- 2601.

26	ZHAO X,WU H,ZHANG X. Watermarking graph neural networks by random graphs[C]//2021 9th International Symposium on Digital Forensics and Security (ISDFS),IEEE,2021:1-6.

27	ZHANG L,LIU Y,LIU S,et al. Generative model watermarking based on human visual system[C]//International Forum on Digital TV and Wireless Multimedia Communications,2022:136-149.

28	ZHU J,KAPLAN R,JOHNSON J,et al. Hidden:Hiding data with deep networks[C]//Proceedings of the European Conference on Computer Vision (ECCV),2018:657-672.

29	JIA Z,FANG H,ZHANG W. Mbrs:Enhancing robustness of dnn-based watermarking by mini-batch of real and simulated jpeg compression[C]//Proceedings of the 29th ACM International Conference on Multimedia,2021:41-49.

30	VASWANI A,SHAZEER N,PARMAR N,et al. Attention is all you need[C]//Advances in Neural Information Processing Systems 30,2017.

31	KINGMA D P, WELLING M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:, 1312, 6114, 2013.

32	ROMBACH R,BLATTMANN A,LORENZ D,et al. High-resolution image synthesis with latent diffusion models[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:10684-10695.

33	YU N,SKRIPNIUK V,ABDELNABI S,et al. Artificial fingerprinting for generative models:Rooting deepfake attribution in training data[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2021:14448-14457.

34	BALUJA S. Hiding images in plain sight:Deep steganography[C]//Advances in Neural Information Processing Systems 30,2017.

35	ZHAO Y,PANG T,DU C,et al. A recipe for watermarking diffusion models[EB]. arXiv preprint arXiv:2303,10137,2023.

36	KARRAS T, AITTALA M, AILA T, et al. Elucidating the design space of diffusion-based generative models[J]. Advances in Neural Information Processing Systems, 2022, 35, 26565- 26577.

37	CUI Y,REN J,LIN Y,et al. FT-Shield:a watermark against unauthorized fine-tuning in text-to-image diffusion models[EB]. arXiv preprint arXiv:2310. 02401,2023.

38	RONNEBERGER O,FISCHER P,BROX T. U-net:Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015:18th International Conference,Springer International Publishing,2015:234-241.

39	FERNANDEZ P,COUAIRON G,JÉGOU H,et al. The stable signature:Rooting watermarks in latent diffusion models[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2023:22466-22477.

40	MA Y,ZHAO Z,HE X,et al. Generative watermarking against unauthorized subject-driven image synthesis[EB]. arXiv preprint arXiv:2306. 07754,2023.

41	XIONG C,QIN C,FENG G,et al. Flexible and secure watermarking for latent diffusion model[C]//Proceedings of the 31st ACM International Conference on Multimedia,2023:1668-1676.

42	WEN Y,KIRCHENBAUER J,GEIPING J,et al. Tree-ring watermarks:Fingerprints for diffusion images that are invisible and robust[EB]. arXiv preprint arXiv:2305. 20030,2023.

43	SONG J, MENG C, ERMON S. Denoising diffusion implicit models[J]. arXiv preprint arXiv:, 2010, 02502, 2020.

44	ZHANG L, LIU X, MARTIN A V, et al. Robust image watermarking using stable diffusion[J]. arXiv preprint arXiv:, 2401, 04247, 2024.

45	LIU G H,CHEN T,THEODOROU E,et al. Mirror diffusion models for constrained and watermarked generation[C]//Advances in Neural Information Processing Systems 36,2024.

46	KIRCHENBAUER J, GEIPING J, WEN Y, et al. On the reliability of watermarks for large language models[J]. arXiv preprint arXiv:, 2306, 04634, 2023.

47	JIANG Z,ZHANG J,GONG N Z. Evading watermark based detection of AI-generated content[C]//Proceedings of the 2023 ACM SIGSAC Conference on Computer and Communications Security,2023:1168-1181.

48	CHEN J,JORDAN M I,WAINWRIGHT M J. Hopskipjumpattack:A query-efficient decision-based attack[C]//2020 IEEE Symposium on Security and Privacy (SP),IEEE,2020:1277-1294.

49	LI G, CHEN Y, ZHANG J, et al. Towards the vulnerability of watermarking artificial intelligence generated content[J]. arXiv preprint arXiv:, 2310, 07726, 2023.

50	ZHAO X, ZHANG K, WANG Y X, et al. Generative autoencoders as watermark attackers: Analyses of vulnerabilities and threats[J]. arXiv preprint arXiv:, 2306, 01953, 2023.

51	RADFORD A,KIM J W,HALLACY C,et al. Learning transferable visual models from natural language supervision[C]//International Conference on Machine Learning,PMLR,2021:8748-8763.

52	ZHANG H, EDELMAN B L, FRANCATI D, et al. Watermarks in the sand: Impossibility of strong watermarking for generative models[J]. arXiv preprint arXiv:, 2311, 04378, 2023.

53	SADASIVAN V S, KUMAR A, BALASUBRAMANIAN S, et al. Can AI-generated text be reliably detected?[J]. arXiv preprint arXiv:, 2303, 11156, 2023.

54	LIANG C, WU X. Mist: Towards improved adversarial examples for diffusion models[J]. arXiv preprint arXiv:, 2305, 12683, 2023.

55	YE X, HUANG H, AN J, et al. Duaw: Data-free universal adversarial watermark against stable diffusion customization[J]. arXiv preprint arXiv:, 2308, 09889, 2023.

56	张卫明, 陈可江, 俞能海. 可证安全隐写: 理论、应用与展望[J]. 网络空间安全科学学报, 2023, 1 (1): 38- 46. ZHANG W M, CHEN K J, YU N H, et al. Provable secure steganography: Theory, application and prospects[J]. Journal of Cybersecurity, 2023, 1 (1): 38- 46.

Options

文章导航

模态框（Modal）标题

摘要

本文引用格式

Abstract

0 引言

1 水印技术发展

图 1 根据水印载体分类水印

2 生成图水印研究现状

图 2 水印技术与生成时间线

2.1 水印嵌入间接参与生成过程

2.1.1 基于训练数据集嵌入水印

图 3 水印嵌入流程图

2.1.2 基于生成模型模块微调嵌入水印

图 4 稳定签名模型结构微调嵌入水印流程图

2.2 水印嵌入直接参与生成过程

2.2.1 深度学习算法结合生成过程

2.2.2 针对生成模型修改输出分布

图 5 图像分布

3 生成图水印评价标准及应用

表 1 生成图水印评价

3.1 容量

3.2 鲁棒性

3.3 不可感知性

3.4 生成质量

图 6 水印图像生成质量指标

4 结束语

参考文献