Generative image endogenous watermarking method based on exact diffusion inversion

LI Li; ZHANG Xinpeng; WANG Zichi; WU Deyang; WU Hanzhou

doi:10.20172/j.issn.2097-3136.240108

Journal of Cybersecurity >

2024 , Vol. 2 >Issue 1: 92 - 100

DOI: https://doi.org/10.20172/j.issn.2097-3136.240108

Academic Research

Generative image endogenous watermarking method based on exact diffusion inversion

LI Li ,
ZHANG Xinpeng ^,* ,
WANG Zichi ,
WU Deyang ,
WU Hanzhou

Expand

Communication and Information Engineering, Shanghai University, Shanghai 200444, China

Online published: 2024-05-18

Supported by

Natural Key R&D Program of China under Grant 2023YFF0905000, Natural Science Foundation of China under Grant U23B2023, 62371278，62302286，62376148， and China Postdoctoral Science Foundation under the grant No. 2023M742207

Copyright

Fold

Abstract

The diffusion model has achieved significant success in image generation, but it is difficult to distinguish the authenticity of the generated images. Therefore, abusing the diffusion model will lead to social issues such as privacy and security, legal ethics, and so on. Adding watermarks to the output of the generated model can track the copyright of the generated content and prevent potential harm caused by artificial intelligence-generated content. For the diffusion model, the endogenous watermarking method of adding watermarks to the initial noise vector can directly generate watermarked images. During copyright verification, the initial vector is reconstructed through reverse diffusion to extract the watermark. However, the sampling process in the diffusion model is not strictly reversible, and there is a significant error between the reconstructed noise vector and the original noise, making it difficult to ensure accurate watermark extraction. By introducing Exact Diffusion Inversion via Coupled Transformations (EDICT), the initial noise vector can be reconstructed more accurately, improving the accuracy of watermark extraction. The performance improvement of generative image endogenous watermarking by introducing EDICT has been verified through experiments. The experimental results show that endogenous watermarking can embed invisible watermarks in generated images, and the embedded watermarks can be accurately extracted through precise backdiffusion and have a certain degree of robustness.

Key words： AIGC traceability; model watermarking; digital watermarking; denoising diffusion model; inverse diffusion

Cite this article

LI Li , ZHANG Xinpeng , WANG Zichi , WU Deyang , WU Hanzhou . Generative image endogenous watermarking method based on exact diffusion inversion[J]. Journal of Cybersecurity, 2024 , 2(1) : 92 -100 . DOI: 10.20172/j.issn.2097-3136.240108

0 引言

生成式人工智能（Artificial Intelligence Generated Content，AIGC）技术的发展极大提高了各个领域的社会创作力和生产力，如语言生成^[1-3]、图像生成^[4-6]、音频生成^[7-8]、视频生成^[9-10]、三维生成^[11-12]、分子发现^[13]等。各人工智能公司相继发布商业化应用，提供内容生成创作服务。在文本领域，以ChatGPT^[14-15]为代表的文本生成服务为文本创作、问题搜索等提供了极大便利；在图像领域，文本生成图像的商业化服务很广泛，这些服务根据用户的需求利用大型模型生成创造性图像，例如DreamStudio、DALL-E和Midjourney，特别是开源的稳定扩散模型（Stable Diffusion Model），为开发人员最大限度地利用模型提供了便利。

尽管AIGC技术增强了创造力、创新性和用户体验感，但同时也存在隐私安全、法律伦理等问题^[16-18]。首先，对于人工智能生成服务提供商，生成内容的所有权是服务提供商知识产权的一个重要方面，应禁止用户将人工智能生成的内容用于商业行为。若用户未经服务提供商许可而将生成内容进行商业化交易，将损害服务提供商的利益。此外，生成模型可生成人脸图像、虚假新闻，攻击者可能会利用虚假人脸盗窃身份，恶意传播虚假新闻误导民众认知，引导社会舆论。因此，检测和追踪人工智能生成的内容具有重要意义。2023年，美国推出白宫有关AIGC的首套监管规定，要求对人工智能进行新的安全评估、公平和民权指引，并研究人工智能对劳动力市场的影响。2023年8月，中国全国信息安全标准化技术委员会发布了《网络安全标准实践指南——生成式人工智能服务内容标识方法》，用于指导AIGC提供者提高内容标识水平。

通过在AIGC生成的图像、文本、音频等作品中嵌入版权信息和身份验证信息，可以帮助保护知识产权，防止盗版和虚假内容传播，同时也可以用于追溯和识别作品的来源和真伪^[19-22]。为了不影响生成内容的使用，在一些场景下，水印需要是不可见的，同时应保持已训练的原始模型的性能。开源的图像生成模型Stable Diffusion^[23]通过传统数字图像水印算法为生成的图像添加水印，虽然即插即用的方法在应用中相对灵活，但这类方法并未涉及图像生成过程，水印容易被移除。针对生成式图像的特点，研究人员提出在图像生成过程中添加水印，直接生成具有不可见水印的可追踪图像。一些方法通过微调模型将水印与模型耦合^[20-21]，这种水印一般难以移除，但由于水印与模型耦合在一起，若要对另一个模型嵌入水印，则需要对该模型微调，复杂度较高。Wen等^[22]从另一个角度提出了一种灵活的树环（Tree-ring）水印方法，该方法不依赖于模型微调，通过在初始噪声向量中添加水印图案，影响整个采样过程，产生人类无法察觉的模型水印。但是，由于该方法中水印提取的准确性依赖于图像生成过程的可逆性，而扩散模型中的采样过程并不严格可逆，这使水印难以准确提取。

针对上述问题，本文设计了精确可逆的扩散模型水印方法，通过修改初始噪声使扩散模型生成的图像中含有水印信息。在版权验证时，通过精确的可逆扩散可准确恢复含水印的噪声，进一步提取水印。本文所提方法具有以下特征：

1）将水印信息嵌入在初始噪声中，对比后置式水印嵌入方法，该方法可以影响图像生成的全过程。并且，由于初始噪声包含图像高级语义信息，所以水印具有更好的稳健性。

2）所提水印方法可看作是独立的模块，在应用中以即插即用的方式嵌入到已训练好的生成模型中，无需微调网络，具有较好的灵活性。

3）提出基于耦合变换的精确反向扩散，使图像生成的采样过程具有严格可逆性，因此在版权验证阶段可通过逆向推理准确恢复初始噪声，进而准确提取水印。

1 相关工作

1.1 扩散模型及逆向扩散

扩散模型基于去噪扩散概率模型（Denoising Diffusion Probabilistic Models，DDPM）^[24]，利用马尔可夫过程的假设逐步对图像进行加噪处理，依次得到

$ \{{{\boldsymbol{x}}}_{0},{{\boldsymbol{x}}}_{1},\cdots ,{{\boldsymbol{x}}}_{T}\} $

。通过训练噪声预测器来预测所加入的噪声。图像生成过程可以看作是利用训练好的噪声预测器对随机初始噪声向量去噪的过程。由于马尔可夫过程的采样需要逐步进行，所以生成过程较慢。为了提高效率，去噪扩散隐式模型（Denoising Diffusion Implicit Models，DDIM）^[25]引入了一种非马尔可夫方法，可以跳步加噪，得到

$ \{{{\boldsymbol{x}}}_{0},{{\boldsymbol{x}}}_{{t}_{1}},\cdots ,{{\boldsymbol{x}}}_{{t}_{s}}\} $

，生成图像时，也可以跳步去除噪声，从而提高效率。

训练从数据样本开始，通过一个随机过程重复采样得到较大的样本，采用基本的高斯扩散核重复为数据添加噪声，得到含噪声样本。该过程可以表示为：

(1)

$ {{\boldsymbol{x}}}_{t}=\sqrt{{\stackrel-{\alpha }}_{t}}{{\boldsymbol{x}}}_{0}+\sqrt{1-{\stackrel-{\alpha }}_{t}}{\boldsymbol{\epsilon}} $

通过训练噪声预测器

$ {\varepsilon }_{\theta } $

，减少预期噪声与前向扩散过程中添加的噪声之间的差异，在稳定扩散模型中，噪声预测器采用UNet架构。利用已训练好的噪声预测器

$ {\varepsilon }_{\theta } $

对随机噪声向量迭代去噪，迭代过程可以表示为：

(2)

$ {{\boldsymbol{x}}}_{t-1}=\frac{1}{\sqrt{{\alpha }_{t}}}\left({{\boldsymbol{x}}}_{t}-\frac{1-{\alpha }_{t}}{\sqrt{1-{\stackrel-{\alpha }}_{t}}}{\varepsilon }_{\theta }\left({{\boldsymbol{x}}}_{t},t\right)\right)+{\sigma }_{t}{\boldsymbol{z}} $

通过将随机噪声转换为真实数据来生成图像。

为了避免混淆，本文将生成过程称为去噪扩散过程，将通过加噪从图像中恢复初始噪声的过程称为反向扩散过程。

1.2 数字水印

数字水印在数字时代保护图像的真实性、所有权和完整性方面发挥着关键作用。根据不同的应用场景，水印可以包含各种信息，如版权信息、版本信息、作者信息、拥有者信息、发行者信息等。这种信息嵌入是隐蔽的，对原始数据产生微弱但有效的影响，以确保不干扰人类感知和不影响数字内容的应用。传统数字水印的保护对象主要是文本、图像和视频等多媒体数据。数字媒体传播导致的失真，使水印技术的鲁棒性和安全性变得越来越重要。

数字图像水印领域的传统方法包括空域方法^[26-27]、频域方法^[28-29]以及变换域方法^[30-32]。空域水印方法直接处理像素值，通常关注人眼的不可感知性；频域方法利用离散余弦变换等将水印嵌入图像的频率分量中；变换域方法包括基于小波方法和奇异值分解方法，通过利用图像的空间和频率特性，在不可见性和鲁棒性之间寻求平衡。这些方法旨在将水印信息以不被察觉的方式嵌入数字图像中，同时保证水印的稳健性，以便进行后续提取或验证。基于深度学习的水印方法通过在模型训练过程中添加特殊层或者噪声来增强其对复杂攻击的鲁棒性^[32-34]，然而，训练数据的质量和多样性可能会对其有效性产生重要影响，由于缺乏可解释性，一些现象和结论可能难以理解。

数字图像水印在具体应用中还需要考虑真实场景中的物理攻击，例如图像由打印、屏摄等造成的失真。为了提高数字图像水印技术在物理攻击下的稳健性，Liu等^[35]提出了一种抗打印水印方案，通过构建薄膜覆盖层图像的大型数据集进行端到端训练，以提高对印刷照片薄膜覆盖层的鲁棒性。Fang等^[36]提出的DeNoL水印方法，可以通过小样本数据提高对跨信道(如屏摄场景)水印系统的鲁棒性。

总体而言，数字图像水印的挑战是在不可见性和弹性之间取得微妙的平衡，确保嵌入的水印在不同的环境条件下保持完整。

1.3 模型水印

作为鉴别AIGC与自然内容的主动检测方法，模型水印在近年来得到飞速发展。根据目的不同，可以将其分为模型水印和输出内容水印2个类别^[37]，其中输出内容水印也可以看作是模型水印的一种，它可以同时保护模型版权和溯源生成内容。本文主要关注输出内容水印，并将现有方法分为基于微调的方法和即插即用的方法。

基于微调的方法通过微调模型将水印与模型耦合。Zhao等^[19]提出将水印编码到训练数据中，利用加水印的图像和经过训练的提取器来微调扩散模型，因此，优化的神经网络产生的加水印图像包含水印，提取器可以正确地恢复水印。Stable Signature^[20]预先训练一个HiDDeN网络^[32]，然后应用其水印提取器从稳定扩散生成的图像中提取水印。对稳定扩散模型的解码器进行微调，以便在生成的图像中嵌入水印，HiDDeN的预训练水印提取器可以准确地恢复水印。上述2种方法可以嵌入不可见的水印，并从未处理的图像中恢复它们，但水印是固定的，并且容易受到图像失真（噪声、裁剪、压缩或旋转）的影响。Xiong等^[21]提出了一种水印方案来解决上述问题。水印消息首先由编码器编码，然后被馈送到图像解码器的不同层。水印提取器被添加到模型的末尾，并且与原始模型一起被训练。利用所提出的方法，用户可以选择在生成的图像中嵌入不同的水印。在训练过程中，通过在提取器之前添加攻击层，进一步提高了水印的鲁棒性。

即插即用的方法不需要修改模型参数，水印算法作为独立的模块可直接插入原始生成模型中。例如，采用传统数字图像水印算法可以在图像生成后为其添加水印。为了将水印与生成模型过程相融合， Wen等^[22]提出的Tree-ring水印方法是在初始噪声向量中添加水印，验证版权时，通过反向扩散过程恢复初始噪声向量并提取水印信息。这类方法在应用中比较方便，且水印信息与高级语义信息相关，对图像处理操作产生的失真具有较强的鲁棒性。

2 研究方法

2.1 威胁模型

本文所提水印方法的目标是在不降低模型性能的情况下生成图像，同时让模型所有者能够判断给定的图像是否是从他们的模型中生成的。同时，考虑含水印的图像在日常应用中可能经过许多图像操作和修改，可能存在侵权者Bob试图使用常见的图像操作来删除生成图像中的水印，从而逃避检测的现象，因此，水印应该具有一定的稳健性。水印检测者即为模型拥有者，他将模型分发给不同用户，为确保所分发的模型被合规使用，需要追溯生成的内容是否来自本人的人工智能模型，或者来自哪一个用户的模型。因此，本文所提的模型水印适用于模型所有者与侵权者：

1）模型所有者Alice（生成阶段）。Alice开发训练生成扩散模型并拥有该模型的版权。为保护模型版权，将水印算法嵌入生成模型中，并利用该模型生成含水印图像。水印算法应尽可能不影响生成图像的概率分布，防止水印嵌入留下可见的痕迹，并保证图像质量。

2）侵权者Bob。Bob通过Alice提供的API（Application Programming Interface）生成图像，由于其希望在不告知Alice的情况下将生成图像用于非法交易，因此试图通过一些处理手段擦除图像中的水印，逃避水印检测算法的检测，并声称该图像版权归自己所有。

3）水印检测者（模型所有者Alice，检测阶段）。在已知模型的情况下，试图确定某一图像是否由模型产生。检测者并不知道引导图像生成的文本提示，也不知道关于图像生成的其他超参数，如引导强度和生成步骤的数量。

2.2 水印嵌入

扩散模型通过迭代去噪将高斯噪声向量转换为干净的图像。由于初始高斯向量中包含图像高级语义信息，因此在初始高斯向量中添加水印可以使生成的图像中也包含水印信息，同时不破坏所生成图像的统计分布。

为了提升水印的鲁棒性，将水印嵌入初始噪声频域，而不是直接将密钥嵌入初始噪声中。采用文献[22]中的水印嵌入方法，选择初始噪声向量并对其进行离散余弦变换（Discrete Cosine Transform，DCT），得到频域系数，在频域中心嵌入预定的环形水印图案，以保持图像在空间中旋转的不变性。该水印图案可以看作密钥，当模型拥有者将模型分发给不同用户时，水印信息可以与用户身份相关联，对于需要溯源的图像，可以根据该水印信息追溯到生成该图像的用户模型。为了保证水印对图像旋转的稳健性，水印图案由多个环组成，每个环的值都是固定的且服从高斯分布。这样既保证了水印对图像旋转的不变性，同时也减小了噪声向量中嵌入的水印对总体分布的影响。嵌入方式：采用二进制掩码

$ {\boldsymbol{M}} $

对频域向量

${\boldsymbol{ F}} $

进行采样，

$ {\boldsymbol{M}} $

与噪声向量具有相同维度，嵌入水印位置的值为1，不嵌入水印位置的值为0。图1为一个

$ 8\times 8 $

的掩码示例，水印嵌入在中间

$ 7\times 7 $

的位置。图2为一个3 bit的水印图案示例。嵌入方式如式（3）所示，其中i,j表示频域位置。利用

$ {\boldsymbol{M}} $

选择水印嵌入位置，当

$ {{\boldsymbol{M}}}_{i,j}=1 $

时，将该位置频域系数替换为水印信息，当

$ {{\boldsymbol{M}}}_{i,j}=0 $

时，该位置频域系数不变。

显示原图|下载原图ZIP|生成PPT

图 1 掩码示例

注：载体大小为8×8，中间部分为嵌入水印位置，

掩码值为1，其余位置掩码为0，不修改载体。

Fig.1 Mask example

显示原图|下载原图ZIP|生成PPT

图 2 3 bit环形水印图案示例

注：每一个环中的水印信息相同，由于环的特性，

水印对旋转具有鲁棒性。

Fig.2 Example of ring watermark pattern with 3 bit

(3)

$ {{\boldsymbol{{\boldsymbol{F}}}}}_{i,j}^{w}=\left\{\begin{array}{l} {{\boldsymbol{{\boldsymbol{F}}}}}_{i,j},\;\;{{\boldsymbol{M}}}_{i,j}=0\\ {{\boldsymbol{W}}}_{i,j},\;\;{{\boldsymbol{M}}}_{i,j}=1\end{array}\right. $

通过扩散去噪过程生成图像，无水印的扩散模型以随机高斯噪声为初始潜向量，逐步采样。在含水印的模型中，首先用嵌入水印的噪声向量替代原始的噪声向量，嵌入水印的噪声分布与原高斯噪声分布有微小偏离，然后根据原采样算法进行去噪，生成含水印的图像。具体过程如算法1所示，其中IDCT（Inverse Discrete Cosine Transform）为离散余弦逆变换，EDICT（Exact Diffusion Inversion via Coupled Transformation）为一种图像生成采样方式，详细介绍将在2.4节给出。

算法1：水印嵌入

输入: 文本提示

$ p $

，初始噪声向量

${{\boldsymbol{x}}}_{T}\in R $

，水印

$ {\boldsymbol{W}} $

，掩码

$ {\boldsymbol{M}} $

输出: 含水印图像

$ {{\boldsymbol{I}}}_{w} $

1: 对

${{\boldsymbol{x}}}_{T} $

进行离散余弦变换，

${\boldsymbol{ F}}=\mathrm{D}\mathrm{C}\mathrm{T}（{{\boldsymbol{x}}}_{T}） $

2: 根据式（3）在

${\boldsymbol{ F}} $

中嵌入水印，得到

$ {{\boldsymbol{F}}}^{w} $

3: 对

${{\boldsymbol{F}}}^{w} $

进行离散余弦逆变换，

${{\boldsymbol{x}}}_{T}^{w}=\mathrm{I}\mathrm{D}\mathrm{C}\mathrm{T}（{{\boldsymbol{{\boldsymbol{F}}}}}^{w}） $

4: 以文本提示为条件，对

${{\boldsymbol{x}}}_{T}^{w} $

进行T步去噪扩散，

${{\boldsymbol{x}}}_{0}^{w}= $

EDICT

$（{{\boldsymbol{x}}}_{T}^{w},p） $

5: 将潜空间向量

${{\boldsymbol{x}}}_{0}^{w} $

解码为图像

$ {{\boldsymbol{I}}}_{w}=\mathrm{D}\mathrm{e}\mathrm{c}\left({{\boldsymbol{x}}}_{0}^{w}\right) $

2.3 水印提取

在检测时，给定图像

${{\boldsymbol{x}}}_{0} $

，模型所有者通过反向扩散过程可以获得近似的初始噪声

$ {{\boldsymbol{x}}'}_{ T} $

，对

$ {{\boldsymbol{x}}'}_{ T} $

做傅里叶变换得到

$ {{\boldsymbol{F}}'}^{w} $

，利用二进制掩码

$ {\boldsymbol{M}} $

对频域向量

$ {{\boldsymbol{F}}'}^{w} $

进行采样，以提取水印位置的频域系数，

${{\boldsymbol{W}}'} $

即为提取的水印信息。

(4)

$ {{\boldsymbol{W}}'}={{\boldsymbol{F}}'}^{w}\cdot {\boldsymbol{M}} $

计算恢复的水印信息

$ {\boldsymbol{W}}' $

与密钥

$ {\boldsymbol{W}} $

之间的

$ {L}_{1} $

距离，即：

(5)

$ L_1=\left|{{\boldsymbol{W}}'}-{\boldsymbol{W}}\right| $

如果距离在阈值

$ \tau $

以下，则说明检测到水印。后面将讨论如何基于给定的一组带水印和无水印图像将该阈值校准为给定的假阳性。具体过程如算法2所示，其中IEDICT（Inverse Exact DiffusionInversion via Coupled Transformations, IEDICT）为一种图像生成的反向采样方式，详细介绍将在2.4节给出。

算法2：水印提取

输入: 含水印图像

$ {{\boldsymbol{I}}}_{w} $

，掩码

$ {\boldsymbol{M}} $

输出: 恢复的水印

$ {{\boldsymbol{W}}'} $

1: 通过编码器将图像编码为潜空间向量:

$ {{\boldsymbol{x}}'}_{ 0}^{w}= $

Enc

$\left({{\boldsymbol{I}}}_{w}\right) $

2: 以空文本提示为条件，对

${{\boldsymbol{x}}}_{0}^{w} $

进行T步反向扩散，

$ {{\boldsymbol{x}}'}_{ T}^{w}= $

IEDICT

$（{{\boldsymbol{x}}}_{0}^{w},p） $

3: 对

$ {{\boldsymbol{x}}'}_{ T}^{w} $

进行离散余弦变换，

$ {{\boldsymbol{F}}'}^{w}=\mathrm{D}\mathrm{C}\mathrm{T}（{{\boldsymbol{x}}'}_{ T}^{w}） $

4: 根据式（4）提取水印信息

$ {{\boldsymbol{W}}'} $

2.4 基于耦合变换的精确反向扩散

由于水印信息嵌入在初始噪声向量中，提取水印需要先恢复初始噪声向量，因此，水印提取的准确性与噪声向量的恢复效果密切相关。当前扩散模型的采样算法通常不是严格可逆的，特别是对于条件引导图像的生成，水印提取方法通常很难获取引导图像生成的文本信息。只有当引导尺度的权重较小时，才能使重建噪声的反向扩散过程相对稳定，而当引导尺度的权重较大时，重建的噪声将极度失真。为此，本文提出采用基于耦合变换的精确反向扩散模型生成图像。

DDIM的前向扩散过程（加噪）可以描述为：

(6)

${{\boldsymbol{x}}}_{t-1}{=a}_{t}{{\boldsymbol{x}}}_{t}+{b}_{t}\epsilon\left({{\boldsymbol{x}}}_{t},t\right) $

定义新的变量

$ {{\boldsymbol{y}}}_{t}={{\boldsymbol{x}}}_{t} $

, 则

${{\boldsymbol{x}}}_{t-1}={a}_{t}{{\boldsymbol{x}}}_{t}+{b}_{t}\epsilon({{\boldsymbol{y}}}_{t},t) $

，

${{\boldsymbol{x}}}_{t-1} $

是

${{\boldsymbol{x}}}_{t} $

和

$ \epsilon({{\boldsymbol{y}}}_{t},t) $

的仿射函数，根据式（7）可以从

${{\boldsymbol{x}}}_{t-1} $

恢复

${{\boldsymbol{x}}}_{t} $

。

(7)

${{\boldsymbol{x}}}_{t}=\frac{{{\boldsymbol{x}}}_{t-1}-{b}_{t}\epsilon({{\boldsymbol{y}}}_{t},t)}{{a}_{t}} $

这种可逆方式基于强线性化假设，在用于DDIM采样时，序列

${{\boldsymbol{x}}}_{t} $

和

$ {{\boldsymbol{y}}}_{t} $

可能会发散，为了增强稳定性，在每步扩散之后融合

${{\boldsymbol{x}}}_{t} $

和

$ {{\boldsymbol{y}}}_{t} $

的加权平均值作为中间混合层，计算如下：

(8)

$ {{\boldsymbol{x}}'}=q{\boldsymbol{x}}+\left(1-q\right){\boldsymbol{y}},\;\; 0\le q\le 1 $

这种混合方式也是可逆的：

(9)

$ {\boldsymbol{x}}=\frac{{{\boldsymbol{x}}'}-\left(1-q\right){\boldsymbol{y}}}{q} $

$ q $

参数的值用来平衡序列的发散性和稳定性。通常在生成步数为50的DDIM中，

$ q $

值设置在[0.9，0.97]区间效果最好。

在去噪（采样）过程中，首先初始化

${{\boldsymbol{x}}}_{T}\sim N\left(\mathrm{0,1}\right) $

$ {{\boldsymbol{y}}}_{T}={{\boldsymbol{x}}}_{T} $

。按照上述过程，定义新的更新规则：

(10)

${{\boldsymbol{x}}}_{t}^{{\mathrm{inter}}}={a}_{t}{{\boldsymbol{x}}}_{t}+{b}_{t}\epsilon\left({{\boldsymbol{y}}}_{t},t\right)$

(11)

$ {{\boldsymbol{y}}}_{t}^{{\mathrm{inter}}}={a}_{t}{{\boldsymbol{y}}}_{t}+{b}_{t}\epsilon\left({{\boldsymbol{x}}}_{t},t\right)$

(12)

${{\boldsymbol{x}}}_{t-1}=q{{\boldsymbol{x}}}_{t}^{{\mathrm{inter}}}+(1-q){{\boldsymbol{y}}}_{t}^{{\mathrm{inter}}} $

(13)

$ {{\boldsymbol{y}}}_{t-1}=q{{\boldsymbol{y}}}_{t}^{{\mathrm{inter}}}+(1-q){{\boldsymbol{x}}}_{t}^{{\mathrm{inter}}} $

反向采样过程为：

(14)

$ {{\boldsymbol{y}}}_{t+1}^{{\mathrm{inter}}}=\frac{{{\boldsymbol{y}}}_{t}-(1-q){{\boldsymbol{x}}}_{t}}{q} $

(15)

${{\boldsymbol{x}}}_{t+1}^{{\mathrm{inter}}}=\dfrac{{{\boldsymbol{x}}}_{t}-(1-q) {{\boldsymbol{y}}}_{t+1}^{{\mathrm{inter}}}}{q} $

(16)

$ {{\boldsymbol{y}}}_{t+1}=\frac{({{\boldsymbol{y}}}_{t+1}^{{\mathrm{inter}}}-{b}_{t+1}\epsilon({{\boldsymbol{x}}}_{t+1}^{{\mathrm{inter}}},t+1\left)\right)}{{\alpha }_{t+1}} $

(17)

${{\boldsymbol{x}}}_{t+1}=\frac{({{\boldsymbol{x}}}_{t+1}^{{\mathrm{inter}}}-{b}_{t+1}\epsilon({{\boldsymbol{y}}}_{t+1},t+1\left)\right)}{{\alpha }_{t+1}} $

基于耦合变换的精确反向扩散原理如图3所示，根据（

${{\boldsymbol{x}}}_{t},{{\boldsymbol{y}}}_{t} $

）可以推理出（

${{\boldsymbol{x}}}_{t-1},{{\boldsymbol{y}}}_{t-1} $

），（

${{\boldsymbol{x}}}_{t}, {{\boldsymbol{y}}}_{t} $

）也可以从（

${{\boldsymbol{x}}}_{t-1},{{\boldsymbol{y}}}_{t-1} $

）中精确恢复。每次计算后将每个序列的单个成员保存在内存中，整个序列可以通过任意两个相邻的

${{\boldsymbol{x}}}_{i} $

和

$ {{\boldsymbol{y}}}_{i} $

重构。基于这种精确的反向扩散过程，初始噪声可以被精确恢复，从而提高水印提取的准确性。

显示原图|下载原图ZIP|生成PPT

图 3 基于耦合变换的精确反向扩散原理

注：去噪过程（采样）表示为前向箭头，加噪过程为箭头所示的反方向，所有步骤都是可逆的。

Fig.3 Principle of exact diffusion inversion via coupled transformations

3 实验结果及分析

为验证所提方法的有效性，采用开源Stable Diffusion模型进行实验，数据集采用MS-COCO-2017，以及从Stable Diffusion的图像库“Lexica.art”中过滤和提取的一组提示（约80000个），以衡量水印在不同攻击场景中的有效性和可靠性。此外，进行了消融实验以验证精确反向扩散对水印提取准确性的提升效果。

3.1 实验设置

在实验中，生成过程的迭代步数设置为50，采用默认的文本引导尺度7.5。在DDIM反向扩散中，将文本提示设置为空，以模拟检测水印时仅有图像信息而无法获得文本提示的场景。

Stable Diffusion模型潜空间中

$x_t $

维度为64×64，设置水印半径r为10。将Stable diffusion模型与目前使用的水印方法进行比较，包括经典的图像水印方法DwtDct和DwtDctSvd、基于GAN的水印模型HiDDeN以及（Tree-ring）水印。前2种方法无须训练，可在图像生成后添加水印，HiDDeN模型已经过预训练，树环水印是通过即插即用的方式实现的。

3.2 性能指标

为了衡量水印的有效性，从不同角度评估水印的性能，具体如下：

1）水印提取误比特率。提取水印

$ {\boldsymbol{W}}' $

与嵌入水印

$ {\boldsymbol{W}} $

相比，错误比所占比例为水印提取误比特率。

2）水印提取准确率。定义门限

$ \tau $

，当每比特水印提取准确率大于

$ \tau $

时，认为该比特水印可正确提取。每次选取1000个含水印的生成图像和1000个不含水印的生成图像，计算不同门限值下的水印提取假阳性率和真阳性率，绘制ROC（Receiver Operating Characteristic）曲线，以ROC曲线的曲线下面积作为水印提取准确率。同时，假阳性率为1%时的真阳性率表示为TPR@1%FPR。

3） FID（Frechet Inception Distance）得分。为了证明含水印图像的生成质量，计算两个模型的FID得分, 从原始图像的计算机视觉特征的统计方面来衡量两组图像的相似度。分数越低代表两组图像越相似，在最佳情况下FID得分为 0。

4）CLIP（Contrastive Language-Image Pre-training）得分。将文本和图像分别转换为特征向量，计算它们之间的余弦相似度，用以衡量模型生成的图像与原文本（Prompt）之间的关联度大小。当CLIP 得分较高时，图像与文本之间的相关性更高。

3.3 水印提取准确率和嵌入量

选取1000个含水印的生成图像和1000个不含水印的生成图像，向图像中嵌入不同比特（1，2，

$\cdots $

, 16 bit）的水印信息，计算水印提取准确率和TPR@1%FPR，实验结果如表1所示。可以看到，对于所测试的嵌入量，水印提取准确率和TPR@1%FPR都达到了100%。理论上可以嵌入与潜空间向量相同大小的水印信息，但嵌入量过大会影响初始噪声分布，使得噪声分布偏离原始的高斯分布，因此本实验最大嵌入量设置为16 bit。

表 1 不同嵌入量下的水印提取准确率

Table 1 Accuracy of watermark extraction under different embedding payloads

嵌入量/bit	水印提取准确率	TPR@1%FPR
1	1.000	1.000
2	1.000	1.000
4	1.000	1.000
8	1.000	1.000
16	1.000	1.000

为测试水印的稳健性，实验中采用不同的图像处理方法，包括添加高斯噪声、旋转、裁剪、JPEG压缩，以及真实场景中可能存在的几种方法的混合处理，评估处理后图像中的水印恢复情况。表2显示了处理后图像的水印提取准确率，可以看出，水印可以抵抗不同的图像处理操作。由于潜空间中的初始噪声包含较多的高级语义信息，因此水印在抗压缩、抗噪声方面性能较好。此外，环形水印图案使水印对旋转具有较好的稳健性。

表 2 不同攻击下的水印提取准确率

Table 2 Accuracy of watermark extraction under different attacks

攻击方法	水印提取准确率	TPR@1%FPR
高斯噪声	1.000	1.000
旋转	0.990	0.990
裁剪10%	0.960	0.980
JPEG压缩（QF=85%）	1.000	1.000
高斯噪声+旋转	0.980	0.980
旋转+裁剪10%	0.960	0.970
旋转+压缩（QF=85%）	0.970	0.980
高斯噪声+旋转+裁剪10% +压缩（QF=85%）	0.940	0.950

3.4 水印对模型性能的影响

为测试水印对模型性能的影响，在MS-COCO-2017训练数据集上评估稳定扩散的FID和CLIP得分。使用不同的随机种子重复运行5次实验，每次实验生成5000张含水印的图像，计算生成图像集与原图像集的FID得分，以及生成图像与文本提示的CLIP得分，以5次实验的平均值作为实验结果。对不同方法的性能进行了比较，结果如表3和表4所示。通过FID得分可以看出，生成图像集与原数据集分布差异不大，通过CLIP得分可以看出，图像语义符合文本描述，同时本文方法的误比特率相比Tree-ring 下降了约0.09，且具有更好的鲁棒性。

表 3 不同方法的性能比较

Table 3 Performance comparison of different methods

方法	误比特率	水印提取准确率	TPR@ 1%FPR	FID 得分	CLIP 得分
DwtDct	0.010	0.985	0.632	25.10	0.362
DwtDctSvd	0.009	1.000	1.000	25.01	0.359
HiDDeN	0.050	1.000	1.000	24.51	0.361
Tree-ring	0.180	1.000	1.000	25.93	0.364
本文	0.090	1.000	1.000	25.86	0.365

表 4 不同方法的鲁棒性比较

Table 4 Robustness comparison of different methods

方法	水印提取准确率
方法	高斯噪声	旋转	裁剪10%	JPEG压缩
DwtDct	1.000	0.830	0.800	0.810
DwtDctSvd	1.000	0.880	0.840	0.820
HiDDeN	1.000	0.990	0.970	0.960
Tree-ring	1.000	0.820	0.830	0.890
本文	1.000	0.990	0.960	1.000

图4 展示了“Lexica.art”中提示词生成的图像，左图为不含水印的图像，右图为含水印的图像。由于水印嵌入时修改了初始噪声，使其在语义空间中的位置有所偏差，因此含水印的图像和不含水印的图像有些区别，但两张图像基本都符合文本语义。

显示原图|下载原图ZIP|生成PPT

图 4 “Lexica.art”中提示词生成的图像示例

Fig.4 Examples of the images generated using the prompt of “Lexica.art”

3.5 消融实验

为验证基于耦合变换的精确反向扩散对水印性能的提高效果，本节采用无重复的水印图案，从高斯分布中采样得出一个固定水印。该水印与噪声的原始DCT系数同样具有独立高斯分布的性质，因此对生成图像的影响最小。这种方法的优点是具有更大的嵌入量，当需要将模型分配给不同用户使用时，所有者可以为更多用户提供具有不同水印的模型，但会降低水印对于图像修改的稳健性。

实验测试了不同嵌入量下的水印提取误比特率，结果如表5所示。可以看出，原始DDIM采样方法的水印提取误比特率较高，在20%左右，一方面是因为自动编码器在图像与潜空间变换时是有损失的，另一方面是由于DDIM不是严格可逆的。优化后的扩散去噪过程具有更高的反向推理准确性，水印提取误比特率比原始DDIM下降了约10%。虽然EDICT仍有一定的误比特率，但这是由于自动编码器在图像与潜空间变换时存在损失，在应用中可以通过结合纠错编码进一步降低误比特率。

表 5 DDIM和EDICT的水印提取误比特率

嵌入量/bit	误比特率（原始水印）
嵌入量/bit	DDIM	EDICT
16	0.210	0.070
36	0.190	0.080
64	0.180	0.060
81	0.230	0.080
225	0.240	0.090

为了进一步验证该方法有效性，测试了本文方法在不同水印半径、引导强度、生成步骤下的性能，结果如表6所示。可以看出，在不同设置下，该方法具有一定通用性，水印均可被准确提取。随着生成步数的增加，所生成图像的质量也有所提升。

表 6 不同设置下的性能

Table 6 Performances under different settings

水印半径	引导强度	生成步数	水印提取准确率	TPR@ 1%FPR	FID 得分	CLIP 得分
5	7.5	50	1.000	0.850	25.60	0.810
10	7.5	50	1.000	0.830	25.10	0.800
10	5.0	50	1.000	0.840	26.01	0.790
10	7.5	100	1.000	0.890	24.68	0.830

4 结束语

本文提出了一种新的方法，以使扩散模型的输出中含有水印信息，从而实现生成式图像的版权认证及溯源。通过对生成模型中初始噪声的分布引入较小偏移来对其添加水印，水印存在于图像生成的全过程，且在生成的图像中不可观察。在版权验证阶段，可通过逆向推理准确恢复初始噪声，从而准确提取水印。通过实验验证了该方法的有效性，水印在不同图像处理后仍可被正确提取。但该方法仍存在一定的局限性，由于执行反演过程需要模型参数，因此水印仅可由模型所有者验证，在应用中存在一定限制。虽然该水印也可用于基于其他采样方法的生成模型，但水印恢复性能与采样方法的可逆性相关，对于非可逆的采样过程，水印无法被正确提取。在未来工作中，我们将探究如何解决上述问题。同时，通过可证明安全的信息隐藏方法，可以进一步提升水印的不可见性，降低水印对模型性能的影响。

References

Publishing order | Descend order by publishing year | Descend order by cited within

1	FATIMA N, IMRAN A S, KASTRATI Z, et al. A systematic literature review on text generation using deep neural network models[J]. IEEE Access, 2022, 10, 53490- 53503. DOI

2	GUO B, WANG H, DING Y, et al. Conditional text generation for harmonious human-machine interaction[J]. ACM Transactions on Intelligent Systems and Technology, 2021, 12 (2): 1- 50.

3	ZHANG H, SONG H, LI S, et al. A survey of controllable text generation using transformer-based pre-trained language models[J]. ACM Computing Surveys, 2023, 56 (3): 1- 37.

4	LI Y,LIU H,WU Q,et al. Gligen:Open-set grounded text-to-image generation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2023:22511-22521.

5	BIANCHI F,KALLURI P,DURMUS E,et al. Easily accessible text-to-image generation amplifies demographic stereotypes at large scale[C]//Proceedings of the 2023 ACM Conference on Fairness,Accountability and Transparency,2023:1493-1504.

6	ZHANG J,CHEN K,QIN C,et al. AAS:Automatic virtual data augmentation for deep image steganalysis[J]. IEEE Transactions on Dependable and Secure Computing,2023,doi:10.1109/TDSC.2023.3333913.

7	YANG D, YU J, WANG H, et al. Diffsound: Discrete diffusion model for text-to-sound generation[J]. IEEE/ACM Transactions on Audio, Speech and Language Processing,, 2023, 31, 1720- 1733.

8	BORSOS Z, MARINIER R, VINCENT D, et al. Audiolm: A language modeling approach to audio generation[J]. IEEE/ACM Transactions on Audio, Speech and Language Processing,, 2023, 31, 2523- 2533.

9	ESSER P,CHIU J,ATIGHEHCHIAN P,et al. Structure and content-guided video synthesis with diffusion models[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2023:7346-7356.

10	WU J Z,GE Y,WANG X,et al. Tune-a-video:One-shot tuning of image diffusion models for text-to-video generation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2023:7623-7633.

11	KARNEWAR A,MITRA N J,VEDALDI A,et al. Holofusion:Towards photo-realistic 3D generative modeling[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision,2023:22976-22985.

12	WANG H,DU X,LI J,et al. Score jacobian chaining:Lifting pretrained 2D diffusion models for 3d generation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2023:12619-12629.

13	FROMER J C, COLEY C W. Computer-aided multi-objective optimization in small molecule discovery[J]. Patterns, 2023, 4 (2): 1- 17.

14	VASWANI A,SHAZEER N,PARMAR N,et al. Attention is all you need[J]. Advances in Neural Information Processing Systems,2017,30:1-11.

15	BROWN T, MANN B, RYDER N, et al. Language models are few-shot learners[J]. Advances in Neural Information Processing Systems, 2020, 33, 1877- 1901.

16	RAY P P. ChatGPT:a comprehensive review on background,applications,key challenges,bias,ethics,limitations and future scope[J]. Internet of Things and Cyber-Physical Systems,2023,doi:10.1016/j.iotcps.2023.04.003.

17	LI L,ZHANG W,BARNI M. Covert task embedding:Turning a DNN into an insider agent leaking out private information[J]. IEEE Transactions on Neural Networks and Learning Systems,2022,doi:10.1109/TNNLS.2022.3216010.

18	FANG H, QIU Y, QIN G, et al. DP²: Dataset protection by data poisoning[J]. IEEE Transactions on Dependable and Secure Computing, 2024, 21 (2): 636- 649.

19	ZHAO Y, PANG T, DU C, et al. A recipe for watermarking diffusion models[J]. arXiv preprint arXiv:, 2303, 10137, 2023.

20	FERNANDEZ P, COUAIRON G, JÉGOU H, et al. The Stable Signature: rooting watermarks in latent diffusion models[J]. arXiv preprint arXiv:, 2303, 15435, 2023.

21	XIONG C,QIN C,FENG G,et al. Flexible and secure watermarking for latent diffusion model[C]//Proceedings of the 31st ACM International Conference on Multimedia,2023:1668-1676.

22	WEN Y, KIRCHENBAUER J, GEIPING J, et al. Tree-ring watermarks: fingerprints for diffusion images that are invisible and robust[J]. arXiv preprint arXiv:, 2305, 20030, 2023.

23	ROMBACH R,BLATTMANN A,LORENZ D,et al. High-resolution image synthesis with latent diffusion models[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022:10684-10695.

24	HO J, JAIN A, ABBEEL P. Denoising diffusion probabilistic models[J]. Advances in Neural Information Processing Systems, 2020, 33, 6840- 6851.

25	SONG J, MENG C, ERMON S. Denoising diffusion implicit models[J]. arXiv preprint arXiv:, 2010, 02502, 2020.

26	BEGUM M, UDDIN M S. Digital image watermarking techniques: A review[J]. Information, 2020, 11 (2): 110. DOI

27	GHOUTI L, BOURIDANE A, IBRAHIM M K, et al. Digital image watermarking using balanced multiwavelets[J]. IEEE Transactions on Signal Processing, 2006, 54 (4): 1519- 1536. DOI

28	MAHTO D K, SINGH A K. A survey of color image watermarking: State-of-the-art and research directions[J]. Computers & Electrical Engineering, 2021, 93, 107255.

29	WAN W, WANG J, ZHANG Y, et al. A comprehensive survey on robust image watermarking[J]. Neurocomputing, 2022, 488, 226- 247. DOI

30	ZHU T, QU W, CAO W. An optimized image watermarking algorithm based on SVD and IWT[J]. The Journal of Supercomputing, 2022, 78 (1): 222- 237. DOI

31	WU D, LI L, WANG J, et al. Robust zero-watermarking scheme using DTCWT and improved differential entropy for color medical images[J]. Journal of King Saud University-Computer and Information Sciences, 2023, 35 (8): 101708. DOI

32	ZHU J,KAPLAN R,JOHNSON J,et al. Hidden:Hiding data with deep networks[C]//Proceedings of the European Conference on Computer Vision (ECCV),2018:657-672.

33	MELLIMI S, RAJPUT V, ANSARI I A, et al. A fast and efficient image watermarking scheme based on deep neural network[J]. Pattern Recognition Letters, 2021, 151, 222- 228. DOI

34	ZHONG X, HUANG P C, MASTORAKIS S, et al. An automated and robust image watermarking scheme based on deep neural networks[J]. IEEE Transactions on Multimedia, 2020, 23, 1951- 1961.

35	LIU G,SI Y,QIAN Z,et al. WRAP:Watermarking approach robust against film-coating upon printed photographs[C]//Proceedings of the 31st ACM International Conference on Multimedia,2023:7274-7282.

36	FANG H,CHEN K,QIU Y,et al. DeNoL:A few-shot-sample-based decoupling noise layer for cross-channel watermarking robustness[C]//Proceedings of the 31st ACM International Conference on Multimedia,2023:7345-7353.

37	LI L, ZHANG W, BARNI M. Universal blackmarks: Key-image-free blackbox multi-bit watermarking of deep neural networks[J]. IEEE Signal Processing Letters, 2023, 30, 36- 40. DOI

Options

Outlines

模态框（Modal）标题

Abstract

Cite this article

0 引言

1 相关工作

1.1 扩散模型及逆向扩散

1.2 数字水印

1.3 模型水印

2 研究方法

2.1 威胁模型

2.2 水印嵌入

图 1 掩码示例

图 2 3 bit环形水印图案示例

2.3 水印提取

2.4 基于耦合变换的精确反向扩散

图 3 基于耦合变换的精确反向扩散原理

3 实验结果及分析

3.1 实验设置

3.2 性能指标

3.3 水印提取准确率和嵌入量

表 1 不同嵌入量下的水印提取准确率

表 2 不同攻击下的水印提取准确率

3.4 水印对模型性能的影响

表 3 不同方法的性能比较

表 4 不同方法的鲁棒性比较

图 4 “Lexica.art”中提示词生成的图像示例

3.5 消融实验

表 5 DDIM和EDICT的水印提取误比特率

表 6 不同设置下的性能

4 结束语

References