基于深度学习的图像去水印方法.pdf

《基于深度学习的图像去水印方法.pdf》由会员分享，可在线阅读，更多相关《基于深度学习的图像去水印方法.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010427238.8 (22)申请日 2020.05.19 (71)申请人 佛山市南海区广工大数控装备协同 创新研究院 地址 528225 广东省佛山市高新区产业智 库城 申请人 佛山市广工大数控装备技术发展有 限公司 (72)发明人 杨海东史扬艺黄坤山 (74)专利代理机构 广东广信君达律师事务所 44329 代理人 江金城 (51)Int.Cl. G06T 1/00(2006.01) G06T 5/50(2006.01) G06T 7/11(2017.01) G06T。

2、 7/40(2017.01) G06N 3/04(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于深度学习的图像去水印方法 (57)摘要 本发明公开了一种基于深度学习的图像去 水印方法， 生成器结构中， 每个卷积层得到的特 征图都会级联到对应的上采样层， 从而每层特征 图都能有效使用到后续计算中。 使用跳层连接的 方法， 避免了直接在高级特征图中进行监督和损 失计算， 实现了不同尺度下特征的融合， 提高模 型的结果精确度。 在编码器处， 执行卷积和最大 池化。 进行2*2最大池化时存储相应的最大池化 索引。 在编码器和解码器之间还存在短连接， 使 得网络生成结。

3、果更好。 在该去水印模型中， 采用 感知损失和L1范数相结合的方式替换传统的均 方误差损失法， 使得无水印生成图像在细节和纹 理上能够更贴近原图。 输入带水印数据集后， 该 模型能分离出水印和背景图， 进而还原图像。 权利要求书1页 说明书6页 附图5页 CN 111798359 A 2020.10.20 CN 111798359 A 1.一种基于深度学习的图像去水印方法， 其特征在于， 包括如下步骤： 步骤S1： 自制有水印数据集； 步骤S2： 设计生成器模块， 使用跳跃连接结构实现有噪点图像到复原图像间的转换； 步骤S3： 设计判别器模块， 把图像等分成patch， 判别器判断的是感受野局。

4、部patch的真 假性； 步骤S4： 设计损失函数， 感知损失和L1范数相结合的方式替换传统的均方误差损失法； 步骤S5： 输入带水印数据集后， 模型能分离出水印和背景图， 进而还原图像。 2.根据权利要求1所述的基于深度学习的图像去水印方法， 其特征在于， 所述步骤S1还 包括： 在网站上传图片， 并为图片加上水印， 通过图像减法计算差值， 获得水印图像。 3.根据权利要求2所述的基于深度学习的图像去水印方法， 其特征在于， 收集100种水 印， 选择官方数据集作为原始的无水印图像， 利用图像处理工具把收集的100种水印随机设 置大小、 位置以及透明度后， 添加到原始图像上， 得到水印图像数。

5、据集。 4.根据权利要求1所述的基于深度学习的图像去水印方法， 其特征在于， 所述步骤S2还 包括： 生成器结构中， 每个卷积层得到的特征图都会级联到对应的上采样层， 从而每层特征 图都能有效使用到后续计算中。 5.根据权利要求4所述的基于深度学习的图像去水印方法， 其特征在于， 使用跳层连接 的方法， 从而使得最终所得到的特征图中既包含了高级别的特征， 也包含很多的低级别的 特征， 实现了不同尺度下特征的融合。 6.根据权利要求1所述的基于深度学习的图像去水印方法， 其特征在于， 所述步骤S3还 包括： 该模型中， 为了更好地对图像的局部做判断， 把图像等分成patch， 判别器判断的是感 。

6、受野N*N局部patch的真假性。 7.根据权利要求6所述的基于深度学习的图像去水印方法， 其特征在于， 模型采用30* 30大小的输出， 每个元素感受野是70*70的patch， 判别器会判断30个70*70的patch的真假 性。 8.根据权利要求6所述的基于深度学习的图像去水印方法， 其特征在于， 判别器对整个 N*N大小图像卷积， 输出的是一个N*N的矩阵， N*N矩阵的每一个元素只有True或False两个 可能值， 然后对所有响应求平均值得到最终判别结果。 9.根据权利要求1所述的基于深度学习的图像去水印方法， 其特征在于， 所述步骤S4还 包括： 若仅仅使用GAN损失函数只能够衡。

7、量生成图片的结构与真实图片的结构是否相似， L1 和L2范数并不能很好地恢复图像的高频部分， L1范数计算的是两个像素值的距离， 能较好 地恢复图像的低频部分即图像中的色块特征， 在该去水印模型中， 采用感知损失和L1范数 相结合的方式替换传统的均方误差损失法， 使得无水印生成图像在细节和纹理上能够更贴 近原图。 10.根据权利要求1所述的基于深度学习的图像去水印方法， 其特征在于， 所述步骤S5 还包括： 输入带水印数据集后， 该模型能分离出水印和背景图， 进而还原图像； 模型能从大 型真实图像数据集中学习到图像的先验信息， 像素可以按照一定方式组合成一张无水印图 像， 通过这样的路径学习到。

8、通用图像信息的模型就能用来复原图像或者是生成高分辨率图 像了。 权利要求书 1/1 页 2 CN 111798359 A 2 一种基于深度学习的图像去水印方法 技术领域 0001 本发明涉及图像去水印技术领域， 尤其涉及一种基于深度学习的图像去水印方 法。 背景技术 0002 如今， 水印作为一种保护版权的有效方式被广泛应用于海量的互联网图像中， 针 对水印的各种处理变得越来越重要， 比如水印的检测以及水印的去除与反去除。 0003 在日常生活中如果下载和使用了带有水印的互联网图像， 往往既不美观也可能构 成侵权。 面对细节丰富且复杂的水印， 传统的PS去水印方法已经不能满足需求， 对细节破坏。

9、 的比较严重。 0004 水印在图像中的视觉显著性很低， 而且水印面积小、 颜色浅、 透明度高， 导致带水 印图像与无水印图像间差异很小、 区分度低， 所以精度要求高的去水印操作有一定实现难 度。 0005 研究发现， 未经任何学习过程的卷积图像生成器架构可以捕捉到大量图像数据， 尤其是解决不同图像修复问题的图像数据。 在卷积网络对损坏图像反复迭代时， 它能自动 利用图像的全局统计信息重构丢失的部分。 0006 在图像复原中， 基于学习的方法和基于非学习的方法是两种通用的方法。 基于学 习的方法是一种直接的方法， 将有噪点图像作为输入数据， 无噪点图像作为输出数据去训 练深度卷积网络进行学习。。

10、 基于非学习的方法或者说是手动制作先验的方法， 是在合成数 据里强行添加一些例如自然、 真实图像的所属类别这样的信息。 0007 一般训练图像降噪模型， 需要给神经网络输入带噪音图像和无噪音的干净样本这 样成对的数据集。 一组是清晰无噪点原图， 一组是有噪点图， 神经网络在大量对比中， 学习 到去除噪点的方法。 L1损失可以得到目标的中值， 这意味着网络可以被训练用来修复有显 著异常内容的图像(最高可达50)， 而且也仅仅需要成对的被污染图像。 这样的思路的瓶 颈在于： 寻找成对的符合要求的数据集是较困难的。 0008 图像到图像转换问题的一个特征定义是将高分辨率输入网格映射到高分辨率输 出网。

11、格。 输入和输出的表面外观虽然存在差异， 但是两者是相同底层结构的渲染。 使用对抗 生成网络的生成器的输入结构大致与输出结构对齐。 0009 在某些常见情况下， 网络可以学习恢复信号而不用输入 “干净” 的信号， 且得到的 结果接近或相当于使用 “干净” 样本进行训练。 0010 因此， 现有技术需要进一步改进和完善。 发明内容 0011 本发明的目的在于克服现有技术的不足， 提供一种基于深度学习的图像去水印方 法。 0012 本发明的目的通过下述技术方案实现： 说明书 1/6 页 3 CN 111798359 A 3 0013 一种基于对抗生成网络的图像去水印方法， 该方法主要包括如下具体步。

12、骤： 0014 1)自制有水印数据集。 0015 2)构造解决图像到图像的转换问题的生成对抗网络模型。 水印去除问题可以看作 是一个从图像到图像的转换问题， 也就是把带水印图像转换为无水印图像。 0016 3)模型分为生成器和判别器。 首先进行生成器模块的设计。 为了在细节和边缘部 分获得更好的结果， 使用跳跃连接结构实现有噪点图像到复原图像间的转换。 0017 4)编码器的设计。 编码器输出特征图的不同通道组合了图像的不同特征。 13个卷 积层， 没有全连接层。 0018 5)解码器的设计。 解码器使用最大池化的索引进行上采样。 0019 6)判别器模块的设计。 为了更好地对图像的局部做判断。

13、， 把图像等分成patch， 判 别器判断的是感受野N*N局部patch的真假性。 0020 7)设计损失函数。 在该去水印模型中， 采用感知损失和L1范数相结合的方式替换 传统的均方误差损失法， 使得无水印生成图像在细节和纹理上能够更贴近原图。 0021 8)把数据集输入到搭建的的模型中进行训练与测试。 输入带水印数据集后， 该模 型能分离出水印和背景图， 进而还原图像。 0022 进一步的， 步骤1)还包括： 收集各样的水印， 为了保证模型的泛化性能， 水印种类 尽可能的多。 网站上的图片都有统一样式的水印， 去网站上传图片， 让网站为图片加上水 印， 通过图像减法计算差值， 得到了水印图。

14、像。 一共收集了100种水印， 选择网上的官方数据 集作为原始的无水印图像， 利用图像处理工具把收集的100种水印随机设置大小、 位置以及 透明度后， 添加到原始图像上， 得到自制的水印图像数据集。 0023 进一步的， 步骤2)还包括： 先通过水印检测模型检测出水印区域， 然后再针对水印 区域来进行水印去除操作。 为了尽可能提升网络输出无水印图像的质量， 将输入信息添加 到输出中， 从而尽可能保留图像的背景信息。 0024 进一步的， 步骤3)还包括： 生成器结构中， 每个卷积层得到的特征图都会级联到对 应的上采样层， 从而每层特征图都能有效使用到后续计算中。 使用跳层连接的方法， 从而使 。

15、得最终所得到的特征图中既包含了高级别的特征， 也包含很多的低级别的特征， 实现了不 同尺度下特征的融合。 0025 进一步的， 步骤4)还包括： 在编码器处， 执行卷积和最大池化。 进行2*2最大池化时 存储相应的最大池化索引。 0026 进一步的， 步骤5)还包括： 在解码器处， 执行上采样和卷积。 最后， 每个像素送到 Softmax分类器。 在上采样期间， 调用相应编码器层的最大池化索引以进行上采样。 0027 进一步的， 步骤6)还包括： 模型采用30*30大小的输出， 每个元素感受野是70*70的 patch， 判别器会判断30个70*70的patch的真假性。 对于不同尺寸的pat。

16、ch参数值做实验后， 发现70*70的参数值比较合适。 0028 进一步的， 步骤7)还包括： 若仅仅使用GAN损失函数只能够衡量生成图片的结构与 真实图片的结构是否相似， L1和L2范数并不能很好地恢复图像的高频部分， L1范数计算的 是两个像素值的距离， 能较好地恢复图像的低频部分即图像中的色块特征。 在该去水印模 型中， 采用感知损失和L1范数相结合的方式替换传统的均方误差损失法， 使得无水印生成 图像在细节和纹理上能够更贴近原图。 说明书 2/6 页 4 CN 111798359 A 4 0029 进一步的， 步骤8)还包括： 输入带水印数据集后， 该模型能分离出水印和背景图， 进而还。

17、原图像。 模型能从大型真实图像数据集中学习到图像的先验信息， 像素可以按照一 定方式组合成一张无水印图像， 通过这样的路径学习到通用图像信息的模型就能用来复原 图像或者是生成高分辨率图像了。 0030 本发明的工作过程和原理是： 本发明提供一种基于深度学习的图像去水印方法， 在一定程度上， 图像去水印的过程是一种图像恢复的工作， 对抗生成网络能有效应对图像 恢复。 在生成器中输入带水印的原始图像作为条件约束， 通过判别器和生成器间的对抗训 练， 提高生成器的能力， 改善去水印效果。 0031 与现有技术相比， 本发明还具有以下优点： 0032 (1)本发明所提供的基于深度学习的图像去水印方法与。

18、传统技术相比， 可以生成 分辨率更高的图片， 在模型对抗生成的博弈过程中， 若是生成不清晰的图片， 判别网络会判 别该生成图像是假的。 0033 (2)本发明所提供的基于深度学习的图像去水印方法具有高鲁棒性和安全性的去 水印方案， 使得不仅对单一图片可视水印的擦除性能显著， 对大规模图片集也能保持高还 原性。 附图说明 0034 图1是本发明所提供的基于深度学习的图像去水印方法的流程图。 0035 图2是本发明所提供的图像生成网络生成器中的生成器的结构示意图。 0036 图3是本发明所提供的图像生成网络生成器中的编码器的结构示意图。 0037 图4是本发明所提供的图像生成网络生成器中的解码器使。

19、用最大池化的索引进行 上采样的示意图。 0038 图5是本发明所提供的图像生成网络生成器中使用跳层连接的局部模型示意图。 0039 图6是本发明所提供的有水印输入图(左图)和无水印生成图(右图)的效果对比示 意图。 0040 图7是本发明所提供的有水印输入图(左图)和无水印生成图(右图)的效果对比示 意图。 0041 图8是本发明所提供的有水印输入图(左图)和无水印生成图(右图)的效果对比示 意图。 具体实施方式 0042 为使本发明的目的、 技术方案及优点更加清楚、 明确， 以下参照附图并举实施例对 本发明作进一步说明。 0043 以下首先就本发明的技术术语进行解释与说明： 0044 感受野。

20、： 感受野表示输入空间中一个特定CNN特征的范围区域。 一个特征的感受野 可以采用区域的中心位置和特征大小进行描述。 CNN中每层的FeatureMap上的像素点在原 始图像中映射的区域大小， 相当于高层的特征图中的像素点受原图多大区域的影响。 0045 上采样： 上采样又称为放大图像或图像插值， 主要目的是放大原图像， 从而可以显 示在更高分辨率的显示设备上。 图像放大几乎都是采用内插值方法， 即在原有图像像素的 说明书 3/6 页 5 CN 111798359 A 5 基础上在像素点之间采用合适的插值算法插入新的元素。 0046 马尔可夫模型： 是一种统计模型， 广泛应用在语音识别、 词性。

21、自动标注、 音字转换、 概率文法等各个应用领域。 0047 生成器： 主要用来学习真实图像分布从而让自身生成的图像更加真实， 以 “骗过” 判别器。 0048 判别器： 需要对接收的图片进行真假判别。 0049 动态均衡： 生成器生成的图像接近于真实图像分布， 而判别器识别不出真假图像， 对于给定图像的预测为真的概率基本接近0.5。 0050 实施例1： 0051 如图1至图8所示， 本实施例公开了一种基于深度学习的图像去水印方法， 包括如 下具体实施步骤： 0052 1)自制有水印数据集。 0053 2)构造解决图像到图像的转换问题的生成对抗网络模型。 设想的方法是无监督图 像到图像的翻译，。

22、 灵感来自基于GAN的修复和检测模型。 水印去除问题可以看作是一个从图 像到图像的转换问题， 也就是把带水印图像转换为无水印图像。 0054 3)模型分为生成器和判别器。 首先进行生成器模块的设计。 生成器包括编码器和 解码器。 为了生成清晰逼真的图像， 在细节和边缘部分获得更好的结果， 使用跳跃连接结构 实现有噪点图像到复原图像间的转换。 0055 4)编码器的设计。 编码器输出特征图的不同通道组合了图像的不同特征。 13个卷 积层， 没有全连接层。 0056 5)解码器的设计。 解码器使用最大池化的索引进行上采样。 0057 6)接着是判别器模块的设计。 为了更好地对图像的局部做判断， 也。

23、就是说把图像 等分成patch， 判别器判断的是感受野N*N局部patch的真假性。 模型采用30*30大小的输出， 每个元素感受野是70*70的patch。 0058 7)设计损失函数。 在该去水印模型中， 采用感知损失和L1范数相结合的方式替换 传统的均方误差损失法， 使得无水印生成图像在细节和纹理上能够更贴近原图。 0059 8)把数据集输入到搭建的的模型中进行训练与测试。 输入带水印数据集后， 该模 型能分离出水印和背景图， 进而还原图像。 0060 步骤1)水印去除问题可以看作是一个从图像到图像的转换问题， 也就是把带水印 图像转换为无水印图像。 无论是搭建水印检测模型还是水印去除模。

24、型， 都需要海量水印图 像作为数据基础。 然而现实中并没有直接可以使用的水印图像数据集。 因此， 第一步是构建 一个水印图像数据集。 收集各式各样的水印， 为了保证后续模型良好的泛化性能， 所以水印 的种类要尽可能的多， 水印样式也要尽可能丰富。 网站上的图片都有统一样式的水印， 只需 要去网站上传一张纯色背景的图片， 这里采用的是50中性灰的纯色背景图， 让网站系统 为这张图片加上水印， 然后通过图像减法计算出差值， 也就得到了水印图像。 最后一共收集 了100种来自于企业、 组织以及个人的水印， 涵盖了中文、 英文、 数字和图形等不同的样式。 制作带水印的图像， 为了保证数据集的一般性， 。

25、选择网上公开的官方数据集作为原始的无 水印图像， 然后利用图像处理工具把收集的100种水印随机设置大小、 位置以及透明度后， 添加到原始图像上， 从而得到自制的水印图像数据集。 说明书 4/6 页 6 CN 111798359 A 6 0061 步骤2)构建的模型具有完整的循环网络结构， 研究发现， GAN在图像修复和重建上 具有很强大的能力， 因为水印在图像上的面积较小， 所以直接对整幅图像进行水印去除显 得过于粗暴， 也会使得去除水印的速度大大减慢。 针对这种情况， 先通过水印检测模型检测 出水印区域， 然后再针对水印区域来进行水印去除操作。 为了尽可能提升网络输出无水印 图像的质量， 将。

26、输入信息添加到输出中， 从而尽可能保留图像的背景信息。 0062 步骤3)生成器结构中， 每个卷积层得到的特征图都会级联到对应的上采样层， 从 而每层特征图都能有效使用到后续计算中。 即跳层连接， 输入和输出图像的外表面不同， 而 潜在结构相似， 对于去水印这样的图像恢复任务来说， 输入和输出图像应共享底层信息， 使 用跳层连接的方法， 避免了直接在高级特征图中进行监督和损失计算， 结合了低级特征图 中的特征， 从而使得最终所得到的特征图中既包含了高级别的特征， 也包含很多的低级别 的特征， 实现了不同尺度下特征的融合， 提高模型的结果精确度。 不同层次的特征即不同大 小的感受野， 对于大小不。

27、同的目标对象的敏感度不同。 感受野大的特征很容易识别出大物 体， 大物体边缘信息和小物体信息容易在深层网络多次采样过程中弄丢， 此时需要感受野 小的特征来帮助。 去水印模型中保留浅层结构可以较好地保留图像边界、 角点等高频的内 容。 0063 步骤4)在编码器处， 执行卷积和最大池化。 进行2*2最大池化时存储相应的最大池 化索引。 0064 步骤5)在解码器处， 执行上采样和卷积。 最后， 每个像素送到Softmax分类器。 在上 采样期间， 调用相应编码器层的最大池化索引以进行上采样。 在编码器和解码器之间还存 在短连接， 使得网络更好训练， 生成结果更好。 0065 步骤6)若模型是网络。

28、1*1大小的输出， 则感受野表示的是原图， 判别器判断的是原 图的真假性。 一般情况下， GAN只需要输出一个True或Fasle的矢量， 这是代表对整张图像的 评价。 该模型中， 为了更好地对图像的局部做判断， 也就是说把图像等分成patch， 判别器判 断的是感受野N*N局部patch的真假性。 模型采用30*30大小的输出， 每个元素感受野是70* 70的patch， 判别器会判断30个70*70的patch的真假性。 对于不同尺寸的patch参数值做实 验后， 发现70*70的参数值比较合适。 判别器对整个N*N大小图像卷积， 输出的是一个N*N的 矩阵， N*N矩阵的每一个元素只有T。

29、rue或False两个可能值， 这样的结果通过卷积层得到， 逐 次叠加的卷积层最终输出N*N矩阵， 矩阵中每个元素代表原图一个较大的感受野， 即原图的 一个Patch， 然后对所有响应求平均值得到最终判别结果。 N值可以比图像的全尺寸小， 如果 N值取1， 则类似于L2范数。 若距离大于patch块直径的元素间相互独立， 判别器会把图像建 模成一个马尔可夫随机场， 马尔可夫随机场会通过像素值的局部碎片区域描绘图像特征。 0066 步骤7)一般而言， 在取出噪声的图像复原任务中， 需要最小化损失函数， 计算损失 函数相对于随机噪声的梯度并遍历图像空间直到其收敛到某个点。 还可以采用第二种方 法：。

30、 构造一个用随机数初始化的函数， 来自不同空间的输出可以映射到图像， 使用梯度下降 更新随机数， 直到其在某个点收敛。 因此优化图像空间可以转化为优化随机数。 若仅仅使用 GAN损失函数只能够衡量生成图片的结构与真实图片的结构是否相似， L1和L2范数并不能 很好地恢复图像的高频部分， 也就是图像中的边缘区域， L1范数计算的是两个像素值的距 离， 衡量的是两张图片的颜色相似程度， 能较好地恢复图像的低频部分即图像中的色块特 征。 权衡后， 在该去水印模型中， 采用感知损失和L1范数相结合的方式替换传统的均方误差 说明书 5/6 页 7 CN 111798359 A 7 损失法， 使得无水印生。

31、成图像在细节和纹理上能够更贴近原图。 0067 步骤8)输入带水印数据集后， 该模型能分离出水印和背景图， 进而还原图像。 由于 水印嵌入时， 对于不同的原始无水印图像， 会有一定程度的嵌入不一致性， 该去水印模型具 有高鲁棒性和安全性的去水印方案， 使得不仅对单一图片可视水印的擦除性能显著， 对大 规模图片集也能保持高还原性。 假设模型能从大型真实图像数据集中学习到图像的先验信 息， 即像素可以按照一定方式组合成一张无水印图像， 通过这样的路径学习到通用图像信 息的模型就能用来复原图像或者是生成高分辨率图像了。 实际上仅仅只需要在存在噪点的 有水印图像上训练， 同样也能学习到图像的先验信息，。

32、 这种训练表示模型在单张存在噪点 的有水印图像上反复迭代。 0068 上述实施例为本发明较佳的实施方式， 但本发明的实施方式并不受上述实施例的 限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、 修饰、 替代、 组合、 简化， 均应为等效的置换方式， 都包含在本发明的保护范围之内。 说明书 6/6 页 8 CN 111798359 A 8 图1 说明书附图 1/5 页 9 CN 111798359 A 9 图2 说明书附图 2/5 页 10 CN 111798359 A 10 图3 说明书附图 3/5 页 11 CN 111798359 A 11 图4 图5 图6 说明书附图 4/5 页 12 CN 111798359 A 12 图7 图8 说明书附图 5/5 页 13 CN 111798359 A 13 。