基于深度学习的自监督低照度图像增强方法.pdf

《基于深度学习的自监督低照度图像增强方法.pdf》由会员分享，可在线阅读，更多相关《基于深度学习的自监督低照度图像增强方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010097457.4 (22)申请日 2020.02.17 (71)申请人 哈尔滨工业大学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 张雨遆晓光董方洲王春晖 (74)专利代理机构 哈尔滨市松花江专利商标事 务所 23109 代理人 时起磊 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于。

2、深度学习的自监督低照度图像增 强方法 (57)摘要 一种基于深度学习的自监督低照度图像增 强方法， 属于数字图像处理领域。 本发明为解决 现有的低照度图像增强方法存在的效果差、 泛化 能力差的问题， 以及现有深度学习方法中对低照 度-正常照度数据集依赖程度高等问题。 本发明 针对低照度图像增强网络， 采集任意数量低照度 图像数据， 提取低照度图像的最大值通道图像做 直方图均衡化； 以直方图均衡化后最大值通道图 像作为监督， 结合Retinex理论和照度图像I平滑 的假设构建损失函数， 训练图像增强网络。 本发 明可以显著增强低照度图像的亮度、 对比度， 并 保留图像的细节和颜色信息。 本发明用。

3、于低照度 图像的增强。 权利要求书2页 说明书6页 附图3页 CN 111402145 A 2020.07.10 CN 111402145 A 1.一种基于深度学习的自监督低照度图像增强方法， 其特征在于， 包括以下步骤： 将待增强低照度图像输入图像增强网络； 所述的图像增强网络的输入为低照度图像S及其最大值通道图像Smax， S为M*N*3的矩 阵， M为行数， N为列数， 3为r,g,b三个颜色通道， Smax通过取三个颜色通道中的最大值得 到， 为M*N*1的矩阵， 将S和Smax合并为M*N*4的矩阵作为网络的输入： 图像增强网络输出的反射图像R即为增强后图像。 2.根据权利要求1所述。

4、的一种基于深度学习的自监督低照度图像增强方法， 其特征在 于， 所述图像增强网络结构如下： 输入分别输入第一卷积层和第二卷积层， 第一卷积层、 第二卷积层分别为9*9的卷积层 和3*3的卷积层； 第一卷积层连接第三卷积单元， 所述第三卷积单元为3*3的卷积层后连接一个ReLU层； 第三卷积单元连接第四卷积单元， 第四卷积单元连接第五卷积单元， 第五卷积单元连 接第六卷积单元， 第四卷积单元、 第五卷积单元、 第六卷积单元均为3*3的卷积层后连接一 个ReLU层； 第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单元， 第 七卷积单元为3*3的卷积层后连接一个ReLU层；。

5、 第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积层， 第八 卷积层连接第九卷积层， 第八卷积层、 第九卷积层均为3*3的卷积层； 第九卷积层连接一个Sigmoid激活函数层； Sigmoid激活函数层连接输出层， 输出为反射图像R和照度图像I。 3.根据权利要求1或2所述的一种基于深度学习的自监督低照度图像增强方法， 其特征 在于， 所述的图像增强网络为训练好的图像增强网络， 所述的训练过程如下： A1、 采集任意n张低照度图像， n1， 构建训练数据集； A2、 对于训练数据集中每一张低照度图像S， 提取其对应的最大值通道图像Smax， 利用直 方图均衡化对Smax。

6、进行处理， 得到直方图均衡化后最大值通道图像SHe_max； A3、 以直方图均衡化后最大值通道图像SHe_max作为监督， 结合Retinex理论和照度图像I 平滑的假设构建损失函数， 训练图像增强网络。 4.根据权利要求3所述的一种基于深度学习的自监督低照度图像增强方法， 其特征在 于， 步骤A2的具体过程包括以下步骤： 步骤三一、 提取低照度图像S的最大值通道图像Smax 其中， Smax(i,j)为最大值通道图像Smax中第i行、 第j列元素； max代表取最大值操作； c取 r、 g、 b， 对应rgb颜色空间下红绿蓝三个颜色通道， Sc(i,j)为低照度图像S在rgb颜色空间下 某。

7、一个通道第i行、 第j列元素； 步骤三二、 对最大值通道图像Smax做直方图均衡化操作， 得到直方图均衡化后最大值通 道图像SHe_max。 5.根据权利要求4所述的一种基于深度学习的自监督低照度图像增强方法， 其特征在 于， 步骤A3的具体过程包括以下步骤： 权利要求书 1/2 页 2 CN 111402145 A 2 步骤四一、 以直方图均衡化后最大值通道图像SHe_max作为监督， 结合Retinex理论和照 度图像I平滑的假设构建损失函数， 损失函数为： 其中， 1和 2为反射图损失和照度图损失的权重参数， 3为R在照度图损失中的权重 参数， 4为R在损失函数中的权重参数； S代表获取。

8、的图像， R代表反射图， I代表照度图； 代表矩阵中的对应位置元素相乘； Rc表示r、 g、 b通道中最大值通道对应的反射图， R代表 反射图R的梯度图， 代表求梯度； I代表照度图I的梯度图； 步骤四二、 利用步骤四一所提损失函数， 对图像增强网络进行训练。 6.根据权利要求5所述的一种基于深度学习的自监督低照度图像增强方法， 其特征在 于， 所述的 1，2，3，4的取值分别为0.1,0.1,10,0.01。 7.根据权利要求5所述的一种基于深度学习的自监督低照度图像增强方法， 其特征在 于， 步骤四二所述的训练过程包括以下步骤： (1)使用随机裁剪的低照度图像块进行训练， 图像块的大小为4。

9、8*48； (2)每次训练中随 机取16个小块； (3)使用Adam随机优化算法对网络进行训练， 更新率设置为0.001。 权利要求书 2/2 页 3 CN 111402145 A 3 一种基于深度学习的自监督低照度图像增强方法 技术领域 0001 本发明属于数字图像处理领域， 涉及低照度图像的增强方法。 背景技术 0002 图像是人类社会活动获取信息的主要来源。 但是， 受限于图像采集设备的性能， 在 环境光照不足的情况下， 只能得到低照度的图像。 低照度图像存在多种图像退化现象， 如图 像亮度过低， 噪声过高， 细节丢失等。 因为人类和计算机无法有效处理低照度图像， 因此需 要对低照度图像。

10、进行图像增强处理， 提高图像的亮度和对比度， 尽可能还原图像细节信息。 常用的低照度图像增强方法有： 0003 直方图均衡化： 通过使得增强后图像直方图近似均匀分布， 实现信息熵最大的效 果， 该方法容易实现且耗时短， 是应用最广泛的低照度图像增强方法。 但该方法及后续的各 种改进方法在应用过程中均难以避免细节丢失， 色彩恢复效果不佳， 噪声放大等问题。 0004 基于Retinex理论的图像增强方法： 该方法假设低照度图像可以分解为照度图像 和反射图像两部分， 且光照在空间分布均匀， 而从低照度图像中同时获得照度图像和反射 图像为严重病态问题， 需要加入其他约束。 现有的单尺度和多尺度Ret。

11、inex算法及各种改进 方法中仅利用照度图平滑的约束， 结果往往存在过增强和颜色发白等问题， 且无法很好的 处理噪声放大的问题。 0005 基于变分的图像增强方法： 为解决基于Retinex理论的模型中难以添加图像额外 先验信息所导致的噪声放大、 细节丢失等问题， 近年来提出了多种基于变分Retinex模型的 方法， 这些方法虽然取得了较好的视觉效果， 但求解变分方程非常耗时， 实时性较差。 0006 基于深度学习的图像增强方法： 在图像增强任务中， 大部分基于深度学习的算法 都是有监督的， 然而同时获取正常图像和退化图像难度很大。 尽管这些算法在低照度图像 增强方面取得了不错效果， 但有监督。

12、的训练方法存在如何选择最优参考图像和如何保证算 法对新设备、 环境的适应能力等两大问题， 这严重限制了算法在实际场景中的应用。 0007 综上所述， 现有的低照度图像增强方法， 主要存在以下问题： 一、 部分低照度图像 增强方法， 会产生噪声放大、 细节丢失等问题； 二、 基于变分的低照度图像增强方法， 运行效 率低； 三、 在缺少对应的应用场景下的正常-退化图像数据集的情况时， 现有的基于深度学 习的图像增强方法很难应用， 泛化能力差。 发明内容 0008 本发明为解决现有的低照度图像增强方法存在的效果差、 泛化能力差的问题， 以 及现有深度学习方法中对低照度-正常照度数据集依赖程度高等问题。

13、， 提出了一种基于深 度学习的自监督低照度图像增强方法。 0009 一种基于深度学习的自监督低照度图像增强方法， 包括以下步骤： 0010 将待增强低照度图像输入图像增强网络； 0011 所述的图像增强网络的输入为低照度图像S及其最大值通道图像Smax， S为M*N*3的 说明书 1/6 页 4 CN 111402145 A 4 矩阵， M为行数， N为列数， 3为r,g,b三个颜色通道， Smax通过取三个颜色通道中的最大值得 到， 为M*N*1的矩阵， 将S和Smax合并为M*N*4的矩阵作为网络的输入： 0012 图像增强网络输出的反射图像R即为增强后图像。 0013 进一步地， 所述图。

14、像增强网络结构如下： 0014 输入分别输入第一卷积层和第二卷积层， 第一卷积层、 第二卷积层分别为9*9的卷 积层和3*3的卷积层； 0015 第一卷积层连接第三卷积单元， 所述第三卷积单元为3*3的卷积层后连接一个 ReLU层； 0016 第三卷积单元连接第四卷积单元， 第四卷积单元连接第五卷积单元， 第五卷积单 元连接第六卷积单元， 第四卷积单元、 第五卷积单元、 第六卷积单元均为3*3的卷积层后连 接一个ReLU层； 0017 第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单 元， 第七卷积单元为3*3的卷积层后连接一个ReLU层； 0018 第七卷积单元的输。

15、出与第二卷积单元的输出进行Concat操作后输入第八卷积层， 第八卷积层连接第九卷积层， 第八卷积层、 第九卷积层均为3*3的卷积层； 0019 第九卷积层连接一个Sigmoid激活函数层； 0020 Sigmoid激活函数层连接输出层， 输出为反射图像R和照度图像I。 0021 进一步地， 所述的图像增强网络为训练好的图像增强网络， 所述的训练过程如下： 0022 A1、 采集任意n张低照度图像， n1， 构建训练数据集； 0023 A2、 对于训练数据集中每一张低照度图像S， 提取其对应的最大值通道图像Smax， 利 用直方图均衡化对Smax进行处理， 得到直方图均衡化后最大值通道图像SH。

16、e_max； 0024 A3、 以直方图均衡化后最大值通道图像SHe_max作为监督， 结合Retinex理论和照度 图像I平滑的假设构建损失函数， 训练图像增强网络。 0025 进一步地， 步骤A2的具体过程包括以下步骤： 0026 步骤三一、 提取低照度图像S的最大值通道图像Smax： 0027 0028 其中， Smax(i,j)为最大值通道图像Smax中第i行、 第j列元素； max代表取最大值操 作； c取r、 g、 b， 对应rgb颜色空间下红绿蓝三个颜色通道， Sc(i,j)为低照度图像S在rgb颜色 空间下某一个通道第i行、 第j列元素； 0029 步骤三二、 对最大值通道图像。

17、Smax做直方图均衡化操作， 得到直方图均衡化后最大 值通道图像SHe_max。 0030 进一步地， 步骤A3的具体过程包括以下步骤： 0031 步骤四一、 以直方图均衡化后最大值通道图像SHe_max作为监督， 结合Retinex理论 和照度图像I平滑的假设构建损失函数， 损失函数为： 0032 0033 其中， 1和 2为反射图损失和照度图损失的权重参数， 3为R在照度图损失中的 权重参数， 4为R在损失函数中的权重参数； S代表获取的图像， R代表反射图， I代表照度 图； 代表矩阵中的对应位置元素相乘； Rc表示r、 g、 b通道中最大值通道对应的反射图， R 说明书 2/6 页 5。

18、 CN 111402145 A 5 代表反射图R的梯度图， 代表求梯度； I代表照度图I的梯度图； 0034 步骤四二、 利用步骤四一所提损失函数， 对图像增强网络进行训练。 0035 进一步地， 所述的 1，2，3，4的取值分别为0.1,0.1,10,0.01。 0036 进一步地， 步骤四二所述的训练过程包括以下步骤： 0037 (1)使用随机裁剪的低照度图像块进行训练， 图像块的大小为48*48； (2)每次训练 中随机取16个小块； (3)使用Adam随机优化算法对网络进行训练， 更新率设置为0.001。 0038 本发明的有益效果： 0039 本发明提出了一种基于深度学习的自监督图像。

19、增强方法， 可以仅利用低照度图 像， 不需要依赖成对的低照度-正常照度数据集就可以完成网络的训练， 解决了现有基于深 度学习方法构建监督数据集成本高， 网络泛化能力低， 增强效果不佳等问题。 且所提方法， 仅需要分钟级训练， 在实际应用中也具有很好的实时性。 本发明可以显著增强低照度图像 的亮度、 对比度， 并保留图像的细节和颜色信息， 并且本发明所提方法可实现在线学习， 即 使图像增强效果不佳， 可以通过在线方法对低照度图像进行学习， 通过微调和重新训练改 善增强网络的处理效果。 附图说明 0040 图1为具体实施方式一中的照度图像增强的流程图； 0041 图2为图像增强网络结构示意图； 0。

20、042 图3为增强图像前的原始低照度图像； 0043 图4为实施例1增强后所得到图像； 0044 图5为实施例2增强后所得到图像。 具体实施方式 0045 具体实施方式一： 结合图1说明本实施方式， 0046 一种基于深度学习的自监督低照度图像增强方法， 包括以下步骤： 0047 步骤一、 基于深度学习设计图像增强网络， 该网络可以将低照度图像分解为反射 图像R和照度图像I； 0048 所述的图像增强网络的输入为低照度图像S及其最大值通道图像Smax， S为M*N*3的 矩阵， M为行数， N为列数， 3为r,g,b三个颜色通道， Smax通过取三个颜色通道中的最大值得 到， 为M*N*1的矩。

21、阵， 将S和Smax合并为M*N*4的矩阵作为网络的输入： 输出为反射图像R和照 度图像I。 0049 步骤二、 采集任意n张低照度图像， n1， 构建训练数据集， 训练数据集中可以仅 包含低照度图像； 0050 步骤三、 对于训练数据集中每一张低照度图像S， 提取其对应的最大值通道图像 Smax， 利用直方图均衡化对Smax进行处理， 得到直方图均衡化后最大值通道图像SHe_max； 0051 步骤四、 以直方图均衡化后最大值通道图像SHe_max作为监督， 结合Retinex理论和 照度图像I平滑的假设构建损失函数， 训练图像增强网络； 0052 步骤五、 将待增强低照度图像输入图像增强网。

22、络， 网络输出的反射图像R即为增强 后图像。 说明书 3/6 页 6 CN 111402145 A 6 0053 实际上， 本发明可以预先准备的低照度图像训练数据训练网络， 然后直接利用训 练好的网络进行图像增强。 0054 由于预先准备的低照度图像训练数据可能与实际拍摄的图片差别较大(即实际需 要增强的低照度图像与步骤二所述的训练集中的低照度图像差别较大)， 本发明也可以一 边拍摄一边将拍摄的低照度图像加入到训练过程中， 让训练的网络适应当前应用环境。 即 在步骤五之后， 将待增强低照度图像与步骤二所构建训练数据集共同输入图像增强网络 中， 利用步骤三到步骤五， 对网络进行训练， 实现在线学。

23、习。 然后， 利用在线学习训练的图像 增强网络进行图像增强。 0055 基于已经确定的增强网络， 本发明也可以不需要预先准备的低照度图像训练数据 或者预先训练网络， 仅使用现场采集的图片作为训练数据， 即利用待增强的图像(可以仅为 1张)， 此时该过程也相当于步骤二构建训练数据集的过程， 只不过训练集中的数据不是预 先准备的低照度图像。 然后， 利用步骤三到步骤五， 对网络进行训练， 实现在线学习。 最后， 利用在线学习训练的图像增强网络进行图像增强。 0056 本发明提出了一种基于深度学习的自监督图像增强方法， 可以仅利用低照度图 像， 不需要依赖成对的低照度-正常照度数据集就可以完成网络的。

24、训练， 解决了现有基于深 度学习方法构建监督数据集成本高， 网络泛化能力低， 增强效果不佳等问题。 本发明仅需要 分钟级训练， 在实际应用中具有很好的实时性。 本发明可以显著增强低照度图像的亮度、 对 比度， 并保留图像的细节和颜色信息， 并且本发明所提方法可实现在线学习， 即使图像增强 效果不佳， 可以通过在线方法对低照度图像进行学习， 通过微调和重新训练改善增强网络 的处理效果。 0057 具体地说， 在图像采集设备敏感度较低或夜间等光照较低情况下， 可以应用本发 明在保留图像的细节和颜色信息的基础上， 显著增强低照度图像的亮度、 对比度。 本发明所 提一种基于深度学习的自监督图像增强方法。

25、， 仅需要低照度图像即可以完成图像增强网络 的训练， 具有成本低和实时性高的特点。 本发明可以应用在民用的照相摄像、 智能视频监 控、 智能安防、 智能交通和光学成像制导等领域。 0058 具体实施方式二： 结合图2说明本实施方式， 0059 本实施方式所述一种基于深度学习的自监督低照度图像增强方法， 所述图像增强 网络具体如下： 0060 输入分别输入第一卷积层和第二卷积层， 第一卷积层、 第二卷积层分别为9*9的卷 积层和3*3的卷积层； 0061 第一卷积层连接第三卷积单元， 所述第三卷积单元为3*3的卷积层后连接一个 ReLU层； 0062 第三卷积单元连接第四卷积单元， 第四卷积单元。

26、连接第五卷积单元， 第五卷积单 元连接第六卷积单元， 第四卷积单元、 第五卷积单元、 第六卷积单元均为3*3的卷积层后连 接一个ReLU层； 0063 第六卷积单元的输出与第三卷积单元的输出进行Concat操作后输入第七卷积单 元， 第七卷积单元为3*3的卷积层后连接一个ReLU层； 0064 第七卷积单元的输出与第二卷积单元的输出进行Concat操作后输入第八卷积层， 第八卷积层连接第九卷积层， 第八卷积层、 第九卷积层均为3*3的卷积层； 说明书 4/6 页 7 CN 111402145 A 7 0065 第九卷积层连接一个Sigmoid激活函数层； 0066 Sigmoid激活函数层连接。

27、输出层， 输出为反射图像R和照度图像I。 0067 其他步骤和参数与具体实施方式一相同。 0068 具体实施方式三： 0069 本实施方式所述一种基于深度学习的自监督低照度图像增强方法， 所述步骤三的 具体过程包括以下步骤： 0070 步骤三一、 提取低照度图像S的最大值通道图像Smax， 具体公式如下： 0071 0072 其中， Smax(i,j)为最大值通道图像Smax中第i行、 第j列元素； max代表取最大值操 作； c取r、 g、 b， 对应rgb颜色空间下红绿蓝三个颜色通道， Sc(i,j)为低照度图像S在rgb颜色 空间下某一个通道第i行、 第j列元素； 0073 步骤三二、 。

28、对最大值通道图像Smax做直方图均衡化操作， 得到直方图均衡化后最大 值通道图像SHe_max。 0074 其他步骤和参数与具体实施方式一至二之一相同。 0075 具体实施方式四： 0076 本实施方式所述一种基于深度学习的自监督低照度图像增强方法， 所述步骤四的 具体过程包括以下步骤： 0077 步骤四一、 以直方图均衡化后最大值通道图像SHe_max作为监督， 结合Retinex理论 和照度图像I平滑的假设构建损失函数， 损失函数可以表示为如下三部分组成： 0078 0079 其中， lrcon代表重建损失， lR代表反射图损失， lS代表照度图损失； 1和 2为反射图 损失和照度图损失的。

29、权重参数。 0080 重建损失lrcon可以表示为： 0081 0082 其中， S代表获取的图像， R代表反射图， I代表照度图； 代表矩阵中的对应位置元 素相乘(element-wise multiplication)。 0083 反射图损失可以表示为： 0084 0085 其中， Rc表示r、 g、 b通道中最大值通道对应的反射图， R代表反射图R的梯度图， 代表求梯度， 为R在反射图损失中的权重参数。 0086 照度图损失可以表示为： 0087 0088 其中， I代表照度图I的梯度图，3为R在照度图损失中的权重参数。 0089 综上， 本发明所提损失函数可以表示为： 0090 009。

30、1 其中，4为R在损失函数中的权重参数。 说明书 5/6 页 8 CN 111402145 A 8 0092 经过反复优选， 各个权重参数 ， 1， 2， 3， 4的取值分别为0.1,0.1,0.1,10,0.01。 在此权重参数下， 基于对应的损失函数， 训练速度快、 效率高， 且对应的图像增强网络的增 强的亮度、 对比度好， 并能够很好地保留图像的细节和颜色信息。 0093 步骤四二、 利用步骤四一所提损失函数， 对图像增强网络进行训练， 具体如下： 0094 (1)在训练过程中， 使用随机裁剪的低照度图像块进行训练， 图像块的大小为48* 48； (2)每次训练中随机取16个小块； (3。

31、)使用Adam随机优化算法对网络进行训练， 更新率设 置为0.001。 此时能够在保证增强网络的增强效果的基础上， 进一步提高训练效率和增强网 络的效率。 0095 其他步骤和参数与具体实施方式一至三之一相同。 0096 实施例 0097 按照本发明进行低照度图像增强， 增强前的原始低照度图像如图3所示。 0098 实施例1、 本发明实施例预先准备的低照度图像训练数据训练网络， 然后直接利用 训练好的网络进行图像增强。 增强效果如图4所示。 0099 实施例2、 基于已经确定的增强网络， 本实施例不需要预先准备的低照度图像训练 数据或者预先训练网络， 仅使用现场采集的图片作为训练数据， 即利用。

32、待增强的图像， 然后 利用步骤三到步骤五， 对网络进行训练， 直接在线学习对应的网络进行图像增强。 增强效果 如图5所示。 0100 通过增强后的图像能够看出： 本发明的自监督低照度图像增强网络可以显著增强 图像的亮度、 对比度、 并保留图像的细节和颜色信息。 0101 通过实验也能够明确本发明所提方法具有很好的实时性。 说明书 6/6 页 9 CN 111402145 A 9 图1 图2 说明书附图 1/3 页 10 CN 111402145 A 10 图3 图4 说明书附图 2/3 页 11 CN 111402145 A 11 图5 说明书附图 3/3 页 12 CN 111402145 A 12 。