针对中红外图像上色的方法.pdf

《针对中红外图像上色的方法.pdf》由会员分享，可在线阅读，更多相关《针对中红外图像上色的方法.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010724946.8 (22)申请日 2020.07.24 (71)申请人 西北工业大学 地址 710072 陕西省西安市友谊西路127号 (72)发明人 王向宇梁军利 (74)专利代理机构 西北工业大学专利中心 61204 代理人 金凤 (51)Int.Cl. G06T 11/00(2006.01) G06T 7/90(2017.01) G06T 7/10(2017.01) G06T 5/00(2006.01) (54)发明名称 一种针对中红外图像上色的方法 (57)摘。

2、要 本发明公开了一种针对中红外图像上色的 方法。 首先构建彩色图像和中红外图像匹配的字 典； 再根据得到的字典， 依据n近邻原则， 找到与 待上色中红外图像的小块匹配的彩色图像小块， 进而构造彩色图像， 得到初步上色后的中红外图 像； 最后利用全变分模型， 对初步上色后的中红 外图像去噪， 得到最终的结果。 该方法很好的将 图像场景中的主要物体与背景区分开来， 上色效 果较为自然。 权利要求书3页 说明书6页 附图3页 CN 111815732 A 2020.10.23 CN 111815732 A 1.一种针对中红外图像上色的方法， 其特征在于， 包括以下步骤： 步骤1： 建立中红外图像和彩。

3、色图像匹配字典； 步骤1-1： 选取m幅大小相同的彩色图像， 获取每一幅彩色图像对应的中红外图像， 获取 的中红外图像大小与彩色图像相同； 彩色图像与自身对应的中红外图像组成图像对， 共有m 组图像对； 步骤1-2： 将第k组图像对中的彩色图像按RGB值分为R通道图像、 G通道图像和B通道图 像， k1,m， 将每个通道图像分割为p个s1s2大小的矩形小块， 再将每个通道图像的p个 矩形小块按照矩形小块在通道图像中从左至右从上至下的位置顺序排序； 将每个矩形小块 内的像素按从左至右从上至下的顺序展开成列向量， 共生成p个列向量； 再将每个通道的p 个列向量组成一个二维矩阵， 二维矩阵中列向量从。

4、左至右的排列顺序和列向量对应的p个 矩形小块的排序相同； 三个通道图像构成三个二维矩阵， 分别记为和 将第k组图像对中的中红外图像分割为p个s1s2大小的矩形小块， 将中红外图像的p个 矩形小块按照矩形小块在中红外图像中从左至右从上至下的位置顺序排序； 将中红外图像 的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量， 共生成p个列向量； 再 将p个列向量组成一个二维矩阵， 二维矩阵中列向量从左至右的排列顺序和列向量对应的p 个矩形小块的排序相同， 记为DIRk； 定义和分别为第k组图像对的R通道字典、 G通道字典和B通道字典； 步骤1-3： 将所有m组图像对采用步骤1-2的处理方法，。

5、 得到m组图像对的R通道字典、 G通 道字典和B通道字典； 将m组图像对的R通道字典、 G通道字典和B通道字典按RGB三个通道分 别合并， 结果为： ， 将合 并后的结果记为：其中为总R通道 字典，为总G通道字典，为总B通道字典； 和DIR均为二维矩阵且大小相同； 在每一个通道字典内部DIR与 中列序号相同的向量具有对应关系； 步骤2： 中红外图像上色； 步骤2-1： 将待上色的中红外图像分割成a个s1s2大小的矩形小块， 将中红外图像的a 个矩形小块按照矩形小块在待上色的中红外图像中从左至右从上至下的位置顺序排序； 将 待上色的中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列。

6、向量， 共生成a个列向量； 再将a个列向量组成一个二维矩阵， 二维矩阵中列向量从左至右的排列 顺序和列向量对应的a个矩形小块的排序相同， 记为 IR， 其中第i个矩形小块生成的列向量 记为 步骤2-2： 采用n近邻原则在矩阵DIR中找到与距离最近的n个列向量， 表示为 使用总R通道字典、 总G通道字典和总B通道字典， 得到在 权利要求书 1/3 页 2 CN 111815732 A 2 二维矩阵和中对应的n个列序号相同的列向量分别为 和 对和加权求和： 式中，分别表示待上色的中红外图像的第i个矩形小块生成的列向量对应 的RGB三个通道图像小块列向量； 按照步骤1-2中将每个矩形小块内的像素按从。

7、左至右从上 至下的顺序展开成列向量时的像素排序， 将RGB三个通道图像小块列向量复原 为RGB三个通道的图像小块； wj为权重， 计算如下： 步骤2-3： 对待上色的中红外图像分割的每一个图像小块都进行步骤2-2的处理， 得到 中红外图像每一个图像小块对应的RGB三个通道的图像小块； 再将得到的中红外图像每一 个图像小块对应的RGB三个通道的图像小块按步骤2-1对中红外图像进行分割时从左至右 从上至下的位置顺序分别拼接成完整的三幅RGB通道图像， 并将得到的三幅RGB通道图像叠 加成三维矩阵， 从而得到初步上色后的彩色图像Z； 步骤3： 采用全变分模型去噪， 构造目标函数： 式中， X为去噪后。

8、对中红外图像上色的彩色图像，为对X求微分， 为惩罚因子； 迭代一次， 得到： 式中， d为梯度下降的步长，为对Z求微分。 2.根据权利要求1所述的一种针对中红外图像上色的方法， 其特征在于， 步骤1-1所述 的获取每一幅彩色图像对应的中红外图像的方法为： 采用红外摄像头和可见光摄像头对同 一场景进行拍照采样， 经过图像去畸变、 缩放和对准后， 获得彩色图像与中红外图像的图像 对。 3.根据权利要求1所述的一种针对中红外图像上色的方法， 其特征在于， 步骤1-2所述 的s110， s210。 4.根据权利要求1所述的一种针对中红外图像上色的方法， 其特征在于， 步骤2-2所述 权利要求书 2/3。

9、 页 3 CN 111815732 A 3 的n近邻原则的n10。 5.根据权利要求1所述的一种针对中红外图像上色的方法， 其特征在于， 步骤2-2所述 的n近邻原则方法如下： 计算与矩阵DIR中每个列向量之间的距离， 即求取两个向量相减后所得向量的二范 数； 将计算得到的所有距离按从小到大的顺序排序， 取前n个距离对应的DIR的列向量。 6.根据权利要求1所述的一种针对中红外图像上色的方法， 其特征在于， 步骤3所述的 0， d0.2。 7.根据权利要求1所述的一种针对中红外图像上色的方法， 其特征在于， 步骤3所述的 求微分的方法为用图像像素与其八邻域内像素的差值替代微分值。 权利要求书 。

10、3/3 页 4 CN 111815732 A 4 一种针对中红外图像上色的方法 技术领域 0001 本发明属于图像处理领域， 具体涉及一种图像上色的方法。 背景技术 0002 随着红外成像技术在军事领域的广泛应用， 针对红外图像的各种图像处理技术快 速发展起来。 红外图像上色属于近些年来才开始发展的技术， 对于红外图像分割、 目标识别 等具有重要意义。 红外图像成像主要依靠物体的热辐射， 根据辐射波长的不同大致可分为 近红外图像， 中红外图像和远红外图像， 不同波段的红外图像成像过程和使用的设备不同。 对于近红外图像， 可以用同一镜头添加滤光片即可采集可见光彩色图像和对应的近红外图 像， 并且。

11、彩色图像与近红外图像之间是像素级别的对应关系， 可通过构造点对点的映射关 系实现二者之间的转换。 对于中红外图像和远红外图像， 只能用热红外成像仪成像， 所成的 像与可见光彩色图像之间不存在像素级别的一对一关系。 现有技术对中红外图像上色主要 利用神经网络来实现， 从上色后的效果来看， 不能很好的对场景中的物体进行上色从而无 法有效的将图像中的主要物体与背景区分开来并且存在伪上色现象， 即处理后物体的颜色 与现实情况中物体可能的颜色相差较大， 给人感官上的差别很大。 发明内容 0003 为了克服现有技术的不足， 本发明提供了一种针对中红外图像上色的方法。 首先 构建中红外图像和彩色图像匹配的字。

12、典； 再根据得到的字典， 依据n近邻原则， 找到与待上 色中红外图像的小块匹配的彩色图像小块， 进而构造彩色图像， 得到初步上色后的中红外 图像； 最后利用全变分模型， 对初步上色后的中红外图像去噪， 得到最终的结果。 该方法很 好的将图像场景中的主要物体与背景区分开来， 上色效果较为自然。 0004 本发明解决其技术问题所采用的技术方案包括以下步骤： 0005 步骤1： 建立中红外图像和彩色图像匹配字典； 0006 步骤1-1： 选取m幅大小相同的彩色图像， 获取每一幅彩色图像对应的中红外图像， 获取的中红外图像大小与彩色图像相同； 彩色图像与自身对应的中红外图像组成图像对， 共有m组图像对。

13、； 0007 步骤1-2： 将第k组图像对中的彩色图像按RGB值分为R通道图像、 G通道图像和B通 道图像， k1,m， 将每个通道图像分割为p个s1s2大小的矩形小块， 再将每个通道图像 的p个矩形小块按照矩形小块在通道图像中从左至右从上至下的位置顺序排序； 将每个矩 形小块内的像素按从左至右从上至下的顺序展开成列向量， 共生成p 个列向量； 再将每个通 道的p个列向量组成一个二维矩阵， 二维矩阵中列向量从左至右的排列顺序和列向量对应的p 个矩形小块的排序相同； 三个通道图像构成三个二维矩阵， 分别记为和 0008 将第k组图像对中的中红外图像分割为p个s1s2大小的矩形小块， 将中红外图像。

14、 的p个矩形小块按照矩形小块在中红外图像中从左至右从上至下的位置顺序排序； 将中红 外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量， 共生成p个列 说明书 1/6 页 5 CN 111815732 A 5 向量； 再将p个列向量组成一个二维矩阵， 二维矩阵中列向量从左至右的排列顺序和列向量 对应的p个矩形小块的排序相同， 记为DIRk； 0009定义和分别为第k组图像对的R通道 字典、 G通道字典和B通道字典； 0010 步骤1-3： 将所有m组图像对采用步骤1-2的处理方法， 得到m组图像对的R通道字 典、 G通道字典和B通道字典； 将m组图像对的R通道字典、 G通道字典和。

15、B通道字典按RGB三个 通道分别合并， 结果为： 0011， 将合并后的结果记为：其中为总 R 通道字典，为总G通道字典，为总B通道字典； 0012和DIR均为二维矩阵且大小相同； 在每一个通道字典内部DIR 与中列序号相同的向量具有对应关系； 0013 步骤2： 中红外图像上色； 0014 步骤2-1： 将待上色的中红外图像分割成a个s1s2大小的矩形小块， 将中红外图像 的a个矩形小块按照矩形小块在待上色的中红外图像中从左至右从上至下的位置顺序排 序； 将待上色的中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列 向量， 共生成a个列向量； 再将a个列向量组成一个二维矩阵， 。

16、二维矩阵中列向量从左至右的 排列顺序和列向量对应的a个矩形小块的排序相同， 记为 IR， 其中第i个矩形小块生成的列 向量记为 iIR； 0015 步骤2-2： 采用n近邻原则在矩阵DIR中找到与 iIR距离最近的n个列向量， 表示为 使用总R通道字典、 总G通道字典和总B通道字典， 得到在 二维矩阵和中对应的n个列序号相同的列向量分别为 和 0016对和加权求和： 0017 0018式中，分别表示待上色的中红外图像的第i个矩形小块生成的列向量 对应的RGB三个通道图像小块列向量； 按照步骤1-2中将每个矩形小块内的像素按从左至右 从上至下的顺序展开成列向量时的像素排序， 将RGB三个通道图像。

17、小块列向量 复原为RGB三个通道的图像小块； 0019 wj为权重， 计算如下： 0020 说明书 2/6 页 6 CN 111815732 A 6 0021 0022 步骤2-3： 对待上色的中红外图像分割的每一个图像小块都进行步骤2-2的处理， 得到中红外图像每一个图像小块对应的RGB三个通道的图像小块； 再将得到的中红外图像 每一个图像小块对应的RGB三个通道的图像小块按步骤2-1对中红外图像进行分割时从左 至右从上至下的位置顺序分别拼接成完整的三幅RGB通道图像， 并将得到的三幅RGB通道图 像叠加成三维矩阵， 从而得到初步上色后的彩色图像Z； 0023 步骤3： 采用全变分模型去噪，。

18、 构造目标函数： 0024 0025式中， X为去噪后对中红外图像上色的彩色图像，为对X求微分， 为惩罚因子； 0026 迭代一次， 得到： 0027 0028式中， d为梯度下降的步长， 为对Z求微分。 0029 优选地， 步骤1-1所述的获取每一幅彩色图像对应的中红外图像的方法为： 采用红 外摄像头和可见光摄像头对同一场景进行拍照采样， 经过图像去畸变、 缩放和对准后， 获得 彩色图像与中红外图像的图像对； 0030 优选地， 步骤1-2所述的s110， s210。 0031 优选地， 步骤2-2所述的n近邻原则的n10。 0032 优选地， 步骤2-2所述的n近邻原则方法如下： 0033。

19、 计算 iIR与矩阵DIR中每个列向量之间的距离， 即求取两个向量相减后所得向量的 二范数； 将计算得到的所有距离按从小到大的顺序排序， 取前n个距离对应的DIR的列向量。 0034 优选地， 步骤3所述的 0， d0.2。 0035 优选地， 步骤3所述的求微分的方法为用图像像素与其八邻域内像素的差值替代 微分值。 0036 由于采用了本发明的一种针对中红外图像上色的方法， 对中红外图像上色后可以 将图像场景中的主要物体与背景区分开来， 上色效果较为自然。 附图说明 0037 图1是彩色图像与中红外图像对示意图； 0038 图2是采用本发明方法待上色的中红外图像； 0039 图3是对图2上色。

20、时挑选的用于生成字典的三对彩色与中红外图像对； 0040 图4是本发明方法得到的对图2上色后的RGB三个通道的图像； 0041 图5是本发明方法得到的对图2上色后的初步彩色图像； 0042 图6是本发明方法得到的初步彩色图像进行全变分模型去噪后的结果； 说明书 3/6 页 7 CN 111815732 A 7 具体实施方式 0043 下面结合附图和实施例对本发明进一步说明。 0044 一种针对中红外图像上色的方法。 包括以下步骤： 0045 步骤1： 建立中红外图像和彩色图像匹配字典； 0046 步骤1-1： 选取m幅大小相同的彩色图像， 获取每一幅彩色图像对应的中红外图像， 获取的中红外图像。

21、大小与彩色图像相同； 彩色图像与自身对应的中红外图像组成图像对， 共有m组图像对； 0047 步骤1-2： 将第k组图像对中的彩色图像按RGB值分为R通道图像、 G通道图像和B通 道图像， k1,m， 将每个通道图像分割为p个s1s2大小的矩形小块， 再将每个通道图像 的p个矩形小块按照矩形小块在通道图像中从左至右从上至下的位置顺序排序； 将每个矩 形小块内的像素按从左至右从上至下的顺序展开成列向量， 共生成p 个列向量； 再将每个通 道的p个列向量组成一个二维矩阵， 二维矩阵中列向量从左至右的排列顺序和列向量对应的p 个矩形小块的排序相同； 三个通道图像构成三个二维矩阵， 分别记为和 004。

22、8 将第k组图像对中的中红外图像分割为p个s1s2大小的矩形小块， 将中红外图像 的p个矩形小块按照矩形小块在中红外图像中从左至右从上至下的位置顺序排序； 将中红 外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列向量， 共生成p个列 向量； 再将p个列向量组成一个二维矩阵， 二维矩阵中列向量从左至右的排列顺序和列向量 对应的p个矩形小块的排序相同， 记为DIRk； 0049定义和分别为第k组图像对的R通道 字典、 G通道字典和B通道字典； 0050 步骤1-3： 将所有m组图像对采用步骤1-2的处理方法， 得到m组图像对的R通道字 典、 G通道字典和B通道字典； 将m组图像对的R通。

23、道字典、 G通道字典和B通道字典按RGB三个 通道分别合并， 结果为： 0051， 将合并后的结果记为：其中为总 R 通道字典，为总G通道字典，为总B通道字典； 0052和DIR均为二维矩阵且大小相同； 在每一个通道字典内部DIR 与中列序号相同的向量具有对应关系； 0053 步骤2： 中红外图像上色； 0054 步骤2-1： 将待上色的中红外图像分割成a个s1s2大小的矩形小块， 将中红外图像 的a个矩形小块按照矩形小块在待上色的中红外图像中从左至右从上至下的位置顺序排 序； 将待上色的中红外图像的每个矩形小块内的像素按从左至右从上至下的顺序展开成列 向量， 共生成a个列向量； 再将a个列向。

24、量组成一个二维矩阵， 二维矩阵中列向量从左至右的 排列顺序和列向量对应的a个矩形小块的排序相同， 记为 IR， 其中第i个矩形小块生成的列 向量记为 iIR； 0055 步骤2-2： 采用n近邻原则在矩阵DIR中找到与 iIR距离最近的n个列向量， 表示为 说明书 4/6 页 8 CN 111815732 A 8 使用总R通道字典、 总G通道字典和总B通道字典， 得到在 二维矩阵和中对应的n个列序号相同的列向量分别为 和 0056对和加权求和： 0057 0058式中，分别表示待上色的中红外图像的第i个矩形小块生成的列向量 对应的RGB三个通道图像小块列向量； 按照步骤1-2中将每个矩形小块内。

25、的像素按从左至右 从上至下的顺序展开成列向量时的像素排序， 将RGB三个通道图像小块列向量 复原为RGB三个通道的图像小块； 0059 wj为权重， 计算如下： 0060 0061 0062 步骤2-3： 对待上色的中红外图像分割的每一个图像小块都进行步骤2-2的处理， 得到中红外图像每一个图像小块对应的RGB三个通道的图像小块； 再将得到的中红外图像 每一个图像小块对应的RGB三个通道的图像小块按步骤2-1对中红外图像进行分割时从左 至右从上至下的位置顺序分别拼接成完整的三幅RGB通道图像， 并将得到的三幅RGB通道图 像叠加成三维矩阵， 从而得到初步上色后的彩色图像Z； 0063 步骤3：。

26、 采用全变分模型去噪， 构造目标函数： 0064 0065式中， X为去噪后对中红外图像上色的彩色图像，为对X求微分， 为惩罚因子； 0066 迭代一次， 得到： 0067 0068式中， d为梯度下降的步长，为对Z求微分。 0069 实施例： 0070 本实施例关于彩色图像和对应的中红外图像的获取方法， 是采用红外摄像头和可 见光摄像头对同一场景进行拍照采样， 经过图像去畸变、 缩放和对准后， 获得一系列彩色图 像与中红外图像匹配的图像对。 图1所示为一对经过处理的图像对， 左侧为彩色图像， 右侧 为中红外图像， 可以看出同一物体在不同图像中的位置和大小是大致相同的。 选用的待上 色中红外图。

27、像如图2。 说明书 5/6 页 9 CN 111815732 A 9 0071 1、 根据图2待上色的中红外图像选择三幅内容与图2中红外图像相近的中红外图 像和这三幅中红外图像对应可见光彩色图像， 图3为对应图2选择的三对可见光彩色图像与中红 外图像， 左侧为彩色图像， 右侧为中红外图像。 由于彩色图像具有三个通道， 在每一个通道采取相 同的操作， 对这三对图像按步骤1所述构建字典 分割块的尺寸s1s2选择10*10。 在每一个字典内部DIR与中列序号相 同的向量具有对应关系， 这个对应关系是红外图像上色的关键。 0072 2、 对待上色中红外图像上色得到初步上色后的图像； 0073 将待上色。

28、的中红外图像分成若干个10*10大小的小块， 其中第i个矩形小块生成的列 向量记为 iIR， 在DIR的列向量中寻找10个与 iIR距离最近的向量， 这10个距离最近的向量表示 为使用总R通道字典、 总G通道字典和总B通道字典，在 二维矩阵和对应的列向量为 和对这些向量进行加权求和： 0074 0075 0076 0077得到第i个矩形小块对应的RGB三个通道的图像小块 0078 对待上色图像分成的每一个小块均采取上述步骤， 将得到的三通道彩色图像小块 列向量重新转换为10*10的三通道彩色图像小块， 并拼接得到RGB三个通道的图像， 如图4所 示， 并将得到的三幅RGB通道图像叠加成三维矩阵。

29、， 从而得到初步的上色图像Z， 如图5。 0079 3、 对上一步得到的初步上色后图像利用步骤3全变分模型进行去噪处理； 0080 取 为0， 取d为0.2， 仅迭代一次， 得到可得去噪后的图像如图6。 0081 根据仿真结果， 可以看出， 利用本发明对中红外图像上色， 很好的将物体与背景分 离开来， 并且上色效果自然。 说明书 6/6 页 10 CN 111815732 A 10 图1 图2 说明书附图 1/3 页 11 CN 111815732 A 11 图3 图4 说明书附图 2/3 页 12 CN 111815732 A 12 图5 图6 说明书附图 3/3 页 13 CN 111815732 A 13 。