基于多模态光谱图像的像素级图像分割系统及方法.pdf

《基于多模态光谱图像的像素级图像分割系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于多模态光谱图像的像素级图像分割系统及方法.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010466697.7 (22)申请日 2020.05.28 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 李杨都思丹周子豪李明 彭成磊陈佟陈旭东杨帆 王杰黎琪 (74)专利代理机构 南京知识律师事务所 32207 代理人 徐航天张苏沛 (51)Int.Cl. G06T 7/10(2017.01) G06T 7/33(2017.01) G06T 7/40(2017.01) G06T 7/90(2017.01) (54)发。

2、明名称 一种基于多模态光谱图像的像素级图像分 割系统及方法 (57)摘要 本发明公开了一种基于多模态光谱图像的 像素级图像分割系统， 多个可见光相机和热成像 传感器构成相机阵列， 可见光相机搭建为多模态 相机阵列组， 构成多模态的信息源； 图形采集卡 连接多模态的信息源与采集工作站， 将采集的图 像数据存储在采集工作站中； 服务器对采集工作 站中的图形数据进行配准、 后处理。 本发明还公 开了一种基于多模态光谱图像的像素级图像分 割方法， 通过将单模态的图像分割算法扩展成多 模态输入， 并在网络中间层将多模态特征图融 合， 提高了Mask-RCNN图像分割算法的精度。 同时 构建一套多模态光谱。

3、图像采集系统， 可用于构建 多模态数据集， 应用于目标检测、 图像分割、 语义 分割等相关机器视觉任务， 具有现实的应用前 景。 权利要求书2页 说明书4页 附图1页 CN 111462128 A 2020.07.28 CN 111462128 A 1.一种基于多模态光谱图像的像素级图像分割系统， 其特征在于： 包括多模态的信息 源、 图形采集卡、 采集工作站、 服务器； 多模态的信息源包括多个可见光相机和热成像传感器构成的相机阵列， 搭建为多模态 相机阵列组； 图形采集卡连接多模态的信息源与采集工作站， 将采集的图像数据存储在采集工作站 中； 服务器对采集工作站中的图形数据进行配准、 后处理。

4、。 2.根据权利要求1所述的基于多模态光谱图像的像素级图像分割系统， 其特征在于： 可 见光相机上加装滤光片或偏振片作为多模态元件， 多模态元件包括至少2种。 3.根据权利要求1或2所述的基于多模态光谱图像的像素级图像分割系统， 其特征在 于： 确定多模态的信息源的拍摄帧率、 曝光角信息， 并使多个可见光相机和热成像传感器之 间的间距满足一定的比例关系。 4.根据权利要求1或2所述的基于多模态光谱图像的像素级图像分割系统， 其特征在 于： 多模态的信息源采用统一的TTL同步触发器， 同步触发器以固定的频率向外输出多路信 号， 同时送往各模态的相机外接快门线； 同步触发器每发出一次信号， 多模态。

5、的信息源同时 通过图形采集卡将图像保存至图形工作站。 5.一种基于多模态光谱图像的像素级图像分割方法， 其特征在于， 应用权利要求1所述 的基于多模态光谱图像的像素级图像分割系统， 包括以下步骤： 步骤一、 多模态的信息源采集图像， 获得多模态图像数据； 步骤二、 图像配准： 将多模态图像数据进行图像配准， 使得位于不同模态图像上同一个 标记物的位置保持一致； 步骤三、 构建多模态Mask-RCNN模型， 将配准后的图像作为数据输入， 得到每一个模态 的图像的特征图， 并将特征图进行融合； 对融合后的特征图进行预测， 最小化目标损失函 数， 最后一并完成完成目标分类， 边界框预测以及目标物的像。

6、素级分割的任务。 6.根据权利要求5所述的基于多模态光谱图像的像素级图像分割方法， 其特征在于： 多 模态的信息源采用统一的TTL同步触发器， 同步采集图像。 7.根据权利要求5所述的基于多模态光谱图像的像素级图像分割方法， 其特征在于， 通 过可见光相机外参进行图像配准： 提取除红外特征外图像的特征点， 然后根据汉明距离求 取匹配的特征点， 根据匹配点求取除红外特征外的图像对之间的变换矩阵， 进行第一次配 准， 直至除红外特征外图像以外的各模态的图片依照相同的基准； 最后将所有图像采样至 相同的分辨率， 作为图像分割方法的数据输入。 8.根据权利要求8所述的基于多模态光谱图像的像素级图像分割。

7、方法， 其特征在于： 在 可见光相机图像-红外图像对中， 在整个图像上均匀选取5对以上特征点， 求取变换矩阵实 现配准。 9.根据权利要求5所述的基于多模态光谱图像的像素级图像分割方法， 其特征在于， 步 骤三进一步包括如下步骤： 对于每一个模态分别训练一个特征金字塔网络， 在第三个卷积 块之后， 将每个单模态训练的卷积块的特征图进行融合， 得到了融合不同模态信息的多尺 度的特征图金字塔； 然后在Mask-RCNN模型中初步预测边界框， 将RoI池化层换成RoI Align 层， 减少因多次量化带来的精度损失； 最后对融合后的特征图进行预测， 最小化目标损失函 权利要求书 1/2 页 2 CN。

8、 111462128 A 2 数， 同时完成目标分类， 边界框预测以及目标物的像素级分割的任务。 权利要求书 2/2 页 3 CN 111462128 A 3 一种基于多模态光谱图像的像素级图像分割系统及方法 技术领域 0001 本发明涉及计算机视觉中的图像分割领域， 更具体的， 涉及一种基于多模态光谱 图像的像素级图像分割系统及方法。 背景技术 0002 图像分割是计算机视觉领域中重要的研究课题之一。 所谓图像分割， 是指根据灰 度、 色彩、 纹理等特征将图像分成若干个互不相交的区域的过程。 这些特征在区域内部表现 出相似性， 在区域外部表现出差异性。 近些年来， 随着深度学习的发展， 图像。

9、分割技术也有 了巨大的进步， 与该技术相关的场景物体分割、 人体前背景分割、 人脸人体解析、 三维重建 等技术已经在无人驾驶、 增强现实、 安防监控等行业都得到广泛的应用。 0003 在深度学习应用于图像分割之前， 人们利用数字图像处理、 拓扑学、 数学等方面的 只是来进行图像分割的方法。 随着计算机算力的不断提升， 深度学习的分割方法在效果上 已大大超越了传统方法。 0004 第一篇成功将神经网络应用于图像分割的论文是全卷积神经网络(Fully Convolutional Networks)， 将用于分类的卷积神经网络中的全连接层换成了卷积层， 网络 特征图的每一个像素输出一个分类结果， 实。

10、现了像素级的分割。 随后出现的特征金字塔方 法(Feature Pyramids)， 提取了不同尺度的特征， 并将它们融合， 有利于得到图像的上下文 信息， 使得图像分割精细化。 如今， Mask-RCNN作为一个两阶段(two-stage)模型， 在公开分 割数据集表现优异， 获得了广泛的应用。 Mask-RCNN本质是对Faster-RCNN目标检测算法的 拓展， 在物体分类和边界框回归的任务上多了一个对边界框内像素点分类的任务， 从而实 现逐像素分割。 0005 但是， 传统的图像分割任务在某些现实场景中的应用仍然具有很大的挑战。 在诸 如军事、 遥感、 安全等领域， 可见光波段的图像具。

11、有较大的局限性， 制约了图像分割的精度。 例如， 在迷彩伪装下的车辆和人员， 因其色彩与纹理特征都与野外的环境较为相似， 可见光 的图像难以提供足够的信息。 现已有许多工作， 将热图像这一波段的信息应用于目标检测 和图像分割等近似的视觉任务中， 并取得了不错的成果。 然而， 对于炎热气温中的人员， 或 是非热源的伪装物体， 红外波段的图像仍难以提供可靠的信息源。 在此专利中， 我们将提出 一种以Mask-RCNN为算法基础， 采集多光谱图像， 融合多模态特征的方法， 大幅提高在复杂 环境低辨识度下图像分割算法的精度。 发明内容 0006 针对上述技术中现有的问题， 本发明公开了一种基于多模态光。

12、谱图像的像素级图 像分割系统及方法， 通过将不同模态的图像信息在网络的中间层融合， 提高图像分割算法 的精度。 0007 为了实现上述发明目的， 本发明采用的技术方案为： 一种基于多模态光谱图像的 像素级图像分割系统， 包括多模态的信息源、 图形采集卡、 采集工作站、 服务器； 多模态的信 说明书 1/4 页 4 CN 111462128 A 4 息源包括多个可见光相机和热成像传感器构成的相机阵列， 搭建为多模态相机阵列组； 图 形采集卡连接多模态的信息源与采集工作站， 将采集的图像数据存储在采集工作站中； 服 务器对采集工作站中的图形数据进行配准、 后处理。 0008 进一步的， 可见光相机。

13、上加装滤光片或偏振片作为多模态元件， 多模态元件包括 至少2种。 优选情况中， 可以包括彩色光， 单色光， 近红外光， 近紫外光， 偏振光以及热图像等 多种模态。 0009 进一步的， 为了解决不同模态传感器之间的匹配问题， 确定多模态的信息源的拍 摄帧率、 曝光角信息， 并使多个可见光相机和热成像传感器之间的间距满足一定的比例关 系。 0010 进一步的， 多模态的信息源采用统一的TTL同步触发器， 同步触发器以固定的频率 向外输出多路信号， 同时送往各模态的相机外接快门线； 同步触发器每发出一次信号， 多模 态的信息源同时通过图形采集卡将图像保存至图形工作站。 使得不同模态传感器采集的数 。

14、据完全同步。 解决了由于彩色相机和热成像相机的传感器曝光方式、 触发机制差异造成的 同步拍摄困难。 0011 本发明还公开了一种基于多模态光谱图像的像素级图像分割方法， 包括以下步 骤： 0012 步骤一、 获得多模态图像数据。 多模态的信息源采集图像， 获得多模态图像数据。 0013 步骤二、 图像配准。 将多模态图像数据进行图像配准， 使得位于不同模态图像上同 一个标记物的位置保持一致。 0014 步骤三、 构建多模态Mask-RCNN模型。 构建多模态Mask-RCNN模型， 将配准后的图像 作为数据输入， 得到每一个模态的图像的特征图， 并将特征图进行融合； 对融合后的特征图 进行预测。

15、， 最小化目标损失函数， 最后一并完成完成目标分类， 边界框预测以及目标物的像 素级分割的任务。 0015 步骤二进一步包括如下步骤： 通过可见光相机外参进行图像配准： 提取除红外特 征外图像的特征点， 然后根据汉明距离求取匹配的特征点， 根据匹配点求取图像对之间的 变换矩阵， 进行第一次配准， 直至除红外特征外图像以外的各模态的图片都依照相同的基 准； 最后将所有图像采样至相同的分辨率， 作为图像分割方法的数据输入。 0016 作为优选的， 在可见光相机图像-红外图像对中， 在整个图像上均匀选取5对以上 特征点， 求取变换矩阵实现配准。 图像配准后， 位于不同模态图像上同一个标记物的位置保 。

16、持一致。 0017 步骤三进一步包括如下步骤： 对于每一个模态分别训练一个特征金字塔网络， 在 第三个卷积块之后， 将每个单模态训练的卷积块的特征图进行融合， 得到了融合不同模态 信息的多尺度的特征图金字塔； 随后， 在Mask-RCNN模型中初步预测边界框， 将RoI池化层换 成RoI Align层， 减少因多次量化带来的精度损失； 最后对融合后的特征图进行预测， 最小 化目标损失函数， 同时完成目标分类， 边界框预测以及目标物的像素级分割的任务。 0018 本发明具有以下有益效果： 1、 构建了一套多模态光谱图像拍摄系统， 首次尝试将 多模态图像信息应用于图像分割领域， 可以获得彩色光、 。

17、单色光、 偏振光、 近红外光、 近紫外 光等多种模态的图像， 可用来构建多模态数据集， 应用于目标检测、 图像分割、 语义分割等 相关机器视觉任务。 2、 实现了一套多模态像素级图像分割算法， 通过将单模态的图像分割 说明书 2/4 页 5 CN 111462128 A 5 算法扩展成多模态输入， 并在网络中间层将多模态特征图融合， 提高了Mask-RCNN图像分割 算法的精度， 具有现实的应用前景。 将多模态图像融合时， 这些通道为伪装表面掩模的预测 提供了补充信息。 针对纹理、 色彩不同的迷彩伪装， 在不同的光谱波段图像有不同强度的特 征响应， 弥补了仅仅依靠彩色光识别目标的不足。 各模态。

18、的信息相互补充， 提升了图像分割 算法的性能。 附图说明 0019 图1为本发明实施例的图像分割方法多模态图像采集系统模型。 0020 图2为本发明实施例的图像分割方法多模态Mask-RCNN算法框架流程图。 具体实施方式 0021 为了便于本领域技术人员的理解， 下面结合实施例与附图对本发明作进一步的说 明。 0022 实施例： 步骤一、 本发明涉及的多模态图像采集系统如图1所示， 解决了由于彩色 相机和热成像相机的传感器曝光方式、 触发机制差异造成的同步拍摄困难。 该系统可进行 车载作业， 配备了增稳平台， 具备行进间连续拍摄多模态图像能力。 试验系统的可见光相机 选用多台工业成像传感器B。

19、FLY-U3-23S6C-C， 搭配多种工业光学模块， 每个工业相机加装了 HC-1205A光学镜头， 图像分辨率最大可达19201200像素； 红外热成像仪选用LWIR Gobi- 640-Gige红外热成像仪， 分辨率为30万像素(640480)。 共可构成彩色光、 324nm近紫外光、 470nm单色光、 525nm单色光、 590nm单色光、 660nm单色光、 735nm单色光、 880nm近红外光、 水 平方向偏振光、 竖直方向偏振光共11个模态试验系统使用自制的铝合金架构建了多模态的 相机阵列， 相机之间纵向与横向距离均可以调节， 可以根据需要将不同模态的相机放置于 指定位置。 。

20、实施过程中， 不同相机之间距离很小， 保证拍摄远处物体时受视差的影响小。 通 过统一的TTL同步触发器来保证不同模态传感器采集数据的完全同步。 具体通过一个外部 按键控制， 各模态的信息源均连接同一个同步触发器， 可手动设置触发频率， 同步触发器以 设置的频率向外输出多路信号， 同时送往各模态的相机外接快门线； 同步触发器每发出一 次信号， 0023 各模态的信息源便拍摄一次， 同时通过图形采集卡将图像保存至图形工作站。 0024 步骤二、 随后对初步采集的图像数据采取后处理和配准。 采用SIFT算法自动提取 除红外特征外图像的特征点， 然后根据汉明距离求取匹配的特征点， 过滤后留下一些好的 。

21、匹配点来求取图像对之间的变换矩阵。 先将这些图片进行第一次配准， 直至其他模态的图 片都以彩色图像为基准由于热成像图像的分辨率相对于彩色光和单色光相机较低， 特征提 取点的准确度较低， 对于误差大的图像， 采用人为选择匹配点的方式， 在彩色-红外图像对 中， 手动在整个图像上均匀选取5对以上特征点， 求取变换矩阵后， 实现最终的配准。 最后将 所有图像采样至相同的分辨率， 作为图像分割算法的数据输入。 0025 步骤三、 修改原来的Mask-RCNN模型， 改为多通道输入， 如图2所示。 随后在卷积层 的中间层将不同模态经卷积、 池化等一系列操作后得到的特征图融合。 对于每一个模态分 别训练一。

22、个特征金字塔网络， 它具有自上而下的通路和横向连接有利于提取多尺度特征并 结合上下文信息。 在第三个卷积块之后， 将每个单模态训练的卷积块的特征图融合， 得到了 说明书 3/4 页 6 CN 111462128 A 6 融合不同模态信息的多尺度的特征图金字塔C3， C4， C5， 这些特征图具有不同尺度的信息， 有利于网络提取不同大小物体的语义。 将每个模态的特征图金字塔C3， C4， C5卷积块的输出 拼接(concatenate)起来,再经过11卷积降维至原来的通道数， 构建特征图金字塔P3、 P4、 P5， 如此做在维持计算量不变的前提下包含了更多信息。 为了预测尺度更大的物体， 直接将。

23、 特征图P5做一次步长为2的33卷积， 得到特征图P6。 这些输出的空间尺度依次为2倍的关 系， 以便于预测不同尺度的物体边界框。 随后， 沿用Mask-RCNN的两阶段方法， 首先初步预测 目标边界框， 通过softmax回归判断边界框内的物体属于前景还是背景， 做了初步的分类， 筛选出一些候选的边界框， 随后将Faster-RCNN中的RoI池化层换成RoI Align层， 减少因多 次量化带来的精度损失。 最后对融合后的特征图进行预测， 最小化目标损失函数， 同时完成 目标分类， 边界框预测以及目标物的像素级分割的任务。 0026 Mask-RCNN模型的第一部分用于提取特征， 可用vg。

24、g16， resnet， FPN(特征金字塔网 络)等， 本实施例选用特征金字塔网络。 Mask-RCNN模型拓展为多模态， 只需将这一部分基础 网络为每一个模态复制一次， 对第i个特征金字塔网络， 得到输出C3i， C4i， C5i。 将所有的 C3i拼接(concatenate)然后降维， 得到融合后的特征图C3。 C4， C5同理。 最后得到整个多模 态特征提取网络的输出C3， C4， C5。 因其分辨率逐渐减小， 后者为前者的1/2， 这一输出被称 为特征图金字塔， 也称特征金字塔。 0027 由于各模态之间信息的互补性， 图像分割算法的性能得到显著提升。 首先， 于彩色 图辨识度低的。

25、图像中， 如野外丛林、 雾天或是黑夜的场景， 人员和行驶中的车辆这类热源， 在热图像上具有显著的特征。 其次， 在强光照射下， 普通相机因曝光等问题易引起失真， 加 上了偏振片的相机可以有效应对这种情况。 对于一些非热源的， 与背景环境纹理色彩特征 较接近的目标物， 如对于藏入草丛后的迷彩伪装物， 在彩色图通道与红外图通道上特征均 不明显， 即放大后用肉眼也难以辨别。 在采集的多模态图像中选取了324nm近紫外和880nm 近红外两个通道的图片， 发现近紫外通道的图像可分辨伪装表面的纹理特征， 而在近红外 通道中， 伪装表面的亮度与背景对比明显。 因此， 将多模态图像融合时， 这些通道为伪装表 面掩模的预测提供了补充信息。 针对纹理、 色彩不同的迷彩伪装， 在不同的光谱波段图像有 不同强度的特征响应， 弥补了仅仅依靠彩色光识别目标的不足。 各模态的信息相互补充， 提 升了图像分割算法的性能。 0028 以上所述， 仅为本发明的较佳实施例， 并非对本发明作任何形式上的限制， 任何熟 悉本专业的技术人员， 在不脱离本发明技术方案范围内， 依据本发明的技术实质对以上实 施例所作的任何非本质修改或等同变化， 均仍属于本发明权利要求书的保护范围内。 说明书 4/4 页 7 CN 111462128 A 7 图1 图2 说明书附图 1/1 页 8 CN 111462128 A 8 。