基于密集连接的图像语义分割方法.pdf

《基于密集连接的图像语义分割方法.pdf》由会员分享，可在线阅读，更多相关《基于密集连接的图像语义分割方法.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910935594.8 (22)申请日 2019.09.29 (71)申请人 吉林大学 地址 130012 吉林省长春市朝阳区前进大 街2699号 (72)发明人 李文辉刘东会胡玉龙张博翔 梁婷婷 (74)专利代理机构 北京盛凡智荣知识产权代理 有限公司 11616 代理人 郑丰平 (51)Int.Cl. G06T 7/10(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于密集连接的图像语义分割方法 (57)摘要 本发明公开了一种基于密集连。

2、接的图像语 义分割方法， 包括如下步骤： S101： 确定需要使用 的数据集及其对应的标注图像， 其标注图像为每 一个像素赋予类别标签； S102： 设计基于密集连 接的图像语义分割网络， 图像语义分割网络包括 密集连接单元、 通道融合单元、 特征图融合单元； S103： 设计密集连接单元密集、 连接单元提取的 特征图经过图像变换操作， 之后再经过转置操 作， 然后进行softmax操作， 得到通道注意力映射 图； 设计通道融合单元， 通过挖掘通道图之间的 相互依赖关系可以增强有相互依赖关系的特征 图； 设计特征图融合单元， 将通道融合单元的输 出映射图与密集连接的特征提取单元的结果进 行加运。

3、算融合操作。 本发明能有效重复利用不同 层和不同通道之间的特征， 不仅有效地提高分割 效率， 还减少了参数量。 权利要求书1页 说明书4页 附图2页 CN 110728683 A 2020.01.24 CN 110728683 A 1.一种基于密集连接的图像语义分割方法， 其特征在于， 包括如下步骤： S101： 确定需要使用的数据集及其对应的标注图像， 其标注图像为每一个像素赋予类 别标签； 并将数据集分别划分为训练数据集、 验证数据集和测试数据集， 训练数据集用于训练 模型， 验证数据集用于调整模型参数， 从而选取最好的模型， 测试数据集用于测试模型的分 割能力； S102： 设计基于密集。

4、连接的图像语义分割网络， 图像语义分割网络包括密集连接单元、 通道融合单元、 特征图融合单元； S103： 设计密集连接单元， 密集连接单元提取的特征图经过图像变换操作， 之后再经过 转置操作， 与提取出的特征图的变换图像进行矩阵乘法操作， 然后进行softmax操作， 得到 通道注意力映射图； 设计通道融合单元， 高水平特征通道图可以看作是对一个特定类别的 响应， 不同的语义响应之间相互关联， 通过挖掘通道图之间的相互依赖关系可以增强有相 互依赖关系的特征图， 并改进特定语义的特征表示； 设计特征图融合单元， 将通道融合单元 的输出映射图与密集连接的特征提取单元的结果进行加运算融合操作。 2。

5、.根据权利要求1所述的基于密集连接的图像语义分割方法， 其特征在于， S102中整个 图像在输入网络之前， 首先进行一个大核卷积操作和一个33最大池化操作， 两步操作步 长均为2。 3.根据权利要求1所述的基于密集连接的图像语义分割方法， 其特征在于， 所述密集连 接的特征提取单元包括密集连接模块、 卷积单元、 池化单元， 不同的密集连接模块分别由不 同数量的11和33卷积组合组成， 以提取图像特征。 4.根据权利要求3述的基于密集连接的图像语义分割方法， 其特征在于， 所述密集连接 模块提取的特征图经过图像变换操作， 之后再经过转置操作， 与提取出的特征图的变换图 像进行矩阵乘法操作， 然后。

6、进行softmax操作， 得到通道注意力映射图； 所述卷积单元在每 个密集连接模块之后， 通过一个11卷积操作， 该卷积操作控制特征图的通道数量保持不 变； 池化单元用于卷积操作之后， 用于提取特征图中特征， 并减少特征图分辨率。 5.根据权利要求3所述的基于密集连接的图像语义分割方法， 其特征在于， 所述池化单 元用于卷积操作之后， 用于提取特征图中特征， 并减少特征图分辨率。 6.根据权利要求3所述的基于密集连接的图像语义分割方法， 其特征在于， 所述密集连 接模块提取的特征图经过图像变换操作， 之后再经过转置操作， 与提取出的特征图的变换 图像进行矩阵乘法操作， 然后进行softmax操。

7、作， 得到通道注意力映射图。 7.根据权利要求6所述的基于密集连接的图像语义分割方法， 其特征在于， 所述注意力 映射图经过转置， 与经过变换的密集连接单元提取的特征图进行矩阵乘法操作， 并对得到 的结果进行图像变换。 8.根据权利要求7所述的基于密集连接的图像语义分割方法， 其特征在于， 得到的结果 与密集连接单元提取的特征图进行求和操作， 得到通道融合单元的输出映射图。 9.根据权利要求1所述的基于密集连接的图像语义分割方法， 其特征在于， 所述特征图 融合单元将通道融合单元的输出映射图与密集连接的特征提取单元的结果进行加运算融 合操作， 对该结果进行卷积和上采样操作得到最后的分割结果。 。

8、权利要求书 1/1 页 2 CN 110728683 A 2 一种基于密集连接的图像语义分割方法 技术领域 0001 本发明涉及模式识别、 人工智能、 计算机视觉技术领域， 特别涉及一种基于密集连 接的图像语义分割方法。 背景技术 0002 深度神经网络的发展极大地推动了计算机视觉领域的发展， 神经网络在目标检 测、 行人重识别、 语义分割等方面取得了前所未有的良好效果， 深度神经网络的发展也极大 促进了图像分类技术的发展。 图像分类从图像级别分类发展到区域级别预测、 进而发展到 像素级别预测。 图像语义分割为图像的每一个像素预测出给定类别中的一种特定类别标 签， 属于像素级别预测。 图像语义。

9、分割是计算机视觉的基础工作， 可以被广泛应用在自动驾 驶、 虚拟现实、 视频监控等领域。 0003 自J.Long等人提出全卷积神经网络以来， 深度神经网络开始在语义分割处理问题 上占据主导地位。 但是， 目前在语义分割领域仍然存在以下问题： 1)经过不断连续的卷积和 池化操作， 图像分辨率减小， 造成细节性信息丢失现象。 2)缺乏捕获背景上下文的能力， 造 成小物体分类错误的现象， 图像每个通道的映射图相当于对每一类的响应， 网络应该具备 采集通道相关性的结构。 0004 FCN将全连接层替换成卷积层， 实现了图像密集预测， 解决了语义分割问题， 但是 在对特征图实施反卷积时的实现暴力粗糙。。

10、 随后， 以SegNet为代表的编码-解码网络实现了 更精确的图像边界的定位。 Huang G等人提出密集连接的图像分类网络。 J.Fu等人提出双注 意力机制网络分别在空间维度上和通道维度上建立语义依赖关系。 近年来， 语义分割方向 新的方法和思路层出不穷。 研究人员也提出了很多优秀的网络， 而且， 随着近来框架的发展 和高计算性能图形处理单元的进步， 语义分割发展势头正猛。 0005 综上所述， 语义分割方法仍然有提升的空间， 而改进的重点为图像边界信息的保 留以及小物体的的正确分类， 并结合深度卷积神经网络提升整体性能。 发明内容 0006 本发明的目的在于提供一种基于密集连接的图像语义分。

11、割方法， 在一定程度上提 升了网络的性能， 增强了特征的传播的同时， 支持特征复用， 网络结构不仅减少了网络参 数， 同时实现了分割效率的提高， 以解决上述背景技术中提出的问题。 0007 为实现上述目的， 本发明提供如下技术方案： 0008 一种基于密集连接的图像语义分割方法， 包括如下步骤： 0009 S101： 确定需要使用的数据集及其对应的标注图像， 其标注图像为每一个像素赋 予类别标签； 0010 并将数据集分别划分为训练数据集、 验证数据集和测试数据集， 训练数据集用于 训练模型， 验证数据集用于调整模型参数， 从而选取最好的模型， 测试数据集用于测试模型 的分割能力； 说明书 1。

12、/4 页 3 CN 110728683 A 3 0011 S102： 设计基于密集连接的图像语义分割网络， 图像语义分割网络包括密集连接 单元、 通道融合单元、 特征图融合单元； 0012 S103： 设计密集连接单元， 密集连接单元提取的特征图经过图像变换操作， 之后再 经过转置操作， 与提取出的特征图的变换图像进行矩阵乘法操作， 然后进行softmax操作， 得到通道注意力映射图； 设计通道融合单元， 高水平特征通道图可以看作是对一个特定类 别的响应， 不同的语义响应之间相互关联， 通过挖掘通道图之间的相互依赖关系可以增强 有相互依赖关系的特征图， 并改进特定语义的特征表示； 设计特征图融。

13、合单元， 将通道融合 单元的输出映射图与密集连接的特征提取单元的结果进行加运算融合操作。 0013 进一步地， S102中整个图像在输入网络之前， 首先进行一个大核卷积操作和一个3 3最大池化操作， 两步操作步长均为2。 0014 进一步地， 所述密集连接的特征提取单元包括密集连接模块、 卷积单元、 池化单 元， 不同的密集连接模块分别由不同数量的11和33卷积组合组成， 以提取图像特征； 0015 进一步地， 所述卷积单元在每个密集连接模块之后， 通过一个11卷积操作， 该卷 积操作控制特征图的通道数量保持不变。 0016 进一步地， 所述池化单元用于卷积操作之后， 用于提取特征图中特征， 。

14、并减少特征 图分辨率。 0017 进一步地， 所述密集连接模块提取的特征图经过图像变换操作， 之后再经过转置 操作， 与提取出的特征图的变换图像进行矩阵乘法操作， 然后进行softmax操作， 得到通道 注意力映射图。 0018 进一步地， 所述注意力映射图经过转置， 与经过变换的密集连接单元提取的特征 图进行矩阵乘法操作， 并对得到的结果进行图像变换。 0019 进一步地， 得到的结果与密集连接单元提取的特征图进行求和操作， 得到通道融 合单元的输出映射图。 0020 进一步地， 所述特征图融合单元将通道融合单元的输出映射图与密集连接的特征 提取单元的结果进行加运算融合操作， 对该结果进行卷。

15、积和上采样操作得到最后的分割结 果。 0021 与现有技术相比， 本发明的有益效果是： 本发明针对图像特征图在多次卷积和池 化过程中细节消失问题和语义边界信息不明显等问题提出一种基于密集连接的网络， 在一 定程度上提升了网络的性能， 增强了特征的传播的同时， 支持特征复用， 网络结构不仅减少 了网络参数， 同时实现了分割效率的提高。 附图说明 0022 图1为本发明基于密集连接的图像语义分割方法的网络结构图； 0023 图2为本发明基于密集连接的图像语义分割方法密集连接单元的结构示意图； 0024 图3为本发明基于密集连接的图像语义分割方法通道连接单元的结构示意图。 具体实施方式 0025 下。

16、面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 说明书 2/4 页 4 CN 110728683 A 4 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。 0026 如图1所示， 一种基于密集连接的图像语义分割方法， 网络架构包括密集连接单 元、 通道融合单元、 特征图融合单元。 密集连接单元实现对不同层特征的融合， 将不同层之 间的特征进行密集连接， 从而得到精细的语义特征， 保留图像边界信息。 通道融合单元将。

17、不 同通道融合， 有效地提取细小的语义信息， 改善小物体分类错误现象。 特征图融合单元将上 述两单元的特征信息进行融合得到最后的结果。 0027 一种基于密集连接的图像语义分割方法， 包括如下步骤： 0028 步骤1： 在图1中， 输入一张任意大小的图像， 假设图像为T， 通道数为C， 大小为H W。 首先经过一步卷积操作， 卷积核大小为77， 卷积步长为2， 使用padding操作， 这一操作 将原图像变为H/2W/22k， 其中k为一个网络参数， 代表每一个层所产生的特征图的通道 数； 0029 步骤2： 步骤1产生的特征图结果经过一个33的最大池化层操作， 提取图像特征， 并减小图像分辨。

18、率。 其中步长为2。 经过这一操作， 图像由H/2W/22k变为H/4W/42k 大小。 0030 步骤3： 步骤2产生的特征图输入第一个密集连接单元， 密集连接单元的具体实施 方式如图2所示， 为了更好地改善层与层之间的信息流， 每一个特征图经过多个密集连接 层， 每个层都分别与后面的每一个层连接， 每个层输出的特征图通道数为k， 那么第L层的输 入Xl为： XlH1(X0， X1， ， Xl-1) 0031 步骤4： 第一个密集连接单元由6个11卷积和33卷积组合操作堆叠而成。 在1 1卷积操作和33卷积操作之前分别对步骤3得到的特征图进行batch normalization和 ReLU。

19、操作， 经过第一个密集连接单元， 图像大小不发生变化， 经过密集连接单元， 将高层特 征与低层特征进行融合， 提取更全面的特征信息。 0032 步骤5： 在第一个密集连接单元之后连接一个11卷积操作， 该操作用于维持特征 图通道数保持不变。 之后进行一次22平均池化操作， 其中步长为2， 经过池化操作， 提取特 征图特征， 图像大小减半， 图像变为原来大小的1/8,即H/8W/8。 0033 步骤6： 第二个密集连接单元由12个11卷积和33卷积操作组合堆叠组成。 在1 1卷积操作和33卷积操作之前分别对步骤5得到的特征图进行batch normalization和 ReLU操作， 经过第二个。

20、密集连接单元， 相对于第五步得到的特征图， 图像大小不发生变化。 0034 步骤7： 在第二个密集连接单元之后同样连接一个11卷积操作， 该操作用于维持 特征图通道数保持不变。 之后进行一次22平均池化操作， 其中步长为2， 通过平均池化操 作， 提取特征图特征， 图像大小减半， 图像变为原来大小的1/16,即H/16W/16。 0035 步骤8： 第三个密集连接单元由48个11卷积和33卷积操作组合堆叠组成。 在1 1卷积操作和33卷积操作之前分别对步骤7得到的特征图进行batch normalization和 ReLU操作， 经过第三个密集连接单元， 相对于步骤7得到的特征图， 图像大小不。

21、发生变化。 0036 步骤9： 在第三个密集连接单元之后同样连接一个11卷积操作， 该操作用于维持 特征图通道数保持不变。 之后进行一次22平均池化操作， 其中步长为2， 通过平均池化操 作， 提取特征图特征， 图像大小减半， 图像变为原来大小的1/32,即H/32W/32。 0037 步骤10： 上述步骤9得到的特征图一路输入加法融合单元， 一路送入通道融合单 说明书 3/4 页 5 CN 110728683 A 5 元。 通道融合单元的具体实施方法如图3所示。 0038 步骤11： 首先将特征图经过图像变换， 具体实施如下， 变换之后的特征图为T ， 其 中T 大小为CS， 其中SHW。 。

22、0039 步骤12： 首先将变换后的特征图T 与T 的转置做矩阵乘法操作， 然后经过softmax 操作得到通道注意力映射图T 。 其中： 0040 0041 Tji衡量通道与通道之间的相互影响， 即衡量第i个通道对第j的通道所产生的作 用。 0042 步骤13： 将步骤12得到的通道注意力映射图的转置特征图与变换之后的特征图T 进行矩阵乘法操作， 并将结果进行变换， 此时结果图R 大小为CHW。 其中： 0043 0044 每个通道的最终特征图是所有通道的特征和原始特征图的总和， 保证了特征图之 间存在的依赖关系得以利用， 有助于提高特征的可辨识度。 在计算两个通道的关系时， 本发 明不使用。

23、卷积层来提取特征， 因为如此一来可以保持不同通道映射之间的关系。 本发明利 用所有对应位置的空间信息来获取通道与通道相关性。 0045 步骤14： 将步骤13的结果图与步骤9得到的特征图像素大小相同， 将两个特征图加 法融合操作， 此时得到通道融合单元的输出结果。 0046 步骤15： 最后利用卷积层生成最终的预测图。 0047 本发明的网络架构包括密集连接单元、 通道融合单元、 特征图融合单元。 密集连接 单元将不同层之间的特征进行密集连接， 实现了对不同层之间特征的重复使用， 得到精细 的语义细节特征， 有效改善边界缺失问题。 通道融合单元将不同通道之间的特征融合， 有效 地提取背景上下文。

24、信息， 改善了小物体分类错误的情况。 实验结果表明， 与传统的网络相 比， 本发明能有效重复利用不同层和不同通道之间的特征， 不仅有效地提高分割效率， 还减 少了参数量。 0048 为了改善层与层之间的信息流的传递， 本发明使用不同的连接方式。 具体连接方 式为： 任何一个层都分别与随后的每一个层直接连接， 即， 每一层都接收前面每一层的特征 图作为本层输入。 故此， 加强了层与层之间相同位置语义特征间联系， 消减细节信息的丢 失， 保留了语义边界信息， 同时缩减网络模型参数量。 0049 本发明主要通过密集连接单元对不同层之间的语义特征进行提取， 充分使用不同 层之间信息的融合， 提高了对图像语义边界信息的保留， 提高了特征提取质量。 此外， 通道 提取单元充分融合通道之间相同位置的空间信息获取通道与通道相关性。 提高了对小物体 分类的正确率。 0050 以上所述， 仅为本发明较佳的具体实施方式， 但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明披露的技术范围内， 根据本发明的技术方案及其 发明构思加以等同替换或改变， 都应涵盖在本发明的保护范围之内。 说明书 4/4 页 6 CN 110728683 A 6 图1 图2 说明书附图 1/2 页 7 CN 110728683 A 7 图3 说明书附图 2/2 页 8 CN 110728683 A 8 。