基于边界增强的显著性检测方法.pdf

《基于边界增强的显著性检测方法.pdf》由会员分享，可在线阅读，更多相关《基于边界增强的显著性检测方法.pdf（22页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010047944.X (22)申请日 2020.01.16 (71)申请人 浙江科技学院 地址 310023 浙江省杭州市西湖区留和路 318号 (72)发明人 周武杰吴君委黄思远雷景生 王海江 (74)专利代理机构 杭州求是专利事务所有限公 司 33200 代理人 林超 (51)Int.Cl. G06K 9/46(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于。

2、边界增强的显著性检测方法 (57)摘要 本发明公开了一种基于边界增强的显著性 检测方法。 其在训练阶段构建卷积神经网络， 输 入层包括RGB图输入层和深度图输入层， 隐层包 括5个RGB图神经网络块、 3个深度图神经网络块、 5个上采样块、 1个均值最大最小滤波模块、 1个最 大最小滤波模块， 输出层包括显著性输出层和显 著性边界输出层； 将训练集中的RGB图和深度图 输入到卷积神经网络进行训练， 得到显著性检测 预测图； 通过计算显著性检测预测图与真实显著 性检测图像之间的损失函数值以及显著性边缘 预测图与真实显著性边缘图之间的损失函数值， 得到卷积神经网络训练模型； 将待显著性检测的 RG。

3、B图输入卷积神经网络训练得到预测显著性检 测图像。 本发明的显著性检测效率和准确率都很 高。 权利要求书2页 说明书13页 附图6页 CN 111310767 A 2020.06.19 CN 111310767 A 1.一种基于边界增强的显著性检测方法， 其特征在于， 包括以下步骤： 步骤1)选取Q幅含有真实物体的原始RGB图以及每幅原始RGB图对应的深度图、 真实显 著性检测图和真实显著性边界图， 并构成训练集； 步骤2)构建卷积神经网络， 卷积神经网络包含输入层、 隐层、 输出层； 步骤3)将训练集中的每幅原始RGB图以及对应的深度图输入到卷积神经网络中进行训 练， 从输出层输出得到显著性。

4、检测预测图以及显著性边界预测图， 计算真实显著性检测图 和对应的显著性检测预测图之间的损失函数值并记为第一损失函数值， 计算真实显著性边 界图和对应的显著性边界预测图之间的损失函数值并记为第二损失函数值， 将第一损失函 数值和第二损失函数值相加得到总损失函数值； 步骤4)重复执行步骤3)共V次， 共得到QV个总损失函数值， 然后从QV个总损失函数 值中找出值最小的总损失函数值， 接着将值最小的总损失函数值对应的权值矢量和偏置项 作为卷积神经网络的最优权值矢量和最优偏置项， 从而完成卷积神经网络的训练； 步骤5)： 将待显著性检测的RGB图像以及对应的深度图像输入到训练好的信息融合卷 积神经网络。

5、中， 输出得到对应的预测显著性检测图像和显著性边界预测图像。 2.根据权利要求1所述的一种基于边界增强的显著性检测方法， 其特征在于， 所述卷积 神经网络的输入层包括RGB图输入层和深度图输入层， 隐层包括深度图处理模块、 RGB图处 理模块和后处理模块， 输出层包括依次连接的显著性输出层、 第一最大最小滤波模块和显 著性边界输出层； RGB图输入层包括依次连接的五个RGB图神经网络块； 深度图处理模块包括一个第一均 值最大最小滤波模块和三个深度图神经网络块， 第一均值最大最小滤波模块的输出分别输 入第一个深度图神经网络块、 第二个深度图神经网络块、 第三个深度图神经网络块； 第一个 深度图神。

6、经网络块的输出和第二个RGB图神经网络块的输出相乘后再与第二个RGB图神经 网络块的输出相加作为第三个RGB图神经网络块的输入， 第二个深度图神经网络块的输出 和第三个RGB图神经网络块的输出相乘后再与第三个RGB图神经网络块的输出相加作为第 四个RGB图神经网络块的输入， 第三个深度图神经网络块的输出和第四个RGB图神经网络块 的输出相乘后再与第四个RGB图神经网络块的输出相加作为第五个RGB图神经网络块的输 入； 后处理模块包括五个依次连接的上采样块， 第一个上采样块的输入为第五个RGB图神 经网络块的输出， 第一个上采样块的输出与第五个RGB图神经网络块的输入相加后作为第 二个上采样块的。

7、输入， 第二个上采样块的输出与第四个RGB图神经网络块的输入相加后作 为第三个上采样块的输入， 第三个上采样块的输出与第三个RGB图神经网络块的输入相加 后作为第四个上采样块的输入， 第四个上采样块的输出与第二个RGB图神经网络块的输入 相加后作为第五个上采样块的输入， 第五个上采样块的输出作为显著性输出层的输入； 深度图输入层的输出作为第一均值最大最小滤波模块的输入， RGB图输入层的输出作 为第一个RGB图神经网络块的输入。 3.根据权利要求1所述的一种基于边界增强的显著性检测方法， 其特征在于， 第一个 RGB图神经网络块包括依次连接的两个卷积块， 第二个RGB图神经网络块包括依次连接的。

8、最 大池化层和两个卷积块， 第三个RGB图神经网络块、 第四个RGB图神经网络块和第五个RGB图 神经网络块均包括依次连接的最大池化层和三个卷积块； 权利要求书 1/2 页 2 CN 111310767 A 2 每个深度图神经网络块均包括依次连接的下采样层和边界权重模块； 每个边界权重模 块包括一个最大池化层、 一个均值池化层和两个卷积层， 每个边界权重模块的输入分别输 入最大池化层、 均值池化层和第一个卷积层， 最大池化层和均值池化层的输出进行通道叠 加后输入第二个卷积层， 第一个卷积层和第二个卷积层的输出相加后作为每个边界权重模 块的输出； 每个上采样块包括依次连接的三个卷积块和一个上采样。

9、层； 第一均值最大最小滤波模块包括两个最大池化层， 第一均值最大最小滤波模块的输入 直接输入第一均值最大最小滤波模块中第一个最大池化层， 第一均值最大最小滤波模块的 输入乘以-1后输入第一均值最大最小滤波模块中第二个最大池化层， 将两个最大池化层的 输出相加后得到的特征图除以该特征图中的最大值得到第一均值最大最小滤波模块的输 出； 第一最大最小滤波模块包括两个最大池化层， 第一最大最小滤波模块的输入直接输入 第一最大最小滤波模块中第一个最大池化层， 第一最大最小滤波模块的输入乘以-1输入第 一最大最小滤波模块中第二个最大池化层， 将两个最大池化层的输出相加后得到第一最大 最小滤波模块的输出。 。

10、4.根据权利要求3所述的一种基于边界增强的显著性检测方法， 其特征在于， 每个卷积 块包括依次连接的卷积层、 批标准化层和激活层； 第一个上采样块中三个卷积块对应的三 个卷积层的卷积核大小均为33、 卷积核个数均为512、 补零参数均为2， 扩张参数为2； 第二 个上采样块中三个卷积块对应的三个卷积层的卷积核大小均为33、 卷积核个数均为256、 补零参数均为4， 扩张参数为4； 第三个上采样块中三个卷积块对应的三个卷积层的卷积核 大小均为33、 卷积核个数均为128、 补零参数均为6， 扩张参数为6； 第四个上采样块中三个 卷积块对应的三个卷积层的卷积核大小均为33、 卷积核个数均为64、 。

11、补零参数均为8， 扩 张参数为8； 第五个上采样块中三个卷积块对应的三个卷积层的卷积核大小均为33、 卷积 核个数均为64、 补零参数均为10， 扩张参数为10。 5.根据权利要求3所述的一种基于边界增强的显著性检测方法， 其特征在于， 第一均值 最大最小滤波模块和第一最大最小滤波模块中的两个最大池化层的尺寸均为3， 步长均为 1， 补零参数均为1； 每个边界权重模块中的两个卷积层大小均为11， 第一个边界权重模 块、 第二个边界权重模块、 第三个边界权重模块中卷积层的卷积核个数分别为128、 256、 512； 每个边界权重模块中的最大池化层和均值池化层的尺寸均为3， 步长均为1， 补零参数。

12、 均为1。 6.根据权利要求2所述的一种基于边界增强的显著性检测方法， 其特征在于， 所述RGB 图输入层的输入端接收RGB图像， 深度图输入层的输入端接收RGB图像对应的深度图像； 输 出层的输出为显著性输出层输出的显著性检测图像和显著性边界输出层输出的显著性边 界图像。 权利要求书 2/2 页 3 CN 111310767 A 3 一种基于边界增强的显著性检测方法 技术领域 0001 本发明涉及一种视觉显著性检测技术， 尤其是涉及一种基于边界增强的显著性检 测方法。 背景技术 0002 视觉显著性可以帮助人类快速地过滤掉不重要的信息， 让人们的注意力更加集中 在有意义的区域， 从而能更好地。

13、理解眼前的场景。 随着计算机视觉领域的快速发展， 人们希 望电脑也能拥有和人类相同的能力， 即在理解和分析复杂的场景时， 电脑可以更加针对性 地处理有用的信息， 从而能更大的降低算法的复杂度， 并且排除杂波的干扰。 在传统做法 中， 研究人员根据观察到的各种先验知识对显著性对象检测算法进行建模， 生成显著性图。 这些先验知识包括对比度、 中心先验、 边缘先验、 语义先验等。 然而， 在复杂的场景中， 传统 做法往往不够准确， 这是因为这些观察往往局限于低级别的特征(例如： 颜色和对比度等)， 所以不能准确反映出显著性对象本质的共同点。 0003 近年来， 卷积神经网络已广泛运用于计算机视觉的各。

14、个领域， 许多困难的视觉问 题都获得了重大的进展。 不同于传统做法， 深度卷积神经网络能够从大量的训练样本中建 模并自动的端到端(end-to-end)地学习到更为本质的特性， 从而有效地避免了传统人工建 模和设计特征的弊端。 最近， 3D传感器的有效应用更加丰富了数据库， 人们不但可以获得 彩色图片， 而且可以获取彩色图片的深度信息。 深度信息在现实3D场景中是人眼视觉系统 中很重要的一环， 这是在之前的传统做法中所完全忽略掉的一条重要的信息， 因此现在最 重要的任务就是如何建立模型从而有效地利用好深度信息。 0004 在RGB-D数据库中采用深度学习的显著性检测方法， 直接进行像素级别端到。

15、端的 显著性检测， 只需要将训练集中的图像输入进模型框架中训练， 得到权重与模型， 即可在测 试集进行预测。 目前， 基于RGB-D数据库的深度学习显著性检测模型主要用的结构为编码- 译码架构， 在如何利用深度信息的方法上有三种： 第一种方法就是直接将深度信息与彩色 图信息叠加为一个四维的输入信息或在编码过程中将彩色图信息和深度信息进行相加或 者叠加， 这类方法称为前融合； 第二种方法则是将在编码过程中对应的彩色图信息和深度 信息利用跳层(skip connection)的方式相加或者叠加到对应的译码过程中， 这类称为后 融合； 第三种方法则是分别利用彩色图信息和深度信息进行显著性预测， 将最。

16、后的结果融 合。 上述第一种方法， 由于彩色图信息和深度信息的分布有较大差异， 因此直接在编码过程 中加入深度信息会在一定程度上添加了噪声。 上述第三种方法， 分别利用深度信息和彩色 图信息进行显著性预测， 但是如果深度信息和彩色图信息的预测结果都不准确时， 那么最 终的融合结果也是相对不够精确的。 上述第二种方法不仅避免了在编码阶段直接利用深度 信息带来的噪声， 而且在网络模型的不断优化中能够充分学习到彩色图信息和深度信息的 互补关系， 但是大量的后融合操作大大增加了计算量和网络模型的复杂程度。 参考最近发 表的显著性检测方案， Rethinking RGB-D Salient Object。

17、 Detection:Models , Datasets,and Large-Scale Benchmarks(重新思考RGB-D显著目标检测： 模型、 数据集和大 说明书 1/13 页 4 CN 111310767 A 4 规模基准)， 以下简称为RRSD， RRSD对深度图进行一种删选的操作， 挑选较优的深度图将其 与彩色图进行叠加为一个四维的输入， 从而进行显著性检测， 该方法实现了去除不良的深 度信息从而提升最终的显著性监测结果。 由于RRSD并没有学习到深度信息和彩色图形之间 的互补关系， 而且直接将深度信息和彩色图信息叠加这种操作必然不是最优的。 发明内容 0005 为了解决背景技。

18、术中的问题， 本发明提供了一种基于边界增强的显著性检测方 法， 其通过高效地利用深度信息和彩色图信息， 从而提升了显著性检测准确率和效率。 0006 本发明方法构建的卷积神经网络， 实现了端到端的显著性物体检测， 易于训练， 方 便快捷； 使用训练集中的彩色真实物体图像和对应的深度图像输入到卷积神经网络中进行 训练， 得到卷积神经网络训练模型； 再将待显著性检测的彩色真实物体图像和对应的深度 图像输入到卷积神经网络训练模型中， 预测得到彩色真实物体图像对应的预测显著性检测 图像。 0007 本发明采用的技术方案包括以下步骤： 0008 步骤1)选取Q幅含有真实物体的原始RGB图以及每幅原始RG。

19、B图对应的深度图、 真 实显著性检测图和真实显著性边界图， 并构成训练集； 0009 步骤2)构建卷积神经网络， 卷积神经网络包含输入层、 隐层、 输出层； 0010 步骤3)将训练集中的每幅原始RGB图以及对应的深度图输入到卷积神经网络中进 行训练， 从输出层输出得到显著性检测预测图以及显著性边界预测图， 计算真实显著性检 测图和对应的显著性检测预测图之间的损失函数值并记为第一损失函数值， 计算真实显著 性边界图和对应的显著性边界预测图之间的损失函数值并记为第二损失函数值， 将第一损 失函数值和第二损失函数值相加得到总损失函数值； 0011 步骤4)重复执行步骤3)共V次， 共得到QV个总损。

20、失函数值， 然后从QV个总损失 函数值中找出值最小的总损失函数值， 接着将值最小的总损失函数值对应的权值矢量和偏 置项作为卷积神经网络的最优权值矢量和最优偏置项， 从而完成卷积神经网络的训练； 0012 步骤5)： 将待显著性检测的RGB图像以及对应的深度图像输入到训练好的信息融 合卷积神经网络中， 输出得到对应的预测显著性检测图像和显著性边界预测图像。 0013 所述卷积神经网络的输入层包括RGB图输入层和深度图输入层， 隐层包括深度图 处理模块、 RGB图处理模块和后处理模块， 输出层包括依次连接的显著性输出层、 第一最大 最小滤波模块和显著性边界输出层。 0014 RGB图输入层包括依次。

21、连接的五个RGB图神经网络块； 深度图处理模块包括一个第 一均值最大最小滤波模块和三个深度图神经网络块， 第一均值最大最小滤波模块的输出分 别输入第一个深度图神经网络块、 第二个深度图神经网络块、 第三个深度图神经网络块； 第 一个深度图神经网络块的输出和第二个RGB图神经网络块的输出相乘后再与第二个RGB图 神经网络块的输出相加作为第三个RGB图神经网络块的输入， 第二个深度图神经网络块的 输出和第三个RGB图神经网络块的输出相乘后再与第三个RGB 图神经网络块的输出相加作 为第四个RGB图神经网络块的输入， 第三个深度图神经网络块的输出和第四个RGB图神经网 络块的输出相乘后再与第四个RG。

22、B图神经网络块的输出相加作为第五个RGB图神经网络块 的输入。 说明书 2/13 页 5 CN 111310767 A 5 0015 后处理模块包括五个依次连接的上采样块， 第一个上采样块的输入为第五个RGB 图神经网络块的输出， 第一个上采样块的输出与第五个RGB 图神经网络块的输入相加后作 为第二个上采样块的输入， 第二个上采样块的输出与第四个RGB图神经网络块的输入相加 后作为第三个上采样块的输入， 第三个上采样块的输出与第三个RGB图神经网络块的输入 相加后作为第四个上采样块的输入， 第四个上采样块的输出与第二个RGB图神经网络块的 输入相加后作为第五个上采样块的输入， 第五个上采样块。

23、的输出作为显著性输出层的输 入。 0016 深度图输入层的输出作为第一均值最大最小滤波模块的输入， RGB图输入层的输 出作为第一个RGB图神经网络块的输入。 0017 第一个RGB图神经网络块包括依次连接的两个卷积块， 第二个RGB 图神经网络块 包括依次连接的最大池化层和两个卷积块， 第三个RGB图神经网络块、 第四个RGB图神经网 络块和第五个RGB图神经网络块均包括依次连接的最大池化层和三个卷积块。 0018 每个深度图神经网络块均包括依次连接的下采样层和边界权重模块； 每个边界权 重模块包括一个最大池化层、 一个均值池化层和两个卷积层， 每个边界权重模块的输入分 别输入最大池化层、 。

24、均值池化层和第一个卷积层， 最大池化层和均值池化层的输出进行通 道叠加后输入第二个卷积层， 第一个卷积层和第二个卷积层的输出相加后作为每个边界权 重模块的输出。 0019 每个上采样块包括依次连接的三个卷积块和一个上采样层。 0020 第一均值最大最小滤波模块包括两个最大池化层， 第一均值最大最小滤波模块的 输入直接输入第一均值最大最小滤波模块中第一个最大池化层， 第一均值最大最小滤波模 块的输入乘以-1后输入第一均值最大最小滤波模块中第二个最大池化层， 将两个最大池化 层的输出相加后得到的特征图除以该特征图中的最大值得到第一均值最大最小滤波模块 的输出。 0021 第一最大最小滤波模块包括两。

25、个最大池化层， 第一最大最小滤波模块的输入直接 输入第一最大最小滤波模块中第一个最大池化层， 第一最大最小滤波模块的输入乘以-1输 入第一最大最小滤波模块中第二个最大池化层， 将两个最大池化层的输出相加后得到第一 最大最小滤波模块的输出。 0022 每个卷积块包括依次连接的卷积层、 批标准化层和激活层； 第一个上采样块中三 个卷积块对应的三个卷积层的卷积核大小均为33、 卷积核个数均为512、 补零参数均为2， 扩张参数为2； 第二个上采样块中三个卷积块对应的三个卷积层的卷积核大小均为33、 卷 积核个数均为256、 补零参数均为4， 扩张参数为4； 第三个上采样块中三个卷积块对应的三 个卷积。

26、层的卷积核大小均为33、 卷积核个数均为128、 补零参数均为6， 扩张参数为 6； 第 四个上采样块中三个卷积块对应的三个卷积层的卷积核大小均为33、 卷积核个数均为 64、 补零参数均为8， 扩张参数为8； 第五个上采样块中三个卷积块对应的三个卷积层的卷积 核大小均为33、 卷积核个数均为64、 补零参数均为10， 扩张参数为10。 0023 第一均值最大最小滤波模块和第一最大最小滤波模块中的两个最大池化层的尺 寸均为3， 步长均为1， 补零参数均为1； 每个边界权重模块中的两个卷积层大小均为11， 第 一个边界权重模块、 第二个边界权重模块、 第三个边界权重模块中卷积层的卷积核个数分 别。

27、为128、 256、 512； 每个边界权重模块中的最大池化层和均值池化层的尺寸均为3， 步长均 说明书 3/13 页 6 CN 111310767 A 6 为1， 补零参数均为1。 0024 所述RGB图输入层的输入端接收RGB图像， 深度图输入层的输入端接收RGB图像对 应的深度图像； 输出层的输出为显著性输出层输出的显著性检测图像和显著性边界输出层 输出的显著性边界图像。 0025 本发明的有益效果： 0026 1)本发明方法在构造卷积神经网络的时候利用了扩张卷积， 因此能够在不增加参 数量的同时获得更大的感受野， 同时能够提升最终的显著性检测效果。 0027 2)本发明方法在利用深度信。

28、息的时候， 创新性地利用最大最小滤波模块提取了边 界信息， 继而将边界信息作为一种边界的权重信息添加到高维的彩色图信息中， 这样能够 让卷积神经网络训练模型训练的时候能够更加关注到边界信息的提取， 从而提升最终的检 测效果。 0028 3)本发明额外增加了对显著物体边界的监督， 通过对显著性物体的监督， 能够指 导卷积神经网络训练模型逐步地构建显著性检测预测图， 通过对显著性物体边界的监督， 从而使得模型能够逐步优化显著性边界的预测图， 继而提升最终的显著性检测结果。 附图说明 0029 图1-a为本发明方法的显著性检测效果的类准确率召回率曲线； 0030 图1-b为本发明方法的显著性检测效果。

29、的平均绝对误差； 0031 图1-c为本发明方法的显著性检测效果的F度量值； 0032 图2为发明方法的总体实现框图； 0033 图3-a为最大最小滤波模块的方案图； 0034 图3-b为边界权重模块模型图； 0035 图4a为第1幅原始的真实物体图像； 0036 图4b为第1幅原始的真实物体图像的深度图； 0037 图4c为利用本发明方法对图4a所示的原始的真实物体图像进行预测， 得到的预测 显著性检测图像； 0038 图5a为第2幅原始的真实物体图像； 0039 图5b为第2幅原始的真实物体图像的深度图； 0040 图5c为利用本发明方法对图5a所示的原始的物体图像进行预测， 得到的预测显。

30、著 性检测图像； 0041 图6a为第3幅原始的真实物体图像； 0042 图6b为第3幅原始的真实物体图像的深度图； 0043 图6c为利用本发明方法对图6a所示的原始的真实物体图像进行预测， 得到的预测 显著性检测图像； 0044 图7a为第4幅原始的真实物体图像； 0045 图7b为第4幅原始的真实物体图像的深度图； 0046 图7c为利用本发明方法对图7a所示的原始的真实物体图像进行预测， 得到的预测 显著性检测图像。 说明书 4/13 页 7 CN 111310767 A 7 具体实施方式 0047 下面结合附图和实施例对本发明作进一步详细描述。 0048 本发明提出的一种基于卷积神经。

31、网络的显著性检测方法， 其总体实现框图如图2 所示， 其包括训练阶段和测试阶段两个过程； 0049 所述的训练阶段过程的具体步骤为： 0050 步骤1_1： 选取Q幅原始的彩色真实物体图像及每幅原始的彩色真实物体图像对应 的深度图像和真实显著性检测标签图像， 并构成训练集， 将训练集中的第q幅原始的彩色真 实物体图像及其对应的深度图像和真实显著性检测标签图像对应记为Iq(i,j)、 Dq(i, j)、 Gq(i,j)； 然后利用最大最小滤波模块对训练集中的每幅真实显著性检测标签图像 进行边界提取， 得到训练集中每幅真是显著性检测标签图像的显著性边界图， 将Gq(i,j) 的显著性边界图记为Bq。

32、(i,j)； 其中， Q为正整数， q为正整数， q的初始值为1， 1qQ,1 iW,1jH， W表示Iq(i,j)、 Dq(i,j)、 Gq(i,j)的宽度， H表示 Iq(i,j)、 Dq(i, j)、 Gq(i,j)的高度， Iq(i,j)为RGB彩色图像， Iq(i,j)表示Iq(i,j)中坐标位置为(i, j)的像素点的像素值， Dq(i,j)为单通道的深度图像， Dq(i,j)表示Dq(i,j)中坐标位置 为(i,j)的像素点的像素值， Gq(i,j)表示Gq(i,j)中坐标位置为(i,j)的像素点的像素值， Bq(i,j)表示Bq(i,j)中坐标为(i,j)的像素点的像素值； 0。

33、051 步骤1_2： 构建卷积神经网络： 如图2所示， 该卷积神经网络包含输入层、 隐层、 输出 层， 输入层包括RGB图输入层和深度图输入层， 隐层包括5个RGB图神经网络块、 3个深度图 神经网络块、 3个边界融合层、 4个融合层、 5个上采样块、 1个第一均值最大最小滤波模块、 1 个第一最大最小滤波模块、 输出层包括1个显著性输出层和1个显著性边界输出层； 0052 对于RGB图输入层， 其输入端接收一幅训练用RGB彩色图像的R通道分量、 G通道分 量和B通道分量， 其输出端输出训练用RGB彩色图像的R通道分量、 G通道分量和B通道分量给 隐层； 其中， 要求训练用RGB彩色图像的宽度。

34、为W且高度为H； 0053 对于深度图输入层， 其输入端接收RGB图输入层的输入端接收的训练用RGB彩色图 像对应的训练用深度图像， 其输出端输出训练用深度图像给隐层； 其中， 训练用深度图像的 宽度为W且高度为H； 0054 对于第一均值最大最小滤波模块， 其输入端接收深度图输入层的输出端输出的训 练用深度图像， 其输出端输出1幅宽度为W且高度为H的特征图， 将输出特征图记为DE1； 0055 对于第1个深度图神经网络块， 其输入端接收DE1中的所有特征图， 其输出端输出 128幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为DE2； 0056 对于第2个深度图神经网络块， 其输。

35、入端接收DE1中的所有特征图， 其输出端输出 256幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为DE3； 0057 对于第3个深度图神经网络块， 其输入端接收DE1中的所有特征图， 其输出端输出 512幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为DE4； 0058 对于第1个RGB图神经网络块， 其输入端接收RGB图输入层的输出端输出的训练用 RGB彩色图像的R通道分量、 G通道分量和B通道分量， 其输出端输出64幅宽度为W且高度为H 说明书 5/13 页 8 CN 111310767 A 8 的特征图， 将输出的所有特征图构成的集合记为E1； 0059 对于第。

36、2个RGB图神经网络块， 其输入端接收E1中的所有特征图， 其输出端输出 128幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为E2； 0060 对于第一个边界融合层， 其输入端接收E2和DE2中的所有特征图， 将E2和DE2进行对 应位置相乘操作， 再和E2进行对应位置相加操作， 其输出端输出128幅宽度为且高度为 的特征图， 将输出的所有特征图构成的集合记为EB2； 0061 对于第3个RGB图神经网络块， 其输入端接收EB2中的所有特征图， 其输出端输出 256幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为E3； 0062 对于第二个边界融合层， 其输入端接收E。

37、3和DE3中的所有特征图， 将E3和DE3进行对 应位置相乘操作， 再和E3进行对应位置相加操作， 其输出端输出256幅宽度为且高度为 的特征图， 将输出的所有特征图构成的集合记为EB3； 0063 对于第4个RGB图神经网络块， 其输入端接收EB3中的所有特征图， 其输出端输出 512幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为E4； 0064 对于第三个边界融合层， 其输入端接收E4和DE4中的所有特征图， 将E4和DE4进行对 应位置相乘操作， 再和E4进行对应位置相加操作， 其输出端输出512幅宽度为且高度为 的特征图， 将输出的所有特征图构成的集合记为EB4； 006。

38、5 对于第5个RGB图神经网络块， 其输入端接收EB4中的所有特征图， 其输出端输出 512幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合记为E5； 0066 对于第1个上采样块， 其输入端接收E5中的所有特征图， 其输出端输出512幅宽度 为且高度为的特征图， 将输出的所有特征图构成的集合记为U1； 0067 对于第一个融合层， 其输入端接收U1和EB4中的所有特征图， 进行对应位置相加操 作， 其输出端输出512幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合 记为UP1； 0068 对于第2个上采样块， 其输入端接收UP1中的所有特征图， 其输出端输出256幅宽度 为且。

39、高度为的特征图， 将输出的所有特征图构成的集合记为U2； 0069 对于第二个融合层， 其输入端接收U2和EB3中的所有特征图， 进行对应位置相加操 作， 其输出端输出256幅宽度为且高度为的特征图， 将输出的所有特征图构成的集合 说明书 6/13 页 9 CN 111310767 A 9 记为UP2； 0070 对于第3个上采样块， 其输入端接收UP2中的所有特征图， 其输出端输出128幅宽度 为且高度为的特征图， 将输出的所有特征图构成的集合记为U3； 0071 对于第三个融合层， 其输入端接收U3和EB2中的所有特征图， 进行对应位置相加操 作， 其输出端输出128幅宽度为且高度为的特征。

40、图， 将输出的所有特征图构成的集合 记为UP3； 0072 对于第4个上采样块， 其输入端接收UP3中的所有特征图， 其输出端输出64幅宽度 为W且高度为H的特征图， 将输出的所有特征图构成的集合记为U4； 0073 对于第四个融合层， 其输入端接收U4和E1中的所有特征图， 进行对应位置相加操 作， 其输出端输出64幅宽度为W且高度为H的特征图， 将输出的所有特征图构成的集合记为 UP4； 0074 对于第5个上采样块， 其输入端接收UP4中的所有特征图， 其输出端输出64幅宽度 为W且高度为H的特征图， 将输出的所有特征图构成的集合记为U5； 0075 对于第一个显著性输出层， 其输入端接。

41、收U5中的所有特征图， 其输出端输出1幅宽 度为W且高度为H的特征图， 将该特征图记为Out1， Out1则为显著性检测预测图； 0076 对于第一个最大最小滤波模块， 其输入端接收Out1中的所有特征图， 其输出端输 出 1幅宽度为W且高度为H的特征图， 将该特征图记为Bout1， Bout1则为显著性边界预测图。 0077 步骤1_3： 将训练集中的每幅原始的彩色真实物体图像作为训练用RGB彩色图像， 将训练集中的每幅原始的彩色真实物体图像对应的深度图像作为训练用深度图像， 输入到 步骤1_3构建的卷积神经网络中进行训练， 得到训练集中的每幅原始的彩色真实物体图像 对应的1幅显著性检测预测。

42、图和1幅显著性边界预测图， 将Iq(i,j)对应的1幅显著性检测 预测图记为将Iq(i,j)对应的1幅显著性边界预测图记为 0078 步骤1_4： 将训练集中的每幅原始的真实彩色物体图像对应的显著性检测预测图 记做将与之对应的真实显著性边界图记做分别计算和以及和之 间的损失函数值， 将与之间的损失函数值记为采用 分类交叉熵(categorical crossentropy)获得， 将和之间的损失函数值记为 采 用 D i c e l o s s 获 得 ， 将和 相加得到最终的损失函数值； 0079 步骤1_5： 重复执行步骤1_3至步骤1_4共V次， 得到卷积神经网络训练模型， 并共得 到Q。

43、V个损失函数值； 然后从QV个损失函数值中找出值最小的损失函数值； 接着将值最 小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络训练模型的最优权值矢 量和最优偏置项， 对应记为Wbest和bbest； 其中， V1； 0080 所述的测试阶段过程的具体步骤为： 0081步骤2_1： 令表示待显著性检测的彩色真实物体图像， 将对应的 说明书 7/13 页 10 CN 111310767 A 10 深度图像记为其中， 1iW， 1jH， W表示和的宽 度， H表示和的高度，表示中坐标位置为 (i,j)的像 素点的像素值，表示中坐标位置为(i,j)的像素点的像素值； 0082步骤2_2： 将。

44、的R通道分量、 G通道分量和B通道分量以及输入到 卷积神经网络训练模型中， 并利用Wbest和bbest进行预测， 得到对应的显著性检测预 测图像和显著性边界预测图像， 将尺寸大小与的尺寸大小一致的显著性检测预测 图像作为对应的最终显著性检测预测图像， 并记为其中，表 示中坐标位置为(i,j)的像素点的像素值。 0083 所述的步骤1_1中， Gq(i,j)的显著性边界图Bq(i,j)的获取过程为： 0084 步骤1_1a:将Gq(i,j)中当前待处理的像素点定义为当前像素点； 0085 步骤1_1b:利用33的滑动窗口对当前像素点进行操作， 用当前滑动窗口中最大 的值减去最小值得到当前像素点。

45、的最终结果值； 0086 步骤1_1c:将Gq(i,j)中下一个待处理像素点作为当前像素点， 然后返回步骤1_ 1b 继续执行， 直至Gq(i,j)中的所有像素点处理完毕； 0087 所述的步骤1_2中， 第1个RGB图神经网络块， 其由依次设置的VGG-16bn中的第一卷 积层、 第一批标准化层、 第一激活层、 第二卷积层、 第二批标准化层、 第二激活层组成， 第一 卷积层的输入端为其所在的神经网络块的输入端， 第一批标准化层的输入端接收第一卷积 层的输出端输出的所有特征图， 第一激活层的输入端接收第一批标准化层的输出端输出的 所有特征图， 第二卷积层的输入端接收第一激活层的输出端输出的所有。

46、特征图， 第二批标 准化层的输入端接收第二卷积层的输出端输出的所有特征图， 第二激活层的输入端接收第 二批标准化层的输出端输出的所有特征图， 第二激活层的输出端为其所在的神经网络块的 输出端； 其中， 第一卷积层和第二卷积层的卷积核大小均为 33、 卷积核个数均为64、 补零 参数均为1， 第一激活层和第二激活层的激活方式均为 “Relu” ， 第一批标准化层、 第二批标 准化层、 第一激活层、 第二激活层各自的输出端输出64幅特征图； 0088 第2个RGB图神经网络块， 其由依次设置的VGG-16bn中的第一最大池化层、 第三卷 积层、 第三批标准化层、 第三激活层、 第四卷积层、 第四批。

47、标准化层、 第四激活层组成， 第一 最大池化层的输入端为其所在的神经网络块的输入端， 第三卷积层的输入端接收第一最大 池化层的输出端输出的所有特征图， 第三批标准化层的输入端接收第三卷积层的输出端输 出的所有特征图， 第三激活层的输入端接收第三批标准化层的输出端输出的所有特征图， 第四卷积层的输入端接收第三激活层的输出端输出的所有特征图， 第四批标准化层的输入 端接收第四卷积层的输出端输出的所有特征图， 第四激活层的输入端接收第四批标准化层 的输出端输出的所有特征图， 第四激活层的输出端为其所在的神经网络块的输出端； 其中， 第一最大池化层的池化尺寸pool_size为2、 步长stride为。

48、2， 第三卷积层和第四卷积层的卷 说明书 8/13 页 11 CN 111310767 A 11 积核大小均为33、 卷积核个数均为128、 补零参数均为 1， 第三激活层和第四激活层的激 活方式均为 “Relu” ， 第三批标准化层、 第四批标准化层、 第三激活层、 第四激活层各自的输 出端输出128幅特征图； 0089 第3个RGB图神经网络块， 其由依次设置的VGG-16bn中的第二最大池化层、 第五卷 积层、 第五批标准化层、 第五激活层、 第六卷积层、 第六批标准化层、 第六激活层、 第七卷积 层、 第七批标准化层、 第七激活层组成， 第二最大池化层的输入端为其所在的神经网络块的 输。

49、入端， 第五卷积层的输入端接收第二最大池化层的输出端输出的所有特征图， 第五批标 准化层的输入端接收第五卷积层的输出端输出的所有特征图， 第五激活层的输入端接收第 五批标准化层的输出端输出的所有特征图， 第六卷积层的输入端接收第五激活层的输出端 输出的所有特征图， 第六批标准化层的输入端接收第六卷积层的输出端输出的所有特征 图， 第六激活层的输入端接收第六批标准化层的输出端输出的所有特征图， 第七卷积层的 输入端接收第六激活层的输出端输出的所有特征图， 第七批标准化层的输入端接收第七卷 积层的输出端输出的所有特征图， 第七激活层的输入端接收第七批标准化层的输出端输出 的所有特征图， 第七激活层。

50、的输出端为其所在的神经网络块的输出端； 其中， 第二最大池化 层的池化尺寸为2、 步长为2， 第五卷积层和第六卷积层和第七卷积层的卷积核大小均为3 3、 卷积核个数均为256、 补零参数均为1， 第五激活层和第六激活层和第七激活层的激活方 式均为 “Relu” ， 第五批标准化层、 第六批标准化层、 第七批标准化层、 第五激活层、 第六激活 层和第七激活层各自的输出端输出256 幅特征图； 0090 第4个RGB图神经网络块， 其由依次设置的VGG-16bn中的第三最大池化层、 第八卷 积层、 第八批标准化层、 第八激活层、 第九卷积层、 第九批标准化层、 第九激活层、 第十卷积 层、 第十批。