基于深度学习技术的巡检作业评价方法.pdf

《基于深度学习技术的巡检作业评价方法.pdf》由会员分享，可在线阅读，更多相关《基于深度学习技术的巡检作业评价方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010120499.5 (22)申请日 2020.02.26 (71)申请人 中国铁路上海局集团有限公司南京 动车段 地址 210012 江苏省南京市雨花台区宁丹 路东50米 (72)发明人 顾小山倪建军王建辉周斌 郭延安陈敏俊黄凌云高健 高原高翔李枫 (74)专利代理机构 天津市三利专利商标代理有 限公司 12107 代理人 韩新城 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G。

2、06N 3/08(2006.01) G06Q 10/06(2012.01) G06Q 10/00(2012.01) (54)发明名称 一种基于深度学习技术的巡检作业评价方 法 (57)摘要 本发明公开一种基于深度学习技术的巡检 作业评价方法， 利用巡检仪采集设备， 对巡检作 业现场目标对象进行拍照， 然后利用基于深度学 习的图像比对服务模型自动对拍摄的巡检作业 图片进行分析和比对， 反馈确认作业质量， 从而 实现作业过程质量的评价。 本发明通过利用巡检 仪采集设备， 对巡检作业现场关键部位和关键点 进行拍照， 基于深度学习的图像比对服务模型自 动对拍摄的巡检作业图片进行分析和评分， 反馈 确认。

3、作业质量， 从而实现作业过程质量的初步评 价。 权利要求书1页 说明书5页 附图4页 CN 111325167 A 2020.06.23 CN 111325167 A 1.一种基于深度学习技术的巡检作业评价方法， 其特征在于， 包括步骤： 利用巡检仪采集设备， 对巡检作业现场目标对象进行拍照， 然后利用基于深度学习的 图像比对服务模型自动对拍摄的巡检作业图片进行分析和比对， 反馈确认作业质量， 从而 实现作业过程质量的评价。 2.根据权利要求1所述基于深度学习技术的巡检作业评价方法， 其特征在于， 所述基于 深度学习的图像比对服务模型包括基于通道注意力的深度可分离卷积块， 该基于通道注意 力的。

4、深度可分离卷积块对经过深度可分离卷积得到的张量流U， 首先进行全局均值池化层 得到每一个通道对应的一个标量值， 然后经过两层全连接层的先降维再升维的变化， 增加 非线性特征， 再经过Sigmoid激活函数处理， 最终把得到的向量与张量流U进行点积操作， 最 终输出新的张量流， 完成特征提取工作； 其中该得到的向量的向量长度和张量流U的通道数 相同； 最后通过SoftMax层完成最终的对比服务。 3.根据权利要求2所述基于深度学习技术的巡检作业评价方法， 其特征在于， 所述通过 SoftMax层完成最终的对比服务的步骤如下： 将神经网络提取特征后会所得到输出节点值， 经过Softmax激活函数激。

5、活后变成对应 各自的概率值， 作为对比服务中的相似度值， 根据该相似度值的大小， 判断所采集的图片属 于哪一个类别， 至此完成比对服务。 4.根据权利要求3所述基于深度学习技术的巡检作业评价方法， 其特征在于， 使用交叉 熵损失函数来计算损失值， 然后通过反向传播算法训练模型， 使用随机梯度下降优化模型： 交叉熵损失函数K表示类别数量， y表示是否是类别c， y(0, 1)， p表示属于类别c概率值。 权利要求书 1/1 页 2 CN 111325167 A 2 一种基于深度学习技术的巡检作业评价方法 技术领域 0001 本发明涉及巡检作业评价技术领域， 特别是涉及一种基于深度学习技术的巡检作。

6、 业评价方法。 背景技术 0002 高速动车组的运行环境复杂、 客载量大、 长交路持续运行对整个动车组牵引辅助 系统、 制动系统、 铁路砟道性能影响非常大， 给动车组列车检修效率的提升及检修成本的控 制带来了巨大挑战。 发明内容 0003 本发明的目的是针对现有技术中存在的技术缺陷， 而提供一种基于深度学习技术 的巡检作业评价方法。 0004 为实现本发明的目的所采用的技术方案是： 0005 一种基于深度学习技术的巡检作业评价方法， 包括步骤： 0006 利用巡检仪采集设备， 对巡检作业现场目标对象进行拍照， 然后利用基于深度学 习的图像比对服务模型自动对拍摄的巡检作业图片进行分析和比对， 反。

7、馈确认作业质量， 从而实现作业过程质量的评价。 0007 其中， 所述基于深度学习的图像比对服务模型包括基于通道注意力的深度可分离 卷积块， 该基于通道注意力的深度可分离卷积块对经过深度可分离卷积得到的张量流U， 首 先进行全局均值池化层得到每一个通道对应的一个标量值， 然后经过两层全连接层的先降 维再升维的变化， 增加非线性特征， 再经过Sigmoid激活函数处理， 最终把得到的向量与张 量流U进行点积操作， 最终输出新的张量流， 完成特征提取工作； 其中该得到的向量的向量 长度和张量流U的通道数相同； 最后通过SoftMax层完成最终的对比服务。 0008 其中， 所述通过SoftMax层。

8、完成最终的对比服务的步骤如下： 0009 将神经网络提取特征后会所得到输出节点值， 经过Softmax激活函数激活后变成 对应各自的概率值， 作为对比服务中的相似度值， 根据该相似度值的大小， 判断所采集的图 片属于哪一个类别， 至此完成比对服务。 0010 其中， 使用交叉熵损失函数来计算损失值， 然后通过反向传播算法训练模型， 使用 随机梯度下降优化模型： 0011交叉熵损失函数K表示类别数量， y表示是否是类别c， y (0,1)， p表示属于类别c概率值。 0012 本发明通过利用巡检仪采集设备， 对巡检作业现场关键部位和关键点进行拍照， 将现场拍照的图片和模板作业图片进行对比分析， 。

9、自动确认检修作业人员是否对相应位置 进行作业， 基于深度学习的比对服务模型自动对拍摄的巡检作业图片进行分析和评分， 反 馈确认作业质量， 从而实现作业过程质量的自动评价。 通过自动评价能够减少管理人员的 工作量， 对作业人员作业质量全覆盖有效评价， 提高作业质量、 检修效率和手段， 确保动车 说明书 1/5 页 3 CN 111325167 A 3 组安全运行。 附图说明 0013 图1是基于深度学习技术的巡检作业评价方法的比对服务模型比对过程图； 0014 图2是传统卷积过程的示意图； 0015 图3是传统卷积过程的示意图； 0016 图4是深度卷积过程的示意图； 0017 图5是逐点卷积过。

10、程的示意图； 0018 图6是逐点卷积过程的示意图； 0019 图7是SE模块； 0020 图8为深度可分离卷积块(DSConv)， 其中DepthwiseConV表示深度可分离卷积， BN 表示批归一化层， ReLU为激活函数； 0021 图9为基于通道注意力机制的深度可分离卷积模块(CADSConv)， 其中GVP表示全局 均值池化层， FC表示全连接层， Sigmoid表示激活函数。 0022 图10是输出计算图。 具体实施方式 0023 以下结合附图和具体实施例对本发明作进一步详细说明。 应当理解， 此处所描述 的具体实施例仅仅用以解释本发明， 并不用于限定本发明。 0024 如图1所。

11、示， 本发明基于深度学习技术的巡检作业评价方法， 包括步骤： 0025 利用巡检仪采集设备， 对巡检作业现场目标对象进行拍照， 然后利用基于深度学 习的图像比对服务模型自动对拍摄的巡检作业图片进行分析和比对， 反馈确认作业质量， 从而实现作业过程质量的评价。 0026 其中， 所述基于深度学习的图像比对服务模型包括基于通道注意力的深度可分离 卷积块， 该基于通道注意力的深度可分离卷积块对经过深度可分离卷积得到的张量流U， 首 先进行全局均值池化层得到每一个通道对应的一个标量值， 然后经过两层全连接层的先降 维再升维的变化， 增加非线性特征， 再经过Sigmoid激活函数处理， 最终把得到的向量。

12、(该得 到的向量长度和张量流U的通道数相同)和张量流U进行点积操作， 最终输出新的张量流， 完 成特征提取工作； 最后通过SoftMax层完成最终的对比服务。 0027 其中， 所述的通过SoftMax层完成最终的对比服务的步骤如下： 0028 将神经网络提取特征后会所得到输出节点值， 经过Softmax激活函数激活后变成 对应各自的概率值， 作为对比服务中的相似度值， 根据该相似度值的大小， 判断所采集的图 片属于哪一个类别， 至此完成比对服务。 0029 公知的， 一张典型的图像不是二维的， 也有深度、 宽度和高度。 假设给定一个 12x12x3像素(RGB)的输入图像。 对图像做一个55。

13、的卷积， 不加填充， 步幅为1。 如果只考虑 图像的宽度和高度， 卷积过程是这样的:1212(55)88。 55内核每25个像素进行 标量乘法， 每次输出一个数字。 由于没有填充(12-5+18)， 最终得到一个88像素的图像。 0030 然而， 由于图像有3个通道， 卷积核也需要有3个通道。 这意味着， 不是做5525 次乘法， 而是每次内核移动时做5x5x375次乘法。 就像二维解释一样， 对每25个像素做标 说明书 2/5 页 4 CN 111325167 A 4 量矩阵乘法， 输出一个数字。 在经过5x5x3内核之后， 12x12x3图像将变成8x8x1图像。 如图2 所示。 0031。

14、 如果想增加输出图像中的通道数量(比如大小为8x8x256的输出)， 可以创建256个 内核来创建256个8x8x1图像， 然后将它们堆叠在一起， 创建出8x8x256图像输出。 如图3所 示： 0032 深度可分离卷积是一个可替代传统卷积层的架构。 对于不同的出入通道采取不同 卷积核卷积， 将普通卷积操作分解为两个过程： 深度卷积和点向卷积。 0033 第一部分深度卷积中， 在不改变深度的情况下， 对输入图像进行了深度方向卷积。 使用3个5x5x1形状的内核。 如图4所示 0034 每个5x5x1内核迭代图像的1个通道(注意： 1个通道， 而不是所有通道)， 得到每25 个像素组的标量积， 。

15、得到一个8x8x1图像。 将这些图像叠加在一起可创建8x8x3图像。 0035 点向卷积使用了一个11内核， 或者说是一个遍历每个点的内核。 该内核有一个 深度， 不管输入图像有多少通道； 在例子中， 它是3。 因此， 通过8x8x3图像迭代1x1x3内核， 得 到8x8x1图像。 如图5所示。 0036 可以创建256个1x1x3内核， 每个内核输出一个8x8x1图像， 以得到形状为8x8x256 的最终图像。 如图6所示： 0037 通过上面将传统卷积层拆分为深度卷积和点向卷积。 更抽象地说， 如果原始卷积 函数是12x12x3(5x5x3x256)12x12x256， 可以将这个新的卷积。

16、表示为12x12x3 (5x5x1x1)(1x1x3x256)12x12x256。 0038 原始卷积中有256个5x5x3内核可以移动88次， 这是256x3x5x5x8x81228800次 乘法。 然而， 深度卷积中， 有3个5x5x1的内核它们移动了88次。 也就是3x5x5x8x84800。 在点向卷积中， 有256个1x1x3的内核它们移动了88次。 这是256x1x1x3x8x849152。 把它 们加起来， 就是53952次乘法。 52,952比1,228,800小很多。 计算量越少， 网络就能在更短的 时间内处理更多的数据。 0039 本发明中， 为了保证模型在计算效率高的情况。

17、下而又精度保持不变或者有所提 高， 因此采用了通道注意力机制。 深度可分离卷积对通道进行分组也主要是为了使模型更 加轻量级， 减少计算量。 受SENet启发， 采用Squeeze-and-Excitation(SE)模块关注通道之 间的关系， 这样模型可以自动学习到不同通道特征的重要程度。 0040 其中， SE模块首先对卷积得到的特征图进行Squeeze操作， 得到通道级的全局特 征， 然后对全局特征进行Excitation操作， 学习各个通道间的关系， 也得到不同通道的权 重， 最后乘以原来的特征图得到最终特征。 0041 本质上， 所述的SE模块是在通道维度上做注意力操作， 这种注意力机。

18、制让模型可 以更加关注信息量最大的通道特征， 而抑制那些不重要的通道特征。 SE模块如图7所示。 0042 所述SE模块主要包括Squeeze和Excitation两个操作， 可以适用于任何映射Ftr： X U,XRH W C,URHWC， 以卷积为例， 卷积核为Vv1,v2,vC， 其中vc表示第c个卷 积核。 那么输出Uu1,u2,uC： 0043 说明书 3/5 页 5 CN 111325167 A 5 0044其中， *代表卷积操作， 而代表一个3D卷积核， 其输入一个通道上的空间特征， 它 学习特征空间关系， 但是由于对各个通道的卷积结果做了求和， 所以通道特征关系与卷积 核学习到的。

19、空间关系混合在一起。 而SE模块就是为了抽离这种混杂， 使得模型直接学习到 通道特征关系。 0045 由于卷积只是在一个局部空间内进行操作， 输出U很难获得足够的信息来提取通 道之间的关系， 对于网络中前面的层这更严重， 因为感受野比较小。 为此， SENet提出 Squeeze操作， 将一个通道上整个空间特征编码为一个全局特征， 采用全局均值池化层来实 现： 0046 0047 Sequeeze操作得到了全局描述特征， 接下来需要另外一种运算来抓取通道之间的 关系。 这个操作需要满足两个准则： 首先要灵活， 它要可以学习到各个通道之间的非线性关 系； 第二点是学习的关系不是互斥的， 因为这里。

20、允许多通道特征， 而不是one-hot形式。 基于 此， 采用sigmoid形式的门控机制： 0048 sFex(z,W) (g(z,W) (g(W2 (W1z) 0049其中， 表示ReLU激活函数， 表示sigmoid激活函数，分 别是两个全连接层的权值矩阵， r是中间层隐藏层节点数。 0050 为了降低模型复杂度以及提升泛化能力， 采用包含两个全连接层的瓶颈结构， 其 中第一个全连接层起到了降维的作用， 降维系数为r是个超参数， 然后采用ReLU激活。 最后 的全连接层是降低的维度恢复原始的维度。 0051最后， 输出表示为s和U的向量积， 即上图中的Fscale(,)操作： 0052 。

21、0053其中， 是的一个特征通道的一个特征图， sc是s中的一个标量值。 其实整个操 作可以看成学习到了各个通道的权重系数， 从而使得模型对各个通道的特征更有辨别能 力。 0054 系统中的比对服务通过自主设计的深度神经网络模型， 其中网络模型中的主要模 块是基于通道注意力的深度可分离卷积块(CADSConv)。 此模块既可以高效的完成比对任务 又可以使得精度得到保障。 结合了SE模块和深度可分离卷积的特点构造了新型的神经网络 模型结构。 如图8所示。 0055 在CADSConv模块中， 经过深度可分离卷积得到的张量流U， 首先进行全局均值池化 层得到每一个通道对应的一个标量值， 然后经过两。

22、层全连接层的先降维再升维的变化(增 加非线性特征)， 再经过Sigmoid激活函数处理， 最终把得到的向量(向量长度和U的通道数 相同)和U进行点积操作(Scale)， 最终输出新的张量流。 0056 使用CADSConv模块构建了一个新的网络模型。 通过CADSConv模块完成特征提取工 作， 最后添加SoftMax层完成最终的对比服务。 Softmax激活函数如下： 说明书 4/5 页 6 CN 111325167 A 6 0057 0058 如图10所示， 假设模板作业图像库中有三个类别， 当工作人员在现场采集的新图 片经过设计的神经网络提取特征后会得到三个输出节点值， 这三个值经过So。

23、ftmax激活函 数激活后变成对应各自的概率值， 这个概率值就会当作对比服务中的相似度值， 即概率值 越高， 相似度越大， 就认为该采集图片属于哪一个类别， 至此完成比对服务。 0059图10中还展示了在模型中使用到了交叉熵损失函数交叉 熵损失函数中,K表示类别数量； y表示是否是类别c， y(0,1)； p表示属于类别c概率值。 使 用交叉熵损失函数来计算损失值， 然后通过反向传播算法训练模型， 使用随机梯度下降优 化模型。 0060 本发明通过利用巡检仪采集设备， 对巡检作业现场关键部位和关键点进行拍照， 将现场拍照的图片和模板作业图片进行对比分析， 自动确认检修作业人员是否对相应位置 进。

24、行作业， 基于深度学习的比对服务模型自动对拍摄的巡检作业图片进行分析和评分， 反 馈确认作业质量， 从而实现作业过程质量的初步评价。 0061 本发明通过自动评价系统能够减少管理人员的工作量， 对作业人员作业质量全覆 盖有效评价， 提高作业质量、 检修效率和手段， 确保动车组安全运行。 0062 以上所述仅是本发明的优选实施方式， 应当指出的是， 对于本技术领域的普通技 术人员来说， 在不脱离本发明原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰 也应视为本发明的保护范围。 说明书 5/5 页 7 CN 111325167 A 7 图1 图2 说明书附图 1/4 页 8 CN 111325167 A 8 图3 图4 图5 说明书附图 2/4 页 9 CN 111325167 A 9 图6 图7 图8 说明书附图 3/4 页 10 CN 111325167 A 10 图9 图10 说明书附图 4/4 页 11 CN 111325167 A 11 。