工业图像识别方法、装置、服务器及存储介质.pdf

《工业图像识别方法、装置、服务器及存储介质.pdf》由会员分享，可在线阅读，更多相关《工业图像识别方法、装置、服务器及存储介质.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910954819.4 (22)申请日 2019.10.09 (71)申请人 浙江中控技术股份有限公司 地址 310053 浙江省杭州市滨江区六和路 309号中控科技园 (72)发明人 刘志勇赵浴阳周曼王得磊 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 王欢 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 一种工业图像识别方法、 装置、 。

2、服务器及存 储介质 (57)摘要 本发明提供了一种工业图像识别方法、 装 置、 服务器及存储介质， 通过获取待识别的图像， 图像的图像内容表征当前工业生产过程， 确定与 当前工业生产过程处理的物体的当前属性匹配 的预处理规则， 并根据预处理规则对图像进行预 处理得到目标图像， 对目标图像进行识别得到图 像的识别结果， 识别结果表征当前工业生产过程 的生产状态。 本发明提供的技术方案， 通过根据 与当前工业生产过程处理的物体的当前属性匹 配的预处理规则对所获取的待识别图像进行预 处理得到目标图像， 再对目标图像进行识别， 便 能得到该图像的当前工业生成过程的生产状态， 不仅能够降低成本， 还能够。

3、提高监控结果的准确 性。 权利要求书2页 说明书12页 附图4页 CN 110688977 A 2020.01.14 CN 110688977 A 1.一种工业图像识别方法， 其特征在于， 包括： 获取待识别的图像， 所述图像的图像内容表征当前工业生产过程； 确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则； 根据所述预处理规则对所述图像进行预处理得到目标图像； 对所述目标图像进行识别得到所述图像的识别结果， 所述识别结果表征所述当前工业 生产过程的生产状态。 2.根据权利要求1所述的方法， 其特征在于， 所述确定与所述当前工业生产过程处理的 物体的当前属性匹配的预处理规则， 包。

4、括： 获取所述当前工业生产过程处理的物体的当前属性； 检测所述物体的当前属性是否表征所述物体处于第一状态， 所述第一状态为静态或固 体离散状态； 若所述物体的当前属性表征所述物体处于所述第一状态， 确定预处理规则为第一预处 理规则； 若所述物体的当前属性表征所述物体不处于所述第一状态， 检测所述物体的当前属性 是否表征所述物体处于第二状态， 所述第二状态为运动状态或流体连续状态； 若所述物体的当前属性表征所述物体处于所述第二状态， 确定预处理规则为第二预处 理规则。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述目标图像进行识别得到所述图 像的识别结果， 包括： 调用预训练的图像识别。

5、模型， 所述图像识别模型是以待训练图像识别模型预测出的目 标图像样本的生产状态趋近于所述目标图像样本的标定生产状态为训练目标对所述待训 练图像识别模型进行训练得到的； 将所述目标图像输入至所述图像识别模型得到所述图像的识别结果。 4.根据权利要求3所述的方法， 其特征在于， 所述待训练图像识别模型的模型结构由至 少一层构成， 所述至少一层包括： 第一可分离卷积层、 第一归一化层和第一激活层、 第一最 大池化层、 第二可分离卷积层、 第二归一化层和第二激活层、 第二最大池化层、 第三可分离 卷积层、 第三激活层、 第四可分离卷积层、 第四激活层、 第五可分离卷积层、 第三归一化层和 第五激活层，。

6、 以及全连接层。 5.根据权利要求4所述的方法， 其特征在于， 所述待训练图像识别模型预测目标图像样 本的生产状态的过程包括： 将所述目标图像样本输入至所述第一可分离卷积层， 并依次经过所述第一归一化层和 第一激活层、 第一最大池化层、 第二可分离卷积层、 第二归一化层和第二激活层、 第二最大 池化层、 第三可分离卷积层、 第三激活层、 第四可分离卷积层、 第四激活层、 第五可分离卷积 层、 第三归一化层和第五激活层， 以及全连接层预测得到所述目标图像样本的生产状态。 6.根据权利要求1所述的方法， 其特征在于， 还包括： 确定待识别视频中最近预设数量个图像的识别结果； 检测所确定的识别结果中。

7、表征同一生产状态最多的目标识别结果； 将所述目标识别结果确定为所述预设数量个图像中每个所述图像的识别结果。 7.一种工业图像识别装置， 其特征在于， 包括： 权利要求书 1/2 页 2 CN 110688977 A 2 第一获取单元， 获取待识别的图像， 所述图像的图像内容表征当前工业生产过程； 第一确定单元， 用于确定与所述当前工业生产过程处理的物体的当前属性匹配的预处 理规则； 预处理单元， 用于根据所述预处理规则对所述图像进行预处理得到目标图像； 识别单元， 用于所述目标图像进行识别得到所述图像的识别结果， 所述识别结果表征 所述当前工业生产过程的生产状态。 8.根据权利要求1所述的方法。

8、， 其特征在于， 所述第一确定单元， 包括： 第二获取单元， 用于获取所述当前工业生产过程处理的物体的当前属性； 第一检测单元， 检测所述物体的当前属性是否表征所述物体属于第一状态， 所述第一 状态为静态或固体离散状态； 第二确定单元， 用于若所述物体的当前属性表征所述物体处于第一状态， 确定预处理 规则为第一预处理规则； 第二检测单元， 用于若所述物体的当前属性表征所述物体不处于所述第一状态， 检测 所述物体的当前属性是否表征所述物体处于第二状态， 所述第二状态为运动状态或流体连 续状态； 第三确定单元， 用于若所述物体的当前属性表征所述物体处于所述第二状态， 确定预 处理规则为第二预处理规。

9、则。 9.一种服务器， 其特征在于， 包括： 至少一个存储器和至少一个处理器； 所述存储器存 储有程序， 所述处理器调用所述存储器存储的程序， 所述程序用于实现如权利要求1-6任意 一项所述的工业图像识别方法。 10.一种存储介质， 其特征在于， 所述存储介质中存储有计算机可执行指令， 所述计算 机可执行指令用于执行权利要求1-6任意一项所述的工业图像识别方法。 权利要求书 2/2 页 3 CN 110688977 A 3 一种工业图像识别方法、 装置、 服务器及存储介质 技术领域 0001 本发明涉及图像识别技术领域， 更具体地说， 涉及一种工业图像识别方法、 装置、 服务器及存储介质。 背。

10、景技术 0002 现有工业生产过程需要由人工监控工业生产过程的当前生产状态以为工业生产 过程提供控制依据。 比如， 在煤料下料的过程中， 由人工监控当前煤料的下料斗中的煤的 量， 来确定当前煤料的下料斗中煤量的状态， 若监控到当前煤料的下料斗中的煤量的状态 为缺料状态， 将缺料状态作为控制依据， 控制DCI系统的开关开启， 进而向煤料的下料斗中 下料， 即向煤料的下料斗中加煤。 0003 但是， 通过人工监控工业生产过程的当前生产状态以为工业生产过程提供控制依 据， 不仅成本高， 而且监控人员的监控水平参差不齐， 导致监控结果可能存在不准确的情 况。 发明内容 0004 有鉴于此， 本发明的目。

11、的在于提供一种工业图像识别方法、 装置、 服务器及存储介 质， 以降低成本、 提高监控结果的准确性。 0005 为了实现上述目的， 现提出的方案如下： 0006 本发明第一方面公开了一种工业图像识别方法， 包括： 0007 获取待识别的图像， 所述图像的图像内容表征当前工业生产过程； 0008 确定与所述当前工业生产过程处理的物体的当前属性匹配的预处理规则； 0009 根据所述预处理规则对所述图像进行预处理得到目标图像； 0010 对所述目标图像进行识别得到所述图像的识别结果， 所述识别结果表征所述当前 工业生产过程的生产状态。 0011 可选的， 所述确定与所述当前工业生产过程处理的物体的当。

12、前属性匹配的预处理 规则， 包括： 0012 获取所述当前工业生产过程处理的物体的当前属性； 0013 检测所述物体的当前属性是否表征所述物体处于第一状态， 所述第一状态为静态 或固体离散状态； 0014 若所述物体的当前属性表征所述物体处于所述第一状态， 确定预处理规则为第一 预处理规则； 0015 若所述物体的当前属性表征所述物体不处于所述第一状态， 检测所述物体的当前 属性是否表征所述物体处于第二状态， 所述第二状态为运动状态或流体连续状态； 0016 若所述物体的当前属性表征所述物体处于所述第二状态， 确定预处理规则为第二 预处理规则。 0017 可选的， 所述对所述目标图像进行识别得。

13、到所述图像的识别结果， 包括： 说明书 1/12 页 4 CN 110688977 A 4 0018 调用预训练的图像识别模型， 所述图像识别模型是以待训练图像识别模型预测出 的目标图像样本的生产状态趋近于所述目标图像样本的标定生产状态为训练目标对所述 待训练图像识别模型进行训练得到的； 0019 将所述目标图像输入至所述图像识别模型得到所述图像的识别结果。 0020 可选的， 所述待训练图像识别模型的模型结构由至少一层构成， 所述至少一层包 括： 第一可分离卷积层、 第一归一化层和第一激活层、 第一最大池化层、 第二可分离卷积层、 第二归一化层和第二激活层、 第二最大池化层、 第三可分离卷积。

14、层、 第三激活层、 第四可分 离卷积层、 第四激活层、 第五可分离卷积层、 第三归一化层和第五激活层， 以及全连接层。 0021 可选的， 所述待训练图像识别模型预测目标图像样本的生产状态的过程包括： 0022 将所述目标图像样本输入至所述第一可分离卷积层， 并依次经过所述第一归一化 层和第一激活层、 第一最大池化层、 第二可分离卷积层、 第二归一化层和第二激活层、 第二 最大池化层、 第三可分离卷积层、 第三激活层、 第四可分离卷积层、 第四激活层、 第五可分离 卷积层、 第三归一化层和第五激活层， 以及全连接层预测得到所述目标图像样本的生产状 态。 0023 可选的， 还包括： 0024 。

15、确定待识别视频中最近预设数量个图像的识别结果； 0025 检测所确定的识别结果中表征同一生产状态最多的目标识别结果； 0026 将所述目标识别结果确定为所述预设数量个图像中每个所述图像的识别结果。 0027 本发明第二方面公开了一种工业图像识别装置， 包括： 0028 第一获取单元， 获取待识别的图像， 所述图像的图像内容表征当前工业生产过程； 0029 第一确定单元， 用于确定与所述当前工业生产过程处理的物体的当前属性匹配的 预处理规则； 0030 预处理单元， 用于根据所述预处理规则对所述图像进行预处理得到目标图像； 0031 识别单元， 用于所述目标图像进行识别得到所述图像的识别结果， 。

16、所述识别结果 表征所述当前工业生产过程的生产状态。 0032 可选的， 所述第一确定单元， 包括： 0033 第二获取单元， 用于获取所述当前工业生产过程处理的物体的当前属性； 0034 第一检测单元， 检测所述物体的当前属性是否表征所述物体属于第一状态， 所述 第一状态为静态或固体离散状态； 0035 第二确定单元， 用于若所述物体的当前属性表征所述物体处于第一状态， 确定预 处理规则为第一预处理规则； 0036 第二检测单元， 用于若所述物体的当前属性表征所述物体不处于所述第一状态， 检测所述物体的当前属性是否表征所述物体处于第二状态， 所述第二状态为运动状态或流 体连续状态； 0037 。

17、第三确定单元， 用于若所述物体的当前属性表征所述物体处于所述第二状态， 确 定预处理规则为第二预处理规则。 0038 本发明第三方面公开一种服务器， 包括： 至少一个存储器和至少一个处理器； 所述 存储器存储有程序， 所述处理器调用所述存储器存储的程序， 所述程序用于实现如上述本 发明第一方面任意一项公开的工业图像识别方法。 说明书 2/12 页 5 CN 110688977 A 5 0039 本发明第四方面公开一种存储介质， 所述存储介质中存储有计算机可执行指令， 所述计算机可执行指令用于执行如上述本发明第一方面任意一项公开的工业图像识别方 法。 0040 本发明提供了一种工业图像识别方法、。

18、 装置、 服务器及存储介质， 通过获取待识别 的图像， 所述图像的图像内容表征当前工业生产过程， 确定与所述当前工业生产过程处理 的物体的当前属性匹配的预处理规则， 并根据所述预处理规则对所述图像进行预处理得到 目标图像， 对所述目标图像进行识别得到所述图像的识别结果， 所述识别结果表征所述当 前工业生产过程的生产状态。 本发明提供的技术方案， 通过根据与当前工业生产过程处理 的物体的当前属性匹配的预处理规则对所获取的待识别图像进行预处理得到目标图像， 再 对目标图像进行图像识别， 便能得到该图像的当前工业生成过程的生产状态， 不仅能够降 低成本， 还能够提高监控结果的准确性。 附图说明 00。

19、41 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0042 图1为本发明实施例提供的一种工业图像识别方法的流程示意图； 0043 图2为本发明实施例提供的一种确定与当前工业生产过程处理的物体的当前属性 匹配的预处理规则的方法的流程示意图； 0044 图3为本发明实施例提供的一种对目标图像进行识别得到图像的识别结果的方法 的流程示意图； 0045 图4为本发明实施例提供。

20、的一种分别利用传统卷积技术以及可分离卷积技术得到 轻量级网络模型的结构示意图； 0046 图5为本发明实施例提供的一种待训练图像识别模型的结构示意图； 0047 图6为本发明实施例提供的另一种工业图像识别方法的流程示意图； 0048 图7为本发明实施例提供的一种工业图像识别装置的结构示意图； 0049 图8为本发明实施例提供的服务器的结构示意图。 具体实施方式 0050 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前。

21、提下所获得的所有其他 实施例， 都属于本发明保护的范围。 0051 在本申请中， 术语 “包括” 、“包含” 或者其任何其他变体意在涵盖非排他性的包含， 从而使得包括一系列要素的过程、 方法、 物品或者设备不仅包括那些要素， 而且还包括没有 明确列出的其他要素， 或者是还包括为这种过程、 方法、 物品或者设备所固有的要素。 在没 有更多限制的情况下， 由语句 “包括一个” 限定的要素， 并不排除在包括所述要素的过 程、 方法、 物品或者设备中还存在另外的相同要素。 说明书 3/12 页 6 CN 110688977 A 6 0052 由上述背景技术可知， 现有的工业生产过程需要由人工监控工业生。

22、产过程的当前 生产状态以为工业生产过程提供控制依据。 但是， 通过人工监控工业生产过程的当前生产 状态以为工业生产过程提供控制依据， 不仅成本高， 而且监控人员的监控水平参差不齐， 导 致监控结果可能存在不准确的情况。 因此。 本发明实施例提供了一种工业图像识别方法、 装 置、 服务器及存储介质， 通过根据与当前工业生产过程处理的物体的当前属性匹配的预处 理规则对所获取的待识别图像进行预处理得到目标图像， 再对目标图像进行图像识别， 便 能得到该图像的当前工业生成过程的生产状态， 不仅能够降低成本， 还能够提高监控结果 的准确性。 0053 参见图1， 示出了本发明实施例提供的一种工业图像识别。

23、方法的流程示意图， 该工 业图像识别方法包括以下步骤： 0054 S101： 获取待识别的图像。 0055 需要说明的是， 待识别的图像的图像内容表征当前工业生产过程。 0056 需要说明的是， 工业可以为化工厂、 水泥厂等等， 可根据实际应用进行设定， 本发 明实施例不加以限定。 0057 在具体执行步骤S101的过程中， 待识别的图像为采集工业生产过程中的视频的图 像。 比如， 当工业生产过程为煤料的下料过程时， 待识别的图像为采集煤料的下料斗中煤量 的视频的图像。 0058 S102： 确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则。 0059 需要说明的是， 工业生产过程处。

24、理的物体的当前属性包括静态、 固体离散、 运动以 及流体连续， 预处理规则可以为第一预处理规则和第二预处理规则。 其中， 第一预处理规则 为与物体的当前属性为静态或者固体离散时匹配的预处理规则， 第二预处理规则为与物体 的当前属性为动态或流体连续时匹配的预处理规则。 0060 需要说明的是， 第一预处理规则可以为图像均衡化法， 第二预处理规则可以为光 流法。 可根据实际应用进行设定， 本发明实施例不加以限定。 0061 在具体执行步骤S102的过程中， 若当前工业生产过程处理的物体的当前属性为静 态或固体离散， 则确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则为第 一预处理规则， 。

25、若当前工业生产过程处理的物体的当前属性为动态或流体连续， 则确定与 当前工业生产过程处理的物体的当前属性匹配的预处理规则为第二预处理规则。 0062 S103： 根据预处理规则对图像进行预处理得到目标图像。 0063 在具体执行步骤S103的过程中， 当确定与当前工业生产过程处理的物体的当前属 性匹配的预处理规则为第一预处理规则时， 根据第一预处理规则对图像进行预处理得到目 标图像； 当确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则为第二预处 理规则时， 根据第二预处理规则对图像进行预处理得到目标图像。 0064 S104： 对目标图像进行识别得到图像的识别结果。 0065 需要说。

26、明的， 识别结果表征当前工业生产过程的生产状态。 0066 需要说明的是， 当前工业生产过程的生产状态可以为无料状态、 缺料状态、 或者满 料状态等等。 其中， 无料状态指的是煤料的下料斗中煤料的量为零， 或者在运输水泥的过程 中传送带上没有水泥； 缺料状态指的是煤料的下料斗中煤料的量为少量， 或者在运输水泥 的过程中传送带上的水泥量为少量； 满料状态指的是煤料的下料斗中煤料的量为满量， 或 说明书 4/12 页 7 CN 110688977 A 7 者在运输水泥的过程中传送带上的水泥量为满量。 本发明实施例中无料状态、 缺料状态和 满料状态可根据实际应用进行设定， 本发明实施例不加限定。 0。

27、067 在具体执行步骤S104的过程中， 将目标图像输入图像识别模型中， 通过图像识别 模型对目标图像进行识别， 得到图像的识别结果， 即得到图像所属的物体在当前工业生产 过程的生产状态。 0068 需要说明的是， 图像识别模型是以待训练图像识别模型预测出的目标图像样本的 生产状态趋近于目标图像样本的标定生产状态为训练目标对待训练图像识别系统进行训 练得到的。 0069 需要说明的是， 目标图像的标定生产状态为预先设定的。 0070 还需要说明的是， 图像识别模型可以为新轻量级网络模型。 可根据实际应用进行 设定， 本发明实施例不加以限定。 0071 本发明提供了一种工业图像识别方法， 通过获。

28、取待识别的图像， 图像的图像内容 表征当前工业生产过程， 确定与当前工业生产过程处理的物体的当前属性匹配的预处理规 则， 并根据预处理规则对图像进行预处理得到目标图像， 对目标图像进行识别得到图像的 识别结果， 识别结果表征当前工业生产过程的生产状态。 本发明提供的技术方案， 通过根据 与当前工业生产过程处理的物体的当前属性匹配的预处理规则对所获取的待识别图像进 行预处理得到目标图像， 再对目标图像进行图像识别， 便能得到该图像的当前工业生成过 程的生产状态， 不仅能够降低成本， 还能够提高监控结果的准确性。 0072 上述本发明实施例图1公开的步骤S102确定与当前工业生产过程处理的物体的当。

29、 前属性匹配的预处理规则， 如图2所示， 包括以下步骤： 0073 S201： 获取当前工业生产过程处理的物体的当前属性。 0074 需要说明的是， 工业生产过程处理的物体的当前属性可以为静态、 固体离散、 动态 以及流体连续， 可根据实际应用进行设定， 本发明实施例不加以限定。 0075 S202： 检测物体的当前属性是否表征物体处于第一状态。 0076 需要说明的是， 第一状态为静态或固态离散状态。 0077 需要说明的是， 若检测物体的当前属性表征物体处于第一状态， 执行步骤S203， 若 检测物体的当前属性表征物体不处于第一状态， 执行步骤S204。 0078 S203： 确定预处理规。

30、则为第一预处理规则。 0079 需要说明的是， 第一预处理规则可以为图像均衡化法， 可根据实际应用进行设定， 本发明实施例不加以限定。 0080 在具体执行步骤S203的过程中， 当检测物体的当前属性表征物体处于第一状态 时， 确定预处理规则为第一预处理规则。 比如， 当检测物体的当前属性表征物体属于固体离 散状态时， 确定预处理规则为第一预处理规则， 且第一预处理规则为图像均衡化法。 0081 需要说明的是， 图像均衡化法是通过对图像的像素灰度进行映射变换， 以使得变 换后的图像的灰度的概率密度呈均匀分布， 进而提高图像的对比度。 0082 进一步的， 需要说明的是， 对于一张图像而言， 每。

31、个像素灰度级在0,1之间， 当像 素灰度级为0时， 表示图像的颜色为白， 当像素灰度级为1时， 表示图像的颜色为黑， 当可通 过概率密度函数来表示图像灰度级的分布， 该概率密度函数的具体计算公式如下所示： 说明书 5/12 页 8 CN 110688977 A 8 0083 0084 其中， Pr(rk)为概率密度函数， rk为离散灰度级， 且0rk1， k为灰度级数， k0, 1,2,.,n-1， nk为图像中出现rk这种灰度级的像素数， n为图像中的像素总数。 0085 进一步的， 由上述公式(1)可得到图像均衡化的函数， 该图像均衡化的函数的具体 计算公式如下所示： 0086 0087 。

32、其中， Si为图像均衡化的函数， ， rk为离散灰度级， 且0rk1， k为灰度级数， k0, 1,2,.,n-1，为概率中的频数， nk为图像中出现rk这种灰度级的像素数， n为图像中的 像素总数。 0088 S204： 检测物体的当前属性是否表征物体处于第二状态。 0089 需要说明的是， 第二状态为运动状态或流体连续状态。 0090 需要说明的是， 若检测物体的当前属性表征物体处于第二状态， 执行步骤S205， 若 检测物体的当前属性表征物体不处于第二状态， 执行步骤S206。 0091 在具体执行步骤S204的过程中， 通过检测物体的当前属性， 来确定物体当前所处 的状态。 0092 。

33、S205： 确定预处理规则为第二预处理规则。 0093 需要说明的是， 第二预处理规则可以为光流法。 在具体执行步骤S205的过程中， 当 检测物体的当前属性表征物体处于第二状态时， 确定预处理规则为第二预处理规则。 比如， 当检测物体的当前属性表征物体属于运动状态时， 确定预处理规则为第二预处理规则， 且 第二预处理规则可以为光流法。 0094 需要说明的是， 光流法是通过利用图像序列中像素在时间域上的变化以及相邻帧 之间的相关性来找到上一帧与当前帧之间存在的对应关系， 计算出相邻帧之间的运动信 息， 能够有效捕捉到运动物体的轮廓和运动特征。 0095 比如， 当光流法为卢卡斯-卡纳德方法(。

34、Lucas-Kanade Method， L-K)时， 将研究点 设置为P， 且两个相邻帧的图像内容位移都很小时， 两个相邻帧的图像内容位移在研究点P 的领域内为常数， 因此， 可认为光流方程在以研究点p为中心的窗口内对所有像素都成立， 也就是说， 局部图像流(速度V)、 向量(Vx,Vy)应满足以下公式： 0096 0097 其中， qi为窗口中的像素， Ix(qi)、 Iy(qi)、 It(qi)为图像在点qi和当前时间对位置x， y和时间t的偏导。 0098 进一步的， 可将公式(3)记为AVb， 其中 说明书 6/12 页 9 CN 110688977 A 9 0099 0100 01。

35、01 bT-It(q1) -It(q2) . -It(qn) (6) 0102 进一步的， 由上述公式(4)、 (5)和(6)可得到V的， 该V的计算公式如下所示， 0103 V(ATA)-1ATb (7) 0104 从上述公式可看出， 结合窗口内几个相邻的像素点的信息， 通过L-K算法进行计 算， 能够更好的捕捉到运动物体的轮廓和运动特征。 0105 在本发明实施例中， 通过检测当前工业生产过程处理的物体的当前属性所表征物 体所处的状态， 来确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则， 若 检测到物体的当前属性表征物体处于所述第一状态， 确定预处理规则为第一预处理规则， 若检。

36、测到物体的当前属性表征物体处于所述第二状态， 确定预处理规则为第二预处理规 则。 在确定与当前工业生产过程处理的物体的当前属性匹配的预处理规则后， 根据确定的 预处理规则对图像进行预处理得到目标图像， 进而对目标图像进行识别得到图像的识别结 果， 进而得到该图像的当前工业生成过程的生产状态， 不仅能够降低成本， 还能够提高监控 结果的准确性。 0106 上述本发明实施例图1公开的步骤S104对目标图像进行识别得到图像的识别结 果， 如图3所示， 具体包括以下步骤： 0107 S301： 调用预训练的图像识别模型。 0108 需要说明的是， 图像识别模型是以待训练图像识别模型预测出的目标图像的样。

37、本 生产状态趋近于目标图像样本的标定状态为训练目标对待训练图像识别模型进行训练得 到的。 0109 需要说明的， 目标图像样本的标定状态为预先设置的。 比如， 当目标图像样本为煤 料的下料斗中的煤量的目标图像时， 目标图像样本的标定状态可以设置为满料状态， 可根 据实际应用进行设定， 本发明实施例不加以限定。 0110 在具体执行步骤S301的过程中， 获取目标图像的样本， 将目标图像的样本输入待 训练图像识别模型进行预测， 得到目标图像样本的生产状态， 将目标图像的样本的生产状 态趋近于目标图像样本在标定状态为训练目标， 更新待训练图像识别模型中的参数， 对待 训练图像识别模型进行训练， 直。

38、至待训练图像识别模型达到收敛， 得到图像识别模型。 0111 需要说明的是， 图像识别模型为新轻量级网络模型。 其中， 新轻量级网络模型是利 用可分离卷积技术实现卷积层得到的。 0112 本申请人发现， 利用传统的卷积技术来实现轻量级网络模型的卷积层的参数量要 远远大于利用可分离卷积技术来实现轻量级网络模型的卷积层的参数量。 例如， 如图4所 示， 图4a为传统的卷积技术， 图4b为深度卷积的可分离卷积技术， 图4c为点卷积的可分离卷 积技术， 在传统的卷积技术中， 当输入特征的通道数为M， 输出特征的通道数为N， 每个卷积 核的维度为Dk*Dk*M时， 卷积核的大小为Dk*Dk*M*N， 输。

39、出结果为Df*Df*N， 则这个卷积技术的 说明书 7/12 页 10 CN 110688977 A 10 参数量为Dk*Dk*M*N*Df*Df。 在深度卷积的可分离卷积技术中， 当输入特征的通道数为M， 输 出特征的通道数为N， 每个卷积核的维度为Dk*Dk*M， 输出特征图层为Df*Df*N， 利用M个Dk*Dk* 1的卷积核对与其对应的输入特征图层进行卷积， 得到的参数量Dk*Dk*M*Df*Df， 因此， 利用 深度卷积的可分离卷积技术得到的输出结果应该为Df*Df*M， 再利用点卷积的可分离卷积技 术对深度卷积的可分离卷积技术得到的输出结果进行卷积， 即利用N个维度为1*1*M的卷。

40、积 核对Df*Df*M进行卷积， 得到输出特征图层为Df*Df*N， 进而得到参数量N*M*Df*Df。 0113 将可分离卷积技术与传统卷积技术的参数量相比， 得到的比值具体如下公式所 示： 0114 0115 其中， N为输出特征的通道数， Dk*Dk为一个卷积核的大小， Dk*Dk*M*Df*Df为利用深 度卷积的可分离卷积技术进行卷积的参数量， N*M*Df*Df为利用点卷积的可分离卷积技术对 深度卷积的可分离卷积技术进行卷积的输出结果进行卷积的参数量， Dk*Dk*M*N*Df*Df为利 用传统卷积技术进行卷积的参数量， 0116从上述公式(8)可看出， 由于N的数值通常较大因此可忽。

41、略不计， 而当为5*5， 即 采用5*5的卷积核时， 采用可分离卷积技术能够比采用传统的卷积技术减少25倍。 0117 S302： 将目标图像输入至图像识别模型得到图像的识别结果。 0118 在具体执行步骤S302的过程中， 将根据预处理规则对图像进行预处理得到的目标 图像作为图像识别模型的输入， 利用图像识别模型对目标图形进行识别， 得到图像的识别 结果。 0119 在本发明实施例中， 在根据预处理规则对图像进行预处理得到目标图像后， 将目 标图像输入至调用的预训练的图像识别模型中， 对目标图像进行识别， 不仅能够提高计算 速度， 还能够得到准确性更高的识别结果。 0120 基于上述本发明实。

42、施例中涉及的待训练图像识别模型， 如图5所示， 示出了本发明 实施例提供的待训练图像识别模型的结构示意图。 0121 本申请中， 待训练的图像识别模型的模型结构有至少一层构成， 至少一层包括第 一可分离卷积层Spconv1、 第一归一化层BN1和第一激活层Relu1、 第一最大池化层Max_ pool1、 第二可分离卷积层Spconv2、 第二归一化层BN2和第二激活层Relu2、 第二最大池化层 Max_pool2、 第三可分离卷积层Spconv3、 第三激活层Relu3、 第四可分离卷积层Spconv4、 第 四激活层Relu4、 第五可分离卷积层Spconv5、 第三归一化层BN3和第五。

43、激活层Relu5， 以及全 连接层FC。 0122 进一步的， 可通过待训练图像识别模型对目标图像样本的生产过状态进行预测。 该训练图像识别模型预测目标图像样本的生产状态的过程， 具体为： 获取目标图像样本， 将 获取到的目标图像样本输入第一可分离卷积层Spconv1， 得到第一卷积层结果， 将第一卷积 层结果输入第一归一化层BN1和第一激活层Relu1进行处理， 得到处理后的第一卷积层结 果， 将处理后的第一卷积层结果输入第一最大池化层Max_pool1进行处理， 得到第一最大池 化层处理结果， 将第一最大池化层结果输入第二可分离卷积层Spconv2， 得到第二卷积层结 果， 将第二可卷积层。

44、结果输入第二归一化层BN2和第二激活层Relu2进行处理， 得到处理后 说明书 8/12 页 11 CN 110688977 A 11 的第二卷积层结果， 并将处理后的第二卷积层结果输入第二最大池化层Max_pool2进行处 理， 得到第二最大化池化层结果， 将第二最大化池化层结果输入第三可分离卷积层 Spconv3， 得到第三卷积层结果， 并将第三卷积层结果输入第三激活层Relu3进行处理， 得到 处理后的第三卷积层结果， 将处理后的第三卷积层结果输入第四可分离卷积层Spconv4， 得 到第四卷积层结果， 并将第四卷积层结果输入第四激活层Relu4进行处理， 得到处理后的第 四卷积层结果，。

45、 将处理后的第四卷积层结果输入第五可分离卷积层Spconv5， 得到第五卷积 层结果， 并将第二卷积层结果输入第三归一化层BN3和第五激活层Relu5进行处理， 得到处 理后的第五卷积层结果， 最后将处理后的第五卷积层结果输入全连接层FC， 通过全连接层 FC进行挑选输出最准确的目标图像样本的生产状态。 0123 在上述本发明实施例公开的一种工业图像识别方法的基础上， 如图6所示， 具体还 包括以下步骤： 0124 S601： 确定待识别视频中最近预设数量的图像的识别结果。 0125 需要说明的， 可将预设数量设置为15或20。 可根据实际情况进行设定， 本发明实施 例不加以限定。 0126 。

46、在具体执行步骤S601的过程中， 当对待识别视频中的待识别的图像进行图像识别 得到待识别的图像的识别结果后， 选取待识别视频中与待识别的图像的获取时间最近的预 设数量的图像的识别结果。 其中， 待识别视频中与待识别的图像的获取时间最近的预设数 量个图像可以为待识别视频中位于待识别图像之前与待识别图像相邻的预设数量个图像。 比如， 当预设数量为15时， 待识别图像为待识别视频中的第18张图像时， 待视频视频中与待 识别图像的获取时间最近的预设数量个图像可以为待识别视频中的第3张-第17张图像， 以 获取第3张-第17张图像中每张图像的识别结果。 0127 S602： 检测所确定的识别结果中表征同。

47、一生产状态最多的目标识别结果。 0128 在具体执行步骤S602的过程中， 在确定待识别视频中最近预设数量的图像的识别 结果后， 将出现次数最多的表征同一生产状态的识别结果最为目标识别结果。 比如， 选取待 识别视频中与待识别的图像的获取时间最近的15张图像的识别结果， 若识别结果表征生产 状态为满料的图像有13张， 则将表征生产状态为满料的识别结果作为目标识别结果。 0129 S603： 将目标识别结果确定为预设数量个图像中每个图像的识别结果。 0130 在具体执行步骤S603的过程中， 在确定目标识别结果后， 可以将识别结果不为目 标识别结果的图像的识别结果确定为目标识别结果， 比如选取待。

48、识别视频中与待识别的图 像的时间最近的15张图像的识别结果， 若识别结果表征生产状态为满料状态的图像有13 张， 而识别结果表征生产状态为缺料状态的图像仅有两张， 则将表征生产状态为满料的识 别结果作为目标识别结果， 并将目标识别结果也确定为识别结果表征生产状态为缺料状态 的图像的最终的识别结果。 0131 进一步的， 在本发明实施例中， 在确定目标识别结果后， 可采用均值滤波法将识别 结果不为目标识别结果的图像滤除。 0132 在本发明实施例中， 当确定目标识别结果后， 将目标识别结果确定为预设数量个 图像中每个图像的识别结果， 能够得到更加准确的监控结果。 0133 基于上述本发明实施例公。

49、开的工业图像识别方法， 本发明实施例还对应公开了一 种工业图像识别装置， 参考图7， 该工业图像识别装置700包括： 说明书 9/12 页 12 CN 110688977 A 12 0134 第一获取单元701， 获取待识别的图像， 图像的图像内容表征当前工业生产过程。 0135 第一确定单元702， 用于确定与当前工业生产过程处理的物体的当前属性匹配的 预处理规则。 0136 预处理单元703， 用于根据预处理规则对图像进行预处理得到目标图像。 0137 识别单元704， 用于目标图像进行识别得到图像的识别结果， 识别结果表征所述当 前工业生产过程的生产状态。 0138 上述本发明实施例公开。

50、的工业图像识别装置中各个单元具体的原理和执行过程， 与上述本发明实施例公开的工业图像识别方法相同， 可参见上述本发明实施例公开的工业 图像识别方法中相应的部分， 这里不再进行赘述。 0139 本发明提供了一种工业图像识别装置， 通过第一获取单元获取待识别的图像， 图 像的图像内容表征当前工业生产过程， 通过第一确定单元确定与当前工业生产过程处理的 物体的当前属性匹配的预处理规则， 通过预处理单元根据预处理规则对图像进行预处理得 到目标图像， 通过识别单元对目标图像进行识别得到图像的识别结果， 识别结果表征当前 工业生产过程的生产状态。 本发明提供的技术方案， 通过根据与当前工业生产过程处理的 。