基于深度学习的复杂背景低质量二维条码检测方法.pdf

《基于深度学习的复杂背景低质量二维条码检测方法.pdf》由会员分享，可在线阅读，更多相关《基于深度学习的复杂背景低质量二维条码检测方法.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010405518.9 (22)申请日 2020.05.14 (71)申请人 南京翱翔信息物理融合创新研究院 有限公司 地址 211200 江苏省南京市溧水区永阳街 道秦淮大道288号 申请人 中国航发动力股份有限公司 (72)发明人 何卫平魏小红李亮张旭 王荣 (74)专利代理机构 南京思拓知识产权代理事务 所(普通合伙) 32288 代理人 吕鹏涛 (51)Int.Cl. G06K 7/14(2006.01) G06T 19/00(2011.01) G06F 3/01(。

2、2006.01) G06F 3/14(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的复杂背景低质量二维 条码检测方法 (57)摘要 本发明公开了一种基于深度学习的复杂背 景低质量二维条码检测方法， 步骤如下： 步骤1， 收集图像并制作成VOC2007格式的二维条码数据 集； 步骤2， 采用移动端的AR眼镜或固定端的工业 相机进行二维条码的图像获取； 步骤3， 对接收到 的图像通过现有的基于稀疏卷积核估计的算法 进行预处理； 步骤4， 基于步骤3中的卷积核估计 值， 运用非凸优化算法对图像进行最后的复原处 理； 步骤5， 利用卷积神经网络对复原后含有。

3、二维 条码的图像进行特征提取； 步骤6， 对获取到的特 征图利用改进的FasterRCNN算法进行检测， 最 后得到二维条码图像和二维条码边框的坐标以 及角度。 本发明对二维条码存在的模糊、 磨损以 及光照不均等问题均可准确检测定位。 权利要求书1页 说明书7页 附图1页 CN 111753572 A 2020.10.09 CN 111753572 A 1.一种基于深度学习的复杂背景低质量二维条码检测方法， 其特征是， 步骤如下： 步骤1： 收集图像并制作成VOC2007格式的二维条码数据集； 步骤2： 采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取， 并将获取 的图像发送给服务。

4、器； 步骤3： 对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预处理； 步骤4： 基于步骤3中的卷积核估计值， 运用现有的非凸优化算法对预处理后的的图像 进行最后的复原处理； 步骤5： 利用卷积神经网络对复原之后含有二维条码的图像进行特征提取， 得到二维条 码图像的特征图； 步骤6： 对获取到的特征图利用改进的Faster-RCNN算法进行检测， 最后得到二维条码 图像和二维条码边框的坐标以及角度。 2.根据权利要求1所述的基于深度学习的复杂背景低质量二维条码检测方法， 其特征 是， 步骤1的具体步骤为： (a)收集拍摄到的5000张原始图像， 随机选取500张图像作为 VOC2。

5、007内的测试集； (b)剩余的4500张图像进行数据增强扩充到18000张图像作为VOC2007 内的训练集； (c)对训练集中的包含有二维条码的图像用标记工具进行标注， 获取二维条码 的位置和类别信息。 3.根据权利要求1所述的基于深度学习的复杂背景低质量二维条码检测方法， 其特征 是， 步骤2的具体步骤为： (a)在移动端中， 操作者配戴AR眼镜， 面对工作场景， 选定要获取的 场景后， 利用手势或者AR眼镜自带的相机进行拍摄； (b)在固定端中， 将多个工业相机均匀 分布在场景之中， 确保工业相机可以对整个场景进行图像拍摄。 4.根据权利要求1所述的基于深度学习的复杂背景低质量二维条码。

6、检测方法， 其特征 是， 步骤3的具体步骤为： (a)采用高斯滤波对图像进行预平滑处理来构造图像的边缘； (b) 选择具有边缘的图像进行卷积核估计； (c)使用预测的锐利边缘梯度作为空间先验， 指导图 像的初步恢复。 5.根据权利要求1所述的基于深度学习的复杂背景低质量二维条码检测方法， 其特征 是， 步骤5的具体步骤为： (a)利用卷积神经网络在VOC2007格式的数据集上的预训练数据来 增强二维条码数据集的泛化能力； (b)在训练过程中不断调整修改学习率、 训练批次和迭代 次数的相关参数； (c)将调整后的图像作为输入图经过特征提取器获取二维条码图像的特 征图。 6.根据权利要求1所述的基。

7、于深度学习的复杂背景低质量二维条码检测方法， 其特征 是， 步骤5中， 所述卷积神经网络为VGG16模型， 所述VGG16模型包含13个卷积层和4个池化 层。 权利要求书 1/1 页 2 CN 111753572 A 2 一种基于深度学习的复杂背景低质量二维条码检测方法 技术领域 0001 本发明属于图像处理技术领域， 具体涉及一种基于深度学习的复杂背景低质量二 维条码检测方法。 背景技术 0002 随着 “工业4.0” 和 “中国制造2025” 概念的不断深入， 智能化和自动化逐渐成为企 业生产所关注的重点。 在信息物理融合系统中， 信息世界和物理世界的联系越来越密切， 整 个系统都需要对周。

8、围环境有一个 “感知” ， 这个过程就是由自动识别技术实现的。 其中零件 直接标刻Data Matrix技术在工业应用中更加广泛， 因此快速准确检测识别产品表面的二 维条码， 是实现产品信息追踪管理的前提， 同时也是提升物流管理效率、 实现产品生产过程 信息获取以及产品实时追踪的重点。 0003 在条码检测方面， 企业还是使用传统的图像处理方式来进行二维条码的检测。 有 利用L边对二维条码进行检测定位， 利用Hough变换或者Radon变换检测直线边缘得到 “L” 形 寻边区的位置和旋转角度， 但是要想取得较好的变换精度， 这种方法计算量大， 如果变换精 读太小降低了计算量， 但是又无法取得较。

9、好的检测效果。 传统的图像处理方法需要针对不 同的条码检测情况设计不同的图像特征， 这是一项耗费人力物力的工作， 而且设计的图像 特征也不具有通用性； 据统计， 85的识读时间都消耗在寻找可能识读的位置上， 针对复杂 背景中的条码或者微小二维条码的鲁棒性较差， 条码的检测时间长， 识读准确率低。 0004 中国专利公开号CN 107066914 A公开了一种复杂背景下的二维条码图像定位方 法及系统， 所述方法包括： 对二维条码图像进行预处理， 获取预处理后的二维条码图像； 对 所述预处理后的二维条码图像进行轮廓提取处理， 获取二维条码图像的条码轮廓， 并作为 候选条码区； 判断每个候选条码区是。

10、否为矩形， 去除非矩形的候选条码区； 对保留下来的候 选区进行矩形中心重叠去除处理， 获取对边平行的候选条码区； 根据所述对边平行的候选 条码区获取二维条码图像的定位。 上述现有技术解决了复杂背景下完整二维条码图像定位 的问题， 但是对于标刻在零件表面的二维条码， 在零件运输过程中， 难免会因为磨损或者油 污导致二维条码的辨识度降低， 导致条码检测的难度会加大， 甚至无法达到检测定位要求， 难以检测定位到二维条码。 发明内容 0005 本发明的目的就是针对上述现有技术的不足， 提供一种扩大了条码检测的适用范 围， 对二维条码存在模糊、 部分遮挡、 磨损以及光照不均的情况均可准确检测定位的基于深。

11、 度学习的复杂背景低质量二维条码检测方法。 0006 本发明采用的技术方案如下： 0007 一种基于深度学习的复杂背景低质量二维条码检测方法， 步骤如下： 0008 步骤1： 收集图像并制作成VOC2007格式的二维条码数据集； 0009 步骤2： 采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取， 并将 说明书 1/7 页 3 CN 111753572 A 3 获取的图像发送给服务器； 0010 步骤3： 对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预 处理； 0011 步骤4： 基于步骤3中的卷积核估计值， 运用现有的非凸优化算法对预处理后的的 图像进行最后的复。

12、原处理； 0012 步骤5： 利用卷积神经网络对复原之后含有二维条码的图像进行特征提取， 得到二 维条码图像的特征图； 0013 步骤6： 对获取到的特征图利用改进的Faster-RCNN算法进行检测， 最后得到二维 条码图像和二维条码边框的坐标以及角度。 0014 步骤1的具体步骤为： (a)收集拍摄到的5000张原始图像， 随机选取500张图像作为 VOC2007内的测试集； (b)剩余的4500张图像进行数据增强扩充到18000张图像作为VOC2007 内的训练集； (c)对训练集中的包含有二维条码的图像用标记工具进行标注， 获取二维条码 的位置和类别信息， 并将其转化为TFrecord。

13、格式。 0015 步骤2的具体步骤为： (a)在移动端中， 操作者配戴AR眼镜， 面对工作场景， 选定要 获取的场景后， 利用手势或者AR眼镜自带的相机进行拍摄； (b)在固定端中， 将多个工业相 机均匀分布在场景之中， 确保工业相机可以对整个场景进行图像拍摄。 0016 步骤3的具体步骤为： (a)采用高斯滤波对图像进行预平滑处理来构造图像的边 缘； (b)选择具有边缘的图像进行卷积核估计； (c)使用预测的锐利边缘梯度作为空间先验， 指导图像的初步恢复。 0017 步骤5的具体步骤为： (a)利用卷积神经网络在VOC2007格式的数据集上的预训练 数据来增强二维条码数据集的泛化能力； (b。

14、)在训练过程中不断调整修改学习率、 训练批次 和迭代次数的相关参数； (c)将调整后的图像作为输入图经过特征提取器获取二维条码图 像的特征图。 0018 步骤5中， 所述卷积神经网络为VGG16模型， 所述VGG16模型包含13个卷积层和4个 池化层。 0019 本发明的有益效果有： 0020 (1)本发明对二维条码图像存在模糊、 部分遮挡、 磨损以及光照不均的情况均可准 确检测定位； 0021 (2)本发明移动端的操作人员可以通过佩戴AR眼镜即可进行二维条码检测， AR眼 镜上的相机对工作场景进行中图像获取， 然后将获取的图片传输到服务器进行运算， 服务 器将检测的结果回传给AR眼镜， 并将。

15、结果渲染到AR眼镜上， 将虚实进行结合， 给予操作者更 加直观的感受， 可以极大提高工作效率； 0022 (3)在大视野范围下采用固定端的图像获取方式可以进行复杂大背景情况下的二 维条码检测， 改进了Faster-RCNN的边框回归模型， 增加了角度的回归， 使其更加适用于二 维条码检测， 可以准确检测二维条码。 附图说明 0023 图1为本发明的流程图； 0024 图2为本发明的移动端图像获取流程图； 说明书 2/7 页 4 CN 111753572 A 4 0025 图3为本发明的固定端图像获取流程图。 具体实施方式 0026 通过以下说明和实施例对本发明的基于深度学习的复杂背景低质量二维。

16、条码检 测方法作进一步的说明。 0027 如图1-3所示， 本发明它包括： 0028 步骤1： 收集图像并制作成VOC2007格式的二维条码数据集； 0029 步骤2： 采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取， 并将 获取的图像发送给服务器， 其中移动端最后获取的检测信息在AR眼睛上进行显示， 固定端 最后获取的检测信息在服务器的显示屏上进行显示； 0030 步骤3： 对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预 处理， 其卷积核初始化算法流程表如表1所示； 0031 表1 0032 0033 步骤4： 基于步骤3中的卷积核估计值， 运用现有的非凸优化算。

17、法对预处理后的的 图像进行最后的复原处理， 其卷积核优化流程如表2所示； 0034 表2 说明书 3/7 页 5 CN 111753572 A 5 0035 0036 ISD是一个迭代的方法， 在每次迭代的开始， 使用先前估计的核ki形成部分支持， 也就是说， 将大值元素放入集合Si+1中， 而所有其他的元素都属于集合Si+1， Si+1被构造为： 0037 0038 其ki中的索引j和 s均为正数， 在迭代中不断变化， 从而形成部分支持。 以ki的升序 对所有元素进行排序， 并计算每两个相邻元素之间的差d0， d1， 然后从d0开始依次检 查这些差， 搜寻满足dj|ki|/(2hi)的第一个。

18、元素， h是内核宽度， |ki|返回ki的最 大值， 随后将位置j的内核值分配给 s， 每个集合S中的元素在优化中将减少损失， 从而导致 自适应内核优化过程， 最小化式为： 0039 0040 最小化式(2)用于扩散函数(PSF)细化， 其阈值通过自适应正则化轻柔地应用到函 数中， 该阈值使能量可以集中在重要值上， 从而自动保持PSF稀疏性， 更好服务去模糊过程。 0041 步骤5： 利用卷积神经网络对复原之后含有二维条码的图像进行特征提取， 得到二 维条码图像的特征图； 0042 步骤6： 对获取到的特征图利用改进的Faster-RCNN算法进行检测， 最后得到二维 条码图像和二维条码边框的。

19、坐标以及角度。 0043 步骤1的具体步骤为： 0044 (a)收集拍摄到的5000张原始图像， 随机选取500张图像作为VOC2007内的测试集； 0045 (b)剩余的4500张图像进行数据增强扩充到18000张图像作为VOC2007内的训练 集， 图像原始的分辨率均为2592*1944， 包含了各种遮挡、 光照不均、 磨损、 油污等情况； 0046 (c)对训练集中的包含有二维条码的图像用标记工具进行标注， 获取二维条码的 位置和类别信息， 并将其转化为TFrecord格式。 0047 步骤2的具体步骤为： 0048 (a)在移动端中， 操作者配戴AR眼镜， 面对工作场景， 选定要获取的。

20、场景后， 利用手 势或者AR眼镜自带的相机进行拍摄； 0049 (b)在固定端中， 将多个工业相机均匀分布在场景之中， 例如： 选取三个工业相机， 确保三个工业相机可以对整个场景进行图像拍摄。 说明书 4/7 页 6 CN 111753572 A 6 0050 步骤3的具体步骤为： 0051 (a)采用高斯滤波对图像进行预平滑处理来构造图像的边缘， 该高斯滤波具有以 下表现形式： 0052 0053其中，和分别为一阶导数和二阶导数， I0表示高 斯平滑的输入图像， 用于迭代更新的初始输入。 0054 (b)选择具有边缘的图像进行卷积核估计， 用一种新的准则来选择用于估计的边 缘， 定义为： 0。

21、055 0056 其中B表示模糊图像， Nh(x)是一个以像素x为中心的hh的窗口， 常数0.5是为了 防 止 在平坦区 域 产生较大的 r。 狭窄物体 (尖峰) 带符号的 B (y) 大部分会在 中抵消，是Nh(x)中绝对梯度大小的总和， 它估计窗口中图 像结构的强度， r的值较小表示涉及到尖峰或平坦区域， 这会导致中和许多梯度分量， 然后 使用掩码排除较小r值窗口的像素， 由此可得掩模M的表达式为： 0057 MH(r- r) (5) 0058 其中H()是Heaviside阶跃函数， 对于负值输出零， 其他情况输出1， r是一个阈 值， 用于核估计的最终选择边缘确定为： 0059 006。

22、0其中 表示滤波图像， s是梯度幅值的阈值， 等式(6)排除幅度的一部分， 这取决于 幅度和先前的掩模M， 该选择过程减小了随后的卷积核估计中的歧义。 经过不同迭代 计算的映射表明， 包括更多的边并不一定有益于卷积核估计， 优化可能会被误导， 尤其 是在前几次迭代中， 因此， 图像边缘选择过程对于减少混乱至关重要。 0061 (c)使用预测的锐利边缘梯度作为空间先验， 指导图像的初步恢复。 0062 步骤5的具体步骤为： 0063 (a)利用卷积神经网络在VOC2007格式的数据集上的预训练数据来增强二维条码 数据集的泛化能力， 其中卷积神经网络为VGG16模型， 该VGG16模型包括13个卷。

23、积层和4个池 化层； 0064 (b)在训练过程中不断调整修改学习率、 训练批次和迭代次数的相关参数； 0065 (c)将调整后的图像作为输入图经过特征提取器获取二维条码图像的特征图， 该 特征图经过4个池化层， 大小都为2卷积核， 将得到大小为输入图1/16的特征图， 从而提高检 测的效率。 0066 步骤6： 对获取到的特征图利用改进的Faster-RCNN算法进行检测， 最后得到二维 条码图像和二维条码边框的坐标以及角度。 0067 所述改进的Faster-RCNN算法中的锚点在尺度上具有8、 16和32三种条码尺寸， 常 说明书 5/7 页 7 CN 111753572 A 7 规的二。

24、维条码的形状为正方形， 故锚点比例取为1， 而二维条码旋转的角度为 0，和这6个正负样本， 其中二维条码选装的角度为预测条码和原始条码之 间的夹角， 夹角越小则预测越精准。 0068 结合锚点的尺寸和二维条码旋转的角度， 选取最合适的锚点进行二维条码的框选 和显示， 所以在提取的特征图上的每个点生成31721个锚， 其中锚点用于确定二维条 码的位置信息， 而二维条码旋转的角度用于确定其方向信息。 0069 所述正负样本包括正样本和负样本， 所述正样本的定义为旋转矩形的候选框与原 标记框的交并比大于0.7， 且与元标记框的夹角小于 0070 所述负样本的定义为旋转矩形的候选框与原标记框的交并比小。

25、于0.3或者旋转矩 形的候选框与原标记框的交并比大于0.7， 且与原标记框的夹角大于其他情况的样本 不参与训练。 0071 其中对候选框的损失函数采用多任务损失的形式， 具体定义如下： 0072 L(p,l,v*,v)Lcls(p,l)+ lLreg(v*,v) (7) 0073 l是分类标签， 对于有二维条码的情况下l1， 只有背景的情况下l0， p是经过 Softmax函数计算的概率值， v*是标记的数组值， v是网络最后的预测参数， 这两个参数的权 衡通过参数 来控制。 而分类损失定义为： 0074 Lcls(p,l)-logpl (8) 0075 对于候选框， 采用L1损失函数来对二维。

26、条码的感兴趣区域进行回归， 定义如下： 0076 0077其中， 0078 尺度不变的超参数计算如下： 0079 0080 0081 其中x,xa和x*分别表示预测框， 锚和标注真值的参数， 不同形式的y,h,w和 表示规 则同x， aba-b+k ， 其中kZ， 可以确保 0082 实施例： 说明书 6/7 页 8 CN 111753572 A 8 0083 步骤1： 收集图像并制作成VOC2007格式的二维条码数据集； 0084 具体实现步骤如下： 0085 (a)收集拍摄到的5000张原始图像， 随机选取500张图像作为VOC2007内的测试集； 0086 (b)剩余的4500张图像进行。

27、数据增强扩充到18000张图像作为VOC2007内的训练 集； 0087 (c)对训练集中的包含有二维条码的图像用标记工具进行标注， 获取二维条码的 位置和类别信息， 并将其转化为TFrecord格式。 0088 步骤2： 采用移动端的AR眼镜或固定端的工业相机进行二维条码的图像获取， 并将 获取的图像发送给服务器； 0089 具体实现步骤如下： 0090 (a)在移动端中， 操作者配戴AR眼镜， 面对工作场景， 选定要获取的场景后， 利用手 势或者AR眼镜自带的相机进行拍摄； 0091 (b)在固定端中， 将三个工业相机均匀分布在场景之中， 确保三个工业相机可以对 整个场景进行图像拍摄。 0。

28、092 步骤3： 对接收到的图像通过现有的基于稀疏卷积核估计的算法进行去模糊的预 处理； 0093 具体实现步骤如下： 0094 (a)采用高斯滤波对图像进行预平滑处理来构造图像的边缘； 0095 (b)选择具有边缘的图像进行卷积核估计； 0096 (c)使用预测的锐利边缘梯度作为空间先验， 指导图像的初步恢复。 0097 步骤4： 基于步骤3中的卷积核估计值， 运用现有的非凸优化算法对预处理后的的 图像进行最后的复原处理； 0098 步骤5： 利用卷积神经网络对复原之后含有二维条码的图像进行特征提取， 得到二 维条码图像的特征图； 0099 具体实现步骤如下： 0100 (a)利用卷积神经网络在VOC2007格式的数据集上的预训练数据来增强二维条码 数据集的泛化能力； 0101 (b)在训练过程中不断调整修改学习率、 训练批次和迭代次数的相关参数； 0102 (c)将调整后的图像作为输入图经过特征提取器获取二维条码图像的特征图。 0103 步骤6： 对获取到的特征图利用改进的Faster-RCNN算法进行检测， 最后得到二维 条码图像和二维条码边框的坐标以及角度。 0104 本发明涉及的其它未说明部分与现有技术相同。 说明书 7/7 页 9 CN 111753572 A 9 图1 图2 图3 说明书附图 1/1 页 10 CN 111753572 A 10 。