元器件点胶轨迹提取方法及自动控制机器人系统.pdf

《元器件点胶轨迹提取方法及自动控制机器人系统.pdf》由会员分享，可在线阅读，更多相关《元器件点胶轨迹提取方法及自动控制机器人系统.pdf（13页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910261098.9 (22)申请日 2019.04.02 (71)申请人 华中科技大学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 彭刚熊超廖金虎 (74)专利代理机构 华中科技大学专利中心 42201 代理人 曹葆青李智 (51)Int.Cl. B05C 5/02(2006.01) B05C 11/10(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/00(2006.01) G0。

2、6T 7/00(2017.01) G06T 7/13(2017.01) (54)发明名称 一种元器件点胶轨迹提取方法及自动控制 机器人系统 (57)摘要 本发明涉及一种元器件点胶轨迹提取方法 及自动控制机器人系统， 方法包括采集目标元器 件的图片数据， 并对图片数据进行缩放及滤波处 理， 得到预处理图像； 制作样本元器件图像集， 并 基于样本元器件图像集对Mask-RCNN神经网络框 架进行训练， 得到元器件轮廓提取Mask-RCNN神 经网络模型； 基于元器件轮廓提取Mask-RCNN神 经网络模型， 对预处理图像进行轮廓提取， 得到 目标元器件的点胶轨迹。 系统包括系统主控模 块、 视觉模。

3、块、 点胶执行模块、 机械臂模块。 本发 明方法和系统可以实现高精确、 高质量的点胶， 且适应性好， 在元器件尺寸超过焊盘轮廓或元器 件整形不规整时， 仍可实现精确点胶。 并可以根 据识别到的不同元器件类型和大小， 实现高质量 的均匀点胶。 权利要求书2页 说明书8页 附图2页 CN 110152938 A 2019.08.23 CN 110152938 A 1.一种元器件点胶轨迹提取方法， 其特征在于， 包括： 步骤1、 采集目标元器件的图片数据， 并对所述图片数据进行缩放及滤波处理， 得到预 处理图像； 步骤2、 制作样本元器件图像集， 并基于所述样本元器件图像集对Mask-RCNN神经网。

4、络 框架进行训练， 得到元器件轮廓提取Mask-RCNN神经网络模型； 步骤3、 基于所述元器件轮廓提取Mask-RCNN神经网络模型， 对所述预处理图像进行轮 廓提取， 得到所述目标元器件的点胶轨迹。 2.根据权利要求1所述的一种元器件点胶轨迹提取方法， 其特征在于， 所述步骤1包括： 采集目标元器件的图片数据， 将所述图片数据缩放至预设像素， 得到待处理图像； 采用中值滤波法对所述待处理图像进行椒盐噪声滤除处理， 得到预处理图像。 3.根据权利要求1所述的一种元器件点胶轨迹提取方法， 其特征在于， 所述元器件轮廓 提取Mask-RCNN神经网络模型包括特征提取单元、 候选框确定单元、 候选。

5、框修正单元、 分割 单元和融合单元； 则所述步骤3包括： 所述特征提取单元采用特征提取网络， 计算所述预处理图像的不同尺度的多张尺度特 征图； 所述候选框确定单元采用区域建议网络， 计算每张所述尺度特征图中所述目标元器件 对应的目标候选框； 所述候选框修正单元采用双线性内插算法， 计算每个所述目标候选框对应的目标特征 图； 所述分割单元采用全卷积神经网络， 对每张所述目标特征图进行分割， 得到该张目标 特征图对应的所述目标元器件的第一分割掩膜； 所述融合单元采用融合算法， 对所有所述第一分割掩膜进行融合处理， 得到一个所述 目标元器件的第二分割掩膜， 完成元器件点胶轨迹的提取。 4.根据权利要。

6、求1所述的一种元器件点胶轨迹提取方法， 其特征在于， 所述样本元器件 图像集为基于所述目标元器件的类型制作得到。 5.根据权利要求1至4任一项所述的一种元器件点胶轨迹提取方法， 其特征在于， 所述 步骤2中， 所述制作样本元器件图像集， 具体包括： 采集多个样本元器件对应的预设数量的图片数据； 对每张所述图片数据进行缩放， 得到预设像素的缩放图像； 提取每张所述缩放图像中的元器件区域， 得到元器件区域图像； 对每张所述元器件区域图像进行图像数据增强处理， 得到该张元器件区域图像对应的 多张元器件区域增强图像； 提取每张所述元器件区域增强图像中的元器件区域轮廓坐标数据， 生成样本图像数据 集， 。

7、所述样本图像数据集包括每张所述元器件区域增强图像及其元器件区域轮廓坐标数 据。 6.根据权利要求5所述的一种元器件点胶轨迹提取方法， 其特征在于， 所述图像数据增 强处理包括： 随机水平翻转、 HIS颜色空间变换和添加椒盐噪声。 7.一种元器件点胶轨迹自动控制机器人系统， 其特征在于， 包括： 主控模块、 视觉模块、 权利要求书 1/2 页 2 CN 110152938 A 2 点胶执行模块和机械臂模块； 所述视觉模块， 设置于所述机械臂模块上， 用于接收所述主控模块的图像采集指令， 基 于所述图像采集指令采集电路板图像并传输至所述主控模块； 所述主控模块， 用于在所述电路板图像中获取目标元器。

8、件的图片数据， 并基于所述图 片数据以及如权利要求1至6任一项所述的一种元器件点胶轨迹提取方法， 提取所述目标元 器件的点胶轨迹， 基于所述点胶轨迹， 生成机械臂点胶路径指令并发送至所述机械臂模块， 同时生成点胶量指令发送至所述点胶执行模块； 所述机械臂模块， 用于基于所述机械臂点胶路径指令进行运动； 所述点胶执行模块， 设置于所述机械臂模块上， 用于基于所述点胶量指令， 在所述机械 臂模块运动的同时进行点胶。 8.根据权利要求7所述的一种元器件点胶轨迹自动控制机器人系统， 其特征在于， 所述 机械臂模块包括： 机械臂控制器和机械臂； 所述点胶执行模块包括： 点胶针筒和点胶控制设备， 其中， 。

9、所述点胶针筒设置于所述机 械臂上； 则所述机械臂模块具体用于： 所述机械臂控制器接收并基于所述机械臂点胶路径指令， 控制所述机械臂移动至初始 点胶任务的起始位置， 开始点胶运动， 并同步将运动状态传输回所述主控模块； 所述点胶执行模块具体用于： 所述点胶控制设备接收并基于所述点胶量指令， 在所述机械臂模块运动的同时推动所 述点胶针筒进行点胶， 并同步将点胶状态传输回所述主控模块； 则所述主控模块， 还用于： 根据所述运动状态和所述点胶状态， 当当前的点胶任务完成后， 向所述机械臂控制器 发送运动指令， 以控制所述机械臂运动到下一个点胶任务的起始位置， 开始新的点胶任务。 9.根据权利要求7至8。

10、所述的一种元器件点胶轨迹自动控制机器人系统， 其特征在于， 所述主控模块在生成所述点胶量指令时， 具体为： 基于图片数据， 识别所述目标元器件的类型和大小， 并基于该类型和大小， 生成点胶量 指令， 所述点胶量指令包括所述点胶针筒的推动速度。 10.根据权利要求7至8所述的一种元器件点胶轨迹自动控制机器人系统， 其特征在于， 所述视觉模块包括： 工业相机和补光光源； 所述工业相机， 用于接收所述主控模块的图像采集指令， 基于所述图像采集指令采集 电路板图像并传输至所述主控模块； 所述补光光源， 用于给所述工业相机补充光源。 权利要求书 2/2 页 3 CN 110152938 A 3 一种元器。

11、件点胶轨迹提取方法及自动控制机器人系统 技术领域 0001 本发明涉及图像处理技术领域， 特别是涉及一种元器件点胶轨迹提取方法及自动 控制机器人系统。 背景技术 0002 目前， 自动化的元器件点胶技术广泛应用于各种元器件固定和机械保护， 减缓振 动、 外力和温差产生的影响， 同时， 增强绝缘性能， 并满足EMC(Electro Magnetic Compatibility， 电磁兼容性)要求。 自动化的元器件点胶技术利用机器视觉技术与机器人 技术， 获取元器件点胶轨迹， 然后将适量的工业胶体涂抹在元器件与电路板的焊盘连接处， 或者元器件之间的连接处(比如排线插座基座和排线端子的连接处等)， 。

12、提高了生产效率， 降低了操作人员的工作强度、 出错概率。 0003 自动化的元器件点胶技术在3C(Computer， 计算机； Communication， 通信； Consumer Electronics， 消费类电子)领域需求广泛， 元器件尺寸越来越小， 点胶或涂胶工 艺难度越来越大， 同时3C产品的更新换代速度也越来越快， 对点胶任务的智能化、 效率、 精 度和质量提出了更高的要求， 需要精确且高效的提取出元器件的点胶轨迹， 实现元器件的 快速而准确的固定， 提高工作效率， 降低生产成本。 而对于元器件点胶轨迹的提取， 现有方 法往往采用Mark标记点辅助进行元器件焊盘轮廓或者元器件之间。

13、连接轮廓的定位， 然后直 接进行点胶作业， 算法的精确度不高， 而且对于超过焊盘轮廓的元器件， 无法获取准确的实 际点胶轮廓， 降低了点胶质量。 同时， 由于元器件种类较多， PCB(Printed Circuit Board， 印刷电路板， 通常简称电路板)较复杂， 需要针对不同元器件预存不同的点胶轨迹， 现有方 法适应性不好。 而且， 在前期元器件整形工序， 往往由于人为原因， 造成插件元器件整形不 规整、 不一致， 现有方法点胶质量较低、 适应性不好。 0004 因此， 现有的元器件点胶轨迹提取方法存在轨迹提取不精确、 点胶质量较低和适 应性不好的技术问题。 发明内容 0005 本发明提。

14、供一种元器件点胶轨迹提取方法及自动控制机器人系统， 用以解决现有 技术中存在的元器件点胶轨迹精确度不高的问题。 0006 本发明解决上述技术问题的技术方案如下： 一种元器件点胶轨迹提取方法， 包括： 0007 步骤1、 采集目标元器件的图片数据， 并对所述图片数据进行缩放及滤波处理， 得 到预处理图像； 0008 步骤2、 制作样本元器件图像集， 并基于所述样本元器件图像集对Mask-RCNN神经 网络框架进行训练， 得到元器件轮廓提取Mask-RCNN神经网络模型； 0009 步骤3、 基于所述元器件轮廓提取Mask-RCNN神经网络模型， 对所述预处理图像进 行轮廓提取， 得到所述目标元器。

15、件的点胶轨迹。 0010 本发明的有益效果是： 本发明采用Mask-RCNN神经网络(Mask Region-based 说明书 1/8 页 4 CN 110152938 A 4 Convolutional Neural Network， 基于掩模区域的卷积神经网络)模型对元器件的点胶轨 迹进行提取， 相比较现有直接以焊盘轮廓作为点胶轨迹， 点胶的精确度高， 且在元器件尺寸 超过焊盘轮廓或元器件整形不规整时， 仍可实现精确点胶。 0011 在上述技术方案的基础上， 本发明还可以做如下改进。 0012 进一步， 所述步骤1包括： 0013 采集目标元器件的图片数据， 将所述图片数据缩放至预设像素。

16、， 得到待处理图像； 0014 采用中值滤波法对所述待处理图像进行椒盐噪声滤除处理， 得到预处理图像。 0015 本发明的进一步有益效果是： 对采集的图片数据进行缩放和中值滤波处理， 使得 Mask-RCNN神经网络模型接收的图片数据符合该神经网络模型的处理标准， 提高处理效率。 0016 进一步， 所述元器件轮廓提取Mask-RCNN神经网络模型包括特征提取单元、 候选框 确定单元、 候选框修正单元、 分割单元和融合单元； 0017 则所述步骤3包括： 0018 所述特征提取单元采用特征提取网络， 计算所述预处理图像的不同尺度的多张尺 度特征图； 0019 所述候选框确定单元采用区域建议网络。

17、， 计算每张所述尺度特征图中所述目标元 器件对应的目标候选框； 0020 所述候选框修正单元采用双线性内插算法， 计算每个所述目标候选框对应的目标 特征图； 0021 所述分割单元采用全卷积神经网络， 对每张所述目标特征图进行分割， 得到该张 目标特征图对应的所述目标元器件的第一分割掩膜； 0022 所述融合单元采用融合算法， 对所有所述第一分割掩膜进行融合处理， 得到一个 所述目标元器件的第二分割掩膜， 完成元器件点胶轨迹的提取。 0023 本发明的进一步有益效果是： 采用双线性内插法， 对特征进行稀释， 提高了待处理 图像的处理效率， 同时消除了稀释后的候选框的偏差。 使得用同样方法得到的。

18、数据集进行 训练得出的元器件轮廓提取神经网络模型的分割精度更高， 有效的提高了小目标的分割准 确度。 0024 进一步， 所述样本元器件图像集为基于所述目标元器件的类型制作得到。 0025 本发明的进一步有益效果是： 采用基于目标元器件的类型制作得到的样本图像数 据集对Mask-RCNN神经网络框架进行训练， 使得训练得到的神经网络模型可实时基于元器 件预处理图像对元器件轮廓进行提取， 且提高了目标元器件的轮廓提取效率和精度， 进一 步可提高点胶效率和精确度。 0026 进一步， 所述制作样本图像数据集， 具体包括： 0027 采集多个样本元器件对应的预设数量的图片数据； 0028 对每张所述。

19、图片数据进行缩放， 得到预设像素的缩放图像； 0029 提取每张所述缩放图像中的元器件区域， 得到元器件区域图像； 0030 对每张所述元器件区域图像进行图像数据增强处理， 得到该张元器件区域图像对 应的多张元器件区域增强图像； 0031 提取每张所述元器件区域增强图像中的元器件区域轮廓坐标数据， 生成样本图像 数据集， 所述样本图像数据集包括每张所述元器件区域增强图像及其元器件区域轮廓坐标 说明书 2/8 页 5 CN 110152938 A 5 数据。 0032 本发明的进一步有益效果是： 该种数据集制作方法， 通过图像数据增强处理， 在小 数据的基础上快速制作用于元器件轮廓提取神经网络框。

20、架训练的大型数据集， 解决因图像 样本匮乏导致的神经网络模型过拟合问题， 提高训练所得元器件轮廓提取用神经网络模型 的准确率和适应性。 0033 进一步， 所述图像数据增强处理包括： 随机水平翻转、 HIS颜色空间变换和添加椒 盐噪声。 0034 本发明的进一步有益效果是： 该种图像数据增强的处理方法， 在扩充数据集的同 时， 可随机减少元器件的特征， 增加元器件分割的难度， 使得利用该数据集训练得到的元器 件轮廓提取神经网络模型具有更好的适应性， 在处理元器件特征不明显的图像时具有更好 的准确性。 0035 本发明还提供一种元器件点胶轨迹自动控制机器人系统， 包括： 主控模块、 视觉模 块、。

21、 点胶执行模块和机械臂模块； 0036 所述视觉模块， 设置于所述机械臂模块上， 用于接收所述主控模块的图像采集指 令， 基于所述图像采集指令采集电路板图像并传输至所述主控模块； 0037 所述主控模块， 用于在所述电路板图像中获取目标元器件的图片数据， 并基于所 述图片数据以及如上述的任一种元器件点胶轨迹提取方法， 提取所述目标元器件的点胶轨 迹， 基于所述点胶轨迹， 生成机械臂点胶路径指令并发送至所述机械臂模块， 同时生成点胶 量指令发送至所述点胶执行模块 0038 所述机械臂模块， 用于基于所述机械臂点胶路径指令进行运动； 0039 所述点胶执行模块， 设置于所述机械臂模块上， 用于基于。

22、所述点胶量指令， 在所述 机械臂模块运动的同时进行点胶。 0040 本发明的有益效果是： 本发明的点胶系统， 采用主控模块基于上述的点胶轨迹提 取方法提取电路板上各元器件的点胶轨迹， 基于该点胶轨迹控制机械臂模块运动， 一方面 利用元器件轮廓提取Mask-RCNN神经网络模型和上述元器件点胶轨迹提取方法， 保证了点 胶的准确度， 另一方面， 主控模块控制点胶系统完成一个元器件的点胶任务后， 无需如现有 技术重新根据Mark标记点辅助进行元器件焊盘轮廓或者元器件之间连接轮廓的定位， 可以 直接基于各个元器件的点胶轨迹， 进行下一个点胶任务作业， 方便快捷。 0041 进一步， 所述机械臂模块包括。

23、： 机械臂控制器和机械臂； 0042 所述点胶执行模块包括： 点胶针筒和点胶控制设备， 其中， 所述点胶针筒设置于所 述机械臂上； 0043 则所述机械臂模块具体用于： 0044 所述机械臂控制器接收并基于所述机械臂点胶路径指令， 控制所述机械臂移动至 初始点胶任务的起始位置， 开始点胶运动， 并同步将运动状态传输回所述主控模块； 0045 所述点胶执行模块具体用于： 0046 所述点胶控制设备接收并基于所述点胶量指令， 在所述机械臂模块运动的同时推 动所述点胶针筒进行点胶， 并同步将点胶状态传输回所述主控模块； 0047 则所述主控模块， 还用于： 0048 根据所述运动状态和所述点胶状态，。

24、 当当前的点胶任务完成后， 向所述机械臂控 说明书 3/8 页 6 CN 110152938 A 6 制器发送运动指令， 以控制所述机械臂运动到下一个点胶任务的起始位置， 开始新的点胶 任务。 0049 本发明的进一步有益效果是： 机械臂控制器和点胶控制设备分别实时向主控模块 发送机械臂运动状态和点胶针筒的点胶状态， 一方面， 主控模块可实时监控现场的执行状 况， 进行有效点胶控制， 另一方面， 当电路板存在多个元器件点胶任务时， 根据主控模块可 设定点胶顺序， 以有效缩短胶枪的相对移动距离， 提高点胶效率。 0050 进一步， 所述主控模块在生成所述点胶量指令时， 具体为： 0051 基于所。

25、述图片数据， 识别所述目标元器件的类型和大小， 并基于该类型和大小， 生 成点胶量指令， 所述点胶量指令包括所述点胶针筒的推动速度。 0052 本发明的进一步有益效果是： 通过元器件类型和大小， 根据相应点胶工艺要求， 控 制点胶针筒的推动速度大小， 控制点胶量， 完成沿点胶轨迹高质量的均匀点胶。 在保证点胶 质量的同时， 节省胶水， 提高点胶工作效率， 减少点胶成本。 0053 进一步， 所述视觉模块包括： 工业相机和补光光源； 0054 所述工业相机， 用于接收所述主控模块的图像采集指令， 基于所述图像采集指令 采集电路板图像并传输至所述主控模块； 0055 所述补光光源， 用于给所述工业。

26、相机补充光源。 0056 本发明的进一步有益效果是： 采用的补光光源保证工业相机具有良好的光照条 件， 不受外界光线的影响， 使采集的电路板图像成像质量高， 提高元器件点胶轨迹的提取精 度。 附图说明 0057 图1为本发明一个实施例提供的一种元器件点胶轨迹提取方法的流程框图； 0058 图2为本发明另一个实施例提供的双线性内插算法的流程示意图。 0059 图3为本发一个实施例提供的一种元器件点胶轨迹自动控制机器人系统组成框 图。 具体实施方式 0060 以下结合附图对本发明的原理和特征进行描述， 所举实例只用于解释本发明， 并 非用于限定本发明的范围。 0061 实施例一 0062 一种元器。

27、件点胶轨迹提取方法100， 如图1所示， 包括： 0063 步骤110、 采集目标元器件的图片数据， 并对图片数据进行缩放及滤波处理， 得到 预处理图像； 0064 步骤120、 制作样本元器件图像集， 并基于样本元器件图像集对Mask-RCNN神经网 络框架进行训练， 得到元器件轮廓提取Mask-RCNN神经网络模型； 0065 步骤130、 基于元器件轮廓提取Mask-RCNN神经网络模型， 对预处理图像进行轮廓 提取， 得到目标元器件的点胶轨迹。 0066 需要说明的是， 元器件轮廓提取用Mask-RCNN神经网络模型即为用于元器件轮廓 提取的Mask-RCNN神经网络模型， Mask-。

28、RCNN神经网络即为基于掩模区域的卷积神经网络 说明书 4/8 页 7 CN 110152938 A 7 (Mask Region-based Convolutional Neural Network)。 0067 例如， Mask-RCNN神经网络框架的训练过程， 可包括如下： 0068 (S1)使用基于COCO数据集训练得到的模型作为预训练模型； 0069 (S2)将自制的元器件数据集输入到预训练模型中， 保持特征提取主干网络参数不 变， 设定学习率为0.001， 迭代训练10000次， 得到微调边框回归和分割网络后的网络模型； 0070 (S3)将自制的元器件数据集输入到S2得到的网络模。

29、型中， 设定学习率为0.0001， 迭代训练10000次， 得到训练好的网络模型。 0071 上述训练方法为迁移学习法。 即将其他相似或相关数据集训练得到的模型作为初 始训练模型， 然后使用自己的数据集继续训练初始模型并微调其中的参数。 其中， S2的训 练， 是保持特征提取主干网络参数不变的， 其训练的是分割的全卷积神经网络和边框回归 的全连接网络； S3的训练， 没有固定参数不变， 特征提取网络和分割的全卷积神经网络及边 框回归的全连接网络的参数都会进行变化。 S2和S3中具体迭代的过程如下： (1)首先随机初 始化框架中所有网络的参数； (2)输入图片到特征提取网络， 得到多尺度特征图；。

30、 (3)使用区 域建议网络对特征图进行卷积， 得到目标候选框； (4)使用双线性内插法将候选框映射到特 征图上， 得到校正后的ROI区域的特征图； (5)将矫正后的特征图输入到边框回归与分割的 网络； (6)然后调整网络的参数， 再次执行(2)(5)， 重复执行即可。 0072 需要说明的是， S2的S3的迭代的步骤是相同的， 不同的是S2和S3训练时参数设置 不同， S2迭代训练时保持特征提取网络参数不变， S3没有对此进行限制。 0073 本实施例采用Mask-RCNN神经网络(Mask Region-based Convolutional Neural Network， 基于掩模区域的卷。

31、积神经网络)模型对元器件的点胶轨迹进行提取， 相比较现有 直接以焊盘轮廓作为点胶轨迹， 点胶的精确度高， 且在元器件尺寸超过焊盘轮廓或元器件 整形不规整时， 仍可实现精确点胶。 0074 实施例二 0075 在实施例一的基础上， 步骤110包括： 0076 采集目标元器件的图片数据， 将图片数据缩放至预设像素， 得到待处理图像； 采用 中值滤波法对待处理图像进行椒盐噪声滤除处理， 得到预处理图像。 0077 对采集的图片数据进行缩放和中值滤波处理， 使得Mask-RCNN神经网络模型接收 的图片数据符合该神经网络模型的处理标准， 提高处理效率。 0078 实施例三 0079 在实施例一或实施例。

32、二的基础上， 所述元器件轮廓提取Mask-RCNN神经网络模型 包括特征提取单元、 候选框确定单元、 候选框修正单元、 分割单元和融合单元。 则步骤130包 括： 0080 特征提取单元采用特征提取网络， 计算预处理图像的不同尺度的多张尺度特征 图； 候选框确定单元采用区域建议网络， 计算每张尺度特征图中目标元器件对应的目标候 选框； 候选框修正单元采用双线性内插算法， 计算每个目标候选框对应的目标特征图； 分割 单元采用全卷积神经网络， 对每张目标特征图进行分割， 得到该张目标特征图对应的目标 元器件的第一分割掩膜； 融合单元采用融合算法， 对所有第一分割掩膜进行融合处理， 得到 一个目标元。

33、器件的第二分割掩膜， 完成元器件点胶轨迹的提取。 0081 需要说明的是， 分割指的是轮廓划分， 对于一个目标特征图， 边框回归与分割是同 说明书 5/8 页 8 CN 110152938 A 8 步进行的， 分割并没有用到边框回归的结果。 边框回归是使用矩形框选出目标， 分割是采用 掩膜标记目标， 两个任务不会互相影响。 边框回归的尺寸可以比实际的元器件尺寸大， 其并 未影响到分割的结果。 0082 全卷积神经网络具体为： 传统的CNN网络(卷积神经网络)的全连接网络层， 将前一 层的输出， 转化成长度为4096、 4096和1000的一维向量， 在FCN(全卷积神经网络)中将该部 分修改成。

34、卷积层， 然后对最后输出的目标特征图进行上采样， 将特征图尺寸恢复到原输入 图像尺寸， 避免输出特征被降维。 0083 分割采用的是一个全卷积神经网络， 该全卷积神经网络会对每一个输入的目标特 征图进行像素级分割， 得到与输入的目标特征图对应的分割掩膜， 最后是多个分割掩膜融 合得到的一个目标元器件的分割掩膜。 0084 如图2所示， 双线性内插算法可具体为： 将目标候选框(如图中2*2大方格， 即为ROI 区域)映射到特征图之后， 将目标候选框中每个大方格分割成2*2个小方格， 在每个小方格 中计算固定四个角的坐标位置， 然后使用双线性内插法， 计算出这四个位置的值， 最后进行 最大池化操作。

35、， 得到校正后的ROI区域的特征图， 即为图2最后一张图。 其中， 图中数字代表 该像素与该特征图所代表的特征的吻合程度(范围为01)， 数值越大越吻合， 0085 采用双线性内插法， 对特征进行稀释， 提高了待处理图像的处理效率， 同时消除了 稀释后候选框的偏差， 使得用同样方法得到的数据集进行训练得出的元器件轮廓提取神经 网络模型的分割精度更高， 有效的提高了小目标的分割准确度。 0086 实施例四 0087 在实施例一至实施例三中任一实施例的基础上， 样本元器件图像集为基于目标元 器件的类型制作得到。 0088 采用基于目标元器件的类型制作得到的样本图像数据集对Mask-RCNN神经网络。

36、框 架进行训练， 使得训练得到的神经网络模型可实时基于元器件预处理图像对元器件轮廓进 行提取， 且提高了目标元器件的轮廓提取效率和精度， 进一步可提高点胶效率和精确度。 0089 实施例五 0090 在实施例四的基础上， 所述制作样本图像数据集， 具体包括： 0091 采集多个样本元器件对应的预设数量的图片数据； 0092 对每张图片数据进行缩放， 得到预设像素的缩放图像； 0093 提取每张缩放图像中的元器件区域， 得到元器件区域图像； 0094 对每张元器件区域图像进行图像数据增强处理， 得到该张元器件区域图像对应的 多张元器件区域增强图像； 0095 提取每张元器件区域增强图像中的元器件。

37、区域轮廓坐标数据， 生成样本图像数据 集， 样本图像数据集包括每张元器件区域增强图像及其元器件区域轮廓坐标数据。 0096 需要说明的是， 元器件区域轮廓坐标数据可以json格式标注文件的形式保存。 0097 该种数据集制作方法， 通过图像数据增强处理， 在小数据的基础上快速制作用于 元器件轮廓提取神经网络框架训练的大型数据集， 解决因图像样本匮乏导致的神经网络模 型过拟合问题， 提高训练所得元器件轮廓提取用神经网络模型的准确率和适应性。 0098 优选的， 所述图像数据增强处理包括： 随机水平翻转、 HIS颜色空间变换和添加椒 盐噪声。 说明书 6/8 页 9 CN 110152938 A 。

38、9 0099 该种图像数据增强的处理方法， 在扩充数据集的同时， 可随机减少元器件的特征， 增加元器件分割的难度， 使得利用该数据集训练得到的元器件轮廓提取神经网络模型具有 更好的适应性， 在处理元器件特征不明显的图像时具有更好的准确性。 0100 例如， 一种元器件点胶轨迹提取方法， 包括： 0101 S1、 采集到的元器件图像有200张， 分辨率均为1024*640， 分别对每张元器件图像 进行旋转、 HIS颜色空间变换、 添加椒盐噪声等操作， 将上述200张元器件图像扩充到800张， 并对元器件进行标注， 标注出每一个元器件的轮廓边缘。 0102 S2、 将标注好的图片的80(即640张。

39、)用作训练用图像数据集， 训练卷积神经网 络， 训练步骤包括： (1)保持ResNet与FPN构成的主干网络不变， 设定学习率为0.001， 迭代次 数为10000次， 每100次迭代， 保存一次损失值， 得到训练好的头结构； (2)对全网络模型进行 训练， 设定学习率为0.0001， 迭代次数为10000次， 每100次迭代， 保存一个损失值， 得到训练 好的网络模型。 相关训练的具体说明同实施例一， 在此不再赘述。 0103 S3、 将标注好的图片的20(即800张中剩下的160张)用作测试集， 输入到训练好 的模型， 输入图像， 通过卷积层特征提取后， 区域建议网络在此基础上进行候选框提。

40、取， 保 留经过回归修正的候选框。 在此基础上， 全卷积神经网络对候选框目标生成掩膜， 输出分割 结果， 元器件的点胶轨迹即为分割出的掩膜边缘。 0104 实施例六 0105 如图3所示， 一种元器件点胶轨迹自动控制机器人系统， 包括系统主控模块、 视觉 模块、 点胶执行模块、 机械臂模块。 在实施例一的基础上， 一种元器件点胶轨迹自动控制机 器人系统利用元器件轮廓提取Mask-RCNN神经网络模型和元器件点胶轨迹提取方法得到点 胶轮廓， 进行点胶， 具体包括： 0106 (S1)系统主控模块向机械臂模块发送指令， 机械臂模块中的机械臂控制器控制机 械臂， 按照系统主控模块预定的位置移动到初始。

41、点胶任务起始位置； 0107 (S2)视觉模块中的工业相机采集电路板图像， 并将图像传输到系统主控模块； 0108 (S3)系统主控模块根据元器件轮廓提取Mask-RCNN神经网络模型和元器件点胶轨 迹提取方法， 得到目标元器件的点胶轨迹， 生成机械臂点胶路径指令， 发送给机械臂控制 器， 控制机械臂运动， 同时将机械臂状态传输回系统主控模块； 0109 (S4)在机械臂运动的过程中， 点胶模块中的点胶控制设备接收系统主控模块发送 的点胶量指令， 基于该点胶量指令， 推动点胶针筒进行点胶， 同时将点胶状态传输回系统主 控模块， 监控点胶任务是否完成； 0110 (S5)上一个点胶任务完成后， 。

42、系统主控模块向机械臂模块发送指令， 控制机械臂 运动到下一个点胶任务起始位置， 开始新的点胶任务， 重复执行步骤S2S4， 直至所有元器 件的点胶任务完成。 0111 本实施例的点胶机器人系统， 采用主控模块基于上述的点胶轨迹提取方法提取电 路板上各元器件的点胶轨迹， 基于该点胶轨迹控制机械臂模块运动， 一方面利用元器件轮 廓提取Mask-RCNN神经网络模型和上述元器件点胶轨迹提取方法， 保证了点胶的准确度， 另 一方面， 主控模块控制点胶系统完成一个元器件的点胶任务后， 无需如现有技术重新根据 Mark标记点辅助进行元器件焊盘轮廓或者元器件之间连接轮廓的定位， 可以直接基于各个 元器件的点。

43、胶轨迹， 进行下一个点胶任务作业， 方便快捷。 说明书 7/8 页 10 CN 110152938 A 10 0112 需要说明的是， 机械臂控制器和点胶控制设备分别实时向主控模块发送机械臂运 动状态和点胶针筒的点胶状态， 一方面， 主控模块可实时监控现场的执行状况， 进行有效点 胶控制， 另一方面， 当电路板存在多个元器件点胶任务时， 根据主控模块可设定点胶顺序， 以有效缩短胶枪的相对移动距离， 提高点胶效率。 0113 优选的， 主控模块在生成点胶量指令时， 具体为： 0114 基于图片数据， 识别目标元器件的类型和大小， 并基于该类型和大小， 生成点胶量 指令， 点胶量指令包括点胶针筒的。

44、推动速度。 0115 该种控制方法， 通过元器件类型和大小， 根据相应点胶工艺要求， 控制点胶针筒的 推动速度大小， 控制点胶量的多少， 完成沿点胶轨迹高质量的均匀点胶。 在保证点胶质量的 同时， 节省胶水， 提高点胶工作效率， 减少点胶成本 0116 优选的， 视觉模块包括工业相机和补光光源。 其中， 0117 工业相机， 用于接收主控模块的图像采集指令， 基于图像采集指令采集电路板图 像并传输至主控模块； 补光光源， 用于给工业相机补充光源。 0118 采用的补光光源保证工业相机具有良好的光照条件， 不受外界光线的影响， 使采 集的电路板图像成像质量高， 提高元器件点胶轨迹的提取精度。 0119 以上所述仅为本发明的较佳实施例， 并不用以限制本发明， 凡在本发明的精神和 原则之内， 所作的任何修改、 等同替换、 改进等， 均应包含在本发明的保护范围之内。 说明书 8/8 页 11 CN 110152938 A 11 图1 图2 说明书附图 1/2 页 12 CN 110152938 A 12 图3 说明书附图 2/2 页 13 CN 110152938 A 13 。