智能型光学检测样品特征与瑕疵智能打光取像方法及装置.pdf

《智能型光学检测样品特征与瑕疵智能打光取像方法及装置.pdf》由会员分享，可在线阅读，更多相关《智能型光学检测样品特征与瑕疵智能打光取像方法及装置.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911279813.8 (22)申请日 2019.12.13 (71)申请人 智泰科技股份有限公司 地址 中国台湾新北市土城区忠承路123号2 楼 (72)发明人 魏源钟许智钦 (74)专利代理机构 天津三元专利商标代理有限 责任公司 12203 代理人 郑永康 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/20(2006.01) G06K 9/62(2006.01) G01N 21/88(2006.01) (54)发明名称 智能型光学检测样品。

2、特征与瑕疵智能打光 取像方法及装置 (57)摘要 一种智能型光学检测样品特征与瑕疵智能 打光取像方法及装置， 先对样品初步取像， 再以 智能分类器依据智能分类模型来判断对应的最 佳光源打光参数， 再利用光源摄影控制模组根据 对应的最佳光源打光参数控制相机单元、 光源装 置以及可动式机构进行智能打光及二次取像， 将 打光效果良好的样品图像储存于数据库单元， 如 打光效果不佳， 则以人工方式找出对应的最佳光 源打光参数。 将参数数据输入深度学习神经网 络， 以深度学习神经网络对智能分类器进行智能 分类模型训练， 取得结果良好的智能分类模型供 智能分类器利用。 权利要求书2页 说明书5页 附图4页 。

3、CN 110956627 A 2020.04.03 CN 110956627 A 1.一种智能型光学检测样品特征与瑕疵智能打光取像方法， 其特征在于， 实施方法运 用于该主流程时， 包括： 样品定位， 是指将样品以手动、 可动式机构如机械手臂输送带等方式使样品与光源装 置打光与相机单元的相对位置是正确的； 初步取像， 是指以相机单元及光谱仪对样品进行取像； 智能分类， 是指智能分类器依据智能分类模型中初步取像图片及光谱(包含亮度及波 长分部)分析待测物的材质光泽色调， 来判断对应的最佳光源及打光参数； 智能打光， 是指以智能分类的结果， 将对应的最佳光源打光参数加载光源摄影控制模 组； 二次取。

4、像， 是指由光源摄影控制模组控制相机、 光源装置以智能打光进行二次样品取 像； 效果是否良好判读， 是指判断该智能打光与取像的结果是否良好； 导出图像， 是指将效果良好的样品图像导出至该数据库单元或是其他应用端。 2.根据权利要求1所述的一种智能型光学检测样品特征与瑕疵智能打光取像方法， 其 特征在于， 实施方法运用于智能分类模型训练或更新流程时， 包括： 输入数据， 是指将初步取像图片及光谱以人工方式找出对应的最佳光源打光参数的数 据由数据库单元传输至智能分类训练模组； 智能分类模型训练或更新， 是指由智能分类训练模组根据前一步骤传输的数据， 以深 度学习神经网络对智能分类器进行智能分类模型。

5、训练， 或进行更新智能分类模型图像处 理、 逻辑运算的标准， 以得出结果良好的智能分类模型； 效果是否良好判读， 是指判别智能分类模型训练或更新的结果是否良好； 调整训练参数， 是指若智能分类模型训练或更新结果不佳， 即针对智能分类训练模组 以深度学习神经网络进行训练或更新时的参数进行调整； 导出智能分类模型， 是指将效果良好的智能分类模型导出储存于数据库单元， 以供往 后主流程的使用或是其他应用端使用。 3.根据权利要求2所述的一种智能型光学检测样品特征与瑕疵智能打光取像方法， 其 特征在于， 智能分类模型训练或更新的步骤可以为： 训练一卷积神经网络， 输入取像图片或光谱仪的光波分布图， 以。

6、最佳打光参数为标记， 对卷积神经网络分类器做训练， 使该分类器能够区分图片或光波分部以对应到最佳打光参 数。 4.根据权利要求2所述的一种智能型光学检测样品特征与瑕疵智能打光取像方法， 其 特征在于， 智能分类模型训练或更新的步骤可以为： 训练一随机森林网络， 输入取像图片或光谱仪的光波分布图， 以最佳打光参数为标记， 对卷积神经网络分类器做训练， 使该分类器能够区分图片或光波分部以对应到最佳打光参 数。 5.根据权利要求1所述的一种智能型光学检测样品特征与瑕疵智能打光取像方法， 其 特征在于， 效果是否良好判读的步骤可以为： 使用一智能瑕疵检测器， 检测待测物的瑕疵数量、 大小、 及信心指数。

7、； 优先找出最高的 平均信心指数、 最多瑕疵数量、 最大瑕疵面积， 可做为效果是否良好判读的基准。 权利要求书 1/2 页 2 CN 110956627 A 2 6.根据权利要求2所述的一种智能型光学检测样品特征与瑕疵智能打光取像方法， 其 特征在于， 效果是否良好判读的步骤可以为： 使用一智能瑕疵检测器， 检测待测物的瑕疵数量、 大小、 及信心指数； 优先找出最高的 平均信心指数、 最多瑕疵数量、 最大瑕疵面积， 可做为效果是否良好判读的基准。 7.一种智能型光学检测样品特征与瑕疵智能打光取像装置， 其特征在于， 该装置主要 包括有装载收集平台， 以供待测物放置； 光源装置， 该光源装置设于。

8、该装载收集平台上方周 缘， 备具有同轴光源、 线光源、 背光源、 环形光源、 球形光源等各组灯源治具， 并结合有可动 式机构如机械手臂与光源摄影控制模组施可提供不同光源控制方法开关各组灯源、 可编辑 灯源强度、 角度； 相机单元， 该相机单元与该光源装置交错设于该装载收集平台上方周缘， 包含有相机治具、 线相机治具等应用相机治具并结合摄影机重复拍摄功能与以达到快速收 集数据的功能； 光谱仪， 具有收集光谱数据的功能； 智能分类器， 可由智能分类训练模组对 智能分类器进行智能分类模型训练， 使智能分类器能够区分图片或光波分部以对应到最佳 打光参数， 并依此数据对初步取像结果进行智能分类； 光源摄。

9、影控制模组， 由智能分类器将 智能分类结果即初步取像图片所对应的最佳光源打光参数传输至光源摄影控制模组后， 光 源摄影控制模组可以初步取像图片所对应的最佳光源打光参数控制光源装置与相机单元 以及可动式机构进行智能打光及二次取像流程； 可动式机构， 该可动式机构可为升降式机 构输送机构或机械手臂； 智能分类训练模组， 可利用数据库单元储存的初步取像图片及光 谱及以人工方式找出其对应最佳光源打光参数的数据， 根据该数据以深度学习神经网络对 智能分类器进行智能分类模型训练， 或进行更新智能分类模型图像处理、 逻辑运算的标准， 以得出结果良好的智能分类模型； 数据库单元， 可储存主流程的打光效果良好的。

10、取像图片 供其他应用端使用， 也可储存初步取像图片及光谱及以人工方式找出的对应最佳光源打光 参数的数据， 供智能分类训练模组使用， 也可储存经智能分类模型训练或更新流程获得的 结果良好智能分类模型数据， 供智能分类器、 智能分类训练模组或其他应用端使用。 权利要求书 2/2 页 3 CN 110956627 A 3 智能型光学检测样品特征与瑕疵智能打光取像方法及装置 技术领域 0001 本发明是关于一种智能型光学检测样品特征与瑕疵智能打光取像方法及装置； 运 用于光学检测， 尤指一种能够有效结合深度学习的方法， 透过深度学习的技术， 自动对样品 图像使用对应的最佳光源打光参数进行取像， 可大幅。

11、降低以人力测试光源的时间， 并且亦 可在自动化检测流程中使自动化程度更高。 背景技术 0002 在自动化光学检测结合深度学习的应用范畴中， 数据的搜集是非常重要的环节， 光源与打光参数的选择是必要却非常费时且仰赖经验的， 而光源的选取更是重要的议题， 因为不同的样品要透过不同的打光才能彰显其特征与瑕疵。 0003 而目前一般市面光学检测多是仰赖工程师的经验为主已行之有年， 然而， 即使是 有经验的工程师都要透过多次测试方能找到最佳的光源以及打光参数。 0004 是以， 本案发明人有鉴于现有技术的不足， 历经多年呕心沥血研发而提出一种智 能型光学检测样品特征与瑕疵智能打光取像方法。 发明内容 0。

12、005 本发明所要解决的主要技术问题在于， 克服现有技术存在的上述缺陷， 而提供一 种智能型光学检测样品特征与瑕疵智能打光取像方法及装置， 利用样品特征与瑕疵智能打 光取像技术， 搭配透过深度学习的技术， 自动对样品图像使用对应的最佳光源以及打光参 数进行取像， 大幅降低工程师测试光源的时间， 并且亦可在自动化检测流程中使自动化程 度更高。 0006 本发明解决其技术问题所采用的技术方案是： 0007 一种智能型光学检测的样品特征与瑕疵智能打光取像技术运用于主流程时， 包含 有样品定位， 是指将样品以手动、 机械手臂、 输送带等方式使样品与打光取像装置的相对位 置是正确的； 初步取像， 是指以。

13、相机单元及光谱仪对样品进行取像； 智能分类， 是指智能分 类器利用智能分类模型中初步取像图片及光谱(包含亮度及波长分部)分析待测物的材质 光泽色调， 来判断对应的最佳光源打光参数； 智能打光， 是指以智能分类的结果， 将对应的 最佳光源打光参数加载光源摄影控制模组； 二次取像， 是指以智能打光的结果， 由光源摄影 控制模组控制相机单元、 光源装置对样品进行二次取像； 效果是否良好判读， 是指判断该智 能打光与二次取像的结果是否良好， 此步骤亦可以使用一智能瑕疵检测器， 检测待测物的 瑕疵数量、 大小、 及信心指数， 优先找出最高的平均信心指数、 最多瑕疵数量、 最大瑕疵面 积， 可做为效果是否。

14、良好判读的基准； 导出图像， 是指将效果良好的取像图片导出至数据库 单元储存供其他应用端使用。 0008 一种智能型光学检测的样品特征与瑕疵智能打光取像技术运用于智能分类模型 训练或更新流程时， 则包含有输入数据， 是指将初步取像的图片及光谱以人工方式找出对 应的最佳光源打光参数， 将参数数据输入数据库单元， 再由数据库单元传输至智能分类训 说明书 1/5 页 4 CN 110956627 A 4 练模组； 智能分类模型训练或更新， 是指由智能分类训练模组根据前一步骤传输的数据， 以 深度学习神经网络对智能分类器进行智能分类模型训练， 或进行更新智能分类模型图像处 理、 逻辑运算的标准， 以得。

15、出结果良好的智能分类模型， 此步骤亦可为训练一卷积神经网络 (Convolutional Neural Network)或为训练一随机森林网络(random forest)， 输入取像 图片或光谱仪的光波分布图， 以最佳打光参数为标记， 对卷积神经网络分类器做训练， 使该 分类器能够区分图片或光波分部以对应到最佳打光参数； 效果是否良好判读， 是指判别经 由智能分类训练模组以深度学习神经网络对智能分类模型训练或更新的结果是否良好， 此 步骤亦可以使用一智能瑕疵检测器， 检测待测物的瑕疵数量、 大小、 及信心指数， 优先找出 最高的平均信心指数、 最多瑕疵数量、 最大瑕疵面积， 可做为效果是否良。

16、好判读的基准； 调 整训练参数， 是指若智能分类模型训练或更新结果不佳， 即针对智能分类训练模组以深度 学习神经网络进行训练或更新时的参数进行调整； 导出智能分类模型， 是指将效果良好的 智能分类模型导出储存至数据库单元， 以供往后主流程的使用或是供其他应用端使用。 0009 而将样品特征与瑕疵智能打光取像技术重复运用于主流程及智能分类模型训练 或更新流程时， 因输入数据的步骤即初步取像的图片及光谱经由人工方式找出对应的最佳 光源打光参数数据持续增加， 智能分类模型于智能分类模型训练或更新的步骤可持续训练 及更新， 将智能分类模型应用于智能分类器， 智能打光取像的样品图像不良率可持续降低， 以。

17、人工方式测试光源所需的次数及花费的时间亦持续减少， 最后达到完全自动化智能打光 取像的效果。 0010 一种智能型光学检测样品特征与瑕疵智能打光取像装置， 该装置主要包括有装载 收集平台， 以供待测物放置； 光源装置， 该光源装置设于该装载收集平台上方周缘， 备具有 同轴光源、 线光源、 背光源、 环形光源、 球形光源等各组灯源治具， 并结合有可动式机构如机 械手臂与光源摄影控制模组施可提供不同光源控制方法开关各组灯源、 可编辑灯源强度、 角度； 相机单元， 该相机单元与该光源装置交错设于该装载收集平台上方周缘， 包含有相机 治具、 线相机治具等应用相机治具并结合摄影机重复拍摄功能与以达到快速。

18、收集数据的功 能； 光谱仪， 具有收集光谱(包含亮度及波长分部)数据的功能； 智能分类器， 可由智能分类 训练模组对智能分类器进行智能分类模型训练， 使智能分类器能够区分图片或光波分部以 对应到最佳打光参数， 并依此数据对初步取像结果进行智能分类； 光源摄影控制模组， 由智 能分类器将智能分类结果即初步取像图片所对应的最佳光源打光参数传输至光源摄影控 制模组后， 光源摄影控制模组可以初步取像图片所对应的最佳光源打光参数控制光源装置 与相机单元以及可动式机构进行智能打光及二次取像流程； 可动式机构， 该可动式机构可 为升降式机构输送机构或机械手臂； 智能分类训练模组， 可利用数据库单元储存的初步。

19、取 像图片及光谱及以人工方式找出其对应最佳光源打光参数的数据， 根据该数据以深度学习 神经网络对智能分类器进行智能分类模型训练， 或进行更新智能分类模型图像处理、 逻辑 运算的标准， 以得出结果良好的智能分类模型； 数据库单元， 可储存主流程的打光效果良好 的取像图片供其他应用端使用， 也可储存初步取像图片及光谱及以人工方式找出的对应最 佳光源打光参数的数据， 供智能分类训练模组使用， 也可储存经智能分类模型训练或更新 流程获得的结果良好智能分类模型数据， 供智能分类器、 智能分类训练模组或其他应用端 使用。 0011 一种智能型光学检测样品特征与瑕疵智能打光取像方法， 先对样品初步取像， 再。

20、 说明书 2/5 页 5 CN 110956627 A 5 以智能分类器依据智能分类模型判断对应的最佳光源打光参数进行智能分类， 利用光源摄 影控制模组以智能分类结果控制相机单元、 光源装置以及可动式机构进行智能打光及二次 取像， 以获得打光效果良好的样品图像并储存于数据库单元， 如打光效果不佳， 则以人工方 式找出初步取像图片或光谱对应的最佳光源打光参数数据， 将数据输入智能分类训练模 组， 以深度学习神经网络对智能分类器进行智能分类模型训练或更新， 取得结果良好的智 能分类模型供智能分类器利用。 智能分类模型经持续的训练及更新， 其应用于主流程时样 品图像打光取像的不良率可持续降低， 最后。

21、达到完全自动化智能打光取像的效果， 兼具自 动化、 智能化以及数据化的优势， 因而成为本发明案的有效创意。 0012 本发明的有益效果是， 利用样品特征与瑕疵智能打光取像技术， 搭配透过深度学 习的技术， 自动对样品图像使用对应的最佳光源以及打光参数进行取像， 大幅降低工程师 测试光源的时间， 并且亦可在自动化检测流程中使自动化程度更高。 附图说明 0013 下面结合附图和实施例对本发明进一步说明。 0014 图1是本发明方法的主流程图。 0015 图2是本发明方法运用于进行智能分类模型训练或更新的流程图。 0016 图3是本发明装置的侧视结构图。 0017 图4是本发明的方块图。 0018 。

22、图中标号说明： 0019 装载收集平台1 0020 光源装置2 0021 同轴光源20 0022 线光源21 0023 相机单元3 0024 光谱仪4 0025 可动式机构5 0026 光源摄影控制模组6 0027 智能分类器7 0028 智能分类训练模组8 0029 数据库单元9 具体实施方式 0030 首先请参阅图1， 搭配余图所示， 本发明一种智能型光学检测样品特征与瑕疵智能 打光取像方法， 其实施方法的主流程包含有样品定位， 是指将样品以手动、 可动式机构5如 机械手臂输送带等方式使样品与光源装置2打光与相机单元3的相对位置是正确的； 初步取 像， 是指以相机单元3及光谱仪4对样品进行。

23、取像； 智能分类， 是指智能分类器7利用智能分 类模型中初步取像图片及光谱(包含亮度及波长分部)分析待测物的材质光泽色调， 来判断 对应的最佳光源打光参数； 智能打光， 是指以智能分类器7的智能分类结果， 将初步取像对 应的最佳光源打光参数加载光源摄影控制模组6； 二次取像， 是指由光源摄影控制模组6以 说明书 3/5 页 6 CN 110956627 A 6 智能打光获得的最佳光源打光参数控制相机单元3、 光源装置2进行二次样品取像； 效果是 否良好判读， 是指判断该智能打光与二次取像的结果是否良好， 此步骤亦可以使用一智能 瑕疵检测器， 检测待测物的瑕疵数量、 大小、 及信心指数， 优先找。

24、出最高的平均信心指数、 最 多瑕疵数量、 最大瑕疵面积， 可做为效果是否良好判读的基准； 导出图像， 是指将效果良好 的样品图像导出至数据库单元9储存供其他应用端使用。 0031 而将样品特征与瑕疵智能打光取像技术进行智能分类模型训练或更新流程时， 如 图2结合余图所示， 则包含有输入数据， 是指将初步取像的图片及光谱以人工方式找出对应 的最佳光源打光参数， 将参数数据输入数据库单元9， 再由数据库单元9传输至智能分类训 练模组8； 智能分类模型训练或更新， 是指由智能分类训练模组8根据前一步骤传输的数据， 以深度学习神经网络对智能分类器7进行智能分类模型训练， 或进行更新智能分类模型图 像处。

25、理、 逻辑运算的标准， 以得出结果良好的智能分类模型， 此步骤亦可为训练一卷积神经 网络(Convolutional Neural Network)或为训练一随机森林网络(random forest)， 输入 取像图片或光谱仪的光波分布图， 以最佳打光参数为标记， 对卷积神经网络分类器做训练， 使该分类器能够区分图片或光波分部以对应到最佳打光参数； 效果是否良好判读， 是指判 别经由智能分类训练模组8以深度学习神经网络对智能分类模型训练或更新的结果是否良 好， 此步骤亦可以使用一智能瑕疵检测器， 检测待测物的瑕疵数量、 大小、 及信心指数， 优先 找出最高的平均信心指数、 最多瑕疵数量、 最大。

26、瑕疵面积， 可做为效果是否良好判读的基 准； 调整训练参数， 是指若智能分类模型训练或更新结果不佳， 即针对智能分类训练模组8 以深度学习神经网络进行训练或更新时的参数进行调整； 导出智能分类模型， 是指将效果 良好的智能分类模型导出储存至数据库单元9， 以供往后主流程的使用或是供其他应用端 使用。 0032 而将样品特征与瑕疵智能打光取像技术重复运用于主流程及智能分类模型训练 或更新流程时， 因输入数据的步骤即初步取像的图片及光谱经由人工方式找出对应的最佳 光源打光参数数据持续增加， 智能分类模型于智能分类模型训练或更新的步骤可持续训练 及更新， 将持续训练更新的智能分类模型应用于主流程的智。

27、能分类器7， 智能打光取像的样 品图像不良率可持续降低， 以人工方式测试光源所需的次数及花费的时间亦持续减少， 最 后达到完全自动化智能打光取像的效果。 0033 再请参阅图3、 图4搭配余图； 本发明一种智能型光学检测样品特征与瑕疵智能打 光取像方法， 经此方法的构思以提供： 0034 装载收集平台1， 以供待测物放置； 光源装置2， 该光源装置2设于该装载收集平台1 上方周缘， 备具有同轴光源20、 线光源21、 背光源、 环形光源、 球形光源等各组灯源治具， 并 结合有可动式机构5如机械手臂与光源摄影控制模组6可提供不同光源控制方法开关各组 灯源、 可编辑灯源强度、 角度； 相机单元3，。

28、 该相机单元3与该光源装置2交错设于该装载收集 平台1上方周缘， 包含有相机治具、 线相机治具等应用相机治具并结合摄影机重复拍摄功能 与以达到快速收集数据的功能； 光谱仪4， 具有收集光谱(包含亮度及波长分部)数据的功 能； 智能分类器7， 可由智能分类训练模组8对智能分类器7进行智能分类模型训练， 使智能 分类器7能够区分图片或光波分部以对应到最佳打光参数， 并依此数据对初步取像结果进 行智能分类； 光源摄影控制模组6， 由智能分类器8将智能分类结果即初步取像图片所对应 的最佳光源打光参数传输至光源摄影控制模组6后， 光源摄影控制模组6以初步取像图片所 说明书 4/5 页 7 CN 1109。

29、56627 A 7 对应的最佳光源及打光参数控制光源装置2与相机单元3以及可动式机构5进行智能打光及 二次取像的步骤； 可动式机构5， 该可动式机构5可为升降式机构输送机构或机械手臂等； 智 能分类训练模组8， 可利用数据库单元9储存的初步取像图片及光谱及以人工方式找出其对 应最佳光源打光参数的数据， 根据该数据以深度学习神经网络对智能分类器7进行智能分 类模型训练， 或进行更新智能分类模型图像处理、 逻辑运算的标准， 以得出结果良好的智能 分类模型； 数据库单元9， 可储存主流程的打光效果良好的取像图片供其他应用端使用， 也 可储存初步取像图片及光谱及以人工方式找出的对应最佳光源打光参数的数。

30、据， 供智能分 类训练模组8使用， 也可储存经智能分类模型训练或更新流程获得的结果良好智能分类模 型数据， 供智能分类器7、 智能分类训练模组8或其他应用端使用。 0035 因此， 本发明一种智能型光学检测样品特征与瑕疵智能打光取像方法， 先对样品 初步取像， 再以智能分类器7依据智能分类模型判断对应的最佳光源打光参数进行智能分 类， 利用光源摄影控制模组6以智能分类结果控制相机单元3、 光源装置2以及可动式机构5 进行智能打光及二次取像， 以获得打光效果良好的样品图像并储存于数据库单元9， 如打光 效果不佳， 则以人工方式找出初步取像图片或光谱对应的最佳光源打光参数数据， 将数据 输入智能分。

31、类训练模组8， 以深度学习神经网络对智能分类器7进行智能分类模型训练或更 新， 取得结果良好的智能分类模型供智能分类器7利用。 智能分类模型经持续的训练及更 新， 其应用于主流程时样品图像打光取像的不良率可持续降低， 最后达到完全自动化智能 打光取像的效果， 兼具自动化、 智能化以及数据化的优势， 因而成为本发明的有效创意。 0036 以上所述， 仅是本发明的较佳实施例而已， 并非对本发明作任何形式上的限制， 凡 是依据本发明的技术实质对以上实施例所作的任何简单修改、 等同变化与修饰， 均仍属于 本发明技术方案的范围内。 说明书 5/5 页 8 CN 110956627 A 8 图1 说明书附图 1/4 页 9 CN 110956627 A 9 图2 说明书附图 2/4 页 10 CN 110956627 A 10 图3 说明书附图 3/4 页 11 CN 110956627 A 11 图4 说明书附图 4/4 页 12 CN 110956627 A 12 。