曲面屏图像采集方法、装置及终端设备.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010560364.0 (22)申请日 2020.06.18 (71)申请人 武汉精立电子技术有限公司 地址 430205 湖北省武汉市东湖新技术开 发区流芳园南路22号 申请人 武汉精测电子集团股份有限公司 (72)发明人 范景洋洪志坤张冲张胜森 郑增强 (74)专利代理机构 武汉东喻专利代理事务所 (普通合伙) 42224 代理人 王聪聪 (51)Int.Cl. H04N 5/232(2006.01) G01N 21/95(2006.01) G01B 11/26(200

2、6.01) (54)发明名称 曲面屏图像采集方法、 装置及终端设备 (57)摘要 本发明公开了一种曲面屏图像采集方法、 装 置及终端设备， 涉及计算机视觉技术领域； 该方 法包括： 基于待测曲面屏的三维模型将该曲面屏 的曲面角划分为多段， 分别从每段曲面区域上选 取取像设备在拍摄该段曲面区域时的焦点； 根据 所述焦点的坐标值以及取像设备的工作距离分 别计算取像设备在拍摄每段曲面区域时的姿态 信息； 根据取像设备在拍摄每段曲面区域时的姿 态信息生成位置调节指令， 控制取像设备或待测 曲面屏移动依次完成各段曲面区域的取像， 得到 待测曲面屏的曲面角图像； 本发明可以实现曲面 屏曲面角区域的快速定位

3、和检测， 不仅大大减少 了拍摄次数， 缩短了取像时间， 而且提高了取像 以及检测精度。 权利要求书2页 说明书6页 附图3页 CN 111526297 A 2020.08.11 CN 111526297 A 1.一种曲面屏图像采集方法， 其特征在于， 包括以下步骤： 基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段， 分别从每段曲面区域上 选取取像设备在拍摄该段曲面区域时的焦点； 根据所述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲面 区域时的姿态信息； 根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令， 控制取像设备或 待测曲面屏移动依次完成各段曲面区域的取像

4、， 得到待测曲面屏的曲面角图像。 2.如权利要求1所述的曲面屏图像采集方法， 其特征在于， 分别从每段曲面区域上选取 取像设备在拍摄该段曲面区域时的焦点具体为： 将每段曲面区域的拱顶高度所在方向作为投影方向， 且以在垂直于所述投影方向上与 曲面区域相切的平面作为投影平面； 分别将每段曲面区域在其对应的投影平面上投影后形成的投影图形的几何中心作为 取像设备在拍摄对应曲面区域时的焦点。 3.如权利要求2所述的曲面屏图像采集方法， 其特征在于， 确定每段曲面区域的投影平 面的方法为： 依次从每段曲面区域的四个端点中任意选取三个确定一虚拟平面， 在生成的四个虚拟 平面中， 将每个虚拟平面到剩余一个端点

5、之间的垂直位移记为第一位移； 平移该虚拟平面 使其与曲面区域相切并将虚拟平面从平移前到平移后的位移记为第二位移； 当第一位移与第二位移方向相同时， 以第二位移的长度作为对应曲面区域的拱顶高 度； 当第一位移与第二位移方向相反时， 以两者长度之和作为对应曲面区域的拱顶高度； 在四个虚拟平面中， 取所述拱顶高度最小时对应的虚拟平面平移至与曲面区域相切时 的平面作为该段曲面区域的投影平面。 4.如权利要求1所述的曲面屏图像采集方法， 其特征在于， 按照对所述曲面角对应的圆 心角进行等角度划分的方式将该曲面角划分为多段。 5.如权利要求1所述的曲面屏图像采集方法， 其特征在于， 每段曲面区域的拱顶高度

6、不 大于取像设备的拍摄景深。 6.如权利要求1所述的曲面屏图像采集方法， 其特征在于， 所述姿态信息包括取像设备 在三维坐标系中的坐标值以及取像设备与XYZ坐标轴的夹角。 7.如权利要求1所述的曲面屏图像采集方法， 其特征在于， 还包括： 基于对当前曲面区域取像后得到的初始图像进行自适应对焦， 并控制对焦后的取像设 备拍摄当前曲面区域的图像。 8.如权利要求1所述的曲面屏图像采集方法， 其特征在于， 还包括： 按照取像顺序对各段曲面区域的图像进行拼接， 得到完整的曲面角图像。 9.一种曲面屏图像采集装置， 其特征在于， 包括： 对焦模块， 基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段，

7、 分别从每段 曲面区域上选取取像设备在拍摄该段曲面区域时的焦点； 计算模块， 根据所述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄 每段曲面区域时的姿态信息； 权利要求书 1/2 页 2 CN 111526297 A 2 控制模块， 根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令， 控制 取像设备移动依次完成各段曲面区域的取像， 得到待测曲面屏的曲面角图像。 10.一种终端设备， 其特征在于， 包括至少一个处理单元、 以及至少一个存储单元， 其 中， 所述存储单元存储有计算机程序， 当所述计算机程序被所述处理单元执行时， 使得所述 处理单元执行权利要求18任一项所述方法

8、的步骤。 权利要求书 2/2 页 3 CN 111526297 A 3 曲面屏图像采集方法、 装置及终端设备 技术领域 0001 本发明属于计算机视觉技术领域， 更具体地， 涉及一种曲面屏图像采集方法、 装置 及终端设备。 背景技术 0002 随着曲面屏手机越来越流行， 对曲面屏产品的检测需求也随之增加； 其中， 对于曲 面屏曲面角的检测是整个检测环节中的重点。 对于曲面屏上的裂纹等缺陷检测需要借助工 业显微镜成像的方式， 工业显微镜虽然具有成像精度高的优点， 但是受限于其自身的视野 小， 在取像时无法一次性拍全整个检测区域， 需要不断调节相机的位置和倾斜角度依次进 行拍摄， 经过多次拍摄才能

9、得到曲面角的完整图像。 0003 目前主要通过调节曲面屏载台的位置， 对曲面屏不同边角位置进行取图， 但是由 于曲面屏的曲面角属于二维曲面， 加之工业显微镜的景深较小， 需要进行数十次乃至上百 次的拍摄才能完成整个曲面角的取图， 这种方式存在取图及检测效率低且检测精度不理想 的问题， 无法满足实际生产过程中客户对于节拍时间 （Takt time， TT） 的要求。 发明内容 0004 针对现有技术的至少一个缺陷或改进需求， 本发明提供了一种曲面屏图像采集方 法、 装置及终端设备， 其目的在于解决现有的曲面屏取像方式存在的取像效率低且检测精 度不理想的问题。 0005 为实现上述目的， 按照本发

10、明的一个方面， 提供了一种曲面屏图像采集方法， 其特 征在于， 包括以下步骤： 基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段， 分别从每段曲面区域上 选取取像设备在拍摄该段曲面区域时的焦点； 根据所述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲面 区域时的姿态信息； 根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令， 控制取像设备或 待测曲面屏移动依次完成各段曲面区域的取像， 得到待测曲面屏的曲面角图像。 0006 优选的， 上述曲面屏检测方法， 分别从每段曲面区域上选取取像设备在拍摄该段 曲面区域时的焦点具体为： 将每段曲面区域的拱顶高度所在方向作为投影方

11、向， 且以在垂直于所述投影方向上与 曲面区域相切的平面作为投影平面； 分别将每段曲面区域在其对应的投影平面上投影后形成的投影图形的几何中心作为 取像设备在拍摄对应曲面区域时的焦点。 0007 优选的， 上述曲面屏检测方法， 按照对所述曲面角对应的圆心角进行等角度划分 的方式将该曲面角划分为多段。 0008 优选的， 上述曲面屏检测方法， 确定每段曲面区域的投影平面的方法为： 说明书 1/6 页 4 CN 111526297 A 4 依次从每段曲面区域的四个端点中任意选取三个确定一虚拟平面， 在生成的四个虚拟 平面中， 将每个虚拟平面到剩余一个端点之间的垂直位移记为第一位移； 平移该虚拟平面 使

12、其与曲面区域相切并将虚拟平面从平移前到平移后的位移记为第二位移； 当第一位移与第二位移方向相同时， 以第二位移的长度作为对应曲面区域的拱顶高 度； 当第一位移与第二位移方向相反时， 以两者长度之和作为对应曲面区域的拱顶高度； 在四个虚拟平面中， 取所述拱顶高度最小时对应的虚拟平面平移至与曲面区域相切时 的平面作为该段曲面区域的投影平面。 0009 优选的， 上述曲面屏检测方法， 每段曲面区域的拱顶高度不大于取像设备的拍摄 景深。 0010 优选的， 上述曲面屏检测方法， 所述姿态信息包括取像设备在三维坐标系中的坐 标值以及取像设备与XYZ坐标轴的夹角。 0011 优选的， 上述曲面屏检测方法还

13、包括： 对每段曲面区域进行取像后得到初始图像， 采用自动对焦反馈机制， 根据对当前曲面 区域取像后得到的初始图像进行自适应对焦， 并控制对焦后的取像设备拍摄当前曲面区域 的图像。 0012 优选的， 上述曲面屏检测方法还包括： 按照取像顺序对各段曲面区域的图像进行拼接， 得到完整的曲面角图像。 0013 优选的， 上述曲面屏检测方法所述取像设备为相机和显微镜头。 0014 按照本发明的第二个方面， 还提供了一种曲面屏图像采集装置， 该装置包括： 对焦模块， 基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段， 分别从每段 曲面区域上选取取像设备在拍摄该段曲面区域时的焦点； 计算模块， 根据所

14、述焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄 每段曲面区域时的姿态信息； 控制模块， 根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调节指令， 控制 取像设备移动依次完成各段曲面区域的取像， 得到待测曲面屏的曲面角图像。 0015 按照本发明的第三个方面， 还提供了一种终端设备， 其包括至少一个处理单元、 以 及至少一个存储单元， 其中， 所述存储单元存储有计算机程序， 当所述计算机程序被所述处 理单元执行时， 使得所述处理单元执行上述曲面屏图像采集方法的步骤。 0016 总体而言， 通过本发明所构思的以上技术方案与现有技术相比， 能够取得下列有 益效果： （1） 本发明在充

15、分满足镜头景深的前提下， 将整个曲面角划分为多段曲面区域， 并基于 曲面屏模型精确计算相机在拍摄每段曲面区域时的姿态信息， 根据该姿态信息生成位置调 节指令， 控制相机或待测显示屏在整个拍摄过程中自动循迹， 依次完成各段曲面区域的拍 摄； 本发明可以实现曲面屏曲面角区域的快速定位和检测， 不仅大大减少了拍摄次数， 缩短 了取像时间， 而且提高了取像以及检测精度。 0017 （2） 本发明在对每段曲面区域进行取图后都会根据自动对焦反馈机制进行自适应 对焦， 对相机或载物台的位置进行调节， 保证了取图效果的最优化， 进而提高后续检测的精 度。 本发明提高了曲面屏曲面角检测时的效率和精度， 更加有助

16、于曲面屏缺陷检测的量产 说明书 2/6 页 5 CN 111526297 A 5 过程。 附图说明 0018 图1是本发明实施例提供的曲面屏图像采集方法的流程图； 图2是本发明实施例提供的曲面角划分方式示意图； 图3是本发明实施例提供的各段曲面区域的投影平面的确定方式的示意图； 图4是本发明实施例提供的连续取像过程中相机的运行轨迹示意图； 图5是本发明实施例提供的曲面屏图像采集装置的逻辑框图。 具体实施方式 0019 为了使本发明的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本发明进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本发明， 并 不用于限定

17、本发明。 此外， 下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。 0020 实施例一 图1是本实施例提供的一种曲面屏图像采集方法的流程图， 参见图1， 该方法包括以下 步骤： S1： 基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段， 分别从每段曲面区 域上选取取像设备在拍摄该段曲面区域时的焦点； 本实施例中， 首先获取创建好的待测曲面屏的三维模型， 取三维模型中的一个曲面角 将其划分为多段， 具体的划分方式本实施例不作具体限定， 为了确保每段曲面区域在后续 取像时的取像清晰度， 要求划分后的每段曲面区域的拱顶高度均不大于相机的拍摄景深。 作为一

18、个优选的示例， 本例按照对曲面角对应的圆心角进行等角度划分的方式将该曲面角 划分为多段， 在满足每段曲面区域的拱顶高度均不大于相机的拍摄景深的前提下， 曲面角 划分的段数尽可能少， 有利于减少取像次数， 缩短检测时间。 0021 进一步的， 为了提高成像清晰度， 本实施例选取相机在拍摄每段曲面区域时所需 的景深最大时对应的位置作为取像焦点； 该取像焦点的确定方法为： 将每段曲面区域的拱 顶高度所在方向作为投影方向， 且以在垂直于投影方向上与曲面区域相切的平面作为投影 平面； 分别将每段曲面区域在其对应的投影平面上投影后形成的投影图形的几何中心作为 取像设备在拍摄对应曲面区域时的焦点。 0022

19、 图2是本实施例提供的曲面角划分方式示意图， 本实施例中， 按照曲率中心等角度 将曲面角划分为9段， 分段后， 每段曲面区域具有四个端点， 本实施例在待测曲面屏的平面 区域所在平面上构建X轴、 Y轴， 并以此构建三维坐标系， 三维坐标系确定之后， 可以分别确 定各段曲面区域的四个端点的坐标； 然后分别以每段曲面区域在垂直于其拱顶高度方向上 的投影平面的几何中心作为相机在拍摄对应曲面区域时的焦点； 由于每段曲面区域均为三 维结构体， 四个端点中的任意三个端点即可确定一个平面， 有可能出现每段曲面区域的投 影平面并非唯一确定的情况， 四个投影平面及其分别对应的几何中心之间可能存在微小差 异， 虽然

20、这种微小差异不会对相机的对焦点的确定以及成像精度带来显著影响， 但是， 本实 施例提出了一种更加优选的方式来确定每段曲面区域的投影平面， 具体的， 本实施例通过 说明书 3/6 页 6 CN 111526297 A 6 以下方式来获取每段曲面区域在垂直于其拱顶高度方向上的投影平面： 如图3所示， 依次从每段曲面区域的四个端点中任意选取三个确定一个虚拟平面， 将该 虚拟平面与剩余一个端点之间的垂直距离记为第一位移； 平移该虚拟平面使其与曲面区域 相切， 将该虚拟平面在平移前后的垂直距离记为第二位移； 如果第一位移与第二位移位于 平移前的虚拟平面的同一侧， 则以第二位移作为对应曲面区域的拱顶高度；

21、 如果第一位移 与第二位移分别位于平移前的虚拟平面的不同侧， 则以两者之和作为对应曲面区域的拱顶 高度； 按照相同的方式确定其它三个虚拟平面的拱顶高度， 在四个虚拟平面中， 取拱顶高度 最小时对应的虚拟平面平移至与曲面区域相切时的平面作为该段曲面区域的投影平面， 将 曲面区域在该平面上做投影， 投影图形的几何中心作为相机的对焦点。 0023 S2： 根据焦点的坐标值以及取像设备的工作距离分别计算取像设备在拍摄每段曲 面区域时的姿态信息； 获取相机在拍摄每段曲面区域时的焦点之后， 根据该焦点的坐标值、 相机镜头的工作 距离即可计算相机在拍摄每段曲面区域时的姿态信息； 本实施例中， 相机镜头为工业

22、显微 镜头， 相机的姿态信息包括相机在三维坐标系中的坐标值以及相机与XYZ坐标轴的夹角； 相 机与XYZ坐标轴的夹角不同， 代表相机在拍摄每段曲面区域时的倾斜角度不同。 0024 S3： 根据姿态信息生成位置调节指令， 控制取像设备或待测曲面屏移动依次完成 各段曲面区域的取像， 得到待测曲面屏的曲面角图像。 0025 如图4所示， 得到相机在拍摄9段曲面区域时分别对应的姿态信息后， 根据该姿态 信息生成位置调节指令并下发给执行机构， 由执行结构控制相机或待测曲面屏移动到指定 位置， 依次完成9段曲面区域的拍摄； 需要指出的是， 在拍摄过程中可以控制相机移动到与 姿态信息对应的指定位置处， 也可

23、以控制待测曲面屏 （承载待测曲面屏的载物台） 移动， 两 者效果等同； 当采用移动相机的方式时， 该执行机构包括驱动电机和六维调节架 （X， Y， Z， x， y， z） ， 其中， X表示相机沿x轴方向水平移动， x表示相机绕x轴旋转， 其他参数不再赘 述； 相机固定在六维调节架， 六维调节架在驱动电机的控制下带动相机移动和/或旋转， 对 相机姿态进行调整。 0026 为了获取高清晰度的拍摄图像以提高后续的检测精度， 本实施例提供的曲面屏检 测方法还包括以下自适应对焦的步骤， 具体的： 对每段曲面区域进行取像后得到初始图像， 采用自动对焦反馈机制， 根据对当前曲面区域取像后得到的初始图像进行

24、自适应对焦， 根 据取图的效果对相机或待测曲面屏的高度进行调节， 实现相机自动对焦， 并控制对焦后的 相机拍摄当前曲面区域的图像， 直至得到清晰的曲面区域图像。 在对每段曲面区域进行取 图时均采用自动对焦反馈机制进行自适应对焦， 保证了取图效果的最优化。 0027 在获取到各段曲面区域的清晰图像后， 即可分别基于各段图像进行缺陷检测； 作 为一个优选的示例， 本实施例按照取像顺序对各段曲面区域的图像进行拼接， 得到完整的 曲面角图像； 然后基于完整的曲面角图像进行缺陷检测， 有利于直观展现缺陷在曲面角上 的位置以及分布。 0028 实施例二 本实施例提供了一种曲面屏图像采集装置， 用于实现实施

25、例一中的曲面屏图像采集方 法； 该装置可以采用软件和/或硬件的方式实现， 并可集成在终端设备上； 如图5所示， 该装 置包括对焦模块、 计算模块和控制模块； 其中， 说明书 4/6 页 7 CN 111526297 A 7 对焦模块被配置为基于待测曲面屏的三维模型将该曲面屏的曲面角划分为多段， 分别 从每段曲面区域上选取取像设备在拍摄该段曲面区域时的焦点； 具体的： 将每段曲面区域 的拱顶高度所在方向作为投影方向， 且以在垂直于所述投影方向上与曲面区域相切的平面 作为投影平面； 对焦模块分别将每段曲面区域在其对应的投影平面上投影后形成的投影图 形的几何中心作为取像设备在拍摄对应曲面区域时的焦点

26、。 0029 计算模块被配置为根据所述焦点的坐标值以及取像设备的工作距离分别计算取 像设备在拍摄每段曲面区域时的姿态信息。 0030 控制模块被配置为根据取像设备在拍摄每段曲面区域时的姿态信息生成位置调 节指令， 控制取像设备移动依次完成各段曲面区域的取像， 得到待测曲面屏的曲面角图像。 0031 以上各功能模块的具体实现功能参见实施例一， 此处不再赘述。 0032 实施例三 本实施例提供了一种曲面屏图像采集系统的结构示意图， 该系统包括终端设备、 取像 设备、 执行机构和载物台； 其中， 该终端设备包括至少一个处理器、 以及至少一个存储器， 其中， 存储器中存储有 计算机程序， 当计算机程序

27、被处理器执行时， 使得处理器执行实施例一中曲面屏图像采集 方法的步骤， 具体步骤参见实施例一， 此处不再赘述； 本实施例中， 处理器和存储器的类型 不作具体限制， 例如： 处理器可以是微处理器、 数字信息处理器、 片上可编程逻辑系统等； 存 储器可以是易失性存储器、 非易失性存储器或者它们的组合等。 0033 该终端设备也可以与一个或多个外部设备 (如键盘、 指向终端、 显示器等)通信， 还可与一个或者多个使得用户能与该终端设备交互的终端通信， 和/或与使得该终端设备 能与一个或多个其它计算终端进行通信的任何终端(例如网卡， 调制解调器等等)通信。 这 种通信可以通过输入/输出(I/O)接口进

28、行。 并且， 终端设备还可以通过网络适配器与一个 或者多个网络(例如局域网(Local Area Network， LAN)， 广域网(Wide Area Network， WAN) 和/或公共网络， 例如因特网)通信。 0034 本实施例中， 取像设备包括相机和显微镜头， 执行机构包括驱动电机和六维调节 架， 相机固定在六维调节架上， 待测曲面屏固定在载物台上； 执行结构与终端设备电连接， 在终端设备下发的位置调节指令的触发下控制六维调节架动作， 对相机的姿态进行调节； 或者控制载物台移动， 调节待测曲面屏与相机之间的相对位置。 0035 在实际的检测过程中， 首先将曲面屏固定在载物台上，

29、将相机和显微镜头通过六 维调节架固定在待测曲面屏上方； 终端设备根据计算得到的姿态信息控制相机移动到指定 位置并给与相机一定的倾斜角度， 进行拍图检测。 终端设备控制相机自动循迹， 依次完成各 段曲面区域的拍摄。 在拍摄过程中， 终端设备采用自动对焦反馈机制， 根据对当前曲面区域 的取图效果对相机或待测曲面屏的高度进行调节， 实现相机自动对焦， 并控制对焦后的相 机拍摄当前曲面区域的图像， 直至得到清晰的曲面区域图像。 此外， 该终端设备中还配置有 缺陷检测算法， 在获得各段曲面区域的清晰图像之后， 执行缺陷检测算法对图像进行缺陷 检测； 或者先按照取像顺序对各段曲面区域的图像进行拼接， 得到

30、完整的曲面角图像， 然后 基于完整的曲面角图像进行缺陷检测。 0036 本发明提供的曲面屏图像采集方法、 装置及终端设备， 在充分满足镜头景深的前 提下， 将整个曲面角划分为多段曲面区域， 并基于曲面屏模型精确计算相机在拍摄每段曲 说明书 5/6 页 8 CN 111526297 A 8 面区域时的姿态信息， 根据该姿态信息生成位置调节指令， 控制相机或待测显示屏在整个 拍摄过程中自动循迹， 依次完成各段曲面区域的拍摄； 本发明可以实现曲面屏曲面角区域 的快速定位和检测， 不仅大大减少了拍摄次数， 缩短了取像时间， 而且提高了取像以及检测 精度， 更加有助于曲面屏缺陷检测的量产过程。 0037 本领域的技术人员容易理解， 以上所述仅为本发明的较佳实施例而已， 并不用以 限制本发明， 凡在本发明的精神和原则之内所作的任何修改、 等同替换和改进等， 均应包含 在本发明的保护范围之内。 说明书 6/6 页 9 CN 111526297 A 9 图1 图2 说明书附图 1/3 页 10 CN 111526297 A 10 图3 图4 说明书附图 2/3 页 11 CN 111526297 A 11 图5 说明书附图 3/3 页 12 CN 111526297 A 12