图像处理方法及装置、处理器、电子设备及存储介质.pdf

《图像处理方法及装置、处理器、电子设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《图像处理方法及装置、处理器、电子设备及存储介质.pdf（30页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911199942.6 (22)申请日 2019.11.29 (71)申请人 深圳市商汤科技有限公司 地址 518054 广东省深圳市前海深港合作 区前湾一路1号A栋201室 (72)发明人 谢符宝黄健文郑佳宇李佳桦 (74)专利代理机构 广州三环专利商标代理有限 公司 44202 代理人 郝传鑫熊永强 (51)Int.Cl. G06T 15/20(2011.01) G06T 19/00(2011.01) (54)发明名称 图像处理方法及装置、 处理器、 电子设备及 存储介。

2、质 (57)摘要 本公开公开了一种图像处理方法及装置。 该 方法包括： 获取第一待处理图像、 所述第一待处 理图像的第一深度图像、 第二待处理图像和所述 第二待处理图像的第二深度图像； 所述第一待处 理图像中包含待处理虚拟对象， 所述第二待处理 图像中包含第一物体； 对所述待处理虚拟对象和 所述第一物体进行渲染处理， 以显示依据所述第 一深度图像和所述第二深度图像确定的所述待 处理虚拟对象和所述第一物体之间的位置关系， 得到渲染图像。 还公开了相应的装置。 以实现基 于深度图像获得可显示待处理虚拟对象和第一 物体之间的位置关系的渲染图像。 权利要求书2页 说明书18页 附图9页 CN 1108。

3、89890 A 2020.03.17 CN 110889890 A 1.一种图像处理方法， 其特征在于， 所述方法包括： 获取第一待处理图像、 所述第一待处理图像的第一深度图像、 第二待处理图像和所述 第二待处理图像的第二深度图像； 所述第一待处理图像中包含待处理虚拟对象， 所述第二 待处理图像中包含第一物体； 对所述待处理虚拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度图像 和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系， 得到渲 染图像。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述待处理虚拟对象和所述第一物 体进行渲染处理之前， 所述方法还。

4、包括： 对所述第二待处理图像和所述第二深度图像进行三维重建处理， 获得所述第一物体的 三维模型； 所述对所述待处理虚拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度 图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系， 得 到渲染图像， 包括： 将所述第二待处理图像中根据所述第二深度图像确定的深度值大于第一阈值的像素 点作为待更新像素点； 将所述三维模型的第三深度图像中的候补像素点的像素值作为所述待更新像素点的 深度信息， 获得所述第一物体的更新后的深度信息； 所述候补像素点在所述第三深度图像 中的位置与所述待更新像素点在所述第二待处理图像中的位置相同； 对所。

5、述待处理虚拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度图像 和所述第一物体的更新后的深度信息确定的所述待处理虚拟对象和所述第一物体之间的 位置关系， 得到所述渲染图像。 3.根据权利要求2所述的方法， 其特征在于， 所述对所述第二待处理图像和所述第二深 度图像进行三维重建处理， 获得所述第一物体的三维模型， 包括： 确定所述第二待处理图像中深度值小于或等于所述第一阈值的待处理像素点， 所述深 度值根据所述第二深度图像确定； 获取所述待处理像素点在相机坐标系下的三维坐标； 将由所述相机坐标系下的三维坐标所确定的点作为三维点云数据； 对所述三维点云数据进行三维建模处理， 获得所述第一。

6、物体的三维模型。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述三维点云数据进行三维建模处 理， 获得所述第一物体的三维模型， 包括： 对所述三维点云数据进行三角剖分处理， 以建立所述三维点云数据之间的拓扑连接关 系， 获得初始三维网格； 获取相机的位姿信息， 所述相机用于采集所述第二待处理图像； 使用所述位姿信息将所述初始三维网格转换为世界坐标系下的目标三维网格； 对所述世界坐标系下的目标三维网格进行渲染处理， 获得所述第一物体的三维模型。 5.根据权利要求4所述的方法， 其特征在于， 所述获取相机的位姿信息之前， 所述方法 还包括获取参考图像， 所述参考图像中包含至少两个参考特征。

7、点； 所述获取所述相机的位姿信息， 包括： 权利要求书 1/2 页 2 CN 110889890 A 2 确定所述第二待处理图像中的至少两个待配准特征点； 所述参考特征点与所述待配准 特征点一一对应； 依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述待配准特征点在所 述相机坐标系下的待配准三维坐标， 得到旋转矩阵和平移向量， 作为所述相机的位姿信息； 通过所述旋转矩阵和平移向量对所述参考三维坐标进行转换得到的中间三维坐标与所述 待配准三维坐标之间的重合度大于或等于第二阈值。 6.根据权利要求1所述的方法， 其特征在于， 所述对所述待处理虚拟对象和所述第一物 体进行渲染处理， 以显示依据。

8、所述第一深度图像和所述第二深度图像确定的所述待处理虚 拟对象和所述第一物体之间的位置关系， 得到渲染图像之前， 所述方法还包括： 在确定所述第二待处理图像中包含第二物体的情况下， 确定所述第二物体覆盖的图像 区域； 依据所述第一深度图像和所述第二深度图像， 确定所述第二物体覆盖的图像区域中的 目标像素点； 所述目标像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比 较像素点的深度值； 所述目标像素点在所述第二待处理图像中的位置与所述待比较像素点 在所述第一待处理图像中的位置相同； 所述对所述待处理虚拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度 图像和所述第二深度图像确定的。

9、所述待处理虚拟对象和所述第一物体之间的位置关系， 得 到渲染图像， 包括： 在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之 间的比值大于或等于第三阈值的情况下， 对所述待处理虚拟对象、 所述第一物体和所述第 二物体进行渲染处理， 以显示依据所述第一深度图像和所述第二深度图像确定的所述待处 理虚拟对象和所述第一物体之间的位置关系以及显示所述第二物体， 得到所述渲染图像。 7.一种图像处理装置， 其特征在于， 所述装置包括： 获取单元， 用于获取第一待处理图像、 所述第一待处理图像的第一深度图像、 第二待处 理图像和所述第二待处理图像的第二深度图像； 所述第一待处理图像中。

10、包含待处理虚拟对 象， 所述第二待处理图像中包含第一物体； 渲染处理单元， 用于对所述待处理虚拟对象和所述第一物体进行渲染处理， 以显示依 据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之 间的位置关系， 得到渲染图像。 8.一种处理器， 其特征在于， 所述处理器用于执行权利要求1至6任一项所述的方法。 9.一种电子设备， 其特征在于， 包括： 处理器、 输入装置、 输出装置和存储器， 所述处理 器、 输入装置、 输出装置和存储器相互连接， 所述存储器中存储有程序指令； 所述程序指令 被所述处理器执行时， 使所述处理器执行权利要求1至6任一项所述的方法。 10.一种。

11、计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 程序， 所述计算机程序包括程序指令， 所述程序指令当被电子设备的处理器执行时， 使所述 处理器执行权利要求1至6任一项所述的方法。 权利要求书 2/2 页 3 CN 110889890 A 3 图像处理方法及装置、 处理器、 电子设备及存储介质 技术领域 0001 本公开涉及图像处理技术领域， 尤其涉及一种图像处理方法及装置、 处理器、 电子 设备及存储介质。 背景技术 0002 增强现实(augmented reality， AR)技术是一种将虚拟信息与真实世界巧妙融合 的技术， 该技术可以将虚拟信息与真实环境实时地叠。

12、加到一个画面。 虽然AR在过去数年间 已经取得了长足的进步， 但是在AR体验中可以发现， 虚拟模型始终显示在真实环境的前面， 无法反映虚拟模型和真实环境之间正确的位置关系， 不能将虚拟模型和真实环境融为一 体， 导致用户的AR体验不够真实。 发明内容 0003 本公开提供一种图像处理方法及装置、 处理器、 电子设备及存储介质。 0004 第一方面， 提供了一种图像处理方法， 所述方法包括： 获取第一待处理图像、 所述 第一待处理图像的第一深度图像、 第二待处理图像和所述第二待处理图像的第二深度图 像； 所述第一待处理图像中包含待处理虚拟对象， 所述第二待处理图像中包含第一物体； 对 所述待处理。

13、虚拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度图像和所述 第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系， 得到渲染图 像。 0005 在该方面中， 通过将第一深度图像中的像素点的值作为第一待处理图像的深度 值、 将第二深度图像中的像素点的值作为第二待处理图像的深度值， 可以确定第一待处理 图像和第二待处理图像的深度信息， 然后， 根据第一待处理图像和第二待处理图像之间的 相对深度信息来进行渲染处理， 得到渲染图像， 以实现准确显示待处理虚拟对象和第一物 体之间的位置关系。 0006 在一种可能实现的方式中， 所述对所述待处理虚拟对象和所述第一物体进行渲染 处理。

14、之前， 所述方法还包括： 对所述第二待处理图像和所述第二深度图像进行三维重建处 理， 获得所述第一物体的三维模型； 所述对所述待处理虚拟对象和所述第一物体进行渲染 处理， 以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所 述第一物体之间的位置关系， 得到渲染图像， 包括： 将所述第二待处理图像中根据所述第二 深度图像确定的深度值大于第一阈值的像素点作为待更新像素点； 将所述三维模型的第三 深度图像中的候补像素点的像素值作为所述待更新像素点的深度信息， 获得所述第一物体 的更新后的深度信息； 所述候补像素点在所述第三深度图像中的位置与所述待更新像素点 在所述第二待处理图像。

15、中的位置相同； 对所述待处理虚拟对象和所述第一物体进行渲染处 理， 以显示依据所述第一深度图像和所述第一物体的更新后的深度信息确定的所述待处理 虚拟对象和所述第一物体之间的位置关系， 得到所述渲染图像。 0007 在该种可能实现的方式中， 通过获取第一物体的更新后的深度信息， 并将第一深 说明书 1/18 页 4 CN 110889890 A 4 度图像中的像素点的值作为第一待处理图像的深度值， 以确定第一待处理图像和第二待处 理图像之间的相对深度信息， 然后根据该相对深度信息进行渲染处理， 得到渲染图像， 以提 升显示待处理虚拟对象和第一物体之间的位置关系时的准确性。 0008 在另一种可能。

16、实现的方式中， 所述对所述第二待处理图像和所述第二深度图像进 行三维重建处理， 获得所述第一物体的三维模型， 包括： 确定所述第二待处理图像中深度值 小于或等于所述第一阈值的待处理像素点， 所述深度值根据所述第二深度图像确定； 获取 所述待处理像素点在相机坐标系下的三维坐标； 将由所述相机坐标系下的三维坐标所确定 的点作为三维点云数据； 对所述三维点云数据进行三维建模处理， 获得所述第一物体的三 维模型。 0009 在该种可能实现的方式中， 在获取三维点云数据时只选择第二待处理图像中根据 第二深度图像确定的深度值小于或等于所述第一阈值的像素点， 剔除了第二深度图像中可 能出现的深度值缺失的像素。

17、点， 从而获得更加精准的三维点云数据。 0010 在又一种可能实现的方式中， 所述对所述三维点云数据进行三维建模处理， 获得 所述第一物体的三维模型， 包括： 对所述三维点云数据进行三角剖分处理， 以建立所述三维 点云数据之间的拓扑连接关系， 获得初始三维网格； 获取相机的位姿信息， 所述相机用于采 集所述第二待处理图像； 使用所述位姿信息将所述初始三维网格转换为世界坐标系下的目 标三维网格； 对所述世界坐标系下的目标三维网格进行渲染处理， 获得所述第一物体的三 维模型。 0011 在该种可能实现的方式中， 通过对三维点云数据进行三角剖分处理以获得初始三 维网格， 并将初始三维网格转换为世界坐。

18、标系下的目标三维网格， 然后对目标三维网格进 行渲染处理， 获得所述第一物体的三维模型， 实现了将空间中离散的点转化为三维模型的 过程。 0012 在又一种可能实现的方式中， 所述获取相机的位姿信息之前， 所述方法还包括获 取参考图像， 所述参考图像中包含至少两个参考特征点； 所述获取所述相机的位姿信息， 包 括： 确定所述第二待处理图像中的至少两个待配准特征点； 所述参考特征点与所述待配准 特征点一一对应； 依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述待配准 特征点在所述相机坐标系下的待配准三维坐标， 得到旋转矩阵和平移向量， 作为所述相机 的位姿信息； 通过所述旋转矩阵和平移向。

19、量对所述参考三维坐标进行转换得到的中间三维 坐标与所述待配准三维坐标之间的重合度大于或等于第二阈值。 0013 在该种可能实现的方式中， 首先， 确定第二待处理图像中的待配准特征点， 待配准 特征点与参考特征点一一对应； 然后， 依据参考特征点在相机坐标系下的参考三维坐标和 待配准特征点在相机坐标系下的待配准三维坐标， 得到旋转矩阵和平移向量， 可以准确描 述相机的位姿信息。 0014 在又一种可能实现的方式中， 所述对所述待处理虚拟对象和所述第一物体进行渲 染处理， 以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和 所述第一物体之间的位置关系， 得到渲染图像之前， 所述。

20、方法还包括： 在确定所述第二待处 理图像中包含第二物体的情况下， 确定所述第二物体覆盖的图像区域； 依据所述第一深度 图像和所述第二深度图像， 确定所述第二物体覆盖的图像区域中的目标像素点； 所述目标 像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比较像素点的深度值； 所 说明书 2/18 页 5 CN 110889890 A 5 述目标像素点在所述第二待处理图像中的位置与所述待比较像素点在所述第一待处理图 像中的位置相同； 所述对所述待处理虚拟对象和所述第一物体进行渲染处理， 以显示依据 所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间 的位置关系， 得。

21、到渲染图像， 包括： 在所述目标像素点的数量与所述第二物体覆盖的图像区 域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下， 对所述待处理虚拟对 象、 所述第一物体和所述第二物体进行渲染处理， 以显示依据所述第一深度图像和所述第 二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及显示所述第 二物体， 得到所述渲染图像。 0015 在该种可能实现的方式中， 通过确定第二待处理图像中包含的第二物体以及确定 第二物体覆盖的图像区域， 并在第二物体覆盖的图像区域中的目标像素点的数量与第二物 体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下， 确定 渲染时。

22、显示整个第二物体， 该方案可以减小因第二深度图像中可能存在的深度值缺失的像 素点而引起的误差， 以提升显示待处理虚拟对象和第二物体之间的位置关系时的准确性。 0016 在又一种可能实现的方式中， 所述方法还包括： 在所述目标像素点的数量与所述 第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于所述第三阈值的情况下， 对所述待处理虚拟对象、 所述第一物体和所述第二物体进行渲染处理， 以显示依据所述第 一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置 关系以及所述待处理虚拟对象和所述第二物体之间的位置关系， 得到所述渲染图像。 0017 在该种可能实现的方式中， 。

23、通过在目标像素点的数量与第二物体覆盖的图像区域 中的全部像素点的数量之间的比值小于第三阈值的情况下， 将第一深度图像中的像素点的 值作为第一待处理图像的深度值、 将第二深度图像中的像素点的值作为第二待处理图像的 深度值， 可以确定第一待处理图像和第二待处理图像的深度信息， 然后， 根据第一待处理图 像和第二待处理图像之间的相对深度信息来进行渲染处理， 得到渲染图像， 以实现准确显 示待处理虚拟对象和第一物体之间的位置关系以及待处理虚拟对象和第二物体之间的位 置关系。 0018 在又一种可能实现的方式中， 所述在确定所述第二待处理图像中包含第二物体的 情况下， 所述方法还包括： 确定与所述第二物。

24、体具有映射关系的虚拟对象为所述待处理虚 拟对象。 0019 在该种可能实现的方式中， 在确定第二待处理图像中包含第二物体的情况下， 将 与第二物体具有映射关系的虚拟对象确定为待处理虚拟对象， 可以实现待处理虚拟对象的 类别随着第二物体的类别不同而变化， 并同时准确显示待处理虚拟对象和第二物体之间的 位置关系。 0020 第二方面， 提供了一种图像处理装置， 所述装置包括： 获取单元， 用于获取第一待 处理图像、 所述第一待处理图像的第一深度图像、 第二待处理图像和所述第二待处理图像 的第二深度图像； 所述第一待处理图像中包含待处理虚拟对象， 所述第二待处理图像中包 含第一物体； 渲染处理单元，。

25、 用于对所述待处理虚拟对象和所述第一物体进行渲染处理， 以 显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一 物体之间的位置关系， 得到渲染图像。 0021 在一种可能实现的方式中， 所述装置还包括： 三维重建处理单元， 用于对所述待处 说明书 3/18 页 6 CN 110889890 A 6 理虚拟对象和所述第一物体进行渲染处理之前， 对所述第二待处理图像和所述第二深度图 像进行三维重建处理， 获得所述第一物体的三维模型； 所述渲染处理单元具体用于： 将所述 第二待处理图像中根据所述第二深度图像确定的深度值大于第一阈值的像素点作为待更 新像素点； 将所述三维模型。

26、的第三深度图像中的候补像素点的像素值作为所述待更新像素 点的深度信息， 获得所述第一物体的更新后的深度信息； 所述候补像素点在所述第三深度 图像中的位置与所述待更新像素点在所述第二待处理图像中的位置相同； 对所述待处理虚 拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度图像和所述第一物体的更 新后的深度信息确定的所述待处理虚拟对象和所述第一物体之间的位置关系， 得到所述渲 染图像。 0022 在另一种可能实现的方式中， 所述三维重建处理单元具体用于： 确定所述第二待 处理图像中深度值小于或等于所述第一阈值的待处理像素点， 所述深度值根据所述第二深 度图像确定； 获取所述待处理像素点在。

27、相机坐标系下的三维坐标； 将由所述相机坐标系下 的三维坐标所确定的点作为三维点云数据； 对所述三维点云数据进行三维建模处理， 获得 所述第一物体的三维模型。 0023 在又一种可能实现的方式中， 所述三维重建处理单元具体还用于： 对所述三维点 云数据进行三角剖分处理， 以建立所述三维点云数据之间的拓扑连接关系， 获得初始三维 网格； 获取相机的位姿信息， 所述相机用于采集所述第二待处理图像； 使用所述位姿信息将 所述初始三维网格转换为世界坐标系下的目标三维网格； 对所述世界坐标系下的目标三维 网格进行渲染处理， 获得所述第一物体的三维模型。 0024 在又一种可能实现的方式中， 所述获取单元，。

28、 还用于在所述获取相机的位姿信息 之前， 获取参考图像， 所述参考图像中包含至少两个参考特征点； 所述三维重建处理单元具 体还用于： 确定所述第二待处理图像中的至少两个待配准特征点； 所述参考特征点与所述 待配准特征点一一对应； 依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述 待配准特征点在所述相机坐标系下的待配准三维坐标， 得到旋转矩阵和平移向量， 作为所 述相机的位姿信息； 通过所述旋转矩阵和平移向量对所述参考三维坐标进行转换得到的中 间三维坐标与所述待配准三维坐标之间的重合度大于或等于第二阈值。 0025 在又一种可能实现的方式中， 所述装置还包括： 确定单元， 用于在所述对所。

29、述待处 理虚拟对象和所述第一物体进行渲染处理， 以显示依据所述第一深度图像和所述第二深度 图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系， 得到渲染图像之前， 在 确定所述第二待处理图像中包含第二物体的情况下， 确定所述第二物体覆盖的图像区域； 依据所述第一深度图像和所述第二深度图像， 确定所述第二物体覆盖的图像区域中的目标 像素点； 所述目标像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比较像 素点的深度值； 所述目标像素点在所述第二待处理图像中的位置与所述待比较像素点在所 述第一待处理图像中的位置相同； 所述渲染处理单元具体用于： 在所述目标像素点的数量 与所述第二物体。

30、覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值 的情况下， 对所述待处理虚拟对象、 所述第一物体和所述第二物体进行渲染处理， 以显示依 据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之 间的位置关系以及显示所述第二物体， 得到所述渲染图像。 0026 在又一种可能实现的方式中， 所述渲染处理单元具体还用于： 在所述目标像素点 说明书 4/18 页 7 CN 110889890 A 7 的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于所述第三 阈值的情况下， 对所述待处理虚拟对象、 所述第一物体和所述第二物体进行渲染处理， 以显 示。

31、依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物 体之间的位置关系以及所述待处理虚拟对象和所述第二物体之间的位置关系， 得到所述渲 染图像。 0027 在又一种可能实现的方式中， 所述确定单元， 还用于所述在确定所述第二待处理 图像中包含第二物体的情况下， 确定与所述第二物体具有映射关系的虚拟对象为所述待处 理虚拟对象。 0028 第三方面， 提供了一种处理器， 所述处理器用于执行上述第一方面及其任一种可 能的实现方式的方法。 0029 第四方面， 提供了一种电子设备， 包括： 处理器、 输入装置、 输出装置和存储器， 所 述处理器、 输入装置、 输出装置和存储器相互。

32、连接， 所述存储器中存储有程序指令； 所述程 序指令被所述处理器执行时， 使所述处理器执行上述第一方面及其任一种可能的实现方式 的方法。 0030 第五方面， 提供了一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介 质中存储有计算机程序， 所述计算机程序包括程序指令， 所述程序指令当被电子设备的处 理器执行时， 使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。 0031 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 而非 限制本公开。 附图说明 0032 为了更清楚地说明本公开实施例或背景技术中的技术方案， 下面将对本公开实施 例或背景技术中所需。

33、要使用的附图进行说明。 0033 此处的附图被并入说明书中并构成本说明书的一部分， 这些附图示出了符合本公 开的实施例， 并与说明书一起用于说明本公开的技术方案。 0034 图1为本公开实施例提供的一种图像处理方法的流程示意图； 0035 图2为本公开实施例提供的一种虚拟对象的场景示意图； 0036 图3为本公开实施例提供的一种图像的像素点对应关系的示意图； 0037 图4为本公开实施例提供的另一种图像的像素点对应关系的示意图； 0038 图5为本公开实施例提供的一种渲染处理过程的示意图； 0039 图6为本公开实施例提供的另一种图像处理方法的流程示意图； 0040 图7为本公开实施例提供的一。

34、种更新图像深度信息的流程示意图； 0041 图8为本公开实施例提供的另一种图像处理方法的流程示意图； 0042 图9为本公开实施例提供的另一种图像处理方法的流程示意图； 0043 图10为本公开实施例提供的另一种图像处理方法的流程示意图； 0044 图11为本公开实施例提供的一种渲染图像的场景示意图； 0045 图12为本公开实施例提供的另一种渲染图像的场景示意图； 0046 图13为本公开实施例提供的一种应用场景示意图； 0047 图14为本公开实施例提供的一种图像处理装置的结构示意图； 说明书 5/18 页 8 CN 110889890 A 8 0048 图15为本公开实施例提供的一种图像。

35、处理装置的硬件结构示意图。 具体实施方式 0049 为了使本技术领域的人员更好地理解本公开方案， 下面将结合本公开实施例中的 附图， 对本公开实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是 本公开一部分实施例， 而不是全部的实施例。 基于本公开中的实施例， 本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本公开保护的范围。 0050 本公开的说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等是用于区别 不同对象， 而不是用于描述特定顺序。 此外， 术语 “包括” 和 “具有” 以及它们任何变形， 意图 在于覆盖不排他的包含。 。

36、例如包含了一系列步骤或单元的过程、 方法、 系统、 产品或设备没 有限定于已列出的步骤或单元， 而是可选地还包括没有列出的步骤或单元， 或可选地还包 括对于这些过程、 方法、 产品或设备固有的其他步骤或单元。 0051 本文中术语 “和/或” ， 仅仅是一种描述关联对象的关联关系， 表示可以存在三种关 系， 例如， A和/或B， 可以表示： 单独存在A， 同时存在A和B， 单独存在B这三种情况。 另外， 本文 中术语 “至少一种” 表示多种中的任意一种或多种中的至少两种的任意组合， 例如， 包括A、 B、 C中的至少一种， 可以表示包括从A、 B和C构成的集合中选择的任意一个或多个元素。 00。

37、52 在本文中提及 “实施例” 意味着， 结合实施例描述的特定特征、 结构或特性可以包 含在本公开的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相同 的实施例， 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和 隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。 0053 为了更清楚地介绍本公开实施例， 本文先对AR开发中常用的一种物理引擎接口 Unity3D进行相关介绍。 Unity3D是一个让玩家轻松创建诸如三维视频游戏、 建筑可视化、 实 时三维动画等类型互动内容的多平台的综合型游戏开发工具， Unity3D中存在一个 “虚拟照 相机”。

38、 的概念，“虚拟照相机” 可以对Unity3D中创建的三维虚拟场景或虚拟模型进行 “拍 照” ， 从而获得该三维虚拟场景或虚拟模型的颜色信息和深度信息。 颜色信息被保存在颜色 缓冲区中， 深度信息被保存在深度缓冲区中， 深度缓冲区还会将深度信息中的每一个深度 值与 “虚拟照相机” 成像平面中的每个像素点进行相应的关联， 这里的深度值是指三维虚拟 场景或虚拟模型离 “虚拟照相机” 的距离， 深度值越小则代表三维虚拟场景或虚拟模型距离 “虚拟照相机” 越近。 进一步地，“虚拟照相机” 可以从颜色缓冲区中获取颜色信息在屏幕上 绘制彩色图， 也可以从深度缓冲区中获取深度信息在屏幕上绘制深度图。 而且，。

39、 当移动终端 调用Unity3D接口实现AR应用时， 配置在移动终端上的真实照相机或摄像头在世界坐标系 下的位姿信息会应用于 “虚拟照相机” ， 也就是说 “虚拟照相机” 和真实照相机或摄像头在世 界坐标系下的位置坐标会始终保持同步。 0054 但是， 需要注意的是，“虚拟照相机” 并不是实际的硬件，“虚拟照相机” 进行 “拍照” 和真实世界中真实照相机或摄像头进行图像采集或拍照的原理类似， 只不过其具体过程是 通过软模拟来实现的。 具体地， 可以把 “虚拟照相机” 对虚拟模型进行 “拍照” 理解为是将把 三维模型投影到二维平面的一个过程，“虚拟照相机” 的成像平面由多个像素点构成，“虚拟 照。

40、相机” 在每个像素点的位置发射出一条射线， 比如， 从像素点A发出的A射线与虚拟模型有 接触， 那么像素点A就是针对虚拟模型的成像像素点， A射线与虚拟模型的接触点离 “虚拟照 说明书 6/18 页 9 CN 110889890 A 9 相机” 的距离即为像素点A的深度值； 从像素点B发出的B射线与虚拟模型无接触， 那么像素 点B就是针对 “背景层” 的成像像素点，“背景层” 可以看作是距离 “虚拟照相机” 无穷远的虚 拟模型， 那么像素点B的深度值就是一个无穷大的值。 另外，“虚拟照相机” 和真实照相机一 样， 可以实现视角的自由旋转， 上述提及的深度值均是指 “虚拟照相机” 在某一视角下对。

41、三 维虚拟场景或虚拟模型成像时， 三维虚拟场景或虚拟模型的表面与 “虚拟照相机” 的距离。 0055 Unity3D接口在初次创建一个虚拟模型时， 会为该虚拟模型初始化一个具体的世 界坐标系下的位姿， 当移动终端不断移动时， 真实照相机或摄像头在世界坐标系下的位置 坐标会不断改变， 而 “虚拟照相机” 在世界坐标系下的位姿也会随之变化， 相应地， 虚拟模型 距离虚拟照相机的距离也在变化。 Unity3D接口具有一些简单的建模功能， 比如建立最基本 的几何体(立方体、 球体、 平面等)， 但是该接口并不具备复杂的建模功能， 实际应用中需要 先通过其他方式建立复杂的三维模型， 然后利用该接口进行进。

42、一步的渲染等处理以构建三 维模型对应的虚拟形象。 目前物体的建模方法大概可以分为三种， 第一种方式是利用三维 软件建模， 第二种方式是通过仪器设备测量建模， 第三种方式是通过图像或视频来建模。 0056 下面结合本公开实施例中的附图对本公开实施例进行描述。 0057 请参阅图1， 图1是本公开实施例(一)提供的一种图像处理方法的流程示意图。 0058 101、 获取第一待处理图像、 第一待处理图像的第一深度图像、 第二待处理图像和 第二待处理图像的第二深度图像。 0059 第一待处理图像中包含待处理虚拟对象， 第二待处理图像中包含第一物体。 0060 本公开实施例中， 第一待处理图像和第二待处。

43、理图像中的像素点的值代表颜色信 息， 第一深度图像和第二深度图像中的像素点的值代表深度信息， 即从图像采集器到场景 中各点的距离。 第一待处理图像和第一深度图像由物理引擎中的 “虚拟照相机” 创建(物理 引擎可以使用上述介绍的Unity3D， 也可以使用其他物理引擎， 本公开不作限定)， 第二待处 理图像和第二深度图像由真实照相机创建(此处的真实照相机是相对 “虚拟照相机” 而言， 实际应用中真实照相机也可以是摄像头、 图像传感器等)， 比如， 第二待处理图像可以为RGB 摄像头采集到的RGB图像(RGB是一种色彩模式)， 第二深度图像可以为深度摄像头采集到的 深度图像。 0061 第一待处理。

44、图像中包含待处理虚拟对象， 待处理虚拟对象是指通过三维制作软件 在虚拟三维空间中构建出的具有三维数据的三维模型， 比如， 3D游戏画面中的场景、 人、 物 等等都是虚拟的三维模型， 只不过被显示在二维的显示屏幕上， 也就是说， 待处理虚拟对象 相对真实的物质世界是不存在的。 比如， 如图2所示， 图2为虚拟对象的场景示意图， 图2中图 A所示的恐龙和图B所示的小鹿均为虚拟对象， 图A中的椅子是真实世界中存在的物体， 但是 在真实场景中椅子前面并没有恐龙， 恐龙只是被渲染在显示屏幕上呈现一种视觉效果， 同 样地， 图B中的魔方是真实世界中存在的物体， 但是在真实场景中魔方上面是没有任何东西 的，。

45、 小鹿只是被渲染在显示屏幕上呈现 “小鹿站在魔方上面” 的一种视觉效果。 第二待处理 图像中包含第一物体， 第一物体是指真实世界中存在的并且在真实照相机处于某一固定位 置时在图像采集的过程中相对真实照相机处于静止状态的物体， 比如图A中的椅子和图B中 的魔方， 以及真实场景中的桌子、 沙发、 书桌、 地面等等。 0062 以第一深度图像中的像素点的值作为第一待处理图像中的像素点的深度值， 同样 地， 以第二深度图像中的像素点的值作为第二待处理图像中的像素点的深度值。 第一待处 说明书 7/18 页 10 CN 110889890 A 10 理图像与第一深度图像的尺寸可以相同也可以不同， 同样地。

46、， 第二待处理图像与第二深度 图像的尺寸可以相同也可以不同， 本公开不作限定。 以第二待处理图像与第二深度图像为 例， 一种可能的实现方式是， 第二待处理图像与第二深度图像的尺寸相同， 并且第二待处理 图像中的像素点与第二深度图像中的像素点一一对应， 如图3所示， 图3为第二待处理图像 和第二深度图像的像素点对应关系的示意图， 以图3中的A代表第二待处理图像、 图3中的B 代表第二深度图像， 也就是说， 以像素点D1的像素值作为像素点S1的深度值、 以像素点D2的 像素值作为像素点S2的深度值、 以像素点D3的像素值作为像素点S3的深度值以及以像素点 D4的像素值作为像素点S4的深度值。 另一。

47、种可能的实现方式是， 第二待处理图像与第二深 度图像的尺寸不相同， 但是第二待处理图像中的像素点与第二深度图像中的像素点具有对 应关系， 根据对应关系， 仍然可以将第二深度图像中的像素点的值作为第二待处理图像中 的对应像素点的深度值， 如图4所示， 图4为第二待处理图像和第二深度图像的另一种像素 点对应关系的示意图， 以图4中的A代表第二待处理图像、 图4中的B代表第二深度图像， 第二 待处理图像的尺寸比第二深度图像的尺寸大， 那么第二深度图像中的一个像素点的值可能 会作为第二待处理图像中的多个像素点的值， 比如， 以B中的像素点D1的像素值作为A中的 像素点S1、 像素点S2、 像素点S5以。

48、及像素点S6的深度值， 也就是说， 第二待处理图像中的一 个包含多个像素点的区域对应第二深度图像中的一个像素点。 待处理图像中的像素点与深 度图像中的像素点之间的对应关系， 本公开不作限定。 0063 可选地， 如前所述， 第二待处理图像和第二深度图像由真实照相机创建， 当硬件采 集到的第二待处理图像和第二深度图像的格式不符合后续处理过程中所采用的图像格式 时， 需要对该图像进行格式转换， 图像的格式包括jpeg格式、 gif格式、 png格式、 bmp格式等 等。 对该图像具体进行何种格式转换， 与实际应用中所使用的硬件采集装置和实际处理中 所采用的图像格式有关， 本公开不作限定。 0064。

49、 102、 对待处理虚拟对象和第一物体进行渲染处理， 以显示依据第一深度图像和第 二深度图像确定的待处理虚拟对象和第一物体之间的位置关系， 得到渲染图像。 0065 如101中所述， 以第一深度图像中的像素点的值作为第一待处理图像中的像素点 的深度值， 那么依据第一深度图像可以确定第一待处理图像中的每一像素点的深度值， 同 样地， 以第二深度图像中的像素点的值作为第二待处理图像中的像素点的深度值， 那么依 据第二深度图像可以确定第二待处理图像中的每一像素点的深度值。 本公开实施例中， 第 一待处理图像的尺寸和第二待处理图像的尺寸相同， 那么通过比较第一待处理图像和第二 待处理图像中的位置相同的。

50、像素点对的深度值， 就可以确定第一待处理图像和第二待处理 图像之间的相对深度信息， 其中， 相对深度信息包括了待处理虚拟对象和第一物体之间的 位置关系， 此处的位置关系具体呈现的是一种视觉效果上的 “遮挡关系” 。 然后， 将像素点对 中的深度值较小的像素点进行渲染， 处理完所有像素点对以后， 相应地也完成了对待处理 虚拟对象和第一物体的渲染处理， 得到渲染图像。 0066 比如， 如图5所示， 图5本公开实施例提供的一种渲染处理过程的示意图， 以图A代 表第一待处理图像、 图B代表第二待处理图像、 图C代表渲染图像， 比较第一待处理图像和第 二待处理图像中的位置相同的像素点对的深度值， 也就。