多视高分辨率纹理图像与双目三维点云映射方法.pdf

《多视高分辨率纹理图像与双目三维点云映射方法.pdf》由会员分享，可在线阅读，更多相关《多视高分辨率纹理图像与双目三维点云映射方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911179302.9 (22)申请日 2019.11.27 (71)申请人 天津大学 地址 300072 天津市南开区卫津路92号 (72)发明人 杜瑞建陈雷葛宝臻 (74)专利代理机构 天津市三利专利商标代理有 限公司 12107 代理人 韩新城 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/30(2017.01) G06T 7/40(2017.01) (54)发明名称 一种多视高分辨率纹理图像与双目三维点 云映射方法 (57)摘要 本发。

2、明公开一种多视高分辨率纹理图像与 双目三维点云映射方法， 包括利用获得的立体图 像对以及立体视目对的标定参数进行三维重建, 得到块匹配视差图， 并基于块匹配视差图重建出 三维点云,封装为三角面片模型， 三角面片模型 的顶点为三维点云数据的三维点； 根据纹理图像 像素坐标与三角面片模型三维点的对应关系， 确 定多视纹理图像的重叠部分， 之后在多视纹理图 像的重叠部分引入引导线， 以使三维点选取唯一 的纹理图像进行指定映射， 实现三维点一对一映 射的选择分区； 通过分界线的分区以及已经得到 的纹理图像像素坐标与三角面片模型三维点的 对应关系， 将多视高分辨率纹理图像映射到三角 面片模型。 本发明能。

3、有效提高三维模型的视觉效 果。 权利要求书2页 说明书6页 附图2页 CN 111009030 A 2020.04.14 CN 111009030 A 1.一种多视高分辨率纹理图像与双目三维点云映射方法， 其特征在于， 包括： 利用获得的立体图像对以及立体视目对的标定参数进行三维重建,得到块匹配视差 图， 并基于块匹配视差图重建出三维点云,封装为三角面片模型， 三角面片模型的顶点为三 维点云数据的三维点； 根据纹理图像像素坐标与三角面片模型三维点的对应关系， 确定多视纹理图像的重叠 部分， 之后在多视纹理图像的重叠部分引入引导线， 以使三维点选取唯一的纹理图像进行 指定映射， 实现三维点一对一。

4、映射的选择分区； 通过分界线的分区以及已经得到的纹理图像像素坐标与三角面片模型三维点的对应 关系， 将多视高分辨率纹理图像映射到三角面片模型。 2.根据权利要求1所述多视高分辨率纹理图像与双目三维点云映射方法， 其特征在于， 所述纹理图像像素坐标与三角面片模型三维点的对应关系表示如下： X,Y,Z为三角面片模型中三维点的世界坐标， x,y为对应的像素点在纹理相机图像中 的坐标， H为单应性矩阵， cx、 cy表征相机光轴在图像坐标系中的偏移量， 以像素为单位； f为 立体校正后的左相机焦距， 以像素为单位。 3.根据权利要求2所述多视高分辨率纹理图像与双目三维点云映射方法， 其特征在于， 所述。

5、三维点云是根据Q矩阵以及块匹配视差图重建出的： 式中，x,y为双目左图或右图的二维坐标， d为所关联的视差， Tx 为右相机指向左相机的平移向量x方向的分量。 4.根据权利要求1所述多视高分辨率纹理图像与双目三维点云映射方法， 其特征在于， 所述立体图像对由所述立体视目对获得， 所述多视纹理图像由纹理相机拍摄， 所述立体视 目对构成双目系统， 拍摄立体视觉图像对， 进行立体视觉三维重建， 所述纹理相机居中位于 权利要求书 1/2 页 2 CN 111009030 A 2 双目系统之间。 权利要求书 2/2 页 3 CN 111009030 A 3 一种多视高分辨率纹理图像与双目三维点云映射方法。

6、 技术领域 0001 本发明涉及三维重建纹理映射技术领域， 特别是涉及一种多视高分辨率纹理图像 与双目三维点云映射方法。 背景技术 0002 纹理映射是三维模型重建的重要组成部分。 纹理的质量和分辨率对三维模型真实 性感受具有关键性影响。 不同的三维点云数据的获取方法需要采取相应的纹理映射方法。 目前获取物体三维点云数据的方法根据是否与被测物体接触分两类： 接触式方法和非接触 式方法。 接触式方法是运用探测头直接与目标物体接触， 通过探头的返回信息得到物体三 维坐标， 着眼于获取目标物体的三维信息， 不关注其表面纹理信息。 非接触式方法有激光扫 描法、 结构光测量法和双目立体视觉法等， 以光学。

7、技术为基础进行三维点云数据获取， 可通 过纹理映射来提高模型真实感。 0003 激光扫描法是主动深度测量方法， 采用红外光通过对飞行时间的检测来计算深 度。 此方法得到的三维重建模型本身无纹理信息， 需要单独采集纹理图像进行纹理映射。 主 要利用纹理图像的高对比度点或线条等特征与三维重建模型的边缘特征相匹配， 从而实现 纹理映射。 0004 结构光测量法采用结构光场投影通过对相位与光强的变化检测来计算深度。 对此 类三维重建模型进行纹理映射仍然需要依赖于彩色相机拍摄纹理图像， 但对于纹理图像与 三维重建模型匹配关系的寻找通常采用对彩色相机进行标定的方法。 由于结构光测量法需 要投射光斑到物体表。

8、面， 通过彩色相机同步拍摄投射有光斑的物体可以计算彩色相机相对 于目标物体的姿态， 从而通过相机模型实现纹理映射。 双目立体视觉法采用两个相机模拟 人眼， 深度信息由算法重构得出。 该方法较之其它两种方法具有成本低、 效率高、 灵活性强 和所需设备简单等特点， 在三维重建领域具有很高的实用价值。 0005 双目立体视觉法是从图像中恢复三维信息的方法， 重建的三维模型采用双目相机 图像进行纹理映射。 通过对双目图像选取特征点， 再运用重建过程中已形成的对应关系可 实现纹理图像到三维重建模型的映射。 0006 双目立体视觉法可通过对双目图像选取特征点， 运用重建过程中形成的对应关系 实现纹理映射。。

9、 然而， 该方法需要人工对双目图像选取特征点， 且受限于双目相机分辨率。 当三维模型骨架稀疏， 但对模型局部细节要求较高时， 采用双目图像映射的方法就难以达 到分辨率要求。 发明内容 0007 本发明的目的是针对现有技术中存在的技术缺陷， 而提供一种多视高分辨率纹理 图像与双目三维点云映射方法， 以高分辨率纹理相机单独采集多视纹理图像， 将多视高分 辨率纹理图像与三维点云数据相融合， 着眼于通过多视高分辨率纹理图像映射提高双目立 体视觉重建点云模型的视觉分辨率。 说明书 1/6 页 4 CN 111009030 A 4 0008 为实现本发明的目的所采用的技术方案是： 0009 一种多视高分辨。

10、率纹理图像与双目三维点云映射方法， 包括： 0010 利用获得的立体图像对以及立体视目对的标定参数进行三维重建,得到块匹配视 差图， 并基于块匹配视差图重建出三维点云,封装为三角面片模型， 三角面片模型的顶点为 三维点云数据的三维点； 0011 根据纹理图像像素坐标与三角面片模型三维点的对应关系， 确定多视纹理图像的 重叠部分， 之后在多视纹理图像的重叠部分引入引导线， 以使三维点选取唯一的纹理图像 进行指定映射， 实现三维点一对一映射的选择分区； 0012 通过分界线的分区以及已经得到的纹理图像像素坐标与三角面片模型三维点的 对应关系， 将多视高分辨率纹理图像映射到三角面片模型。 0013 。

11、1、 三维点云模型和多视高分辨率纹理图像的获取 0014 搭建三相机系统。 左右相机拍摄物体图像进行双目立体视觉三维重建。 0015 对双目系统进行标定， 最终输出双目相机的内参数矩阵M1和M2， 畸变向量D1和D2以 及双目相机之间的旋转矩阵R和平移向量T。 其中： 0016 0017 cx和cy表征的是相机光轴在图像坐标系中的偏移量， 以像素为单位。 0018 fx和fy是x,y方向上的焦距， 是在x,y两个方向的放大率。 0019 Dk1 k2 p1 p2 k3 0020 k1,k2,k3表征摄像机镜头制造误差使成像存在的径向畸变， p1,p2表征镜头安装误 差使成像存在的切向畸变。 0。

12、021 0022旋转矩阵描述两个相机之间的相对旋转， 三个方向的旋转角分别是 , 。 0023 TTx Ty Tz 0024 利用得到的双目图像以及得到的系统参数进行三维重建。 0025 首先对双目图像进行立体校正， 对校正后图像对采用基于块匹配的立体匹配， 得 到像素精度的块匹配视差图。 为说明方便， 此处块匹配视差图认为是基于双目左图的， 即块 匹配视差图上任一像素的坐标值代表这个像素点在双目左图中的坐标； 像素的灰度值代表 该点在双目左图与双目右图之间的视差值d； 同样适用于基于双目右图的块匹配视差图。 0026 给出双目左图的二维坐标(x,y)和与其关联的视差d， 可以将此点投影到三维。

13、中： 0027 0028 其中： 说明书 2/6 页 5 CN 111009030 A 5 0029 0030 根据Q矩阵以及块匹配视差图， 重建出三维点云， 三维点云坐标为(X/W,Y/W,Z/W)， 其中W与二维坐标(x,y)无关，Tx为右相机指向左相机的平移向量x 方向的分量。 要进行纹理映射需要把三维点云封装为三角面片模型。 三角面片模型的顶点 为三维点云数据的三维点。 0031 多视纹理拍摄原理示意图如图2。 左右为双目相机， 纹理相机处于双目相机中间， 三相机与物体距离相同。 双目相机对物体整体进行拍摄， 纹理相机通过其相对较长的焦距 拍摄物体局部的高分辨率图像。 图2所示纹理相机。

14、拍摄物体的四幅局部图像， 纹理相机以其 小视场保证物体局部图像的高分辨率， 通过对纹理相机上下左右的旋转俯仰对物体局部进 行拍摄， 最终完成多视高分辨率纹理图像的获取。 0032 2、 高分辨率纹理图像与三维模型对应关系的寻找 0033 要将纹理图像映射到三维点云模型， 最重要的是寻找二者的对应关系。 首先寻找 纹理图像与双目左图的对应关系。 对两幅图像进行匹配的流程如下： 对图像特征点提取， 特 征点对匹配， 求解单应性矩阵， 然后变换到同一个坐标系下。 单应性矩阵H描述了两个不同 视角的图像的变换， 两幅图像的像素坐标分别为(x,y)和(x,y)， 则其对应关系如下： 0034 0035 。

15、其中： 0036 0037 单应性矩阵H由9个元素组成， 有8个自由度。 在完成特征点提取匹配后， 可以由4对 匹配点求出H。 求出单应性矩阵后由式(2)可以得到纹理图像与双目左图的对应关系， 双目 左图与点云模型的数据匹配关系由式(1)给出。 那么， 点云模型中三维点在世界坐标系中的 坐标为(X,Y,Z)， 对应的像素点在纹理图像中的坐标为(x,y)， 则其对应关系为： 说明书 3/6 页 6 CN 111009030 A 6 0038 0039 式(3)描述了纹理图像像素坐标与点云模型三维点的对应关系， f为立体校正后的 左相机焦距， 以像素为单位。 0040 3、 多视高分辨率纹理图像点。

16、云模型的映射 0041 多视纹理图像为了覆盖全部视场， 拍摄时是具有重叠部分的； 对于点云模型上的 三维点， 纹理映射中只能选择一个图像坐标进行对应， 因此需要对图像重叠部分进行融合。 逐一采用上述2小节的方法寻找纹理图像与三维模型对应关系。 在多视纹理图像分别与双 目左图进行特征匹配之后， 多视纹理图像在双目左图上的位置得到确定， 多视纹理图像的 重叠部分也因此得到确定。 0042 在多视纹理图像的重叠部分引入引导线， 二维图像上的引导线在三维点云模型上 表现为一条分界线， 如图4所示。 分界线的作用是保证三维点选取唯一的纹理图像进行指定 映射。 分界线左侧的三维点选取一幅纹理图像进行映射，。

17、 分界线右侧的三维点选择另一幅 含有重叠部分的纹理图像进行映射， 这样就实现了三维点一对一映射的选择分区。 0043 通过分界线的分区以及已经得到的纹理图像像素坐标与点云模型三维点的对应 关系， 将多视高分辨率纹理图像映射到点云模型。 0044 与现有技术相比， 本发明具有以下优点： 0045 (1)用高分辨率纹理图像对三维模型进行纹理映射， 在三维模型骨架稀疏时， 能有 效提高三维模型的视觉效果。 另外对于模型局部分辨率要求较高时， 也需采用高分辨率图 像来补偿模型的细节信息， 需要将高分辨率图像数据与三维模型数据融合。 0046 (2)将二维特征匹配与双目立体视觉三维重建相结合， 提出新的。

18、纹理映射方法。 该 方法原理简单， 清晰。 较常规基于3D-2D匹配的映射方法更加方便稳定。 0047 (3)采用纹理映射新方法进行多视纹理图像映射过程中， 针对多视纹理图像重叠 部分数据冗余情况， 提出引导线分区映射法， 对点云数据进行分区映射， 成功将提出的纹理 映射方法推广到更大场景应用。 附图说明 0048 图1是高分辨率纹理三维成像系统结构图。 0049 图2是多视纹理拍摄原理示意图。 0050 图3是高分辨率图像纹理映射原理图。 0051 图4是三角面片模型上的分界线示意图。 具体实施方式 0052 以下结合附图和具体实施例对本发明作进一步详细说明。 应当理解， 此处所描述 的具体。

19、实施例仅仅用以解释本发明， 并不用于限定本发明。 0053 本发明以双目立体视觉重建点云模型与双目图像的对应关系为桥梁， 通过对纹理 说明书 4/6 页 7 CN 111009030 A 7 图像与双目图像的二维特征匹配， 得到纹理图像与点云模型的对应关系， 寻找多视高分辨 率纹理图像对应关系， 通过引导线分区映射法完成图像重叠部分的纹理融合， 进而实现多 视高分辨率图像纹理映射。 0054 本发明的实现具体包括有三维点云模型和多视高分辨率纹理图像的获取、 高分辨 率纹理图像与三维模型对应关系的寻找、 多视高分辨率纹理图像点云模型的映射的步骤。 0055 如图1所示， 本发明的系统， 包括有第。

20、三相机101、 第一相机201、 第二相机202， 第一 相机201、 第二相机202组成立体视目对， 拍摄图片视图1和视图2， 视图1和视图2组成立体图 像对； 第三相机101用长焦拍摄物体局部纹理图像， 模拟实验中为四幅视图3； 视图3较视图1 拥有更高的分辨率。 具体的， 第一相机和第二相机采用佳能5D mark ， 镜头焦距设定为 70mm， 双目基线T为560mm； 第三相机采用佳能5D mark ， 镜头焦距设定为135mm； 拍摄距离 为2500mm。 0056 具体的实现包括以下具体的步骤： 0057 S1， 对立体视目对进行系统参数的标定， 采用张正友提出的二维标定法进行相机。

21、 标定。 0058 S2.标定完成后， 利用得到的立体图像对以及得到的系统参数进行三维重建。 对立 体图像对利用Bouguet算法进行立体校正， 对校正后图像利用SGBM算法立体匹配， 得到像素 精度的块匹配视差图。 为说明方便， 此处的块匹配视差图认为是基于视图1的， 但本发明原 理也同样适用于基于视图2的块匹配视差图。 0059 S3.给出视图1二维坐标(x,y)和与其关联的视差d， 将此点通过Q矩阵投影到三维 中,根据Q矩阵以及块匹配视差图， 重建出三维点云,将三维点云封装为点云模型。 其中的Q 矩阵如下： 0060 0061 S4.寻找点云模型与视图3的对应关系； 0062 (1)视图。

22、1与点云模型存在着式(1)所示的关系， 将视图1作为匹配中间桥梁。 0063 (2)视图1与视图3对应关系的寻找采用二维特征匹配的方法。 根据视图1和视图3 图片特点， 选用sift特征点进行匹配， 求单应矩阵H， 并利用透视变换把像素对应到同一坐 标系下。 0064 (3)由式(2)可以得出视图3与视图1的匹配关系， 视图1与点云模型的数据匹配关 系由式(1)给出。 那么， 点云模型中三维点在世界坐标系中的坐标为(X,Y,Z)， 对应的像素点 在视图3中的坐标为(x,y)， 则其对应关系为： 0065 0066 说明书 5/6 页 8 CN 111009030 A 8 0067 S5.针对相。

23、机101拍摄的四幅视图3， 重复步骤6， 找到四幅视图3像素坐标与点云模 型的对应关系。 在S4(2)中， 记录四个单应矩阵如下： 0068 0069 0070 0071 0072 最终得到四幅视图3的重叠部分， 并且利用多幅视图3与视图1的位置关系在视图1 上合理选择引导线， 引导线在重投影矩阵Q的作用下对点云模型三维点进行分区。 其中， 所 述的引导线是通过四次图像匹配的结果在多视图像重叠部分选择的。 引导线之所以在视图 1上， 是因为视图1通过重投影矩阵Q可以直接联系到点云模型。 0073 根据S5得到的分区信息以及四幅视图3像素坐标与点云模型的对应关系， 将多视 高分辨率纹理图像映射到点云模型。 最终的点云模型视觉分辨率高于仅仅采用双目左图进 行纹理映射的点云模型。 0074 以上所述仅是本发明的优选实施方式， 应当指出的是， 对于本技术领域的普通技 术人员来说， 在不脱离本发明原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰 也应视为本发明的保护范围。 说明书 6/6 页 9 CN 111009030 A 9 图1 图2 说明书附图 1/2 页 10 CN 111009030 A 10 图3 图4 说明书附图 2/2 页 11 CN 111009030 A 11 。