基于机器人运动参数与特征向量的标记点匹配方法技术领域
本发明属于图像处理技术领域，基于移动摄影测量理论，并提出了一种基于机器人运动参数和特征向量的标记点匹配方法。基于机器人运动参数，实现相机的自动定向。本发明在极线约束匹配的基础上增加了基于特征向量的歧义匹配校正方法，保证了匹配率和匹配的准确性，非常适合智能制造中的在线精密测量。
背景技术
智能制造中为提高产品质量，需对生产部件某些关键部位进行精密测量。移动摄影测量具有非接触、高精度等优点，逐渐被广泛应用于精密工程中。它是移动相机从不同方位对被测物进行成像，通过恢复标记点的三维信息以实现对被测物尺寸、形貌的测量。其中不同图像间的标记点匹配是其中的关键技术。基于极线约束的匹配方法是一种非常有效的方法，其前提是相机定向。
当前用于相机定向的方法主要有四类：(1)通过在被测物表面粘贴编码标记点进行相机定向，但该方法需要繁琐的粘贴和清除标记工作，易损害被测物表面，且会造成粘贴标记部位信息缺失，直接影响测量结果。(2)通过在相邻两次测量的公共视场内布置定向靶标，以之为参考实现相机定向，但该方法测量范围受到极大的限制，灵活性较差。(3)在测量空间内布置控制场，标定出控制点的位置，通过控制点实现相机定向。但需要两次测量中至少有5个公共控制点，对大物件的测量有一定的局限性。(4)在被测物周围布置全局控制点，结合定向靶标与定向相机实现相机定向。但该方法操作繁琐，易造成精度丢失。
发明内容
本发明的目的是克服现有技术的上述不足，并提出了一种基于机器人运动参数的相机自动定向方法，该方法主要克服了传统定向方法速度慢、柔性差的缺点，同时还能达到匹配率高、准确性高的特点。实现本发明目的技术方案，包括下列步骤：
(1)利用相机相对于机器人末端工具位置保持不变，对机器人进行手眼标定；
(2)利用手眼关系与机器人运动参数，将机器人的位置统一到机器人基坐标中；
(3)根据相机坐标系在机器人基坐标系中的位置，对相机自动定向；
(4)采用极线约束匹配实现标记点的匹配；
(5)基于特征向量进行歧义匹配校正。
步骤(2)中，相机安装在机器人末端并随着机器人运动而移动，相机相对于机器人末端工具的位置保持不变；基本思路是控制机器人运动到不同位置，使相机从不同方位对空间中标定参照物进行成像；则
Pc1＝CPc2(1)
Pc1＝XPt1(2)
Pt1＝DPt2(3)
Pc2＝XPt2(4)
由式(1)与(4)得
Pc1＝CXPt2(5)
由式(2)与(3)得
Pc1＝XDPt2(6)
联立(5)与(6)得
CX＝XD(7)
移动机器人到不同位置，得到多组式(7)约束方程，联立即可求得X。
如图3(b)所示，Ccal为标定板坐标系；Ccam1和Ccam2为相机坐标系；Ctool1与Ctool2为工具坐标系；使用标定板对Ccam1和Ccam2两个位置上的相机定标计算出内外参数，得到三个矩阵；又机器人运动参数可由控制器读出，因此Ctool1和Ctool2是已知参数，可得矩阵D；工具坐标系与相机坐标系的相对位置X保持不变；假设空间中有一点P在坐标系Ccam1，Ccam2，Ctool1和Ctool2中的坐标分别为Pc1，Pc2，Pt1和Pt2。
步骤(5)中，利用点集的自身性质构造相近似矩阵，把点集从二维空间转换到高维空间再匹配；假设具有歧义匹配的两组点分别为Ii(i＝1，2，…，m)和Jj(j＝1，2，…，n)，建立度量矩阵：
Hij＝exp(-rij2/2σ2)
上式中rij是点Ii和点Jj之间的距离，σ的计算如下：
其中M为点的个数，对矩阵H进行SVD分解：
Hm＝VmDmVmT
其中V是m维的单位正交矩阵；得到V矩阵就得到了这个点集的m维空间描述，矩阵V的m个列向量Ei是该m维空间的基，而V的m个行向量则Fi分别是这m个点在这组m维基下的坐标；从第一个点集可得到H1＝V1D1V1T，同样从第二个点集可得到H2＝V2D2V2T，分别记两组点在新基下的描述为Fi，1和Fj，2；若m和n不相同，选取|m-n|前个元素，建立判定矩阵Z：
Zij＝||Fi，1-Fj，2||2
判定准则为：只有当Zij是矩阵Z里第i行和第j列的最小元素时，才认为点Ii和点Jj是正确的匹配对。
本发明与现有技术相比较具有如下优点：
1.该发明无需粘贴编码标记点，避免使用控制场和定向靶标，以机器人代替人工劳动，提升了相机定向的速度，提高了测量的自动化程度；
2.该发明克服了传统定向方法速度慢、柔性差的缺点；
3.该发明能达到匹配率高、准确性高的特点，并适合智能制造中的在线精密测量。
附图说明
图1：本发明的流程图。
图2：移动摄影测量。(a)移动摄影测量示意图，(b)针孔成像模型。共线条件方程是描述像点mu、投影中心点Oc、以及物方点M处于同一直线上的方程式。Oc-XcYcZc为相机坐标系，Ow-XwYwZw为世界坐标系，o0-uv为图像坐标系，o1-xy为图像平面坐标系。
图3：手眼标定。(a)手眼标定示意图，(b)各坐标系相对位置。如(b)所示，A、B、C、D、X为4×4矩阵，用来表示两个坐标系之间的相对方位，可分解为平移向量与旋转矩阵，Ccal为标定板坐标系，Ccam1和Ccam2为相机坐标系，Ctool1与Ctool2为工具坐标系。使用标定板对Ccam1和Ccam2两个位置上的相机定标计算出内外参数，得到三个矩阵。又机器人运动参数可由控制器读出，因此Ctool1和Ctool2是已知参数，可得矩阵D。工具坐标系与相机坐标系的相对位置X保持不变。假设空间中有一点P在坐标系Ccam1，Ccam2，Ctool1和Ctool2中的坐标分别为Pc1，Pc2，Pt1和Pt2。
图4：极几何约束。(a)极几何匹配，(b)歧义匹配。如(a)所示，两个像平面分别为I、I′，m与m′为空间点P对应的像点，C与C′为相机的光心，光心的连线称为基线，基线与像平面的交点e、e′称为极点；基线CC′与两投影光线CP、C′P构成的平面称为极平面，极平面与像平面的交线lm′、lm′称为极线；m与m′为对应点，lm′为m在像平面I′上的极线，显然m′在lm′上。同样，m必然在极线lm′上。
图5：在对应极线上搜索匹配点。
图6：实现点集的正确匹配，证明了相机定向结果的准确性。
图7：随机选取两个相邻的正确匹配点对5、6和7、8，其目的是使点集的结构特征更加明显。另外正确的匹配点对参与校正，能确保校正的准确性。若校正后5、6和7、8依然匹配，则认为校正成功，否则认为校正失败，重新选取匹配点对，直到校正成功为止。
图8：歧义匹配校正结果。
具体实施方式
本发明的流程图如图1所示，首先对机器人进行手眼标定；然后利用手眼关系与机器人运动参数，将相机相对位置统一到机器人基坐标系中；最后实现相机的自动定向。另外，为消除因极平面相同而产生的匹配歧义，还提出一种基于特征向量的歧义匹配校正方法。下面结合附图，对本发明技术方案的具体实施过程加以说明。
1.移动摄影测量原理；
如图2(a)所示，移动相机从不同方位对被测物进行成像，基于共线条件方程建立不同站位同名点的约束关系，最后经过光束法平差恢复标记点的三维信息，实现关键部位的测量。为了提高测量自动化、速度与柔性，将相机固定在机器人上，通过规划机器人运动路径来移动相机。另外标记点通过激光投射器投出，避免接触被测物，可实现100％无接触测量。
如图2(b)所示，共线条件方程是描述像点mu、投影中心点Oc、以及物方点M处于同一直线上的方程式。OC-XCYCZC为相机坐标系，OW-XWYWZW为世界坐标系，o0-uv为图像坐标系，o1-xy为图像平面坐标系。不难证明
考虑到镜头畸变，需对像点进行畸变校正。
式中，(xu，yu)为理想像点坐标，(xd，yd)为像点坐标实际值，(XW，YW，ZW)为物方点在世界坐标系下坐标，(XC，YC，ZC)为物方点在相机坐标系下的坐标。f为焦距，K1、K2、K3、P1、P2为畸变参数，焦距和畸变参数为相机的内方位参数，可提前进行标定。R、T分别为相机的旋转矩阵和平移向量，表示相机在世界坐标系中的方位。由式可知，要恢复标记点的三维坐标，必须从不同方位对多个点进行成像，建立共线条件方程组。因此不同图片上相同标记点的匹配是关键的一步，而相机定向是匹配的前提。
2.手眼标定；
基于机器人运动参数的相机定向建立在手眼标定与机器人运动参数的基础上。如图3(a)所示，相机安装在机器人末端并随着机器人运动而移动，在机器人运动的过程中，相机相对于机器人末端工具的位置保持不变。手眼标定的基本思路是控制机器人运动到不同位置，使相机从不同方位对空间中标定参照物进行成像，推导出工具坐标系与相机坐标系的数学关系。
如图3(b)所示，相机相对于机器人末端工具的位置保持不变；基本思路是控制机器人运动到不同位置，使相机从不同方位对空间中标定参照物进行成像；则
Pc1＝CPc2(1)
Pc1＝XPt1(2)
Pt1＝DPt2(3)
Pc2＝XPt2(4)
由式(1)与(4)得
Pc1＝CXPt2(5)
由式(2)与(3)得
Pc1＝XDPt2(6)
联立(5)与(6)得
CX＝XD(7)
移动机器人到不同位置，得到多组式(7)约束方程，联立即可求得X。
3.相机定向：
得到手眼关系后，结合图3(a)，矩阵X对应图中的逆矩阵，即测量时移动机器人，可从控制器读出工具坐标系在基坐标系中的位置则相机坐标系在机器人基坐标系中的位置为
由此将相机的位置统一到基坐标系当中，实现相机的自动定向，为极线约束匹配做准备。
4.极线约束匹配；
极几何所描述的是图像点与其极线的对应关系，基础矩阵是极几何的代数表示。如图4(a)所示，两个像平面分别为I、I′，m与m′为空间点P对应的像点，C与C′为相机的光心，光心的连线称为基线，基线与像平面的交点e、e′称为极点。基线CC′与两投影光线CP、C′P构成的平面称为极平面，极平面与像平面的交线lm′、lm′称为极线。图中，m与m′为对应点，lm′为m在像平面I′上的极线，显然m′在lm′上。同样，m必然在极线lm′上。用基础矩阵F描述上述约束关系为
只要计算出基础矩阵就可通过计算对应极线搜索匹配点。
如图4(a)，H、H′为相机坐标系在机器人基坐标中的位置，是相机自动定向的结果，则两相机的相对方位Hrel为
Hrel＝H-1H′
Hrel可分解为
则基础矩阵为
F＝KT[trel]xRrelK-1
上式中K为相机的内参数矩阵，在测量的过程中保持不变。基础矩阵的计算为极限约束匹配提供了基础。
5基于特征向量的歧义匹配校正；
如图4(b)，点P和N位于同一极平面上，两点的对应极线相同，因此在极线上搜索匹配点会出现歧义匹配。本文提出一种基于特征向量的歧义匹配校正方法，利用点集的自身性质构造相近似矩阵，把点集从二维空间转换到高维空间再匹配。假设具有歧义匹配的两组点分别为Ii(i＝1，2，…，m)和Jj(j＝1，2，…，n)，建立度量矩阵
Hij＝exp(-rij2/2σ2)
上式中rij是点Ii和点Jj之间的距离，σ的计算如下
其中M为点的个数。对矩阵H进行SVD分解
Hm＝VmDmVmT
其中V是m维的单位正交矩阵。得到V矩阵就得到了这个点集的m维空间描述，矩阵V的m个列向量Ei是该m维空间的基，而V的m个行向量则Fi分别是这m个点在这组m维基下的坐标。从第一个点集可得到H1＝V1D1V1T，同样从第二个点集可得到H2＝V2D2V2T，分别记两组点在新基下的描述为Fi，1和Fj，2。若m和n不相同，选取前|m-n|个元素，建立判定矩阵Z
Zij＝Fi，1-Fj，22
判定准则为：只有当Zij是矩阵Z里第i行和第j列的最小元素时，才认为点Ii和点Ji是正确的匹配对。将校正的结果与极线约束匹配的结果结合起来，完成歧义匹配校正。
6.实验系统；
本文采用的系统配置有：工业机器人(ABBIRB1410)、激光投点器、工业相机(VA-8MC配合AFNikon28mmf/2.8D镜头)、计算机和标定板(Ti-TIMESCG-150-H-15)。
手眼标定结果如下表：
7.相机定向结果；
从控制器上读出工具坐标系在机器人基坐标系中的位置，结合手眼标定结果，将相机位置统一到机器人基坐标系中，下表列出了其中两个相机的定向结果。
8.标记点匹配结果；
结合上表所示的相机定向结果，计算左图标记点在右图上的对应极线，如图5。在对应极线上搜索匹配点，如图6，实现点集的正确匹配，证明了相机定向结果的准确性。此外图5中点1和点2的对应极线均过点3和点4，出现歧义匹配，需进行校正。
如图7，根据图6所示的匹配结果，随机选取两个相邻的正确匹配点对5、6和7、8，其目的是使点集的结构特征更加明显。另外正确的匹配点对参与校正，能确保校正的准确性。若校正后5、6和7、8依然匹配，则认为校正成功，否则认为校正失败，重新选取匹配点对，直到校正成功为止。待匹配点集的坐标如下表。
校正过程如下，首先计算点集(1，2，5，7)与(3，4，6，8)的σ参数，σ1＝657.6971，σ2＝1290.5428。然后计算度量矩阵H1与H2
之后计算判定矩阵Z
寻找判定矩阵中在行、列都是最小的元素，完成点集匹配，校正结果如图8。