一种基于指端跟踪的快速人机交互方法.pdf

本发明公开了一种基于指端跟踪的快速人机交互方法。该方法先对图像预处理，采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；然后进行手部图像提取，对所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从所得的校正图像中分割出来；最后进行指尖定位，应用直方图进行指尖的粗略定位，以手指尖的粗略位置为中心，构造一个搜索窗口，通过模板匹配进行指尖的精确定位。本发明有效提高场景图像感知效率，实现较大范围的手指检测和定位；把双眼的图像距离判断作为能够进行指端定位的依据，无需环境的任何先验知识，距离鲁棒性突出。

1、  一种基于指端跟踪的快速人机交互方法，其特征在于包括以下步骤：
(1)图像预处理：采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；
(2)手部图像提取：对步骤(1)所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从步骤(1)所得的校正图像中分割出来，包括如下步骤：
a、进行肤色滤波处理，采用TSL色彩模型将与皮肤颜色接近图像区域选择出来，对肤色滤波后得到的二值图像，其中肤色区域为1，其他区域为0，再进行膨胀运算，减少肤色滤波导致的空洞；
b、采用图像帧间差分的算法进行运动滤波处理，将运动区域从静态背景中分离出来；
c、对步骤a膨胀运算后的二值图像进行色彩分割，得到的图像为包含脸部和手部肤色区域的二值图像，提取手部的完整图像；
d、在步骤a、b、c处理的基础上，进行图像融合，将手部的完整图像与运动滤波得到的图像进行“与”运算，并对结果进行膨胀运算，得到主要包含手部区域的二值图像；对主要包含手部区域的二值图像，如果判断该图像为新使用者手部区域的二值图像，按从上到下、从左到右的优先顺序搜索人脸，并计算其双眼的图像距离，第一个符合双眼图像距离条件的人取得控制权；如果判断该图像为已知使用者手部区域的二值图像，则跟踪其脸部位置，重新计算双眼图像距离，若符合双眼图像距离条件，则根据手部在脸部右下方而预先设定的搜索区域中跟踪手部，具体步骤在图像的对应区域中进行，并在图像中进一步消除非手部的图像，得到仅包含手部的二值图像；若双眼图像距离不符合图像中能清楚地分辨出来的要求，放弃控制权，不再进行指尖定位，转而搜索新的使用者；
(3)指尖定位：对步骤(2)中得到的仅含手部的图像进行指尖定位，首先，应用直方图进行指尖的粗略定位，规定使用者的指尖向上；对(2)中得到的仅包含手部的二值化图像，通过边缘检测进行手部轮廓提取，并把轮廓点进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指尖的粗略位置，以此位置为中心，构造一个搜索窗口；然后，通过模板匹配进行指尖的精确定位。

2、  根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述的对所得图像进行图像几何畸变纠正是指采用三次多项式变形技术和双线性插值法消除从广角摄像头采集到的图像的几何畸变失真。

3、  根据权利要求2所述的基于指端跟踪的快速人机交互方法，其特征在于所述的三次多项式变形技术和双线性插值法，是通过选定一个自定义的基准图像及其畸变图像，联立方程组，并通过最小二乘法求解，确定理想图像与畸变图像的具体变换关系。

4、  根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述的“与”运算是指色彩分割后得到的二值图像与运动滤波得到的二值图像之间的，逐点进行的二进制逻辑与运算。

5、  根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述的膨胀运算是指数学形态学中用已定义的模板子图像对原图像进行的能实现平滑或减少图像空洞运算。

6、  根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述步骤(3)的搜索窗口是指以指尖粗定位位置为中心的，且其边长由统计设定的、大小为粗定位位置与实际精确位置的最大误差的两倍的矩形窗口。

7、  根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述步骤(3)的模板匹配是指用已定义的若干个手指指端模板去匹配得到的指端图像，找到最佳匹配模板与指端图像的最佳匹配位置，该匹配位置即为指尖的精确位置。

8、  根据权利要求1所述的基于指端跟踪的快速人机交互方法，其特征在于所述步骤d符合双眼图像距离条件是指该图像距离大到保证使用者是符合正对摄像头的使用规则，同时也保证了手指在图像中是能够分辨出来的。

一种基于指端跟踪的快速人机交互方法
技术领域
本发明涉及基于指端跟踪的的人机交互方法，属于计算机视觉和视频跟踪领域，适用于虚拟现实系统中的人机交互环节。
背景技术
人机交互技术是虚拟现实系统的关键技术之一，它实现了人与计算机、现实世界与虚拟世界的交互。手势是一种自然而直观的人际交流方式。基于视觉的人手跟踪及手势识别是实现新一代人机交互必不可少的一项关键技术。
在人机交互中，手部的跟踪主要有数据手套和视觉识别等方法。
数据手套，即人可以戴上一个类似于手套的传感器，计算机通过它可以获取手的位置和手指的伸展状况等丰富信息。如1993年.BThmaas等人做的自由手控制目标的系统是凭借数据手套作为输入的媒介，但这需要实验者带上一个专用设备。这不便于使用和推广。随着计算机硬件的发展，计算机视觉已逐渐应用于手部定位与跟踪。基于视觉的手部跟踪方法，首先要考虑的就是环境因素，特别是背景。为了减少背景的影响，往往采取限制背景，如背景全为黑色或白色等。还有就是采用手指标记的方法，但对使用者造成不便，因此手部跟踪的注意力便转移到自然手的跟踪。
基于视觉的手部跟踪的方法已经越来越广泛，特别在手写识别的领域。由于面向个人的智能手机等智能设备的迅速发展，目前大部分的日常应用所采取的手部跟踪都是局限在小范围，即采集的视频中都不包含除了手部之外的其他部分，这限制了使用者及其手部的活动范围，只能在摄像系统附近操作计算机，缺乏灵活性，也不太适合边操作边交流的多人场合。
发明内容
本发明的目的在于，提供一种基于计算机视觉的可大范围活动的使用手指控制的人机交互方法。
本发明的目的通过如下技术方案实现：
一种基于指端跟踪的快速人机交互方法，包括以下步骤：
(1)图像预处理：采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正；
(2)手部图像提取：对步骤(1)所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从步骤(1)所得的校正图像中分割出来，包括如下步骤：
a、进行肤色滤波处理，采用TSL色彩模型将与皮肤颜色接近图像区域选择出来，对肤色滤波后得到的二值图像，其中肤色区域为1，其他区域为0，再进行膨胀运算，减少肤色滤波导致的空洞；
b、采用图像帧间差分的算法进行运动滤波处理，将运动区域从静态背景中分离出来；
c、对步骤a膨胀运算后的二值图像进行色彩分割，得到的图像为包含脸部和手部肤色区域的二值图像，提取手部的完整图像；
d、在步骤a、b、c处理的基础上，进行图像融合，将手部的完整图像与运动滤波得到的图像进行“与”运算，并对结果进行膨胀运算，得到主要包含手部区域的二值图像；对主要包含手部区域的二值图像，如果判断该图像为新使用者手部区域的二值图像，按从上到下、从左到右的优先顺序搜索人脸，并计算其双眼的图像距离，第一个符合双眼图像距离条件的人取得控制权；如果判断该图像为已知使用者手部区域的二值图像，则跟踪其脸部位置，重新计算双眼图像距离，若符合双眼图像距离条件，则根据手部在脸部右下方而预先设定的搜索区域中跟踪手部，具体步骤在图像的对应区域中进行，并在图像中进一步消除非手部的图像，得到仅包含手部的二值图像；若双眼图像距离不符合图像中能清楚地分辨出来的要求，放弃控制权，不再进行指尖定位，转而搜索新的使用者；
(3)指尖定位：对步骤(2)中得到的仅含手部的图像进行指尖定位，首先，应用直方图进行指尖的粗略定位，规定使用者的指尖向上；对(2)中得到的仅包含手部的二值化图像，通过边缘检测进行手部轮廓提取，并把轮廓点进行横纵坐标投影，从上至下、从左至右，搜索到投影值明显变化的地方，作为手指尖的粗略位置，以此位置为中心，构造一个搜索窗口；然后，通过模板匹配进行指尖的精确定位。
所述的对所得图像进行图像几何畸变纠正是指采用三次多项式变形技术和双线性插值法消除从广角摄像头采集到的图像的几何畸变失真。
所述的三次多项式变形技术和双线性插值法，是通过选定一个自定义的基准图像及其畸变图像，联立方程组，并通过最小二乘法求解，确定理想图像与畸变图像的具体变换关系。
4所述的“与”运算是指色彩分割后得到的二值图像与运动滤波得到的二值图像之间的，逐点进行的二进制逻辑与运算。
所述的膨胀运算是指数学形态学中用已定义的模板子图像对原图像进行的能实现平滑或减少图像空洞运算。
所述步骤(3)的搜索窗口是指以指尖粗定位位置为中心的，且其边长由统计设定的、大小为粗定位位置与实际精确位置的最大误差的两倍的矩形窗口。
所述步骤(3)的模板匹配是指用已定义的若干个手指指端模板去匹配得到的指端图像，找到最佳匹配模板与指端图像的最佳匹配位置，该匹配位置即为指尖的精确位置。
所述步骤d符合双眼图像距离条件是指该图像距离大到保证使用者是符合正对摄像头的使用规则，同时也保证了手指在图像中是能够分辨出来的。
与现有技术相比，本发明具有以下优点：
(1)本发明采用广角镜头(60至120°)及高分辨率的摄像头摄像，允许使用者在比较大的区域内(摄像头视角范围内)活动，并使用图像变形修正算法，有效提高场景图像感知效率，实现较大范围的手指检测和定位；
(2)按区域划分的优先级对多使用者情况进行管理，同时缩小了计算量，极大提高速度和效率；
(3)对自然手进行实时的跟踪定位，无需任何指端标记，具有更高实用性；
(4)使用肤色滤波与运动检测相结合的方式对手部进行定位跟踪，不仅提高了手部定位的准确性，而且增加了对环境(特别是背景)的适应性，能够适应一般的室内应用，并能够在比较复杂的背景情况下使用；
(4)把双眼的图像距离判断作为能够进行指端定位的依据(图像距离过大表明手指在图像的分辨率太低而导致无法精确定位)，无需环境的任何先验知识，故距离鲁棒性突出，优于现有技术。
附图说明
图1为基于指端跟踪的快速人机交互系统结构示意图，示出了本发明的第一实施例的基于指端跟踪的快速人机交互系统的系统结构。
图2为基于指端跟踪的快速人机交互方法流程框图，示出了基于指端跟踪的快速人机交互系统的具体实现方法的步骤。
具体实施方式
下面结合实施例对本发明作进一步的描述，但需要说明的是，实施例并不构成对本发明要求保护范围的限制。
如图1所示，基于指端跟踪的快速人机交互系统包括广角高清摄像头101、DSP(数字信号处理器)设备102和计算机106。DSP设备102包括图像采集部103、信号转换部104和图像预处理部105；广角高清摄像头101与DSP设备102的图像采集部103信号连接，图像采集部103与信号转换部104和图像预处理部105依次信号连接；图像预处理部105与计算机106信号连接。采用广角高清摄像头101进行检测，由DSP设备102的图像采集部103进行图像采集，通过信号转换部104将视频模拟输入信号转换为图像数字信号，并通过图像预处理部105进行图像预处理，然后由计算机106完成手部提取和指尖的识别定位。
广角摄像头101负责采集大范围的高清晰度图像；DSP设备102设备负责将模拟图像信号转换成数字图像信号，并进行图像几何畸变纠正的图像与处理。计算机106负责完成通过肤色滤波、运动滤波和色彩分割来提取使用者的手部，然后进一步识别指尖的位置，最后把指尖的图像坐标转换成实际的坐标，实现控制输出。
广角高清摄像头101可选美国微软公司的LifeCam NX-6000广角高清摄像头；DSP设备102具体可选用TI公司的TMS320系列处理器。
如图2所示，基于指端跟踪的快速人机交互方法具体包括如下步骤：
(1)图像预处理：采用一个60至120度的广角高清摄像头对一室内区域进行高分辨率摄像，对所得图像进行图像几何畸变纠正。从广角摄像头采集到的图像存在比较严重的几何畸变，因此在后续图像处理之前，必须进行图像几何畸变纠正。为运算量简化下，获得尽可能好的修正效果，可采用三次多项式变形技术和双线性插值法消除从广角摄像头采集到的图像的几何畸变失真。三次多项式变形技术和双线性插值法具体如下：
设理想图像g的像素坐标为(u，v)，畸变图像f对应像素坐标为(x，y)，则三次多项式坐标变换关系为：
x=Fx(u,v)=Σi=03Σj=03-iaijuivjy=Fy(u,v)=Σi=03Σj=03-ibijuivj]]>式①
其中a_ij和b_ij(i，j＝0，1，2，3)为待定的多项式系数；
式①中的多项式系数a_ij和b_ij(i，j＝0，1，2，3)是仅与摄像头相关的参数，可通过选定一个自定义的基准图像及其畸变图像，联立方程组，并通过最小二乘法求解，得到a_ij和b_ij的值，从而确定理想图像与畸变图像的具体变换关系。由于式①计算得到的x，y不一定为整数，所以不能直接使用g(u，v)＝f(x，y)，而必须进行灰度差值运算。因此，采用双线性插值法，即式②：
g(u，v)＝(1-α)(1-β)f(x₀，y₀)+α(1-β)f(x₀+1，y₀)+(1-α)βf(x₀，y₀+1)+αβf(x₀+1，y₀+1)其中α＝x-x₀，β＝y-y₀；f，g分别为对应的畸变图像和理想图像；；x，y可由将u，v代入式①得到，且x₀，y₀分别为不大于x，y的最大整数；对所有的像素点(u，v)进行式②的运算，最终得到理想图g；即实现图像及和畸变纠正。
(2)手部图像提取：对步骤(1)所得的校正图像应用肤色滤波器、运动滤波器和色彩分割器进行处理，然后把结果融合，把手部图像从步骤(1)所得的校正图像中分割出来，具体步骤如下：
a、进行肤色滤波处理，采用TSL色彩模型将与皮肤颜色接近图像区域选择出来。TSL色彩模型进行肤色滤波，比RGB、HIS、YIQ与CIELUV模型过滤出来的肤色区域准确。其中，TSL色彩模型与RGB模型的转换见式③；TSL色彩空间把亮度及色度分开处理，RGB模型为原始图像的色彩模型，转换为TSL模型有助于肤色丛集化。
T=12πtan-1(r′g′)+0.5S=95(r′2+g′2)L=0.299*R+0.587*G+0.114*B]]>式③
其中r′=(r-13),]]>g′=(g-13)]]>
r=RR+G+B,]]>g=GR+G+B]]>
R、G、B分别为RGB色彩模型下的RGB分量；T、S、L分别为TSL色彩模型下的T、S、L分量。由于彩色图像一般采用RGB模型，所以在使用TSL模型时，必须用式③进行转换。
通过对500张包含肤色区域的图像的脸部和手部区域进行采样，估计TSL模型下肤色(T和S)的(二维高斯分布)概率分布参数(均值矩阵E和协方差矩阵∑)；并且采用马氏距离进行肤色的判别，即对每个像素进行检测，若一个像素的T和S分量组成的C＝(T，S)向量与均值向量E的马氏距离低于某个阈值Threshold，则认为该像素属于肤色区域。具体如下：
马氏距离d＝(C-E)^T∑^-1(C-E)
若d＜Threshold，像素属于肤色区域
若d＞Threshold，像素不属于肤色区域
其中Threshold为阈值，在得到肤色区域统计数据(均值矩阵E和协方差矩阵∑)后，估计正常肤色(T，S)与均值E的距离，得到初始值，再经过实验调整，可确定阈值为0.99。
对肤色滤波后得到的二值图像(肤色区域为1，其他区域为0)进行膨胀运算(模板子图像使用3×3模板子图像，且模板中每个像素均为1)，减少肤色滤波导致的空洞。
b、在进行上述a处理的同时，并行地进行运动滤波处理，将运动区域从静态背景中分离出来：具体采取图像帧间差分的算法来检测出运动区域，为了防止把由于摄像系统等原因导致的偶发性变化判为运动，进一步加强条件，即在连续5帧图像里至少有3帧都变化的像素才视为运动像素。根据各像素运动状态将原始图像二值化，得到的二值图像记为B，对B的每个像素B(i，j)：

对差分后得到的二值图像B进行腐蚀运算(使用3×3模板子图像，且模板中每个像素均为1)，更清晰的把运动区域和背景区分开来。
c、在步骤a处理的基础上，进行色彩分割，提取手部的完整图像：
由于亮度的影响，肤色滤波器有可能把属于肤色的像素或区域错判为非肤色。为了尽量排除误判的影响，加入色彩分割器，定义色彩的相似度量，把原始图像分成几块区域，这样，整个手部形成了一个连通域。使用RGB色彩空间下的色彩相似度量，具体如下(对相邻像素a和b)：
ρ(a，b)＝0.3*|R_a-R_b|+0.59*|G_a-G_b|+0.11*|B_a-B_b|
其中，R_a，G_a和B_a分别为a的RGB分量；R_b，G_b和B_b分别为b的RGB分量
若ρ(a，b)＜threshold则a和b属于同一个色彩区域，否则属于不同的色彩区域；thresholds是估计不同区域像素点的RGB向量距离，得到初始值，再经过实验调整确定；本发明确定thresholds为12。
考虑误判被排除的肤色点与肤色滤波得到的肤色区域，在共同组成完整的肤色区域中应是连通的，因此采用区域生长的色彩分割方法，即以肤色滤波得到的肤色区域中所有点为种子点，进行区域生长，最后得到包含完整肤色区域的二值图像C。
d、在上述步骤a、b、c处理的基础上，进行图像融合。首先，色彩分割后得到的图像C为包含脸部和手部等肤色区域的二值图像：考虑到手部的运动，将图像C与运动滤波最终得到的图像进行“与”运算，并对结果进行膨胀运算(模板子图像使用3×3模板子图像，且模板中每个像素均为1)，就得到主要包含手部区域的二值图像D(与图像C相比，仅滤除了非运动区域，其中可能包含脸部)。
最后，在二值图像C中，如果判断该图像为新使用者手部区域的二值图像，就按从上到下、从左到右的优先顺序搜索人脸，并计算其双眼的图像距离，第一个符合双眼图像距离条件的人取得控制权，取得控制权的用户即为被跟踪的用户，系统继续进行步骤(3)指尖定位步骤；符合双眼图像距离条件是指该图像距离应该足够大，使得保证使用者是符合正对摄像头的使用规则，同时也保证手指在图像中有足够分辨率，以便于指尖的定位，如可设双眼图像距离为大于10个像素距离。相应地，不符合双眼图像距离要求是指图像距离过小，小于预设值，则意味着脸部没有正对着摄像头，不符合使用规则或者人离开摄像头太远，导致无法进行跟踪；如果判断该图像为已知使用者手部区域的二值图像，则跟踪其脸部位置，重新计算双眼图像距离，若符合双眼图像距离条件，则根据手部在脸部右下方而预先设定的搜索区域中跟踪手部，在图像D的对应区域中进行，并在图像D中进一步消除非手部的图像，最终得到的二值图像记为H；若双眼图像距离不符合双眼图像距离条件，放弃控制权，不再进行指尖定位，转而在图像C中继续搜索新的使用者(人脸)，若整个图像C中均找不到符合双眼图像距离图像的人脸，则返回步骤(1)，重新开始。
(3)指尖定位：对步骤(2)中得到的仅含手部的图像H进行指尖定位。
首先，应用直方图进行指尖的粗略定位：对二值图像H进行轮廓提取(提取轮廓图像设为H1)，并进行网格大小为2×2像素的网格采样(网格中存在轮廓点，在采样后的图像中对应的点仍为轮廓点)，以保证轮廓的连续性，网格采样后的图像设为H2。由于指尖的粗略位置一般是轮廓在四个方向的顶点之一，手指可以近似看成由矩形和一个半圆组成，因此在H2中找出4个候选点(4个方向的顶点)后，对每个候选点，分别从逆时针和顺时针选择第2、3、4共3个轮廓点，构成3个像素对，由于手指的宽度近似是不变的，所以计算每个候选点的邻近的3对像素点的距离的方差，方差最小的候选点就是最佳的候选点，根据该候选点在H2中的位置，在图像H1(或H)中找到对应的候选点，作为手指尖的粗略位置。
在轮廓图像H1中，以手指尖的粗略位置为中心，构造一个的搜索窗口，该搜索窗口中的轮廓点都有可能是指尖的精确位置，对指尖的精确定位便在该窗口进行。搜索窗口以能包括指尖的所有可能的精确位置为准，一般可以设置为9×9像素。然后，对搜索窗口的所有轮廓点，进行模板匹配，找出指尖的精确位置：模板匹配是目前手指检测中常用的方法，模板匹配是指用预定义好的若干个手指指端模板去匹配得到的指端图像，找到最佳匹配模板与指尖图像的最佳匹配位置，以使得绝对距离测度最小，该匹配位置即为指尖的精确位置。常用的距离测度有欧式距离、相关距离等。本发明采用绝对值距离测度。模板匹配方法可用下式来描述：
(im,jm)=argi,j,kmin{Σm=0MΣn=0N||p(i+m,j+n)-tk(m,n)||}]]>
式中p是搜索窗口中的待匹配子图像，t_k代表第k个模板，模板大小为M×N。(i，j)表示搜索窗口中的任意轮廓点，(i_m，j_m)表示最终检测到的手指尖精确位置的坐标，m，n在上式中表示用来求和迭代过程中的临时变量，p(i+m，j+n)表示的是图像在坐标(i+m，j+n)上的值；考虑到手指指向一般不会向下，选用5个大小为25×25像素的包括0°、45°、90°、135°和180°的手指指向的指端模板。最后把图像中的指尖位置映射到显示器屏幕坐标等控制坐标，作为最终的坐标输出。
本方法在人数不多的室内环境下基本能够跟踪使用者的手指指尖。本方法采用的算法比较简单，容易实现，而且运算复杂度不高。通过人眼距离检测的输出量的距离标度，该方法对于一个距离区间内的使用者均可具有相近的操作体现和输出控制精确度，比现有技术对操作距离有要求的方法具有更高实用性。