手势辨识及追踪的方法 【技术领域】
本发明涉及一种手势辨识及追踪的方法，尤其涉及一种利用一数字信号处理器对该手势进行辨识及追踪的方法。
背景技术
随着计算机科技的进步，人机互动的改进一直是许多研究所专注的课题，从早期的键盘、鼠标及游戏杆，都是为了能让使用者能够更方便地操作计算机。在许多虚拟实境(virtual reality)和多媒体系统(multimedia system)的应用中，对于3D对象操作、3D虚拟产品展示系统、计算机绘图系统及动作类或运动类的电玩游戏…等范围的应用，必须具有3D和高自由度的输入装置。然而，前述的键盘、鼠标及游戏杆等输入装置，并无法方便且合适地提供使用者与系统间自然且直接的互动效果。
由于人机界面(human computer interface)的应用日益普及，包括手势辨识、语音辨识、或是肢体语言辨识等等，都已经被广泛研究并且应用在日常生活之中，其中以利用手势作为输入界面是最自然且最直接的。所以，将手势辨识应用在机器视觉及虚拟实境等方面，已成为新的发展趋势。
在手势辨识与手势追踪作为计算机输入界面的实际应用上，以手套为基础的方法(glove-based method)的使用，可提供精确并迅速的感应及辨识效果。所谓以手套为基础的方法，是指使用者需要戴上数据手套，而数据手套上装设有接触式感应器，可精确地撷取到使用者手指的弯曲度或手部动作，并可将手的活动以电子信号方式传送到计算机。由分析这些电子信号，系统能迅速地辨识出手势的动作状态。惟，此类装设有接触式感应器的数据手套的产品单价相当昂贵，并且数据手套的尺寸规格种类也不多样，造成使用者在穿戴合适度上需有更多取舍，另外穿戴厚重的数据手套也容易使手感到疲劳而限制了使用者的活动，导致造成使用上的不方便。
因此，如何设计出一种能降低开发成本及简化操作程序的手势辨识及追踪的方法，使得缩短使用者与机器间的距离，并且使人机界面朝向更有效率、更合乎人性化及更多样化的方向迈进，乃为本案所欲行克服并加以解决的一大课题。
【发明内容】
有鉴于此，本发明提供一种手势辨识及追踪的方法，利用一影像传感器撷取一手势影像，再由一数字信号处理器对该影像进行处理，用以辨识并追踪该手势影像，而执行该手势影像所对应的动作指令。为此，达到以该数字信号处理器为硬件平台，进行自然手势辨识及追踪的目的。
为了解决上述问题，本发明提供一种手势辨识及追踪的方法。该方法的步骤为：首先，对该手势影像进行前置处理。然后，检测该手势影像的一最大运动区块而定义为一手势区块。接着，分析该手势区块的特征，进而判断该手势区块为一移动确认手势、一命令手势或其它未定义手势。最后，若该手势区块为该移动确认手势，接着变换为一移动手势，且该移动手势在移动过程中未停止超过一动作时间，则检测并追踪该移动手势的一中心坐标，并输出该移动手势的该中心坐标。
本发明的有益功效在于，可以达到以数字信号处理器为硬件平台，进行自然手势辨识及追踪的目的。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
【附图说明】
图1为本发明一手势辨识及追踪的方法流程图；
图2为本发明动态影像差分计算的示意图；
图3为本发明水平及垂直投影量计算的示意图；
图4A至图4C为本发明区块标签化过程的示意图；
图5A至图5B为本发明持续追踪移动手势中心坐标过程的示意图；及
图6为本发明一手势辨识及追踪的装置方块图。
其中，附图标记
10 影像传感器
20 数字信号处理器
30 第一内存
40 第二内存
50 视频输出模块
60 数据输入/输出模块
Ps 样板
S102-S502 步骤
【具体实施方式】
有关本发明的技术内容及详细说明，配合图式说明如下：
请参见图1为本发明一手势辨识及追踪的方法流程图。该方法是利用一影像传感器撷取一手势影像，再由一数字信号处理器对该手势影像进行处理。该方法的步骤如下详述，并且以手势动作取代鼠标动作的应用为例。
首先，该数字信号处理器对该手势影像进行前置处理(S102)。由于未经处理的影像通常会含有一些噪声，使得辨识错误的机率增加，并且，过多而无用的信息也会降低整体执行的效率，故此，撷取得到的影像在分析之前都会经过前置处理。该影像前置处理步骤(S102)依序为：先调该手势影像大小为适合演算范围；然后对该手势影像进行色彩转换，将影像由全彩影像(24bit RGB)降为灰阶影像(8bit gray level)；最后再通过影像低通滤波器(image low pass filter)滤除该手势影像的点状噪声，以利后续实际演算。如此，通过影像前置处理不仅增加辨识的准确度，而且可以节省储存数据的空间以及提升传输速度。
然后检测该手势影像的一最大运动区块而定义为一手势区块(S104)。该影像运动检测步骤(S104)依序为：先利用动态影像差分，再产生二进制影像，并采用逻辑运算该些二进制影像，计算出该手势影像中所有移动部分；然后利用统计该手势影像地垂直及水平亮点数量，并选取垂直轴及水平轴的最大投影量区域的逻辑，而找出该手势影像的最大移动区域；接着利用膨胀(dilation)技术，对该垂直轴及水平轴最大投影量的逻辑区域的细部破碎影像进行填补；最后使用标签编号，以排除非手势运动区域，并且保留且计算出最大连通区域以检测出该最大运动区块。
请参见图2本发明动态影像差分计算的示意图。如图所示，是利用连续三帧手势影像而计算出真正移动物体。其中，目前帧灰阶影像标示为M2，前一帧灰阶影像标示为M1，以及前两帧灰阶影像标示为M0。并且，设定一门阈值(threshold value)，用以做为转换该些灰阶影像成为二进制影像(binary image)的依据。先将目前帧灰阶影像M2减去前一帧灰阶影像M1，得到一新的灰阶影像，然后，再将该新的灰阶影像的像素与该门阈值比较：若该灰阶影像的像素大于或等于该门阈值，则设为亮点；若该灰阶影像的像素小于该门阈值，则设为暗点，而得到一新的二进制影像M3。同样地，将前一帧灰阶影像M1减去前二帧灰阶影像M0，而得到另一新的灰阶影像，并且再于该门阈值比较，而得到另一新的二进制影像M4。最后，再将两二进制影像M3、M4进行逻辑(AND)运算，即可得到最后移动部分的二进制影像M5。
请参见图3为本发明水平及垂直投影量计算的示意图。将所得到的最后移动部分的二进制影像M5进行统计垂直亮点数量及水平亮点数量，以找出最大移动区域。如图所示，有两块较大移动量区块，分别标示为X与Y，经计算后，水平投影量得到A、B两个较大区域；垂直投影量得到C、D两个较大区域。然后，取水平轴最大投影量区域B及垂直轴最大投影量区域C的逻辑区域，即可得到最大移动量区块X。
请参见图4A至图4C为本发明区块标签化过程的示意图。当该垂直轴及水平轴最大投影量的逻辑区域的细部破碎影像填补后，以二进制数值表示二进制影像的亮点与暗点(如图4A标示为0和1)。然后，再针对连通区域予以重新编号并计算面积，最后只保留最大部分(如图4B及图4C标示为2的区域)，而排除非手势运动的区域。
然后分析该手势区块的特征，进而判断该手势区块为一移动确认手势、一命令手势或其它未定义手势(S106)。该手势区块的特征比对是利用各手势所产生的相对极值点发生位置及各极值差值，与数据库内的手势影像数据逐一进行比对，并且将比对结果储存于内存缓冲区中。例如，当操作者张开五根手指时，因为定义相对极大值出现在指尖部分，相对极小值出现在两手指蹼连接处及手掌左右两边。所以，该手势区块的特征则具有五个极大值及六个极小值。故此，当该手势区块与数据库内的手势影像数据比对后，则辨识出该操作者的手势为伸出五根手指的状态。
再请参见图1。然后若该手势区块为该移动确认手势(S108)，则判断是否接续变换为一移动手势(S200)。若非接续变换为该移动手势，则重新执行步骤(S102)。若判断出操作者手势由该移动确认手势变换为该移动手势，则可控制一光标为移动动作。其中，该移动确认手势可定义为由食指及中指形成的一V字形状，当操作者伸出食指及中指形成该V字形状时，该手势区块与数据库内的手势影像数据比对后，则辨识出该操作者的手势是为伸出食指及中指的状态，而为该移动确认手势。当该移动手势为移动状态时，则产生移动该光标的动作。接着判断该移动手势是否持续停止移动超过一动作时间(S300)。若操作者停止手势移动超过该动作时间，则重新执行步骤(S102)。其中，该动作时间可依操作者的使用方式或使用需要予以设定不同的时间长度，例如，该动作时间可设定为1秒钟。若操作者停止手势移动未超过该动作时间，则判断是否检测到该移动手势的一中心坐标(S400)。若未检测到该移动手势的该中心坐标，则重新检测该移动手势的该中心坐标(S404)，然后再执行步骤(S400)，重新判断是否检测到该移动手势的该中心坐标。由于该移动手势定义为五指握拳形成的一拳头形状，因此，当该中心坐标的启始追踪时，利用圆形霍夫转换(circularHough transfer)，以统计方式找出最多圆心相同的点，即可判断为该中心坐标所在。
若检测到该移动手势的该中心坐标，则利用快速积分表(sum ofaccumulator table，SAT)方式(S402)，进行判断是否追踪到该移动手势的该中心坐标(S500)。若未追踪到该移动手势的该中心坐标，则再执行步骤(S404)，重新检测该移动手势的该中心坐标。若追踪到该移动手势的该中心坐标，则输出该移动手势的该中心坐标(S502)，然后重新执行步骤(S102)。
请参见图5A至图5B本发明持续追踪移动手势中心坐标过程的示意图。当检测出该移动手势的该中心坐标，以中心坐标上、下、左、右各取20像素，产生一40像素*40像素大小的样板Ps并计算所有像素灰阶值的加总值，之后再利用快速积分表方式，于中心坐标正负60像素的区域进行逐一搜寻比对加总值差值最小或相等的位置，即为该移动手势新的中心位置，此时产生新坐标储存至该内存缓冲区中，并将搜寻区域移到新的中心坐标。如此通过该方形样板Ps在该搜寻区域由左上至右下逐一比对，以保持持续追踪该中心坐标。至终，若该移动手势停止不再移动并持续超过该动作时间，则结束追踪，并且重新执行步骤(S102)。
此外，在步骤S106中，若该手势区块被检测为该命令手势(S110)，则输出该命令手势所对应的动作指令(S112)，然后，再重新执行步骤(S102)。例如，该命令手势可被定义为食指形成的一1字形状，且该命令手势所对应的动作指令为一单击动作。当操作者伸出食指形成1字形状时，该手势区块与数据库内的手势影像数据比对后，则辨识出该操作者的手势是为伸出食指的状态，因此，在光标所在坐标的处执行单击动作。该命令手势可依操作者的操作习惯，自行定义为其它手势形状，或也可以定义其它有效命令手势，以执行各别对应的动作指令。
此外，在步骤S106中，若该手势区块被检测为该未定义手势(S114)，即该命令手势非为该移动确认手势(食指及中指形成的一V字形状)、该移动手势(五指握拳形成的一拳头形状)或该命令手势(食指形成的一1字形状)的任一手势，而为一无效的未定义手势，则重新执行步骤(S102)。
请参见图6为本发明一手势辨识及追踪的装置方块图。该装置包含一影像传感器10、一数字信号处理器20、一第一内存30、一第二内存40及一视频输出模块50。
该影像传感器10用以撷取一手势影像。该数字信号处理器20电性连接该影像传感器10，用以提供一算法对该手势影像进行处理。该第一内存30电性连接该数字信号处理器20，用以储存该数字信号处理器20的该算法，并提供大量演算数据的储存。其中，该第一内存30可为一闪存(flash memory)。该第二内存40电性连接该数字信号处理器20，用以提供该数字信号处理器20运算时所需的记忆缓冲区。其中，该第二内存40可为一随机存取内存(randomaccess memory)。该视频输出模块50电性连接该数字信号处理器20，用以输出该数字信号处理器20运算后的一影像演算结果。其中，该此影像演算结果可输出至模拟显示装置(图未示)，如电视或监视器；或数字显示装置(图未示)，如液晶显示器。该数字信号处理器20更可电性连接一数据输入/输出模块60，用以不仅通过不同输出界面传送该影像演算结果至其它装置(图未示)，如计算机或电玩主机等独立运作装置，同时也接受外界控制命令，用以调整该数字信号处理器20的运算。
综上所述，本发明具有以下的优点：
1、利用该数字信号处理器为硬件平台，进行自然手势辨识及追踪，不须额外穿戴手套或特殊图标、色彩或发光装置，可大大降低开发成本及简化操作程序。
2、该数字信号处理器的硬件平台可以连接其它外部独立装置，提高可携式的便利及弹性的扩充应用。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。