具有3D指向和手势识别功能的远程控制器.pdf

本发明涉及远程控制器，例如3D空中鼠标。这些设备包括运动传感器，所述运动传感器用于测量在空间中它们的位置/朝向以便替代地控制显示器上的光标，识别用户的手势从而使得数据/命令可以被输入到被控制的电子系统中。存在这样的需要：简化从一种模式到另一模式的切换，从而使得用户不需要记住复杂的特定命令组，而不损害进行切换的决定的可靠性以及在模式之间的转换的平滑度。本发明通过控制按压单个触发按钮的时间序列和在该序列期间的关于阈值的运动量两者而提供了对该问题的解决方案。另外，提供了各种实施例以避免在现有技术中常见的伪影，例如光标在显示器上的随机移动。

1.  一种用户到机器接口，包括：
远程控制器，其具有至少一个触发按钮；
在所述远程控制器和具有显示器的基站之间的通信链路；
运动感知功能，其用于生成至少部分地表示所述远程控制器的运动的运动信号；
处理功能，其被配置用于：
在所述接口的操作的第一模式和第二模式中的至少一个中处理所述运动信号；并且
在所述第一模式和所述第二模式之间切换所述接口的操作，基于所述远程控制器的运动，所述第一模式和所述第二模式中的至少一个使能所述接口的操作，
其中，所述切换决定基于对以下的组合的评估：i)对所述触发按钮的至少一开/关状态的序列的模式的分析，所述开/关状态的序列源自所述用户按压/松开所述触发按钮，以及ii)表示由所述用户给予所述远程控制器的运动量的函数Q_motion，所述运动量从在所述开/关状态的序列期间的至少一个时刻处的运动信号得到。

2.  根据权利要求1所述的接口，其中，所述对至少开/关状态的序列的分析基于对开状态的持续时间δ_ON的计算并且函数Q_motion是在所述开状态期间的至少一个时刻处计算的。

3.  根据权利要求2所述的接口，其中，所述切换决定基于由两个坐标值δ_ON(P)和Q_motion(P)定义的点P关于由δ_ON轴和Q_motion轴定义的2D平面中的一组区的位置的评估，在所述2D平面中绘制所述点P，根据所述第一模式和所述第二模式来定义所述一组区。

4.  根据权利要求3所述的接口，其中，在所述一组区中的每一个区定义一类用户的动作。

5.  根据权利要求4所述的接口，其中，所述切换决定取决于对δ_ON和Q_motion的评估结果以及对由所述点P所属的区所定义的切换决定的评估结果的组合。

6.  根据权利要求3所述的接口，其中，所述一组区仅包括一个连续区R。

7.  根据权利要求6所述的接口，其中，所述第一模式属于一组模式，包括i)被定义为被动模式的模式A，在所述模式A中，所述接口不基于所述远程控制器的运动而操作以及ii)控制在所述显示器上的光标的模式B，并且对δ_ON和Q_motion的评估结果是所述点P属于所述区R，所述接口的操作将切换到的所述第二模式是所述模式A和所述模式B中所述接口在所述切换之前没有在其中操作的另一个模式。

8.  根据权利要求6所述的接口，其中，所述第一模式属于一组模式，包括i)被定义为被动模式的模式A，在所述模式A中，所述接口不基于所述远程控制器的运动而操作以及ii)控制在所述显示器上的光标的模式B，并且对δ_ON和Q_motion的评估结果是与所述第一模式相对应的点P不属于所述区R，所述接口的操作将切换到的所述第二模式是用于用户的手势识别的模式C。

9.  根据权利要求8所述的接口，其中，在所述开状态结束时，所述接口的操作将切换到所述接口在所述开状态开始之前在其中操作的所述第一模式。

10.  根据权利要求9所述的接口，其中，所述第一模式是模式B。

11.  根据权利要求10所述的接口，其中，当从所述第一模式切换到所述第二模式时，所述光标的位置在所述显示器上被冻结在所述开状态开始时的光标坐标处。

12.  根据权利要求11所述的接口，其中，在所述开状态结束之后延迟了预设值T的时刻处解冻所述光标。

13.  根据权利要求11所述的接口，其中，在执行所述第二模式期间，计算与所述远程控制器的运动相对应的虚拟光标在所述显示器上的位置，并且在所述开状态结束之后当所述虚拟光标到被冻结的光标的距离小于预设值时，解冻所述光标。

14.  根据权利要求1所述的接口，其中，所述运动感知功能包括多轴加速计、多轴陀螺仪、多轴磁力计、无线电定位功能和图像感知功能中的至少一个。

15.  一种用于操作用户到机器接口的方法，所述方法包括：
从运动感知功能获取信号，所述信号至少部分地表示由所述用户持有的远程控制器的运动；
在第一模式和第二模式中的一个模式中处理来自所述运动感知功能的所述信号，基于所述远程控制器的运动，所述第一模式和所述第二模式中的至少一个模式使能所述接口的操作；
由所述用户按压所述远程控制器上的触发按钮，以使所述处理功能在所述第一模式和所述第二模式之间切换，
所述方法还包括基于对以下的组合的评估来确定在所述第一模式和所述第二模式之间的切换决定：i)对所述触发按钮的至少一开/关状态的序列的模式的分析，所述开/关状态的序列源自所述用户按压/松开所述触发按钮，以及ii)表示由所述用户给予所述远程控制器的运动量的函数Q_motion，所述运动量从在所述开/关状态的序列期间的至少一个时刻处的运动信号得到。

16.  一种用于操作用户到机器接口的计算机程序，所述计算机程序包括：
被配置用于从运动感知功能获取信号的至少一模块，所述信号至少部 分地表示由所述用户持有的远程控制器的运动；
被配置用于在所述接口的操作的至少第一模式和第二模式中处理来自所述运动感知功能的所述信号的至少一模块；
被配置为使得由所述用户按压所述触发按钮以使得在所述第一模式和所述第二模式中的一个模式中处理来自所述运动感知功能的所述信号的模块，
所述程序还包括被配置用于基于对以下的组合的评估来确定在所述第一模式和所述第二模式之间的切换决定的模块：i)对所述触发按钮的至少一开/关状态的序列的模式的分析，所述开/关状态的序列源自所述用户按压/松开所述触发按钮，以及ii)表示由所述用户给予所述远程控制器的运动量的函数Q_motion，所述运动量从在所述开/关状态的序列期间的至少一个时刻处的运动信号得到。

具有3D 指向和手势识别功能的远程控制器
技术领域
本发明涉及对具有显示器的基站的基于运动的远程控制。更具体地，其允许使用位于所述远程控制器上的单个触发按钮而在多个不同控制模式之间进行切换。
背景技术
允许控制显示器上的虚拟区的3D指向设备(其通常还被称为“在空中”持有)在本领域内是已知的。这样的指向设备一般包括能够测量设备在空间中的运动并且将用户给予指向设备的该运动转换为显示器上的光标的位移的多个传感器(例如，光学传感器、加速计、陀螺仪、或磁力计)。这种类型的指向设备已由例如被转让给与本申请相同的受让人的美国专利申请序列No.12/147811所公开。本专利申请中公开的指向设备包括加速计和陀螺仪，但是在本领域中已知其它传感器执行相同的功能。
这些设备中的一些还允许用户通过使用远程控制器在空中做出手势(例如，数字、字母或更复杂的输入)而输入命令。具有这类手势识别的设备已在例如被分配给共同受让人(其中的一个为本申请的受让人)的美国专利申请序列No.13/499175中公开。在本专利申请中公开的设备使用动态时间规整算法来识别用户的手势，但是其它算法在本领域中也是已知的，例如隐马尔可夫模型。
指向设备可以包括多个按钮或触发器以控制基站的功能或在指向模式和手势识别模式模式之间切换。这是例如由美国专利5,598,187所公开的事例中的一个。然而，在该公开中，用户需要使用多个不同按钮，但是他们具有使用简单命令来例如在指向模式和手势识别模式之间进行切换的需要。现有技术的设备没有解决这个在不使用多个按钮的情况下，在远程控制设备的不同模式之间进行直观和简单的切换的问题。
本发明通过定义在多个模式之间的切换决定的标准而提供对该问题的 解决方案，其中该标准是容易实现的，这是因为它们是基于对按钮按压的时间分析和运动量分析的组合的。
发明内容
为此，本发明提供用户机器接口，包括具有至少一个触发按钮的远程控制器；所述远程控制器与具有显示器的基站之间的通信链路；运动感知功能，其用于生成至少部分地表示所述远程控制器的运动的运动信号；处理功能，其被配置为用于在所述接口的操作的第一模式和第二模式的至少一个模式中处理所述运动信号，并且用于将所述接口的所述操作在所述第一模式和所述第二模式之间切换，所述第一模式和所述第二模式中的至少一个模式基于所述远程控制器的运动而使能所述接口的操作，其中，所述切换决定基于对以下的组合的评估：i)对源自所述用户按压/松开所述触发按钮的所述触发按钮的至少一个开/关状态的序列的模式的分析，以及ii)在开/关状态的所述序列期间的至少一个时刻从所述运动信号获得的、表示由所述用户所给予所述远程控制器的运动量的函数Q_motion。
本发明还提供方法和计算机程序来操作所述接口。
当前发明并不仅涉及用户如何能够在远程控制器的不同模式之间切换，而且还提出用于优化模式之间的转换的解决方案。在手势识别模式期间，光标在屏幕上冻结(frozen)，这是因为在手势识别期间，用户的动作不应给予光标运动，并且为了不将用户的手势限制于2D手势。在手势的最后，在返回到指向模式之前引入暂停以便防止远程控制器的指向方向与屏幕上的光标之间的未对齐(misalignment)。在多数情况下，用户希望远程控制器表现得大致如同激光指向器，从而在本优选的使用中，远程控制器所指向的方向与光标的位置对齐。这里所使用的“未对齐”这个用词定义了这样的情况：指向方向和光标位置是不自然的或不是用户所期望的。
另外，在手势模式内，本发明的远程控制器能够区别不同的手势识别模式，例如区别使用二进制标识的单轴旋转检测模式和分类算法。因此，使得交互对用户来说更为简单。
在被转让给与本申请相同的受让人的法国专利申请序列No.12/50140中详细说明了该单轴旋转模式。该模式的基本原理在于当用户将远程控制 器沿单个轴旋转或移位(translate)时，系统进行识别。接着，这些单轴手势可以用于以连续的方式而控制系统的参数。例如，用户可以通过改变远程控制器的俯仰(pitch)而改变电视机的音量。一旦系统识别出用户在进行俯仰旋转(沿单轴)，则系统将操作对基站的音量控制，所述控制可以通过在显示器上的专用图形而向用户给出反馈，其可以例如为表示音量等级的在屏幕上的垂直图形条。当用户改变远程控制器的俯仰时，立刻使音量相适应并且继续在屏幕上的可能的可视反馈。当用户终结他的单轴手势时，根据最后的值而设置音量。
我们会将该单轴模式进一步称为模拟控制模式，这是因为该模式主要用于对系统参数的模拟控制，比如音频音量或显示亮度。
存在许多可能性来映射可用的单轴手势(旋转或移位)从而以连续的方式控制参数。系统可以区别这些单轴手势和更复杂的手势(例如，在空中画出符号)这个事实为系统添加了人体工程学和直观的特征，这是因为用户不需要通过不同的菜单来控制所映射的系统参数。
即使远程控制器被配备有运动传感器，但是用户还可以使用远程控制器上的传统按钮来与系统进行交互。例如，远程控制器仍可被配备有数字键，从而用户可以直接输入所期望的频道的号。在该模式中，动作传感器并不用于例如控制屏幕上的光标或用于识别手势。因此，我们将称这种模式为被动模式。当处于该被动模式中时，运动传感器中的一些或全部可以被设置为睡眠模式以节省电力。本发明的接口使得能够在被被动模式和诸如光标控制或手势识别的任何其它模式之间的容易的切换。
在本发明的描述中，术语指向器、指向设备、远程控制器、远程控制设备将被不加区别地使用。然而，应当理解，这并不意味着本发明限于用于电视机的经典类型的远程控制器。本发明还应用于具有运动感知功能并具有至少一个触发按钮、真实或虚拟的任何其它种类的输入设备，例如移动设备(例如，智能电话)。
附图说明
根据对各个实施例的描述和以下附图，本发明将被更好地理解，并且其各个特征和优点将更明显：
-图1表示现有技术的指向设备；
-图2表示现有技术的具有手势识别功能的设备；
-图3a显示用于实现在光标控制模式和手势识别模式之间进行切换的过程的流程图；
-图3b显示可用本发明的接口所识别的手势的多个示例；
-图4a和4b示出了在本发明的实施例中所解决的指向对齐问题；
-图5显示了图3a的变型；
-图6a、6b、6c、6d和6e显示根据本发明的各个实施例的绘出了在设备的操作期间按钮按压的持续时间和运动量的图形。
具体实施方式
图1表示现有技术的指向设备。
对被转让给与本申请相同的受让人的美国专利申请序列No.12/147811进行参照，其中通过引用的方式将该专利申请并如本文。
指向设备110或指向器(pointer)有利地具有电视遥控器的形态和形状，也就是说其具有人体工程学形态，能够在用户的手中持有。该指向器与移动元素相关联，该移动元素可以是例如能够在平面(例如，由基站控制的屏幕120或写字板(writing surface))中移动的光标130。基站可以是固定计算机、移动计算机、平板计算机、游戏机、机顶盒等。该移动元素的移动是由指向器的移动控制的。指向器有利地在其若干表面上被提供有按钮1110、1120、1130，以控制可由远程控制器进行访问的基站的功能。指向器包括电源和到基站的、到要被控制的物体(未示出)的传输信道。可以用蓝牙波形和协议或用Wi-Fi波形和协议(802.11g标准)来实现射频传输。可通过红外或通过射频而进行传输。所传输的信号为命令，该命令一方面与指向器的主题上出现的按钮1110、1120、1130中的一个的压下相对应，其中该按压触发了函数的执行，并且该命令另一方面与感知到指向器的移动相对应以便控制基站的控制屏上的光标的移动或要被控制的物体的移动。这些控制信号可由嵌入到指向器自身中的、或嵌入到基站中的、或分布于指向器和基站之间的计算模块(未示出)生成。计算模块可以有利地包括用于补偿由用户所给予指向器的扭转的子模块。指向器包括至少一个 计算模块，该计算模块处理按钮的一些处理以及运动传感器的一些处理。该计算模块包括微处理器(例如，用于在计算时间方面要求最高的应用的DSP Texas Instruments TMS320VC5509)、或具有ARM内核的32位微处理器(例如，STR9系列中的一个，尤其是来自STM的STR9F12FAW32)。计算模块还优选地包括用于存储要被执行的代码和其所需要的参数数据所必须的闪速存储器以及动态工作存储器。计算模块接收来自两种类型的传感器的输出以作为输入。一方面，角速度传感器(未示出)具有测量指向器关于两个或三个轴的旋转的功能。这些传感器优选为陀螺仪。其可以为两轴陀螺仪或三轴陀螺仪。例如可以使用由Analog Devices所提供的参照ADXRS300的陀螺仪。但是能够测量角速率或速度的任何传感器是可用的。特别是可以设想其图像处理比较连续的图像以便从中推断出位移(其为移位的组合和旋转的组合)的摄像头。然而接着，需要具有实质上比陀螺仪所需的更强的计算能力。还可以使用磁力计，对其关于地磁场的位移的测量使得能够测量关于该场的参照系的旋转，例如可以使用参照来自Honeywell公司的HMC1001或HMC1052、或来自NXP公司的KMZ41的磁力计。无论使用哪种传感器，它们的测量在指向器的参照系中读出。如果该参照系与位置移位内的参照系、用户的参照系和指向器的参照系并非完全相同的，则测量受到偏移，其将引起移动元素的不一致位移。这是为什么可以在计算模块内提供具有以下功能的补偿子模块：根据持有指向器的用户的肢体的位移而计算平面中移动元素的位移。针对由用户所给予指向器的扭转的影响而进行校正。补偿子模块将来自测量指向器的线性加速度a_X、a_y、a_Z的第二传感器的输出恢复为输入。优选地，该传感器为三轴加速计(未示出)。有利地，这两个传感器都是通过MEMS(微电子机械系统)技术生产的，可选地在同一电路(例如，参照来自Analog Devices的加速计ADXL103、来自ST MicroElectronics的加速计LIS302DL、参考来自Melixis的陀螺仪MLX90609、来自Analog Devices的陀螺仪ADXRS300)内生产。然而，将注意到补充有图像处理设备的摄像头也可以替代两个传感器，可从连续图像的相关中和/或从逐帧图像处理中推断出指向器的位移的角速率/速度和线性加速度。
图1示出了不同参照系，其用于根据手持设备来定义光标控制。这些 参照系还可以用于参照系的变换，这有助于描述对于指向的滚动(roll)补偿变量，即，由于陀螺仪的输出是根据不同于屏幕的参照系的指向器的参照系而给定的这个事实而缺少滚动效果的指向。
一般将屏幕参照系定义为与屏幕相关联的正交参照系(xyz)，z轴指向下方。在该参照系中沿y轴和z轴而定义移动元素的位移。第二参照系与设备的参照系(XYZ)相对应，X在指向的主方向上，Y朝右而Z从设备向下。这个参照系是通过将该参照系(XYZ)重新参照水平面而定义。因此，从用户的参照系到设备的参照系的切换是通过两个连续旋转(俯仰θ、滚动ψ)而进行的。另外，用户并不一定面对屏幕，从该参照系到屏幕参照系(xyz)的切换是通过旋转(航向(yaw))而进行的。
无论选择任何技术，本发明都可以用于根据给予指向设备的用户的运动的光标控制。例如，MEMS类传感器(例如，陀螺仪或加速计)可以安装在远程控制器中。另一示例为使用摄像头并结合标识或LED的系统(例如，Nintendo Wii系统、或Philips Uwand)。在这些系统中，标识被安装在系统或屏幕上，并且小摄像头被安装在远程控制器中，或反之，并且通过示例性实施例的方式，来自摄像头的图像被处理，以根据实际图像与参照图像的空间比较来计算远程控制器的位置和朝向。
图2表示现有技术的具有手势识别功能的设备。
对被转让给共同受让人人(其中的一个为本申请的受让人)的美国专利申请序列No.13/499175进行参照，其中通过引用的方式将该专利申请并如本文。该技术领域对于针对人机交互应用或基于手势识别的那些应用(例如，多媒体系统、互动游戏机、在家庭中的所有类型的电气和/或电子装置的通用远程控制器、使用移动电话作为远程控制器、控制乐器等)的公众来说是尤其有意义的。其还可以与专业或半专业应用有关，例如书写识别或仿真以用于训练、运动、飞行、或其它活动。
这样的系统优选地使用位于由人的手势所移动的设备中的运动敏感的传感器(3D鼠标、远程控制器、电话、玩具、手表、配件、衣服等)。在这样的设备中，可以使用如在上文关于图1所描述指向设备中的MEMS类型的传感器(陀螺仪和/或加速计)、以及磁力计，但是同样的原理应用于其它运动敏感的测量，例如可能在红外中的图像采集、力或压力测量、由光 电池所进行的测量、遥感测量、雷达或激光雷达测量等。然而优选地，用于提供信号的传感器足以表示要被捕获的动作，特别是为了识别这些手势所需要考虑的自由度的数量。
为了给出示例，图2示出了表示由实体220(在本例中为用户的手)所产生的“8”的手势210。该实体装备有对移动230敏感的设备，这该事例中被表示为远程控制器。“8”可以是例如电视频道号或游戏机上的游戏号。因此，通过由表示在特定于该应用的代码中的对象的一个或多个字母或数字进行的调用，可以命令该对象，并且接着该对象可以执行的功能中的一个可以被该代码的第二层级的另一字母数字字符所调用。
在关于个人计算机或关于房间控制台的多媒体应用领域，能够使用3D鼠标(即，“在空中”持有)或者具有允许由控制软件所控制的交互的任何其它感应外围设备。其可以是例如AirMouse^TM，其包括两个陀螺仪传感器，每个具有旋转轴。所使用的陀螺仪可以是Epson XV3500品牌的那些。它们的轴是正交的并且实现航向(关于平行于垂直重力轴的轴的旋转)的速度角和俯仰(关于属于水平面的轴的旋转)的速度角。由两个陀螺仪轴所测量的瞬时俯仰和航向速度被传送到内置于鼠标主体中的微控制器并且由所述控制器转换为位移。表示在面对用户的屏幕上的光标的移动的该数据由无线电设备传送到计算机或控制移动的光标在屏幕上的显示的装置。该转换过程还可以在使用该光标的基站中进行处理。由持有AirMouse的手所进行的手势在它们被系统识别时，呈现处驱动的意思。例如，划叉(cross)以抑制系统所关注的项(在计算机语言中的“活动”项)。
例如，为了统计的匹配分析的目的，还可以识别并计数某些技术手势，例如在玩虚拟网球时的正手或反手。还可以学习所做出的与理想或模型技术手势相关的手势的简档，并且分析差异(尤其是其中所做出的背离于模型的手势的手势阶段)，以便识别该手势中的缺陷(例如，在击球一瞬间时的猛击(jerk))或以该缺陷为目标。
远程控制器可以包括三轴加速计、三轴磁力计、用于预处理来自传感器的信号的预处理功能、用于传送手势信号到处理单元自身的射频传输模块，以及电池。该运动传感器被称为“3A3M”传感器(具有三个加速计轴和三个磁力计轴)。该加速计和磁力计为小体积、低功耗和低成本的商用微 处理器，例如来自Kionix^TM的KXPA43628三通道加速计、以及Honeywell^TM的磁力计HMC1041Z(1个垂直通道)和HMC1042L(2个水平通道)类型。存在其它供应商，在磁力计的事例中的Memsic^TM or Asahi Kasei^TM、在加速计的事例中的STM^TM、Freescale^TM、和Analog Device^TM等。在这类的感知设备中，对于6信号信道，仅可以执行模拟滤波并且接着在模拟数字(12位)转换之后，由针对这类应用中的消耗进行了优化的Bluetooth^TM频带(2.4GHz)中的射频协议来传送该原始信号。因此，该数据以原始的状态到达控制器处，该控制器可以从传感器组接收数据。该数据被控制器读取并由软件采取动作。采样率是可调的。默认地，采样率被设为200Hz。然而，可以设想更高的值(高达3000Hz或更高)，这允许例如对震动的检测更加精确。上述类型的加速计对于以下是敏感的：沿其三个轴方向的纵向位移、角位移(除了关于地球重力场的方向)、以及关于三维笛卡尔参考系的朝向。上述类型的一组磁力计用于测量传感器的朝向，该朝向相对于地球磁场是固定的并且因此相对于关于三个参考系轴(除了关于地球磁场的方向)的朝向是固定的。3A3M组合实现平滑的互补运动信息。相同类型的配置可以用于另一领域的应用，即视频游戏。在这种情况下，手势允许更深的浸入(immersion)并且经常需要被尽可能快地识别。例如，拳击中的右勾拳甚至将在该手势完成之前被识别：游戏将迅速地触发在虚拟世界中所要采取的动作。
还可以在远程控制器中包括两个微陀螺仪组件(具有在电路平面内的两个旋转轴以及正交于该电路平面的一个旋转轴)。添加这类的传感器提供了大量的可能性。其允许典型的IMU(惯性测量单元)预处理，这使得可以实现动态角度测量。3A3M3G组合(其中G表示陀螺仪)甚至针对迅速的运动或在存在干扰磁场的含铁金属存在的情况下，实现平滑的互补运动信息。对于这类实施方式，有利的预处理存在于解决传感器的朝向中，这可以随后被使用以便估计运动加速度并通过双重积分而回到该位置。该位置表示手势轨迹的数据，该数据可以更容易进行分类。
智能电话还可以用作指向设备(参见被分配给本申请的受让人的PCT申请No.WO2012/065885)。需要被识别以适当地操作电话的最常用的手势是相对简单的。例如，轻敲电话的壳体，进行在所有方向中的移位运动， 或识别拿起电话或放下电话的手势。然而，如果移动电话包含能够监测指向的这类传感器，则操作模式的描述类似于多媒体应用的描述(见上文)，在该多媒体应用中，使用移动电话而代替远程控制器或鼠标。
因此，将会看到结合指向的手势识别的可能的应用的范围是非常广泛的并且可以使用各种传感器。将使用各种类型的分类算法来最好地识别手势，这根据使用事例、可用的手势数据库、用明确的用户的特异性来训练算法的可能性、可用的处理功率以及目标成本/性能比。
如从上文关于图1和图2的评论可见，可以使用同一类型的硬件以用于指向和手势识别并且在越来越多的应用领域中感受到对这两种技术的需要，并且具有手势识别能够克服通常的指向和点击解决方案的限制的趋势，这是因为手势识别可以提供迅速发起命令的捷径。例如，当使用指向设备来控制电视机时，人可能需要指向显示器的第一特定区域处以激活音量控制并且指向显示器的第二特定区域处以激活变换频道，并且接着上下拖拽虚拟光标以增大/减小音量或上/下换台。如果该指向设备还具有手势识别功能，则将对用户来说是有利的，这是因为在这种情况下，用户可以进行相同功能，并且在第一实例中将仅需要在空中画出“V”并在第二实例中画出“C”，并且接着上/下移动设备，而无需与屏幕上的任何光标的任何连接。
存在许多使用事例，其中指向和手势识别的组合将是有利的。我们将使用用户控制多媒体系统来听音乐的示例来说明指向模式、模拟控制模式和手势识别模式可以如何进行交互。用户可以使用处于指向模式的设备以便从屏幕上所示的专辑或艺术家列表中选择他想要听的专辑或艺术家。一旦他在听某个专辑，则他可以使用手势识别模式以通过在空中做出向左或向右划动(swipe)手势而向前或向后移动到其它歌曲。当然，其它命令如播放、暂停等也将具有它们专用的手势。为了改变音乐的音量，用户可以使用模拟控制模式，并且仅将远程控制器沿单轴上下选择。该单轴手势将打开系统的音量控制(例如，表示音量等级的垂直图形条)从而用户可以改变音量。
这些不同模式之间的互动需要直观和用户友好的解决方案。因此，在同一硬件平台上需要指向和手势识别的无缝组合，即具有运动传感器的远程控制器(例如，图1的远程控制器)还能够使用允许使用图2的事例的 算法。为了实现本发明，仅需要时远程控制器或基站中的软件适于与远程控制器进行通信。本发明处理通过仅使用远程控制器上的单个触发按钮而控制指向模式、模拟控制模式和手势识别模式的解决方案。通过分析分析用户按压所述触发按钮的时间和在按钮按压期间远程控制器的运动量两者，该系统能够确定用户的意图。
图3a示出了当用户从指向模式切换到手势识别模式或反之时的本发明的实施例。手势识别模式还可以包括模拟控制模式，这是由于单轴手势仅是特殊种类的手势。
用户处于指向模式310以控制屏幕上的光标，并且想要输入手势。例如，该手势可被输入以在将对勾符号(“V”)置于项目上以选中它，或将叉(“X”)置于项目上以删除它。
图3b显示可用本发明的接口所识别的手势的多个示例。
可以定义与基站的命令相对应的准无限数量的手势。水平和垂直华东手势可以用于从显示上的一个项目到下一项目的导航。将基于手势的人体工程学和针对明确的基站的目标应用的特异性来定义这些手势。这可以由应用的积分器通过应用编程接口而编程。
现在回到图3a，为了进入手势识别模式，用户需要按压触发按钮，320，并且在保持按钮被按压的同时以3D来执行手势。用户测试确认了在手势期间优选的是“冻结”光标。这意味着在手势开始时，通过光标冻结动作，330，光标被固定，并且因此在手势期间光标不移动。一个优点在于当用户切换的手势识别模式时，他并不希望他的光标由于他给予设备以用于手势识别的动作而移动，这是因为这些是不同模式。另一优点在于用户并不被由于用户被光标运动影响(参与决策的大脑)而尝试在屏幕上做出2D手势所限制，并且因此用户可以在空间中做出3D手势。3D手势是更加自然、流程和直观的，这是因为用户的大脑并不参与决策，因此他不需要可视反馈。可视反馈可能甚至成为缺点，这是因为用户可以倾向于控制他的动作、放慢他的手势运动，如同在屏幕上画出一样，这不会与自然的手势而告终。
当按钮被按压时，系统记录手势，340。当用户松开触发按钮时，350，该动作被解释为手势的结束。系统会将所记录的手势与手势库进行比较并执行对应的动作，360。在手势结束时，当松开触发按钮时，远程控制器回 到指向模式，并且光标被“解冻”并将根据由用户给予远程控制器的运动而再次移动。
重要的是要意识到，对于优选的实施例，用户在手势期间移动远程控制器，而同时光标在屏幕上不移动。这意味着在手势结束时，远程控制器的朝向/指向方向与屏幕上的光标的位置之间的关系可以与手势开始时不同。如果没有针对该不同的校正(该不同可在若干次从手势模式转换到指向模式之后累积)，则远程控制器的朝向/指向方向与屏幕上的光标的位置之间的关系可能未对齐并可能干扰用户。该未对齐效果将在描述的下文中关于图4a和4b进行说明。
本质上，本发明的过程在于当手势识别过程结束时，在步骤370引入暂停，从而使得用户使用这段时间将远程控制器的朝向与屏幕上的光标的位置重新对齐，如在手势开始时那样。该暂停优选地为500ms，但是可以取决于使用事例。在暂停期结束时，380，由系统执行解冻光标的动作，390。
可以由远程控制器的用户来执行其它动作。例如，在应用本发明的一些使用事例中，可能有必要的是用户按压按钮以发起动作。
例如，用户可以使用启用运动的远程控制器作为经典远程控制器。用户可需要按压特定按钮以改变例如频道或声音级别。我将把这个模式成为被动模式。在该被动模式中，远程控制器的运动将不被用于控制屏幕上的光标、或分析用户的手势。运动传感器可被供电，或者该电力可以被关断以节省电池电力。
如果该远程控制器会具有MEMS陀螺仪和加速计两者，则耗电量大的陀螺仪可以被关闭以节省电池电力，但是使用很少量电力的加速计可以被保留开启，以便一旦用户移动远程控制器时唤醒陀螺仪。
在本发明的这些实施例中，远程控制器可以具有被按压以执行特定功能的传统按钮并且具有一个专用按钮以在不同模式之间进行切换。该按钮在本发明中被定义为触发按钮。该触发按钮用于控制远程控制器的不同模式：
-被动模式：通过传统按钮控制电视、运动传感器可被设置为睡眠模式
-指向模式：控制屏幕上的光标
-手势识别模式：输入3D的手势(包括模拟控制模式)
可以因此使用本发明的变型来执行以下在模式之间的切换动作(其未在图3a中被明确表示)：
-被动模式到指向模式，并返回
-被动模式到手势模式，并返回
-指向模式到手势模式，并返回
如将在描述中的下文中说明的，在一个模式与其它模式之间的切换的决定将基于对触发按钮的状态的时间序列结合由用于给予给远程控制器的运动量的评估的分析。基本假设是触发按钮的开/关状态的时间序列可以定义要在基站上被执行的命令/要由基站执行的命令，但是这些命令需要与远程控制器的实际动作相一致；因此，将根据本发明而执行对这些信号(开/关状态和运动量的序列)的二维分析，从而使得以适当的方式解码用户的意图而无需向用户施加非直观的行为。
现在描述在被动模式和指向模式之间的切换的示出。
假设用户处于被动模式，并且他/她想要使用远程控制器的运动功能来控制屏幕上的光标。为了做的这一点，用户需要点击触发按钮，并且系统做出从被动模式到指向模式的转换。在指向模式中，用户可以通过移动和/或光标远程控制器的朝向而移动屏幕上的光标。为了退出指向模式，并且回到被动模式，用户需要再次点击触发按钮。也就是说，点击触发按钮使得在被动模式和指向模式之间进行切换。
在该示例中，我们应用单次按钮点击而在两个模式之间进行切换，但是作为变型，可以需要两次按钮点击。双击是更稳固的，这是因为其在用户意外地按压了触发按钮时避免了模式变化。
按钮点击被定义为按压按钮，并且随后立即松开按钮。在按压之前，该按钮处于关闭状态，并且当按钮被保持按下时，其处于打开状态。当松开按钮时，其可以从打开状态变回到关闭状态。可以使用任何类型的按钮或切换机制，只要器具有至少两个分离的状态。
按钮点击的持续时间(也就是关闭-打开-关闭序列)通常为300ms的数量级。在按钮点击期间，用户不应当实质上移动该远程控制器。
我们现在来描述用户想要从被动模式切换到手势模式的事例。用户使用处于被动模式的远程控制器并想要输入手势。为了做到这一点，用户仅 需要按压触发按钮并在保持该按钮被按压的同时执行3D手势。当按钮被按压时，系统开始分析运动传感器测量。
如果系统确定用户在执行单轴手势，则其将立刻做出回应以进入模拟控制模式。使用上文的音量控制示例，容易理解的是，一旦用户开始单轴手势来控制音量，系统应当在屏幕上显示出可视反馈(音量条)。当用户完成了单轴手势时，用户松开触发按钮并且系统参数(在该示例中为音量)将被设置。
如果系统确定用户没有执行单轴手势，则系统继续记录并处理手势直到用户完成该手势并松开触发按钮。接着，系统会将所记录的手势与手势库进行比较。可选地，当用户执行手势时，系统可以已经比较了到那个时间点之前的所记录的动作，并且从手势库中去除不能匹配的手势。这可以在手势结束时加速匹配过程，并且将使得系统更为易感应的。
当用户松开触发按钮时，系统返回到被动模式。应当注意，这并不意味着运动传感器立刻进入待命。如果用户执行连续的手势，则在每个手势之间停止和开启运动传感器是没有任何意义的。因此，我们在手势结束之后在我们使运动传感器进入待命之前，引入暂停期。该第二暂停期(不同于当从手势模式切换到指向模式时所引入的暂停期)具有10秒的数量级。如果在手势之后的暂停期期间不实质上移动远程控制器，则使运动传感器进行待命并且关闭它们的电源。
还可能的是用户做出手势以表明他想要使用哪个模式。例如，如果用户处于被动模式，则他可以做出手势以表明他想要使用光标控制模式。在这种情况下，当用户松开触发按钮时，用户并不回到被动模式，但是直接到达光标控制模式。
图4a和4b示出了在本发明的实施例中所解决的指向对齐问题。
首先参考图4a。考虑这样的情形，其中远程控制器410处于指向模式，并且指向光标x。如同使用激光指向器的情况，指向的方向和光标的位置完美对齐。假设用户做出向右的手势(远程控制器420a)。在该手势期间光标是固定的，但是在手势结束时，当用户回到指向模式时，远程控制器不再直接指向屏幕上的光标的位置处(远程控制器430a)。如果用户重复向右的手势(远程控制器440a)，则最终用户将把他的远程控制器450a指向将超 出电视屏幕的界限的位置，然而要被控制的光标则处于屏幕的中间。这种情形是不自然的并且应当避免。
由图4b示出了校正该未对齐问题的方式。在手势结束和光标的解冻之间引入暂停。该暂停给用户时间来校正远程控制器的朝向以与手势开始时的指向朝向相对应(远程控制器430b)。因此，当用户回到指向模式时(远程控制器440b)，远程控制器指向光标。用户测试以示出一些用户具有自然的倾向以将远程控制器移回，从而使得远程控制器指回到光标，而其它用户可能要被指示以这样做。该暂停可以例如为500毫秒的数量级。在暂停结束时，光标将被解冻，并将继续指向模式。
图5显示图3a的变型。
在本发明的一个变型中，我们可以在手势和暂停期间计算光标的位置，而无需实际显示该光标，并且在暂停结束之前，如果用户接近了初始位置的某个距离R之内，则解冻该光标。
在该变型中，在光标冻结期间，系统将在步骤510不断地计算与给予远程控制器的运动相对应的屏幕上的光标的虚拟坐标x，y。但是实际光标将在屏幕上保持稳定。当在暂停结束之前，虚拟(不可见)光标已回到接近于实际光标的位置时，解冻实际光标从而使得手势识别和指向模式之间的转换不引起任何未对齐。由系统的参数R来设置有多么接近，使用正则方程(canonical equation)(x-x₀)²+(y-y₀)²≤R，在步骤502做出对两个光标的位置之间的比较。对于平均尺寸的显示，R通常为10毫米的数量级，但是可以替换地还被提供为像素距离。任何其它度量(1范数(Norm)、p范数)或等价的可以用于提供冻结的光标位置和虚拟光标位置之间的距离测量。
图6a、6b、6c、6d和6e显示根据本发明的各个实施例的绘出了在设备的按钮按压期间按钮按压的持续时间和运动量的图形。
在上文描述的远程控制器的使用事例中，触发按钮为用于在模式之间切换的单个控制器。系统需要根据触发按钮被按压/点击的方式来“决定”用户想要使用哪种模式。例如，如果用户处于被动模式，则需要按钮点击以进入指向模式，并且需要手势并结合被保持按压的触发按钮来激活手势模式。使用传统技术，对于用户期望短的手势被识别的情况，用户可能经 历错误的切换决定。用户将在短于点击的正常持续时间内按压触发按钮、移动并松开按压按钮。在许多事例中，可以观察到经过训练的用户甚至将会在按压触发按钮之前就开始用要被识别的手势而移动，并接着非常迅速地按压/松开触发按钮。这对于短手势是非常常见的使用事例，其广泛用于常见的手势命令。例如，划动为非常简单并且短的手势(例如，图3b)。勾选、后退、关闭手势也都是非常短且易于记住的手势，因此被广泛接受并用于手势命令远程控制。因此，对于所有这些事例，并且使用所描述的经典技术，远程控制器将检测点击并因此不切换到手势识别模式。本发明的目的是要克服这些缺失(default)并提供一种方式以区别当用户要执行点击时是为了便于执行手势识别或是要在光标控制到非手势识别模式的另一编程的模式之间的切换。本发明将使用按压/松开序列的持续时间以及用户给予远程控制器的运动量两者，从而使得在移动该远程控制器的同事对触发按钮的短点击(按压/松开)将被检测为用户要执行手势识别的意图。另一方面，相当长的点击且没有运动将被解释为点击意图。
系统能够通过测量按钮点击的持续时间以及在按钮点击期间的运动量两者来区分点击和手势。按钮点击的持续时间是按压按钮和松开按钮之间所经历的时间。运动量表示在按钮按压期间远程控制器的运动量。为了确定移动量，我们可以使用按钮按压的整个持续时间或仅使用该持续时间的一部分。或者，我们还可以使用最大值，例如在按钮按压期间远程控制器的最大速度。
运动量可以从运动传感器的信号得到。例如，我们可以使用对针对按钮点击的持续时间的陀螺仪信号的平方的积分或求和：
Qmotion=ΣSG2]]>
其中Q_motion为运动量，S_G表示陀螺仪的信号。
如果使用基于摄像头和标识的系统，则可以从在所记录的摄像头图像上的检测到的标识的位移得到运动量。例如，运动量可以被定义为规范的在手势期间由摄像头所记录的图像的序列内所计算的标识位置的像素位移。
运动量可以适应于用于指向或手势功能的任何运动传感器信号。本领域技术人员将能够使原理适应于可用的运动传感器，以便创建将触发运动 检测情形的运动量标准。
应当注意，不同于以直接的方式从运动传感器信号得到运动量，相反还可以使用光标的运动或由指向功能所计算或表达的虚拟光标以便构建运动量。例如，基于由光标移动的“距离”或“速度”的标准可以为一个解决方案。例如，如果不能直接访问运动传感器信号，则可以使用这个方法。
图6a用图形说明了如何通过使用按钮点击持续时间δ_ON和运动量Q_motion两者来区分按钮点击和手势识别命令请求。为了有资格作为点击，持续时间和运动量两者都需要低于预设的阈值在图中，由灰色区域表示点击区610a。因此，点击是短的按-压动作序列而没有任何远程控制器的明显移动。可以通过用户测试而设置阈值。如果条件之一不被满足，则移动将落入保持区。保持区是由这样的事实而被赋予了特性：相比典型的按钮点击，用户已将触发按钮保持在打开状态更长的时间，或在打开状态期间已实质上移动了远程控制器。将落入保持区中的用户动作的代表性示例为当用户用远程控制器做出手势时。因此，在图的描述中，我们将继续使用一个手势作为属于保持区的用户动作的(非限制性的)示例。
取决于当前模式和所希望的目标模式，可以设置不同的阈值以用于在模式之间进行切换。
在图中，区域610a具有矩形形状，这是因为时需时间阈值和运动量阈值两者都是固定的。
然而，现在参照图6b，我们并不被限于固定的阈值和我们可以在由δ_ON轴和Q_motion轴所形成的平面中定义了区。图表示了由灰色区域表示的点击区以及保持区。这些区之间的边界可以由函数表示。边界的形状背后的推理为用户非常快速地移动远程控制器的手势(即，高运动量)倾向于比慢速手势更短，并且所表示的边界状态应对这类情况。为了确定远程控制器的用户是否执行了点击或手势，我们需要确定由用户的动作的持续时间δ_ON和运动量Q_motion所形成的点P是否在点击区内。如果是这样(如图6b中)，则我们确定用户执行了点击，如果点P在点击区外，并且因此在保持区内，则我们去顶用户执行了手势。
可通过用户测试而确定最佳相关。在更复杂的系统中，可以针对不同用户或不同类别用户而确定由函数表示的不同边界条件。
图6b表示单击区，但是定义多个区是可能的。图6c表示使用了一组区来定义切换决定的示例。
此外，区还可以被分为区的部分或子集，其共同将定义一组区。例如，如图6d所示，我们可以定义“短点击”区和“长点击”区。该示例可以用于使得用户能够使用触发按钮来执行点击以例如在光标控制模式中选择对象。我们可以定义长点击(具有例如1000毫秒到1500毫秒之间的持续时间)用于在被动模式和光标控制模式之间进行切换，并且可以定义当处在光标控制模式中时，短点击(约500毫秒)用户选择对象。
图6e将帮助理解使用多个区共同定义一组区。每个区可以表示一类用户动作，例如一组手势或甚至单个手势。当用户做出某个手势时，其具有一定的持续时间以及一定的运动量。如果用户重复该手势，则持续时间和运动量将是类似的，但是它们不会完全相同。因此，所重复的手势将由δ_ON和Q_motion所形成的平面中形成某种云。该云可以被定义为区或一组区。
在图中，我们定义了两个保持区。保持区1表示具有有限运动量的保持区，而保持区2表示具有大运动量的保持区。这些不同的保持区可以用于表示两个不同手势类别的特性。例如，保持区1可以表示导航手势类别(例如，划动以前进或后退)，这是由于划动手势总体上具有低运动量。保持区2可以表示命令手势类别，其可以包括具有更大运动量的更复杂的手势，例如用于表明划动到某种模式的手势。
在本发明的描述和附图中，我们一直使用了术语按钮点击或按压，并且我们已表示了按钮点击或按压时短的并且不需要远程控制器的实质移动。尽管单击按钮是最简单的实施例，但是其它变型是可能的。单击可以是由用户意外触发的，所以双击会更稳健。在这种情况下，双击应当短并且在短时间内连续(约500毫秒)。双击的运动量可以是两个单个点击的运动量的和。
本说明书中所公开的示例仅示出了本发明的一些实施例。他们不以任何方式限制本发明的范围。