《利用图像分析和超声波通信对控制器三维定位的确定.pdf》由会员分享，可在线阅读，更多相关《利用图像分析和超声波通信对控制器三维定位的确定.pdf（49页完整版）》请在专利查询网上搜索。
1、10申请公布号CN104162274A43申请公布日20141126CN104162274A21申请号201410301563422申请日2009043061/057,78320080530US12/145,45520080624US200980130723020090430A63F9/2420060171申请人美国索尼电脑娱乐有限责任公司地址美国加利福尼亚州72发明人GM扎列夫斯基74专利代理机构中国专利代理香港有限公司72001代理人张懿刘春元54发明名称利用图像分析和超声波通信对控制器三维定位的确定57摘要游戏界面利用混合的视频捕捉和超声波跟踪系统跟踪一个或更多个游戏控制器在三维空间中的。
2、位置。所捕捉到的视频信息被用于识别每个控制器在捕捉区域内的水平和垂直位置。超声波跟踪系统分析声音通信以确定游戏系统与每个控制器之间的距离并且确定控制器之间的距离。然后，游戏界面对这些距离进行分析以针对每个控制器计算捕捉区域内的深度。30优先权数据62分案原申请数据51INTCL权利要求书2页说明书15页附图31页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书15页附图31页10申请公布号CN104162274ACN104162274A1/2页21一种控制器，其包括握把区域；具有允许对控制器位置进行检测的形状的对象；在所述对象内部的一个或多个光发射器，其中来自所述光发射器的。
3、光便于对所述控制器位置进行检测；用于在玩游戏期间获得用户输入的一个或多个按钮；用于跟踪惯性活动的一个或多个惯性传感器，所述一个或多个惯性传感器为所述控制器提供6个自由度上的信息；以及一个或多个无线通信模块，其中所述一个或多个无线通信模块向计算设备传送惯性活动。2根据权利要求1所述的控制器，其中所述形状是易于检测且被制成为手持控制器的一部分、与手持控制器连接或与手持控制器结合的任何类型的形状。3根据权利要求1所述的控制器，其中所述控制器可操作用于将来自所述惯性传感器的数据传送至计算系统。4根据权利要求1所述的控制器，其中所述一个或多个惯性传感器包括加速度计或者一个或更多个单轴加速度计或者机械陀螺。
4、仪或者环形激光陀螺仪中的任何一种，或者任何组合。5根据权利要求1所述的控制器，其中所述控制器中的惯性分析仪可操作用于将惯性数据传达至计算系统。6根据权利要求1所述的控制器，其中所述一个或多个光发射器是发光二极管LED。7根据权利要求1所述的控制器，其中所述一个或多个光发射器处于红外光谱中，使得所述对象发出红外光，从而使通过红外摄像机进行检测成为可能。8根据权利要求1所述的控制器，其中所述一个或多个无线通信模块包括BLUETOOTH或者WIFI或者80211中的一个或多个。9根据权利要求1所述的控制器，其还包括可更换面板。10一种方法，其包括接收由捕捉区域的图像捕捉设备获取的图像，预期系统的用户。
5、在其与该系统互动的同时处在所述捕捉区域中，其中控制器包括具有允许对控制器位置进行检测的形状的对象，其中所述控制器包括在所述对象内部的一个或多个光发射器，其中来自所述光发射器的光便于对所述控制器位置进行检测；从所述控制器接收控制器的惯性活动；以及分析所接收的图像和所接收的惯性活动以确定所述控制器的定位。11如权利要求10所述的方法，其还包括在所接收的图像中检测人的特征以考虑玩家和控制器的位置作为游戏的输入。12如权利要求10所述的方法，其中所述分析还包括分析所述惯性传感器信息以确定所述控制器在玩视频游戏期间的运动和定向。13如权利要求10所述的方法，其中所述惯性活动由所述控制器中的一个或多个惯性。
6、传感器捕捉。权利要求书CN104162274A2/2页314如权利要求13所述的方法，其中所述一个或多个惯性传感器包括加速度计或者一个或更多个单轴加速度计或者机械陀螺仪或者环形激光陀螺仪中的任何一种，或者任何组合。15如权利要求10所述的方法，其中所述图像捕捉设备是彩色数字摄像机、黑白数字摄像机、红外摄像机或者着重于对正被检测的对象的特定特征进行检测的专用设备中的一种。16一种非暂时性的计算机可读存储介质，其存储计算机程序，所述计算机可读存储介质包括用于接收由捕捉区域的图像捕捉设备106获取的图像的程序指令，预期系统的用户在其与该系统互动的同时处在所述捕捉区域中，其中控制器包括具有允许对控制器。
7、位置进行检测的形状的对象，其中所述控制器包括在所述对象内部的一个或多个光发射器，其中来自所述光发射器的光便于对所述控制器位置进行检测；用于从所述控制器接收控制器的惯性活动的程序指令；以及用于分析所接收的图像和所接收的惯性活动以确定所述控制器的定位的程序指令。17根据权利要求16所述的存储介质，其还包括用于在所接收的图像中检测人的特征以考虑玩家和控制器的位置作为游戏的输入的程序指令。18根据权利要求16所述的存储介质，其中所述惯性活动由所述控制器中的一个或多个惯性传感器捕捉。19根据权利要求18所述的存储介质，其中所述一个或多个惯性传感器包括加速度计或者一个或更多个单轴加速度计或者机械陀螺仪或者。
8、环形激光陀螺仪中的任何一种，或者任何组合。20根据权利要求16所述的存储介质，其中所述一个或多个光发射器是发光二极管LED。权利要求书CN104162274A1/15页4利用图像分析和超声波通信对控制器三维定位的确定0001本申请是申请日为2009年4月30日、申请号为2009801307230、发明名称为“利用图像分析和超声波通信对控制器三维定位的确定”的专利申请的分案申请。技术领域0002本发明大体上涉及计算设备与握在用户手中的控制器之间的通信，并且更具体地涉及利用计算设备与控制器之间的通信来确定控制器在三维空间中的定位LOCATION。背景技术0003这些年来视频游戏产业发生了许多变化。。
9、随着计算能力的扩张，视频游戏的开发者同样创造出了利用计算能力上的这些提高的游戏软件。为此，视频游戏开发者已经编写了并入复杂的操作和数学以产生非常逼真的游戏体验的游戏。0004游戏平台的例子可以是SONYSONYPS2以及SONYPS3，其各自均以游戏机GAMECONSOLE的形式出售。众所周知，游戏机被设计成与监视器通常为电视机连接，并且通过手持控制器而允许用户互动。游戏机设计有专用处理硬件、固件以及软件，所述专用处理硬件包括CPU、用于处理密集的图形操作的图形合成器、用于执行几何变换的向量单元以及其他中间硬件。游戏机还设计有用于容纳游戏压缩盘的光盘托盘以通过游戏机在本地玩。也有可能进行在线游。
10、戏，其中用户可以通过因特网互动地与其他用户进行比赛或一起玩。0005随着游戏复杂度持续引起玩家的兴趣，游戏和硬件制造者不断创新以允许附加的互动性和计算机程序。0006计算机游戏产业的发展趋势是开发出增加用户与游戏系统之间的互动的游戏。实现更加丰富的互动体验的一种方式是使用无线游戏控制器，游戏系统跟踪无线游戏控制器的运动MOVEMENT，从而跟踪玩家的运动并且将这些运动用作游戏的输入。一般来说，手势输入是指使诸如计算系统、视频游戏机、智能电器等电子设备对由跟踪对象的摄像机所捕捉到的某个手势作出反应。0007然而，当前的对象跟踪在捕捉精度上受到制约。出现这个问题的原因在于常规的图像分析仅可对用户在。
11、两个维度上的定位进行较可靠的测量。由于朝向或远离摄像机的运动所引起的微小的形状变化无法提供足够的信息来可靠地计算摄像机与控制器之间的距离，因此难以确定摄像机与正被跟踪的对象之间的距离。在实验室设定中，有些采用了深度感测设备。然而，这些深度感测设备依赖于双向回弹，其试图根据从位于这样的设备前方的对象反射的光来勾勒某些图像的轮廓。尽管这样的传感器具有一定的应用，但其应用于游戏仍在一定程度上受到限制，这是因为需要费用、复杂度以及额外的处理来将深度数据与二位图像数据组合。因此，深度数据与互动游戏控制器的集成不断延迟，产生少于所希望的结果，并且尚未在实验室之外被广泛接受。0008本发明的实施例在这个背景。
12、下产生。说明书CN104162274A2/15页5发明内容0009广义而言，本发明通过提供下述方法和系统来满足这些需要所述方法和系统在计算系统中的计算机程序与用户所握HOLD的控制器之间建立通信来确定控制器的三维定位。应当理解的是，本发明可以诸如过程、装置、系统、设备或计算机可读介质上的方法等众多方式来实现。以下描述本发明的若干具有创造性的实施例。0010在一个实施例中，提供了在计算系统中的计算机程序与握在用户手中的控制器之间建立通信的方法。该方法在显示器上显示图形用户界面并且捕捉所述显示器前方的区域的图像数据。所述显示器前方的区域也被称为捕捉区域，并且包围预期与所述计算系统进行互动的用户所处。
13、的空间。也可对所述捕捉区域进行调整，以便缩小或扩大该区域。诸如由数码摄像机提供的数据等所捕捉到的图像数据被用于识别所述控制器相对于所述捕捉区域的二维定位。所述方法还捕捉最接近于PROXIMATETO所述显示器的定位诸如麦克风与所述控制器处的定位之间的单向声音通信。经由该声音通信所获得的信息被用于计算所述控制器在所述捕捉区域内的第三维定位。0011另一实施例描述了在计算机程序与控制器之间建立通信的系统。该系统包括用于呈递RENDER图形用户界面的显示器、图像捕捉设备、声音捕捉设备以及用于执行所述计算机程序的计算系统。所述图像捕捉设备捕捉所述显示器前方的区域中的图像数据，该区域在这里被称为捕捉区域。
14、。所述声音捕捉设备类似地捕捉所述捕捉区域中的声音数据。所述计算系统与所述显示器、所述图像捕捉设备以及所述声音捕捉设备连接。所述控制器被构造为由用户用单手握住，并且包括具有第一端部和第二端部的主体；位于所述第一端部附近的握把区域GRIPAREA；位于所述两个端部之间用于输入输入数据的输入板INPUTPAD；位于所述第二端部的球形部分；以及位于所述第二端部附近的声音发射设备。所述球形部分便于所述图像捕捉设备进行图像辨识，并且所述声音发射设备提供与所述声音捕捉设备的单向声音通信，该声音发射设备在被握住时朝着远离用户的方向。所述计算机程序基于所捕捉到的图像数据识别所述控制器的二维定位，并且基于所捕捉到。
15、的声音数据识别所述控制器的第三维定位。0012此外，在另一实施例中，提供了在计算机程序与控制器之间建立通信的系统。该系统包括显示器、位于所述显示器附近并且面向所述显示器前方的捕捉区域的两组光发射器、诸如麦克风等声音捕捉设备以及用于执行所述计算机程序的计算系统。所述计算系统与所述显示器和所述声音捕捉设备连接。在所述系统中，所述控制器将由用户用单手握住，并且所述控制器包括具有第一端部和第二端部的主体、处于所述第一端部附近的握把区域、位于所述第一端部与所述第二端部之间的输入板、处于所述第二端部附近的图像捕捉设备以及处于所述第二端部附近的声音发射设备。该声音发射设备在被握住时朝着远离用户的方向并且被构。
16、造为用于与所述计算系统附近的声音捕捉设备进行单向声音通信。在这个系统内，所述计算机程序基于所捕捉到的图像数据识别所述控制器的二维定位并且基于所捕捉到的声音数据识别所述控制器的第三维定位。0013通过以下具体说明将更加明了本发明的其他方面，该具体说明是结合附图所得到的并且其通过举例的方式示出了本发明的原理。说明书CN104162274A3/15页6附图说明0014参考以下结合附图所得到的说明可以最佳地理解本发明，在所述附图中0015图1示出了具有多个玩家的互动游戏环境。0016图2A2D示出了根据一个实施例的多玩家环境以及使用视频和声音数据来确定玩家所握的不同控制器的定位的示意图。0017图3A。
17、3B描述了具有球形部分和超声波能力的单手控制器的实施例。0018图4示出了根据一个实施例的具有被一个或更多个内部光发射器照亮的球形部分的控制器的示意性表示。0019图5包括了根据一个实施例的在球形部分内部具有光发射器的控制器，其中光发射器从控制器外部可见。0020图6描述了具有超声波能力和球形部分的控制器，其中球形部分部分地由定向反射RETROREFLECTIVE材料覆盖。0021图7描述了具有可更换面板的单手控制器的一个实施例。0022图8示出了根据一个实施例的两个单手控制器的示意性表示，所述两个单手控制器通过插入板结合在一起而形成旨在用两只手使用的控制器。0023图9A9B描绘了一个实施例。
18、中在底部结合而形成一个单手控制器的两个单手控制器。0024图10示出了根据一个实施例的对控制器和用户特征的视觉跟踪。0025图11示出了一个实施例中的控制器运动跟踪。0026图12A12B示出了玩家所握的单手控制器的不同视图。0027图13示出了根据一个实施例的使用单手控制器的玩家的示意性表示以示出使用超声波来确定相对距离。0028图14A14B示出了根据一个实施例的使用视频和超声波对两个控制器的三维定位的确定。0029图15描述了根据本发明的一个实施例的利用超声波来测量两个控制器之间的距离而确定这两个控制器的定位。0030图16示出了根据一个实施例的利用与两个控制器分别相关的信息对通过结合这。
19、两个控制器所形成的控制器如图9A所示的定位的确定。0031图17示出了包括具有内置式摄像机602和超声波通信的控制器600的实施例的俯视图。0032图18示出了根据一个实施例的使用具有视频和声音能力的单手控制器的两个玩家。0033图19A19D示出了具有视频和超声波能力的单手控制器的不同实施例。0034图20是娱乐系统中的不同单元的框图。0035图21描绘了利用位于玩家手脚附近的四个控制器进行互动游戏的实施例。0036图22示出了根据本发明的一个实施例的可被用于确定控制器定位的硬件和用户接口。0037图23示出了根据本发明的一个实施例的可被用于处理指令的附加硬件。0038图24示出了描述根据一。
20、个实施例的用于使单手控制器与计算系统通信从而确定说明书CN104162274A4/15页7控制器的三维定位的方法的流程图。具体实施方式0039用于在计算系统中的计算机程序与握在用户手中的控制器之间建立通信的方法和系统被提供，以便确定用户所握的控制器的三维定位。该方法在显示器上显示图形用户界面，然后从位于显示器前方的捕捉区域捕捉图像数据，预期与计算系统互动的用户存在于所述捕捉区域中。所捕捉到的图像数据被用于识别控制器在捕捉区域中的二维定位。所述二维定位描述了控制器的水平和垂直位置。另外，该方法使用最接近于显示器的定位与控制器处的定位之间的单向声音通信来捕捉声音数据。所述声音数据被用于计算从控制器。
21、到显示区域之间的距离。二维定位与所述距离的组合定义了控制器所位于的捕捉区域中的点。0040如本文所使用的，单向声音通信指的是利用声波从发送器向接收器传送信息。在一些实施例中，声波是超声波，因此人无法听得到。在一些实施例中，发送器对应于声音通信的第一端，而接收器对应于第二端。在其他实施例中，两者角色互换，其中第一端对应于接收器，而第二端对应于发送器。此外，一些实施例包括在第一端与第二端之间的双向或往复的BIDIRECTIONAL通信，其中在任何时间第一端或第二端都可充当发送器或接收器。0041声音通信被用于通过检验与声音通信相关联的信息来估量从一端到另一端的距离。例如，发送器向接收器发送声脉冲，。
22、并且测量声音信号从一端传播到另一端所用的时间，以便基于声音的速度来检查距离。在一个实施例中，应注意的是发送器和接收器对应于不同的实体而不是同一实体，或者换句话说，对于本文所描述的方法和装置不考虑信号返回发送器所用的时间。除了使用声脉冲之外，可以结合声音通信使用其他操作，只要能得到从发送器到接收器的距离的测量结果。其他操作的实例为分析相位相干性、改变波信号的相位、改变波信号的频率、改变波信号的振幅等。0042然而，对于本领域的技术人员来说将显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践本发明。在其他情况下，未对公知的过程操作作详细描述以便不会无谓地混淆本发明。0043图1示出了具。
23、有多个玩家的互动游戏环境。娱乐系统100包括运行计算机程序的计算系统102，所述计算机程序包括用于与玩家A、B和C所握的控制器C1C5进行通信的指令。计算系统100与图像捕捉设备106、声音捕捉设备108、显示器104以及控制器C1C5进行通信。计算系统100经由直接有线连接或者经由无线通信与娱乐系统100中的其他实体进行通信，所述无线通信可包括WIFITM、80211等。典型的构造包括计算系统102与诸如图像捕捉设备106、显示器104以及声音捕捉设备108等计算系统附近的固定单元之间的直接有线连接，而与控制器的通信为利用WIFITM的无线通信。尽管特别提到WIFITM，但应理解的是也可使用。
24、其他通信标准，包括非标准的无线通信协议和算法。0044捕捉区域118是预期娱乐系统100的用户在其与该系统互动的同时所处的三维空间。图像捕捉设备106获取捕捉区域的图像，并且将这些图像发送到计算系统102。在一个实施例中，图像捕捉设备106是数码摄像机。其他实施例使用其他类型的图像捕捉设备，诸如彩色数字摄像机、黑白数字摄像机、红外摄像机或者着重于检测诸如预定颜色等正被检测的对象的特定特征的专用设备。说明书CN104162274A5/15页80045可以压缩格式或者以原始格式对所捕捉到的图像数据进行处理MANIPULATE和分析。原始的图像格式包含来自图像捕捉设备的最少被处理的数据。由具有宽色域。
25、的内部颜色空间的原始变换器生成经处理或压缩的图像数据，以在变换成诸如标签图像文件格式TIFF、联合图像专家组JPEG、便携式网络图形PNG、图形交换格式GIF、WINDOWS位图文件格式BMP等红绿蓝RGB文件格式之前进行精确的调整。经处理的图像的颜色深度可从黑白变为灰度、网页调色板WEBPALETTE、每像素24位等。在一个实施例中，对原始图像数据进行分析以在图像数据内定位控制器的形状，然后对应于在图像数据中所定位的形状来分派控制器定位。在另一实施例中，代替地使用经处理的图像数据在所捕捉到的图像内定位控制器。0046使用所捕捉到的图像数据来确定控制器的二维定位。根据两个坐标X和YX，Y来识别。
26、这个定位，这两个坐标定义平面上的点或诸如捕捉区域的三维空间上的线。有时，水平位置和垂直位置被用于指X和Y值。另外，使用诸如源于原点的角度以及向量值等其他类型的坐标。类似地，在三维空间内，可以使用不同的坐标系来识别空间中的点，诸如X、Y、Z直角坐标、X和Y坐标加上源于原点的向量、或两个角度和一个向量等。0047声音捕捉设备108从捕捉区域中获取声音数据。在一个实施例中，使用单向通信，其中由声音捕捉设备108接收在控制器中发出的声音。超声波通信避免干扰玩家的体验。在一个实施例中，控制器包括发出声音的扬声器，并且声音捕捉设备包括针对捕捉区域的接收麦克风。在一个实施例中，可以使用滤波技术来细化对捕捉区。
27、域的关注，以避免捕捉到来自捕捉区域外部的外来噪声。另外，声音捕捉设备可以对没有在超声波通信中被使用的频率进行过滤，以进一步减少来自不期望的声源的干扰。此外，声音通信可能由于声音从游戏区域附近的表面被反射而具有错误读数。在一个实施例中，计算系统102包括避免由声音反射而引起的错误读数的机制，诸如定向滤波、声波分析等。0048在另一实施例中，控制器与图像捕捉设备106之间的通信是往复的，其中控制器或声音设备传送或接收超声波消息。此外，在另一实施例中，单向通信在相反方向上流动，其中在每个控制器中有超声波麦克风并且声音发射设备位于显示器附近。0049超声波通信被用于通过分析声音信号到达其目的地所用的时。
28、间来测量控制器与声音捕捉设备之间的距离，称为DZ。另外，也可分析所接收到的信号的相位相干性来更好地确定距离。当使用单向超声波通信时，需要精确的时钟同步，以便执行对声音从源传播到目的地所用的时间的准确测量。本领域的技术人员将容易理解获得时钟同步的已知方法。例如，可以使用控制器与计算设备之间的WIFITM信道来同步时钟。ZALEWSKI的美国专利5,991,693以引用的方式并入本文提供了本发明所采用的跟踪模式。0050基于所捕捉到的图像数据所获得的点X，Y连同距离DZ一起定义了三维捕捉区域内的单个点。有时将DZ称作第三维，这是由于可以将DZ转换成与先前所描述的X轴和Y轴正交的Z轴内的值。该Z测量。
29、结果被称为捕捉区域内的深度。例如，DZ5对应于Z5的深度值。下面相对于图2D更详细地描述这种几何变换。0051在一个实施例中，通过由图像捕捉设备106所限定的捕捉区域边界114A和114B以及处于预定景深的背线BACKLINE来限定捕捉区域118。最大深度的典型值介于3至10英尺的范围之间，但也可有可能是其他值。在其他实施例中，捕捉区域不必为金字塔形的，而可以是立方体、球体、椎体形状或任何其他形状，只要能够保持本发明的原理。说明书CN104162274A6/15页90052图2A2D示出了根据一个实施例的多玩家环境以及使用视频和声音数据来确定玩家所握的不同控制器的定位的示意图。图2A描绘了具有。
30、两个玩家的游戏环境的三维视图。图像捕捉设备被用于获得控制器C1、C2、C4以及C5的X和Y坐标。利用由声音捕捉设备108接收到的超声波通信计算距离DZ1、DZ2、DZ4以及DZ5。如图1所示，计算系统102使用所获得的坐标和距离在屏幕上产生各玩家的表示，分别为具象112A和112B。0053图2B提供了对应于图2A的玩家A的游戏环境的俯视图。捕捉区域118限定了用于控制器检测的边界。在一个实施例中，控制器C1和C2被构造为用于双向超声波通信，由此允许控制器测量它们之间的距离，即DRS1。控制器被构造为在控制器的侧面有声音接口SOUNDINTERFACE以允许控制器间的通信。在一个实施例中，距离。
31、DRS1对应于物理值X，其被转换为在显示器上捕捉到的距离，即X屏幕。在一个实施例中，对于具象112A在屏幕上的表示不考虑垂直分量。在另一实施例中，根据DRS1来计算X和Y分量两者，其中屏幕表示包括3D游戏场地未示出的透视图。0054图2C示出了处于不同时间点的、图2B中的同一玩家，其中控制器C1与C2分开距离DRS2，而其中DRS2大于图2B的DRS1。距离DRS2对应于新的水平分隔XX。新的XX转换为控制器在显示器上的改变了成比例的量的新的相对位置，即XX屏幕。0055图2D示出了从距离测量结果到绝对深度Z的测量结果的变换。DZ是从控制器124到坐标为X0，Y0，Z0的声音捕捉设备108的距。
32、离。利用图像捕捉数据来计算控制器124的水平坐标X1和垂直坐标Y1未示出。计算控制器124的Z1值包括使三维空间中坐标为X1，Y1的任何点所限定的线与以声音捕捉设备为中心且半径为DZ1的球体相交。该线由下述方程表达式定义0056XX1；YY10057这个方程假定了没有透视变形的空间。其他实施例会补偿由于从图像捕捉设备角度看的透视图而产生的可能变形。所述球体由下述方程定义0058XX02YY02ZZ02DZ120059以X1替换球体方程中的X并且以Y1替换球体方程中的Y可得到对应于深度值Z1的Z值。应注意的是该方程将得到两个Z值，但仅有一个将落入捕捉区域内。0060图3A3B描述了具有球形部分1。
33、32和超声波能力的单手控制器的实施例。球形部分132的球形允许通过分析由图像捕捉设备所捕捉到的图像来检测控制器位置。0061应理解的是，如本文所使用的，术语“球形”并不限于理想的球体。相反，术语“球形”还应包括具有类似外观的任何形状，诸如卵形、部分球面、椭圆形状、地球形状、圆球形状、气球形状、隆起形状、突出形状、扩大形状、延伸形状等，或者易于检测且被制成为手持控制器的一部分、与手持控制器连接或与手持控制器结合的任何类型的形状，或者仅是基本的物理对象。0062在其他实施例中，如在下文中所描述的，向球形部分添加附加特征以便利用图像数据更好地检测控制器。控制器130被构造为用于双向超声波通信。设置声。
34、音接口136用于朝向控制器前方的超声波通信，而设置声音接口134用于朝向控制器侧面的声音通信。如前所述，正面的通信被用于确定从控制器到另一端上的声音接收器的距离DZ。0063声音接口134被用于与握住控制器130的同一玩家的另一只手所握的第二控制器进行通信。还使用侧向声音通信来与不同玩家所握的其他控制器进行通信，由此提高确定说明书CN104162274A7/15页10不同玩家和控制器的定位的准确度。在一个实施例中，如在下文中相对于图3B所描述的，控制器内部的声室为声音提供渠道CONDUIT。在另一实施例中，声音接口134包括滑动门，该滑动门在不需要侧向通信时关闭声音接口136，由此增大朝向控制。
35、器前方的声音通信的功率。输入板区域138包括用于在玩游戏期间获得用户输入的按钮。控制器130包括适应用户的手的握把区域140。0064图3B描绘了具有内部声室150的如图3A所示的控制器130。内部声室朝向控制器的外部传送去往和来自声音发射器154和声音接收器152的超声波。在一个实施例中，声室150在前部和侧面具有声音接口。使用声室允许仅用一个发射器和一个接收器进行多方向的声音通信。在另一实施例中，未使用声室，并且在发生声音通信的、控制器的每一例放置一对发射器和接收器。在另一实施例中，声音通信可穿过球形部分，由此声音在多个方向上扩散，即使当控制器没有正好面向处于另一端的声音捕捉设备时也允许声。
36、音通信。多个声音接口散布在整个球形部分上，每个声音接口与声室连接。各声音接口还可包括有助于识别声音传来的方向或声音接口的声音传感器，从而产生提高的准确度。0065图4示出了根据一个实施例的具有被一个或更多个内部光发射器172照亮的球形部分的控制器170的示意性表示。当执行图像数据分析时来自光发射器172的光照亮球形部分174以便于检测控制器，这是因为计算设备使用球形部分的额外亮度来更加容易地区分球形部分的细节和轮廓与背景图像。在一个实施例中，光发射器172是发光二极管LED。在另一实施例中，光发射器172处于红外光谱中，使得球形部分发出红外光，从而使得通过红外摄像机来检测成为可能。0066尽管。
37、优选的是跟踪控制器的摄像机以IR频率操作或者具有切换至IR模式的能力，但控制器的球形部分也可着色为亮霓虹橙色或霓虹绿色，以允许摄像机在可见光谱中操作来跟踪X、Y位置。0067图5包括了根据一个实施例的在球形部分182内部有红外光发射器184的控制器，其中光发射器从控制器外部可见。球形部分让红外光以最小的变形穿过，从而允许红外摄像机通过检测红外光来检测控制器180的定位。在另一实施例中，光源为在可见光谱中操作的LED，通过分析由数码摄像机拍摄的可见光谱中的图像数据来检测所述光源。在又一实施例中，光源频率被混合，从而实现可见光和IR输出。0068图6描绘了具有超声波能力和球形部分192的控制器19。
38、0，其中所述球形部分被定向反射材料194部分地覆盖。定向反射器是沿平行于入射角但是在方向上与入射角相反的向量反射回波前的器件或表面。这不同于反射镜，反射镜只有当正好垂直于波前时才会这样。通过使球形部分192定向反射或者至少部分地定向反射，来自处于远处的光捕捉设备旁边的源的光将朝向该光捕捉设备而反射回去，如图14B所示。与非定向反射器相比，这样增加了反射回的光的量，从而允许实现更高的图像对比度并且在所捕捉到的图像中更好地辨识控制器。在另一实施例中，球形部分192完全被定向反射材料覆盖以实现最大程度的光反射。0069应理解的是，本发明的每个实施例的每个特征可与另一实施例的特征混合从而生成混合的实施。
39、例。例如，具有定向反射涂层的球形部分也可在其中包含有IR源，其允许IR光从球形部分内部穿过球体上的不存在定向反射材料的透射区域。0070图7描绘了具有可更换面板的单手控制器210的一个实施例。诸如220A和220B说明书CN104162274A108/15页11的不同的面板允许独特的键盘构造并且使得用户在玩不同游戏时可更加灵活地选择输入方法。在图7所示的实施例中，用户可以选择使用面板A220A或面板B220B，其中面板A220A包括方向键DIRECTIONALPAD，而面板B220B包括4个按钮。0071图8示出了根据一个实施例的通过插入板302结合在一起而形成旨在用两只手使用的控制器的两个单。
40、手控制器300A和300B的示意性表示。该插入板为用户添加了输入选择。通过在控制器之间使用面板，控制器之间的距离固定且已知。远处的计算系统跟踪两个控制器的运动以得到提高的准确度。另外，通过考虑控制器之间的固定距离，计算系统可以利用三角测量技术进一步细化定位检测和控制器定向。0072图9A9B描绘了一个实施例中在底部结合而形成一个单手控制器的两个单手控制器。锁定机构322允许单手控制器320A和320B在底部连接。在一个实施例中，控制器320A和320B的形状被构造为允许控制器的联锁INTERLOCK。在另一实施例中，使用适配器来连接各控制器。适配器可以是刚性的，从而与各控制器组合形成刚性结构，。
41、或者适配器可以是挠性的，从而允许该组合具有不同且可变的形状。例如，适配器可包括绳索状的机构，其中在游戏中可将其与两个控制器的组合用作双截棍。此外，在另一实施例中，适配器可通过伸缩机构沿纵向延伸，从而形成类似长剑或标枪的组合。在另一实施例中，在各控制器之间形成电连接，从而计算系统可以检测到控制器已连接，或者允许控制器之间直接进行通信。这种组合可称为“刀剑SWORD”或“棍棒WAND”构造。类似于图8的控制器组合，“刀剑”构造允许远处的计算系统同时跟踪两个控制器以得到提高的准确度。0073图9B示出了包括“刀剑”控制器的三维游戏环境。摄像机322和声音捕捉设备324跟踪两个控制器。例如，使用超声波。
42、通信来确定从控制器到声音捕捉设备321的距离DZ1和DZ2。计算系统检测空间中的位置并且计算两个控制器的端部的定位。在一个实施例中，将连结两个控制器的线转换为工具或武器在屏幕上的类似定位。0074图10示出了根据一个实施例的对控制器360和对用户特征的视觉跟踪。对由摄像机362捕捉的图像数据进行分析，从而不仅计算控制器的X，Y位置，而且还检测人的特征，以便考虑玩家和控制器的位置作为游戏的输入。在一个实施例中，跟踪头部区域350和上身TORSO区域352。在其他实施例中，跟踪玩家的眼睛未示出。线354示出了朝向用户脸部的方向，线356示出了朝向用户上身的方向，并且线358示出了朝向控制器的方向和。
43、到控制器的距离。不同线之间的角度1和2的变化指示玩家相对于控制器的位置的相对变化。0075图11示出了一个实施例中的控制器运动跟踪。除了球形部分和超声波通信之外，控制器380包括跟踪控制器380以得到惯性活动的惯性分析仪388。将来自惯性分析仪388的数据传送382至计算系统。可使用各种类型的惯性传感器设备来提供6个自由度例如X、Y、Z平移以及绕X轴、Y轴、Z轴的转动上的信息。用于提供6个自由度上的信息的合适的惯性传感器的实例包括加速度计、一个或更多个单轴加速度计、机械陀螺仪、环形激光陀螺仪或者这些中的两个或更多个的组合。在玩视频游戏期间，对来自惯性分析仪388的信号进行分析以确定控制器的运动。
44、和定向。在一个实施例中，经由WIFITM382无线通信将惯性分析数据传达至计算系统。可替换地，有线通信、或有线通信与无线通信的组合也是有可能。此外，尽管特别指出了WIFITM，但其他无线模式或标准也可用于实现通信。0076图12A12B示出了玩家所握的单手控制器的不同视图。图12A示出了从面向玩家说明书CN104162274A119/15页12的摄像机的角度看到的典型视图。在这个实施例中，控制器400包括用于反射来自于处于摄像机旁边或周围的源的光的定向反射材料402，使得所反射的光在相反方向上反弹回去，从而使朝向摄像机传播回去的光的量最大化。从摄像机的角度来看，声音接口404也是可见的。007。
45、7图12B示出了包括球形部分400和声音接口404和406的控制器的侧视图，其中所述球形部分具有定向反射材料402。0078图13示出了根据一个实施例的使用单手控制器420A和420B的玩家的示意性表示以示出使用超声波来确定相对距离。这两个控制器都支持其与声音接收器422以及它们自己之间的双向超声波通信。在一个实施例中，控制器420A和420B发送和接收声音信息。所捕捉到的声音信息被发送到计算机程序进行处理以便计算出控制器之间的距离DRS。在另一实施例中，在控制器中的一个的内部的处理器测量声音在各控制器之间的传播时间以计算DRS，然后将DRS发送到远处的计算机程序，该计算机程序使用这个信息来计。
46、算各控制器在三维捕捉区域中的位置。如先前相对于图1所描述的，使用超声波测量结果来计算距离需要同步。0079图14A14B示出了根据一个实施例的使用视频和超声波对两个控制器的三维定位的确定。图14A描绘了经过一些时间之后的图13中的同一用户，其中用户手部发生了移动并且将控制器放置在了比图13中更远的距离DRS处。在这个实例中，更宽的手部间隔反映为具象在屏幕中更宽的手部间隔。在图14B所描绘的实施例中，控制器420B包括定向反射材料，所述定向反射材料被用于反射在红外光发射器433处发出的红外光。由红外摄像机326捕捉所反射的光以产生图像数据，然后对图像数据进行分析以确定控制器的定位。在其他实施例中。
47、，摄像机436既是红外摄像机又是可见光谱摄像机。摄像机436交替获取来自红外光谱和可见光谱的图像数据。然后，计算系统使用这两种类型的测量结果来计算X，Y位置。通过使用两种方法对控制器进行定位，实现了更高的准确度。0080图15描述了根据本发明的一个实施例的利用超声波来测量两个控制器450A、450B之间的距离而确定这两个控制器的定位。0081图16示出了根据一个实施例的利用与两个控制器分别相关的信息对通过结合这两个控制器所形成的控制器如图9A所示的定位的确定。如先前相对于图9A和9B所述的，控制器500A和500B被结合在一起。单独计算每个控制器的定位，然后在定位计算中包括各控制器之间的距离D。
48、RS以提高准确度。由于DRS已知，因此将控制器之间的测量距离与已知距离进行比较，从而可以对控制器的位置进行调整。0082在一个实施例中，跟踪一组若干个连续的测量结果以消除测量结果中的偏差或假信号GLITCH。不同测量结果的采样频率随着所需精度和计算资源的可用性而变化。例如，格斗互动游戏将比互动的棋类游戏需要更高频率的测量结果。0083图17示出了包括具有内置式摄像机602和超声波通信的控制器600的实施例的俯视图。在这个实施例中，摄像机位于控制器处而不是显示器区域附近。光发射器606A和606B大约位于显示器的不同端部。由摄像机602捕捉图像数据，而来自光发射器606A和606B的光有助于识别。
49、控制器的定位。光发射器定位610A和610B代表光发射器在X轴和Y轴内的定位。麦克风604与控制器600之间的超声波通信被用于从计算控制器到麦克风的距离DZ。说明书CN104162274A1210/15页130084在一个实施例中，摄像机602所捕捉的图像被传送至计算设备PS3，然后计算设备对所捕捉到的图像进行处理以计算控制器的X和Y定位。在另一实施例中，控制器600中的处理器对图像数据进行处理并且计算控制器位置，然后将计算得到的控制器位置传送至计算设备PS3。在其他实施例中，控制器600对图像数据进行部分处理，然后将数据的子集发送到计算设备PS3用以进行最终处理。0085图18示出了其中摄像机位于控制器处的另一实施例，其示出了根据一个实施例的使用具有视频和声音能力的单手控制器600A和600B的两个玩家。0086由于摄像机位于控制器处，因此在控制器的前部无需具有球形部分或任何其他易于辨识的形状，从而形成更纤细的设计。图19A19D示出了具有视频和超声波能力的单手控制器的不同实施例。控制器650的基本构造为在前部具有摄像机652和超声波接口。控制器660还包括侧向声音接口662，该侧向声音接口662可被用于与其他控制器进行通信，或者甚至在互动游戏期间控制器朝着远离屏幕的方向时与显示系统附近的声音捕捉接口进行通信。0087图19C的控制器670包括被构造为在玩家使。