《对象拾取方法、对象拾取装置及用户设备.pdf》由会员分享，可在线阅读，更多相关《对象拾取方法、对象拾取装置及用户设备.pdf（17页完整版）》请在专利查询网上搜索。
1、10申请公布号CN104182043A43申请公布日20141203CN104182043A21申请号201410401826922申请日20140815G06F3/0120060171申请人北京智谷睿拓技术服务有限公司地址100085北京市海淀区小营西路33号1层1F05室72发明人王正翔54发明名称对象拾取方法、对象拾取装置及用户设备57摘要本申请实施例公开了一种对象拾取方法及拾取装置，所述方法包括获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；沿着所述反射方向获取至少一第一图像；。
2、分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。本申请的实施方案通过追踪用户视线经过一镜子反射后的反射方向，并获取该反射方向的至少一图像，拾取用户通过所述镜子关注的至少一目标对象，特别适合在用户需要使用镜子来观看至少一对象的场合方便地拾取用户感兴趣的目标对象。51INTCL权利要求书2页说明书7页附图7页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书7页附图7页10申请公布号CN104182043ACN104182043A1/2页21一种对象拾取方法，其特征在于，包括获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；。
3、根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；沿着所述反射方向获取至少一第一图像；分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。2如权利要求1所述的方法，其特征在于，获取所述位置信息和所述视线方向包括获取包含所述眼睛的至少一第二图像；分析所述至少一第二图像得到所述位置信息和/或所述视线方向。3如权利要求2所述的方法，其特征在于，获取所述至少一第二图像包括在所述镜子后侧获取所述至少一第二图像。4如权利要求1所述的方法，其特征在于，所述根据所述位置信息和所述视线方向确定所述反射方向包括根据所述位置信息和所述视线方向确定所述视线在所述镜子上的反射点位置。
4、；根据所述视线方向和所述反射点位置确定所述反射方向。5如权利要求1所述的方法，其特征在于，所述获取所述至少一第一图像包括在所述镜子后侧获取所述至少一第一图像。6如权利要求1所述的方法，其特征在于，所述方法还包括获取所述至少一目标对象的至少一相关信息。7如权利要求6所述的方法，其特征在于，所述至少一相关信息包括以下的至少一种属性信息、链接信息和通信信息。8一种对象拾取装置，其特征在于，包括信息获取模块，用于获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；反射方向确定模块，用于根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；图像获取模块。
5、，用于沿着所述反射方向获取至少一第一图像；图像处理模块，用于分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。9如权利要8所述的装置，其特征在于，所述信息获取模块包括图像获取单元，用于获取包含所述眼睛的至少一第二图像；图像处理单元，用于分析所述至少一第二图像得到所述位置信息和/或所述视线方向。10如权利要求9所述的装置，其特征在于，所述镜子为单向透射镜；所述图像获取单元设置在所述镜子的透射侧。11如权利要求8所述的装置，其特征在于，所述反射方向确定模块包括反射点确定单元，用于根据所述位置信息和所述视线方向确定所述视线在所述镜子上的反射点位置；权利要求书CN104182043A。
6、2/2页3反射方向确定单元，用于根据所述视线方向和所述反射点位置确定所述反射方向。12如权利要求8所述的装置，其特征在于，所述镜子为单向透射镜；所述图像获取模块设置在所述镜子的透射侧。13如权利要求12所述的装置，其特征在于，所述图像获取模块包括分开设置在所述镜子的所述透射侧的多个图像获取单元。14如权利要求13所述的装置，其特征在于，所述图像获取模块还包括图像获取单元确定单元，用于根据所述反射方向确定所述多个图像获取单元中的至少一图像获取单元，所述至少一图像获取单元用于沿着所述反射方向获取所述至少一第一图像。15如权利要求8所述的装置，其特征在于，所述装置还包括相关信息获取模块，用于获取所述。
7、至少一目标对象的至少一相关信息。16如权利要求15所述的装置，其特征在于，所述相关信息获取模块进一步用于，获取以下信息中的至少一种所述至少一目标对象的属性信息、链接信息和通信信息。17一种用户设备，其特征在于，包括权利要求816中任一项所述的对象拾取装置。权利要求书CN104182043A1/7页4对象拾取方法、对象拾取装置及用户设备技术领域0001本申请涉及人机交互技术领域，尤其涉及一种对象拾取方法及对象拾取装置。背景技术0002随着技术的不断发展，为了获得感兴趣的目标对象的信息或者与所述目标对象建立连接，人们可以通过多种方式来拾取所述目标对象，例如通过用户的动作指定所述目标对象，例如，用手。
8、指向所述目标对象；或者，通过视线追踪确定用户眼睛正在注视的目标对象；或者通过语音描述确定所述目标对象等。发明内容0003本申请实施例可能的目的是提供一种对象拾取技术方案。0004第一方面，本申请的一可能的实施方案提供了一种对象拾取方法，包括0005获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；0006根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；0007沿着所述反射方向获取至少一第一图像；0008分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。0009第二方面，本申请的一可能的实施方案提供了一种对象拾取装置，。
9、包括0010信息获取模块，用于获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；0011反射方向确定模块，用于根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；0012图像获取模块，用于沿着所述反射方向获取至少一第一图像；0013图像处理模块，用于分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。0014第三方面，本申请的一可能的实施方案提供了一种用户设备，包括上述的对象拾取装置。0015本申请实施例的至少一个实施方案通过追踪用户视线经过一镜子反射后的反射方向，并获取该反射方向的至少一图像，拾取用户通过所述镜子关注的至。
10、少一目标对象，特别适合在用户需要使用镜子来观看至少一对象的场合方便地拾取用户感兴趣的目标对象。附图说明0016图1为本申请实施例的一种对象拾取方法的流程图；0017图2为本申请实施例的一种对象拾取装置的结构示意框图；0018图3A、3B和3C为本申请实施例三种对象拾取装置的应用场景示意图；说明书CN104182043A2/7页50019图4为本申请实施例的另一种对象拾取装置的结构示意框图；0020图5为本申请实施例的再一种对象拾取装置的结构示意框图；0021图6为本申请实施例的一种用户设备的结构示意框图。具体实施方式0022下面结合附图若干附图中相同的标号表示相同的元素和实施例，对本申请的具体。
11、实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。0023本领域技术人员可以理解，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。0024如图1所示，本申请实施例提供了一种对象拾取方法，包括0025S110获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；0026S120根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；0027S130沿着所述反射方向获取至少一第一图像；0028S140分析所述至少一第一图像确定所述用户通过所述镜子。
12、注视的至少一目标对象。0029在本申请实施例中，所述镜子为具有一反射面、可供用户通过所述反射面注视一目标对象的物体，例如常用的平面、凸面或凹面等形状的反射镜、玻璃、水面等，下面主要以反射镜为例进行说明。0030举例来说，本发明提供的对象拾取装置作为本实施例的执行主体，执行S110S140。具体地，所述对象拾取装置可以以软件、硬件或软硬件结合的方式设置在用户设备中。0031本申请实施例通过追踪用户视线经过一镜子反射后的反射方向，并获取该反射方向的至少一图像，拾取用户通过所述镜子关注的至少一目标对象，特别适合在用户需要使用镜子来观看至少一对象的场合方便地拾取用户感兴趣的目标对象。0032通过下面的。
13、实施方式进一步说明本申请实施例方法的各步骤0033S110获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向。0034在本申请实施例中所述步骤S110获取所述位置信息的方法可以有多种，在本申请实施例一种可能的实施方式中，包括0035获取包含所述眼睛的至少一第二图像；0036分析所述至少一第二图像得到所述位置信息。0037在本申请实施例中，通过所述眼睛对应的眼睛图像区域在所述至少一第二图像上的位置和大小可以得到所述眼睛相对于所述至少一第二图像的图像采集位置的第一位置信息，再根据所述图像采集位置与所述镜子之间的相对位置关系该相对位置关系一般为固定的或者可以获取的，。
14、一种可能的实施方式中，当图像采集位置靠近所述镜子设置时，二者之间的相对位置可以看成是二者在相同的位置，可以得到所述位置信息。说明书CN104182043A3/7页60038在本申请实施例其它可能的实施方式中，所述步骤S110还可以通过一设置在所述镜子侧的一位置传感器来获得所述位置信息。0039在本申请实施例一种可能的实施方式中，所述步骤S110获取所述视线方向可以包括0040分析所述至少一第二图像，得到所述视线方向。0041例如，可以根据所述至少一第二图像中所述眼睛对应的眼睛图像区域中，眼睛的朝向以及瞳孔在所述眼睛中的位置来确定所述视线方向。0042在本申请实施例一种可能的实施方式中，所述获取。
15、所述至少一第二图像包括0043在所述镜子后侧获取所述至少一第二图像。0044在本申请实施例中，所述镜子可以为一单向透视镜，其朝向所述用户和所述至少一目标对象的前侧为反射侧，而与所述前侧相反的后侧为透射侧，通过一图像采集器件在所述镜子的所述后侧朝向所述前侧获取所述至少一第二图像。0045当然，在本申请实施例其它可能的实施方式中，还可以通过其它方式在所述镜子侧获取所述至少一第二图像。例如所述镜子上设有至少一孔洞，设置在所述镜子后侧的图像采集装置可以通过所述孔洞来获得所述至少一第二图像。或者，例如还可以在所述镜子上方或侧方等位置来获取所述至少一第二图像。0046S120根据所述位置信息和所述视线方向。
16、确定所述视线经过所述镜子反射后的反射方向。0047在本申请实施例一种可能的实施方式中，所述步骤S120可以包括0048根据所述位置信息和所述视线方向确定所述视线在所述镜子上的反射点位置；0049根据所述视线方向和所述反射点位置确定所述反射方向。0050S130沿着所述反射方向获取至少一第一图像。0051在本申请实施例一种可能的实施方式中，所述步骤S130可以包括0052在所述镜子后侧获取所述至少一第一图像。0053在本实施方式中，与上述获取所述至少一第二图像类似的，所述镜子可以为所述单向透视镜，通过一图像采集器件从所述镜子的后侧获取所述至少一第一图像。获取所述至少一第一图像和所述至少一第二图像。
17、的图像采集器件可以为同一图像采集器件，也可以为不同的图像采集器件。0054同样的，在其它可能的实施方式中，也可以在所述镜子后侧通过镜子上的至少一孔洞获取所述至少一第一图像。0055其中，在一种可能的实施方式中，当所述镜子为水面等液体表面时，若所述图像采集器件位于所述液体内部，则所述图像采集器件在获取所述至少一第一图像时还需要考虑液体的折射率，具体参加下方图3C所示实施例中对应的描述。0056S140分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。0057在本申请实施例中，由于是沿着所述反射方向获取的所述至少一第一图像，因此可以确定所述反射方向对应的所述至少一目标对象所对应的。
18、图像区域，通过图像识别等分析处理，可以确定所述至少一目标对象。0058在本申请实施例一种可能的实施方式中，在确定了所述至少一目标对象之后，所说明书CN104182043A4/7页7述方法还包括0059获取所述至少一目标对象的至少一相关信息。0060在本申请实施例中，所述至少一相关信息包括以下的至少一种0061属性信息、链接信息和通信信息。0062当然，本领域技术人员可以知道，除了上面所述的三种相关信息外，其它可能的相关信息也可能被使用，这里不再一一列举。0063在一种可能的应用场景中，所述镜子为一交通工具的后视镜，例如汽车两侧的后视镜，通过上述实施方式确定了所述用户通过所述后视镜注视的后方的目。
19、标对象后，例如，可以获取所述目标对象的属性信息，例如所述目标对象为另一汽车，所述属性信息可以为所述另一汽车的品牌、车型、价格等，或者还可以为所述另一汽车的车牌号等信息。0064在另一种可能的应用场景中，所述镜子例如可以为一大巴车内的后视镜，司机可以通过上述的实施方式确定一乘客，然后获取所述乘客的通信信息，与所述乘客进行通信。0065可以看出，本申请实施例的实施方案在用户不方便回头，需要通过一镜子来注视对象的场合，可以方便的帮助用户拾取感兴趣的目标对象。0066本领域技术人员可以理解，在本申请具体实施方式的上述方法中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑。
20、确定，而不应对本申请具体实施方式的实施过程构成任何限定。0067如图2所示，本申请实施例一种可能的实施方式提供了一种对象拾取装置200，包括0068信息获取模块210，用于获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；0069反射方向确定模块220，用于根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；0070图像获取模块230，用于沿着所述反射方向获取至少一第一图像；0071图像处理模块240，用于分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。0072本申请实施例通过追踪用户视线经过一镜子反射后的反射方向，并。
21、获取该反射方向的至少一图像，拾取用户通过所述镜子关注的至少一目标对象，特别适合在用户需要使用镜子来观看至少一对象的场合方便地拾取用户感兴趣的目标对象。0073通过下面的实施方式进一步说明本申请实施例装置的各模块。0074如图4所示，在本申请实施例一种可能的实施方式中，所述信息获取模块210包括0075图像获取单元211，用于获取包含所述眼睛的至少一第二图像；0076图像处理单元212，用于分析所述至少一第二图像得到所述位置信息和/或所述视线方向。0077在本实施方式中，所述图像处理单元212例如可以通过所述眼睛对应的眼睛图像区域在所述至少一第二图像上的位置和大小可以得到所述眼睛相对于所述图像获。
22、取单元211的第一位置信息，再根据所述图像获取单元211与所述镜子之间的相对位置关系，可以得到所述位置信息。说明书CN104182043A5/7页80078当然，在本申请实施例其它可能的实施方式中，所述信息获取模块210可以包括一位置传感器例如红外或超声波位置传感器，用于获取所述位置信息。0079在本实施方式中，所述图像处理单元212例如可以根据所述至少一第二图像中所述眼睛对应的眼睛图像区域中，眼睛的朝向以及瞳孔在所述眼睛中的位置来确定所述视线方向。0080如图3A所示，在本申请实施例一种可能的实施方式中，所述镜子310为单向透射镜，其朝向所述用户的所述眼睛320和所述至少一目标对象330的一。
23、侧为反射侧311，而与所述反射侧相反的一侧为透射侧312；0081所述图像获取单元211设置在所述镜子310的透射侧312。0082所述用户通过所述反射侧311的反射可以看到所述至少一目标对象330通过所述镜子310所成的像，所述图像获取单元211可以透过所述镜子310透射侧312的透射，采集到包含所述用户眼睛320的图像区域的所述至少一第二图像。所述图像处理单元212再根据所述至少一第二图像得到所述位置信息和/或所述视线方向E。0083当然，在本申请实施例其它可能的实施方式中，所述镜子可以不需要是单向透射镜，所述镜子上例如可以有至少一孔洞，所述图像获取单元211例如可以透过所述孔洞来获取所述。
24、至少一第二图像。0084此外，所述图像获取单元211还可以设置在所述镜子上方或侧方等位置来获取所述至少一第二图像。0085如图4所示，在本申请实施例一种可能的实施方式中，所述反射方向确定模块220包括0086反射点确定单元221，用于根据所述位置信息和所述视线方向确定所述视线在所述镜子上的反射点位置；0087反射方向确定单元222，用于根据所述视线方向和所述反射点位置确定所述反射方向。0088如图3C所示，在另一种可能的实施方式中，所述镜子为水340的表面341，所述图像获取单元211位于所述水340的内部，此时所述反射方向确定单元222在确定所述反射方向时，还需要考虑到水的折射率，确定所述反。
25、射方向的折射方向Z。所述图像获取单元211沿着所述折射方向Z拍摄所述至少一目标对象330的图像。0089在本申请实施例一种可能的实施方式中，所述图像获取模块230与所述信息获取模块210为两个分开的器件，如图2所示。0090如图3A所示，在本申请实施例另一种可能的实施方式中，所述图像获取模块230与所述信息获取模块210由同一器件实现，例如，可以通过所述图像获取单元211获取所述至少一第一图像。0091在本实施方式中，所述图像获取单元211的位置和拍摄方向是可以调节的，在确定了所述反射方向之后，所述图像获取单元211自动调节到与所述反射方向对应的位置和拍摄方向，以获取所述至少一第一图像。009。
26、2在本申请实施例的另一种可能的实施方式中，如图3B所示，所述图像获取模块210包括0093分开设置在所述镜子的所述透射侧的多个图像获取单元231。说明书CN104182043A6/7页90094其中，在一种可能的实施方式中，所述多个图像获取单元231中的至少一图像获取单元231可以用于获取所述至少一第二图像。0095在本实施方式中，所述图像获取模块210还包括0096图像获取单元确定单元232，用于根据所述反射方向R确定所述多个图像获取单元231中的一图像获取单元231A，所述一图像获取单元231A用于沿着所述反射方向R获取所述至少一第一图像。0097在本申请实施例中，由于是沿着所述反射方向获。
27、取的所述至少一第一图像，因此所述图像处理模块240可以确定所述反射方向对应的所述至少一目标对象所对应的图像区域，通过图像识别等分析处理，可以确定所述至少一目标对象。0098如图4所示，在一种可能的实施方式中，所述装置200还包括0099相关信息获取模块250，用于获取所述至少一目标对象的至少一相关信息。0100在一种可能的实施方式中，所述相关信息获取模块250进一步用于，获取以下信息中的至少一种0101属性信息、链接信息和通信信息。0102在不同的应用场景获取对应的相关信息的描述参见上述方法实施例中对应的描述，这里不再赘述。0103图5为本申请实施例提供的又一种对象拾取装置500的结构示意图，。
28、本申请具体实施例并不对对象拾取装置500的具体实现做限定。如图5所示，该对象拾取装置500可以包括0104处理器PROCESSOR510、通信接口COMMUNICATIONSINTERFACE520、存储器MEMORY530、以及通信总线540。其中0105处理器510、通信接口520、以及存储器530通过通信总线540完成相互间的通信。0106通信接口520，用于与比如客户端等的网元通信。0107处理器510，用于执行程序532，具体可以执行上述方法实施例中的相关步骤。0108具体地，程序532可以包括程序代码，所述程序代码包括计算机操作指令。0109处理器510可能是一个中央处理器CPU，。
29、或者是特定集成电路ASICAPPLICATIONSPECICINTEGRATEDCIRCUIT，或者是被配置成实施本申请实施例的一个或多个集成电路。0110存储器530，用于存放程序532。存储器530可能包含高速RAM存储器，也可能还包括非易失性存储器NONVOLATILEMEMORY，例如至少一个磁盘存储器。程序532具体可以用于使得所述对象拾取装置500执行以下步骤0111获取一用户的一眼睛相对于一镜子的位置信息、以及所述眼睛的视线相对于所述镜子的视线方向；0112根据所述位置信息和所述视线方向确定所述视线经过所述镜子反射后的反射方向；0113沿着所述反射方向获取至少一第一图像；0114。
30、分析所述至少一第一图像确定所述用户通过所述镜子注视的至少一目标对象。0115程序532中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述说明书CN104182043A7/7页10描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。0116如图6所示，本申请实施例一种可能的实施方式还提供了一种用户设备600，包括上面所述的对象拾取装置610。0117在一种可能的实施方式中，所述用户设备600可以为汽车、摩托车、船艇、飞行器等交通工具，还可以为水下摄像机等，在其它可能的实施方。
31、式中，所述用户设备600还可以为用户的便携设备，例如具有镜面的手机、平板电脑等。0118本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。0119所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方。
32、案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器ROM，READONLYMEMORY、随机存取存储器RAM，RANDOMACCESSMEMORY、磁碟或者光盘等各种可以存储程序代码的介质。0120以上实施方式仅用于说明本申请，而并非对本申请的限制，有关技术领域的普通技术人员，在不脱离本申请的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请的范畴，本申请的专利保护范围应由权利要求限定。说明书CN104182043A101/7页11图1说明书附图CN104182043A112/7页12图2说明书附图CN104182043A123/7页13图3A说明书附图CN104182043A134/7页14图3B说明书附图CN104182043A145/7页15图3C说明书附图CN104182043A156/7页16图4说明书附图CN104182043A167/7页17图5图6说明书附图CN104182043A17。