书签 分享 收藏 举报 版权申诉 / 39

图像显示设备、图像显示方法与图像显示系统.pdf

  • 上传人:n****g
  • 文档编号:6359813
  • 上传时间:2019-06-04
  • 格式:PDF
  • 页数:39
  • 大小:2.76MB
  • 摘要
    申请专利号:

    CN201380070849.X

    申请日:

    2013.10.31

    公开号:

    CN104919518A

    公开日:

    2015.09.16

    当前法律状态:

    授权

    有效性:

    有权

    法律详情:

    授权|||实质审查的生效IPC(主分类):G09G 5/00申请日:20131031|||公开

    IPC分类号:

    G09G5/00; G02B27/02; G06F13/00; H04N5/64; H04N21/63

    主分类号:

    G09G5/00

    申请人:

    索尼公司

    发明人:

    佐古曜一郎; 武田正资

    地址:

    日本东京

    优先权:

    2013-011147 2013.01.24 JP

    专利代理机构:

    北京康信知识产权代理有限责任公司11240

    代理人:

    田喜庆; 吴孟秋

    PDF完整版下载: PDF下载
    内容摘要

    当看到罕有的或者有价值的对象时,可以在具有安放在头上或者脸部上的图像显示设备的用户之间分享图像。当人们看到罕有的或者有价值的事物时,倾向于想要与其他人分享。例如,当一个人在夜空中观察到诸如金星或流星的行星,观察到河中的鱼或河蟹,或者在森林中的高树的顶端发现鸟、知了、甲虫等时,通常这个人想要将该情景指给另一个人。为了与另一个用户分享这个人的宝贵经验,借助图像显示设备(100),可获得捕捉用户视线方向的图像。

    权利要求书

    权利要求书
    1.  一种头戴型或者面戴型的图像显示设备,所述图像显示设备包括:
    图像显示单元,显示图像;
    图像输入单元,输入图像;
    接收端设置单元,设置接收端,所述接收端是被输入至所述图像输入单元的所述图像的传输目的地;以及
    图像传输单元,将被输入至所述图像输入单元的所述图像传输至所述接收端。

    2.  根据权利要求1所述的图像显示设备,进一步包括状态检测单元,所述状态检测单元检测使用所述图像显示设备的用户的状态,其中,
    响应于通过所述状态检测单元对所述用户的预定状态的检测,所述图像传输单元开始或者停止将被输入至所述图像输入单元的所述图像传输至所述接收端。

    3.  根据权利要求1所述的图像显示设备,其中,
    所述接收端设置单元传输图像发布消息并且设置回复确认消息的接收端。

    4.  根据权利要求1所述的图像显示设备,其中,
    当所述接收端设置单元不能设置任何一个接收端时,所述图像传输单元不传输被输入至所述图像输入单元的所述图像。

    5.  根据权利要求1所述的图像显示设备,进一步包括创建附加信息的附加信息创建单元,所述附加信息与被输入至所述图像输入单元的所述图像输入一起被传输,其中,
    所述图像传输单元将所述附加信息与被输入至所述图像输入单元的所述图像一起传输至所述接收端。

    6.  根据权利要求5所述的图像显示设备,其中,
    所述接收端设置单元将所述接收端分为两个或更多个种类,并且
    所述图像传输单元将所述附加信息仅传输至预定种类的所述接收端。

    7.  根据权利要求5所述的图像显示设备,其中,
    所述图像输入单元输入在使用所述图像显示设备的用户的视线方向中的图像,并且
    所述附加信息创建单元创建关于所述用户的视线的附加信息或者指示在视线方向中的对象的附加信息。

    8.  根据权利要求1所述的图像显示设备,进一步包括成像单元,其中,
    所述图像输入单元输入通过所述成像单元捕捉的图像。

    9.  根据权利要求1所述的图像显示设备,进一步包括:
    成像单元;以及
    记录单元,记录所述成像单元的捕捉图像,其中,
    所述图像输入单元输入来自所述记录单元的所述捕捉图像。

    10.  一种头戴型或者面戴型的图像显示设备,所述图像显示设备包括:
    图像接收处理单元,对从传输端传输的图像执行接收处理;以及
    图像显示单元,显示经过所述接收处理的所述图像。

    11.  根据权利要求10所述的图像显示设备,进一步包括设置所述传输端的传输端设置单元,其中,
    所述图像接收处理单元仅接收来自被所述传输端设置单元设置的所述传输端的图像。

    12.  根据权利要求11所述的图像显示设备,其中,
    所述传输端设置单元响应于来自所述传输端的图像发布消息而回复确认消息。

    13.  根据权利要求10所述的图像显示设备,其中,
    所述图像接收处理单元选择性地接收与所述图像一起传输的附加信息。

    14.  根据权利要求10所述的图像显示设备,其中,
    所述图像显示单元包括用于使用所述图像显示单元的用户的右眼和左眼的显示屏幕,并且在左显示屏幕和右显示屏幕中的任一个上显示经过所述接收处理的所述图像。

    15.  根据权利要求10所述的图像显示设备,其中,
    所述图像显示单元在作为子屏幕或者分割屏幕的显示屏幕上显示经过所述接收处理的所述图像。

    16.  根据权利要求10所述的图像显示设备,其中,
    所述图像接收处理单元对与所述图像一起传输的附加信息执行显示处理。

    17.  根据权利要求10所述的图像显示设备,其中,
    所述传输端将在所述传输端的用户的视线方向中的图像与包含关于所述用户的视线的信息的附加信息一起传输,并且
    所述图像接收处理单元基于关于所述用户的视线的所述信息对从所述传输端接收的所述图像执行特殊处理,所述信息被接收为所述附加信息。

    18.  一种图像显示方法,包括:
    输入图像;
    设置接收端,所述接收端是在输入图像的步骤中输入的所述图像的传输目的地;以及
    将在输入图像的步骤中被输入的所述图像传输至所述接收端。

    19.  一种图像显示方法,包括:
    对从传输端传输的图像执行接收处理;以及
    输出经过所述接收处理的所述图像以进行显示。

    20.  一种图像显示系统,包括:
    头戴型或面戴型的传输侧图像显示设备,所述传输侧图像显示设备传输输入的图像;以及
    头戴型或面戴型的接收侧图像显示设备,所述接收侧图像显示设备显示从所述传输侧图像显示设备传输的所述图像。

    说明书

    说明书图像显示设备、图像显示方法与图像显示系统
    技术领域
    本说明书中公开的技术涉及通过安放在用户的头上或者脸部上使用的图像显示设备、图像显示方法与图像显示系统,并且具体地,涉及用户利用其共享信息的图像显示设备和图像显示方法,并且涉及图像显示系统。
    背景技术
    已知的图像显示设备是被安放在用户的头上或者脸部上观看图像,即,头戴式显示器。头戴式显示器配备有用于右眼和左眼的图像显示单元,例如,并且通过虚拟图像光学系统形成显示图像的放大的虚拟图像,因此允许用户观察真实图像。此外,当用户在用户的头上佩戴头戴式显示器时,如果头戴式显示器被配置为完全切断外面的世界,则增加观察的沉浸感。进一步地,头戴式显示器能够显示给右眼和左眼不同的视频。如果具有视差的图像显示给右眼和左眼,则可以呈现三维(3D)图像。
    使用头戴式显示器,不仅可以观看从介质(诸如,蓝光光盘)复制的图像,而且可以观看其他各种图像。例如,以下应用是可能的,其中,利用头戴式显示器观看从外部装置传输的实况图像。也提出了利用安放在移动对象(诸如,无线电控制装置)中的成像装置实际捕捉的图像被显示在用户佩戴的显示设备中的图像显示系统(例如,参见专利文献1)。
    头戴式显示器非常受欢迎。如果头戴式显示器愈加大量生产,头戴式显示器可能像移动电话、智能电话和便携式游戏机一样被广泛使用,并且每个人可以携带他/她自己的头戴式显示器。
    目前,信息经由智能电话被积极地交换。处理的信息的实例包括在智能电话(包括邮件)上编辑的数据、捕捉的图像以及下载至智能电话的内容。与此相反,头戴式显示器具有以免提方式容易地获取图像的特征,该 图像沿用户佩戴头戴式显示器的视线方向。也可能是图像显示系统,其中,视野图像在用户佩戴的眼镜型显示摄像机之间交换。
    例如,提出了接收和显示图像的显示设备,该图像通过捕捉由另一个人佩戴的成像显示设备所观看的情景来获得(例如,参见专利文献2)。在包括成像显示设备和显示设备的显示系统中,主要地,成像显示设备(其用作图像提供源)被配置为根据显示设备(其接收图像)对图像的请求提供图像。佩戴显示设备的用户可以观看由另一个人看到的情景。然而,当图像提供侧上的成像显示设备的用户发现罕有的或者有价值的事物时,例如,用户可能有时想直接传输图像而不等待对图像的请求。例如,存在情景瞬间移动的情况,诸如,用户发现动物正在逃跑的情况。进一步地,显示设备的用户不知道成像显示设备提供值得观看的视野情景,并且因此,必须暂时指定任意一个成像显示设备传输图像请求。
    此外,提出了成像显示系统,其中,一个成像显示设备捕捉沿用户视野方向的图像并且将该图像传输至用于显示或记录的另一个成像显示设备,或者一个成像显示设备记录沿用户视野方向的图像并且使另一个成像显示设备再现该图像(例如,参见专利文献3)。在该成像显示系统中,一个成像显示设备的用户使用远程控制器操作以指示这两个成像显示设备执行视觉交换操作。换言之,当一个成像显示设备的用户想要将他/她自己的可见图像传输给另一个成像显示设备或者想要观看另一个成像显示设备的可见图像时,该用户可以给出执行视觉交换操作的指令。然而,当另一个成像显示设备的用户在没有远程控制器的情况下发现罕有的或者有价值的事物时,例如,如果该用户想要将他/她自己的可见图像传输至一个成像显示设备,则该用户没有给出执行视觉交换操作侧指令的途径。
    发明内容
    由本发明要解决的问题
    本说明书中所公开的技术的目标是提供通过安放在用户的头上或脸部上使用并且能够在用户之间适当地共享信息的优良的图像显示设备、图像显示方法和图像显示系统。
    解决问题的方法
    考虑到上述问题做出了本申请。根据权利要求1的技术,提供了头戴型或面戴型图像显示设备,该图像显示设备包括:图像显示单元,显示图像;图像输入单元,输入图像;接收端设置单元,设置接收端,该接收端是输入至图像输入单元的图像的传输目的地;以及图像传输单元,将图像传输至接收端,该图像被输入至图像输入单元。
    根据本申请的权利要求2的技术,根据权利要求1的图像显示设备进一步包括状态检测单元,检测使用该图像显示设备的用户的状态,其中,响应于通过状态检测单元检测的用户的预定状态,图像传输单元开始或者停止将图像传输至接收端,该图像被输入至图像输入单元。
    根据本申请的权利要求3的技术,在根据权利要求1的图像显示设备中,接收端设置单元传输图像发布消息并且设置回复确认消息的接收端。
    根据本申请的权利要求4的技术,在根据权利要求1的图像显示设备中,当接收端设置单元不能设置任何一个接收端时,该图像传输单元不能将图像输入传输至图像输入单元。
    根据本申请的权利要求5的技术,根据权利要求1的图像显示设备进一步包括创建附加信息的附加信息创建单元,该附加信息与输入至图像输入单元的图像一起被传输,其中,图像传输单元将附加信息与输入传输至图像输入单元的图像一起传输至接收端。
    根据本申请的权利要求6的技术,在根据权利要求5的图像显示设备中,接收端设置单元将接收端分为两个或更多个种类,并且图像传输单元将附加信息仅传输至预定种类的接收端。
    根据本申请的权利要求7的技术,在根据权利要求5的图像显示设备中,图像输入单元输入沿使用图像显示设备的用户的视线方向的图像,并且附加信息创建单元创建关于用户视线的附加信息或者指示视线方向中的对象的附加信息。
    根据本申请的权利要求8的技术,根据权利要求1的图像显示设备进一步包括成像单元,其中,图像输入单元输入通过成像单元捕捉的图像。
    根据本申请的权利要求9的技术,根据权利要求1的图像显示设备进一步包括:成像单元;以及记录单元,记录成像单元所捕捉的图像,其中,图像输入单元从记录单元输入所捕捉的图像。
    进一步地,根据本申请的权利要求10的技术,提供了头戴型或面戴型图像显示设备,该图像显示设备包括:图像接收处理单元,对从传输端传输的图像执行接收处理;以及图像显示单元,显示经历接收处理的图像。
    根据本申请的权利要求11的技术,根据权利要求10的图像显示设备进一步包括设置传输端的传输端设置单元,其中,图像接收处理单元仅从传输端接收图像,通过传输端设置单元来设置传输端。
    根据本申请的权利要求12的技术,在根据权利要求11的图像显示设备中,传输端设置单元响应于来自传输端的图像发布消息来回复确认消息。
    根据本申请的权利要求13的技术,在根据权利要求10的图像显示设备中,图像接收处理单元选择性地接收与图像一起传输的附加信息。
    根据本申请的权利要求14的技术,在根据权利要求10的图像显示设备中,图像显示单元包括用于使用图像显示单元的用户的右眼和左眼的显示屏幕,并且在左右显示屏幕的任意一个上显示图像,该图像经历接收处理。
    根据本申请的权利要求15的技术,在根据权利要求10的图像显示设备中,图像显示单元在作为子屏幕或者分割屏幕(sub-screen)的显示屏幕上显示图像,该图像经历接收处理。
    根据本申请的权利要求16的技术,在根据权利要求10的图像显示设备中,图像接收处理单元对与图像一起传输的附加信息执行显示处理。
    根据本申请的权利要求17的技术,传输端将沿传输端的用户的视线方向的图像与包含有关用户的视线的信息的附加信息一起传输,并且在根据权利要求10的图像显示设备中,基于有关用户视线的信息,图像接收处理单元对从传输端接收的图像执行特殊处理(special processing),该信息作为附加信息被接收。
    进一步地,根据本申请的权利要求18的技术,提供了图像显示方法,包括:输入图像;设置接收端,该接收端是在输入图像的步骤中的输入的图像的传输目的地;并且将图像传输至接收端,该图像在输入图像的步骤中被输入。
    此外,根据本申请的权利要求19的技术,提供了图像显示方法,包括:对从传输端传输的图像执行接收处理;并且输出用于显示的图像,该图像经历接收处理。
    此外,根据本申请的权利要求20的技术,提供了图像显示系统,包括:头戴型或面戴型传输侧图像显示设备,该传输侧图像显示设备传输输入图像;以及头戴型或面戴型接收侧图像显示设备,该接收侧图像显示设备显示从传输侧图像显示设备传输的图像。
    应注意,本文中使用的“系统”是指逻辑上聚集在一起的多个设备(或者实现特殊功能的功能模块)的集合,并且没有考虑设备或者功能模块是否存在于单个壳体。
    本发明的效果
    根据本说明书中所公开的技术,可以提供通过安放在用户的头上或脸部上使用并且能够在用户之间适当地共享信息的优良的图像显示设备、图像显示方法和图像显示系统。
    根据本文中公开的技术,例如,当用户发现罕有的或者有价值的事物时,在他/她的头上或者脸部上佩戴图像显示设备的用户可以将通过捕捉他/她自己的视线方向获得的图像发布给另一个用户。
    将根据稍后描述的实施方式和附图更加清楚详细地描述本文中所公开的技术的其他目标、特征和优点。
    附图说明
    [图1]图1是示出从前面观看佩戴传输型头戴式图像显示设备100的用户的状态的示图。
    [图2]图2是示出从上面观看图1中示出的佩戴图像显示设备100的用户的状态的示图。
    [图3]图3是示出从前面观看佩戴遮光头戴式图像显示设备300的用户的状态的示图。
    [图4]图4是示出了从上面观看图3中示出的佩戴图像显示设备300的用户的状态的示图。
    [图5]图5是示出图像显示设备100的内部配置实例的示图。
    [图6]图6是示出操作用于视野提供者的图像显示设备100的功能配置的示图。
    [图7]图7是示出操作用于视野提供者的图像显示设备100的处理过程的流程图。
    [图8]图8是示出操作用于视野接收者的图像显示设备100的功能配置的示图。
    [图9]图9是示出操作用于视野接收者的图像显示设备100的处理过程的流程图。
    [图10]图10是示出安放在一个用户的头上或者脸部上的图像显示设备100将信息分别传输给由多个其他用户佩戴的图像显示设备的状态的示图。
    [图11]图11是示出由视野提供者提供的示例性图像(鱼刚从池塘的水面向上跳跃的情景)的示图。
    [图12]图12是示出由视野提供者提供的示例性图像(珍稀鸟类刚从树林飞出去的情景)的示图。
    [图13]图13是示出将标记提供至由视野提供者提供的图像中的目标对象(刚从池塘的水面向上跳跃的鱼)的状态的示图。
    [图14]图14是示出创建由视野提供者提供的图像中的目标对象(刚从池塘的水面向上跳跃的鱼)的放大图像的状态的示图。
    [图15]图15是示出将标记提供至由视野提供者提供的图像中的目标对象(刚从树林飞出的珍稀鸟类)的状态的示图。
    [图16]图16是示出创建由视野提供者提供的图像中的目标对象(刚从树林飞出的珍稀鸟类)的放大图像的状态的示图。
    [图17]图17是示出观察池塘的视野提供者的视野图像被显示在观察街角的视野接收者的小屏幕上的状态的示图,从视野提供者传输视野图像。
    [图18]图18是示出主屏幕上的视野接收者的视野图像与子屏幕上由视野提供者提供的图像彼此替换的状态的示图。
    [图19]图19是示出视野接收者的视野和由视野提供者提供的图像通过分隔屏幕来显示的状态的示图。
    [图20]图20是示出视野接收者的视野被透明地显示在双目图像显示设备100的左侧上并且从视野提供者传输的图像被显示在其右侧上的状态的示图。
    具体实施方式
    在下文中,将参考附图详细地描述本说明书中公开的技术的实施方式。
    A.设备的配置图1示出了根据本文中公开的技术的实施方式的图像显示设备100的外观配置。图像显示设备100通过安放在用户的头上或者脸部上使用,并且将图像显示给右眼和左眼。图中示出的图像显示设备100是透射型,即,透视型,使用图像显示设备100用户可以通过图像显示期间的图像观看(即,看穿)现实世界中的风景。因此,可以在现实世界中的风景上叠加虚拟的显示图像(例如,参见专利文献4)。因为不能从外面(换言之,由别人)看到显示的图像,所以当显示信息时易于保护用户的隐私。
    图中示出的图像显示设备100具有与校正眼镜相似的结构。在图像显示设备100的与用户的右眼和左眼相对的主体部分处,分别布置由透明的导光单元等形成的虚拟图像光学单元101R和101L。通过用户观察的图像(未示出)显示在虚拟图像光学单元101R和101L的内部上。例如,通过眼镜框架型支撑体102来支撑虚拟图像光学单元101R和101L的每一个。
    在眼镜框架型支撑体102的大致中心处,设置用于输入周围环境的图像的外部摄像机512。例如,外部摄像机512可捕捉用户的视线方向中的风景的图像。外部摄像机512理想地被配置为能够获取关于周围环境的图像的三维信息。例如,如果外部摄像机512由多个摄像机形成,可以使用 视差信息获取关于周围环境的图像的三维信息。此外,当移动时使用SLAM(同步定位与映射)图像识别即使一个摄像机也可以执行成像,并且使用瞬时较早和较后的多个帧图像计算视差信息(例如,参见专利文献5),以便基于所计算的视差信息获取关于周围环境的图像的三维信息。此外,在支撑体102的右端和左端附近分别设置了麦克风103R和103L。因为基本上对称地设置麦克风103R和103L,因此仅识别在中心处的声音(用户的语音),并且因此可与周围环境的噪音和别人的语音分开。例如,当通过语音输入进行操作时,这允许防止故障。
    图2示出了从上面观看的由用户佩戴的图像显示设备100的状态。如图所示,在图像显示设备100的右端和左端,分别布置显示和输出右眼和左眼图像的显示面板104R和104L。显示面板104R和104L的每一个由微显示器形成,诸如,液晶显示器或者有机EL装置。从显示面板104R和104L输出的左右显示的图像由虚拟图像光学单元101R和101L引导至相应的右眼和左眼附近,然后其放大虚拟图像形成在用户的瞳孔上。
    进一步地,图3示出了根据本文中公开的技术的另一实施方式的图像显示设备300的外观配置。通过安放在用户的头上或者脸部上使用的图像显示设备300具有遮光特性并且当安放在头上时可以直接覆盖用户的眼睛,以便给观看图像的用户沉浸感。此外,与透视型不同,佩戴图像显示设备300的用户不能直接观看现实世界中的风景。当设置捕捉用户的视线方向中的风景的图像的外部摄像机512并且显示所捕捉的图像时,用户可间接观看(即,视频看穿)现实世界中的风景。理所当然的,虚拟显示的图像可叠加在视频透视图像上。因为不能从外面(换言之,通过别人)看到显示的图像,所以当显示信息时易于保护用户的隐私。
    图中示出的图像显示设备300具有与帽子形状相似的结构并且被配置为直接覆盖佩戴图像显示设备300的用户的右眼和左眼。在与用户的右眼和左眼相对的图像显示设备300的主体部分的内部位置处,布置由用户观察的显示面板(在图3中未示出)。各个显示面板由微显示器形成,诸如,有机EL装置或者液晶显示器。
    在具有帽子形状的图像显示设备300的主体部分的前面的大致中心处,设置了用于输入周围环境的图像(用户的视野)的外部摄像机512。此外,在图像显示设备300的主体部分的右端和左端附近分别设置麦克风303R和303L。利用基本上对称设置的麦克风303R和303L,仅识别在中心处的声音(用户的语音),并且因此可与周围环境的噪音和别人的语音分开。例如,当通过语音输入进行操作时,这允许防止故障。
    图4示出了从上面观看图3中示出的佩戴图像显示设备300的用户的状态。图中示出的图像显示设备300在与用户的脸部相对的侧表面上包括分别用于右眼和左眼的显示面板304R和304L。显示面板304R和304L的每一个由微显示器形成,诸如,有机EL装置或者液晶显示器。显示面板304R和304L的显示图像分别穿过虚拟图像光学单元301R和301L,以被用户作为放大的虚拟图像观察到。进一步地,因为用户之间的眼睛的高度及其瞳孔距离彼此不同,所以需要左右方显示系统和佩戴图像显示设备300的用户眼睛成一条直线。在图4中示出的实例中,瞳孔距离调整机构305设置在右眼显示面板和左眼显示面板之间。
    图5示出了图像显示设备100的内部配置实例。应当理解,其他图像显示设备300也具有类似内部配置。在下文中,将描述这些单元。
    控制单元501包括ROM(只读存储器)501A和RAM(随机存取存储器)501B。ROM 501A存储在控制单元501中执行的程序代码和各种类型的数据。控制单元501执行加载至RAM 501B的程序,以便开始图像的显示控制并且集中控制图像显示设备100的整体操作。在ROM 501A中存储的程序和数据的实例包括图像显示控制程序、通过外部摄像机512捕捉的图像(例如,通过捕捉用户的视线方向而获得的图像)的图像处理程序、用于与外部装置(诸如,另一个用户的图像显示设备和互联网(未示出)上的服务器)通信的处理程序、以及对于设备100唯一的识别信息。
    输入操作单元502包括至少一个操作元件,诸如,按键、按钮和开关,用户使用操作元件执行输入操作。输入操作单元502接收经由操作元件形成的用户指令,并且将该指令输出至控制单元501。此外,输入操作单元 502类似地接收作为由远程控制器接收单元503接收的远程控制器指令的用户指令,并且将该指令输出至控制单元501。
    姿势/位置检测单元504是检测佩戴图像处理设备100的用户头部的姿势或者位置的单元。姿势/位置检测单元504由陀螺仪、加速度传感器、GPS(全球定位系统)传感器和地磁传感器中的任何一个或者考虑到它们的利弊由两个或更多个这些传感器的组合形成。
    状态检测单元511获取关于佩戴图像显示设备100的用户状态的状态信息,并且将状态信息输出至控制单元501。作为状态信息,例如,状态检测单元511获取用户的操作状态(用户是否佩戴图像显示设备100)、用户的行为状态(移动状态,诸如,休息、行走和奔跑,眼睑的睁开状态或闭合状态以及视线方向)、心智状态(用户是否沉浸在或者关注显示图像的观察的印象、刺激或者失眠程度、情绪、情感等)、以及生理状态。此外,为了从用户获取状态信息片段,状态检测单元511可包括各种状态传感器(未示出),诸如,由机械开关等形成的悬挂式传感器、捕捉用户的脸部图像的内部摄像机、陀螺仪、加速度传感器、速度传感器、压力传感器、体温传感器、排汗传感器、肌电图传感器、眼动电图传感器以及脑电波传感器。
    例如(参见图1),外部摄像机512被布置在眼镜型图像显示设备100的主体部分的前部的大致中心处,并且可以捕捉周围环境的图像。此外,沿平移方向、倾斜方向和旋转方向的外部摄像机512的姿势可根据通过状态检测单元511所检测的用户的视线来控制,并且因此,可使用外部摄像机512捕捉用户自己视线中的图像,即,用户视线方向中的图像。用户可经由输入操作单元502的操作或者语音输入调节外部摄像机512的焦距。通过外部摄像机512捕捉的图像可输出至用于显示的显示单元509,并且也可存储在记录单元506中。
    通信单元505对通过互联网(未示出)与外部装置(诸如,服务器)的通信执行处理并且也执行通信信号的调制/解调和编码/译码处理。此外,控制单元501从通信单元505传输数据,该数据被传输到外部装置。通信单元505具有任意配置。例如,根据用于传输/接收操作的通信标准,通信 单元505可被配置有作为通信的另一方的外部装置。通信标准可以是有线形式和无线形式中的任何一个。在此使用的通信标准的实例包括MHL(移动高清链接)、USB(通用串行总线)、HDMI(注册商标)(高清晰度多媒体接口)、Wi-Fi(注册商标)、蓝牙(注册商标)通信以及红外通信。
    可替代地,通信单元505可以是根据诸如W-CDMA(宽带码分多址)和LTE(长期演进)的标准操作的蜂窝无线电收发器。
    记录单元506是由SSD(固态驱动)等形成的大容量存储装置。记录单元506存储在控制单元501中执行的应用程序和数据,诸如,通过外部摄像机512捕捉的图像(稍后将描述)以及经由通信单元505从网络获取的图像。
    图像处理单元507进一步对从控制单元501输出的图像信号执行诸如图像质量校正的信号处理,并且还将图像信号转换为具有与显示单元509的屏幕一致的分辨率的图像信号。显示驱动单元508然后以顺序方式逐行选择显示单元509的像素并且以行序方式扫描该像素,以便基于经受信号处理的图像信号来供应像素信号。
    显示单元509包括由诸如有机EL(电发光)元件或者液晶显示器的微显示器形成的显示面板。虚拟图像光学单元510以放大方式投射显示单元509的显示图像,以便使得用户观察作为放大的虚拟图像的图像。
    声音处理单元513进一步对从控制单元501输出的声音信号执行音质校正和声音放大并且对输入声音信号等执行信号处理。声音输入和输出单元514然后将经受声音处理的声音输出至外部,并且从(上述)麦克风输入声音。
    B.使用图像显示设备的视野交换
    佩戴图像显示设备100的用户可以通过显示单元509的显示图像观察用户自己的视野方向中的风景。理所当然,佩戴图像显示设备300的用户也可以将用户自己的视野方向中的配置观察为通过外部摄像机512捕捉的视频透视图像。
    此外,图像显示设备100(和图像显示设备300)经由通信单元505可与由另一个用户佩戴的图像显示设备通信,以便交换信息。图10示出 了安放在一个用户的头上或脸部上的图像显示设备100将信息(例如,通过捕捉用户的视线方向所获得的图像)分别传输至多个其他用户佩戴的图像显示设备。在以下描述中,将考虑佩戴各自的图像显示设备的多个用户的多用户环境中的信息交换。
    不管信息类型,诸如,图像、声音、文本和程序,多个图像显示设备100能够交换信息。每个图像显示设备100通过安放在用户的头上或脸部上使用,并且因此,可以通过外部摄像机512捕捉用户的视线方向中的风景的图像。如果图像显示设备100的安放位置或者用户的视线方向,即,外部摄像机512的视线方向被改变,则要捕捉的图像也改变。因此,通过某个用户的图像显示设备100的外部摄像机512捕捉的图像不同于通过另一个用户的图像显示设备100的外部摄像机512捕捉的图像并且是唯一信息。
    使用配备有摄像机的移动终端也可捕捉用户的视野方向中的情景的图像。然而,用户必须使用两只手执行成像操作(例如,一只手拿住移动终端并且另一只手操作快门)并且不能够全天候捕捉图像(不能够全部使用两只手捕捉图像)。与此相反,根据图像显示设备100,可以使用外部摄像机512以免提方式全天候捕捉用户的视线方向中的风景的图像。例如,根据通过状态检测单元511所检测的用户状态或者来自声音输入和输出单元514的变化,可以释放外部摄像机512的快门。可替代地,可以通过外部摄像机512执行随动摄影(panning)。
    当发现罕有的或者有价值的事物时,一个人想将此事告诉他/她周围的人。例如,当这个人在夜空中发现诸如金星或流星的行星、池塘或河中的鱼或淡水蟹、树林中的乔木上的鸟、知了、单角甲虫等时,这个人想说“看那儿!”例如,鱼1101刚从池塘的水面向上跳跃的情景(参见图11),珍稀鸟类1201刚飞出树林的情景(参见图12)等都是罕有的或者有价值的情景。看到了该情景的用户印象深刻或者很激动,并且如果可能的话想要将该情景展示给某人(分享他/她的视野)。此外,鱼再次游进水下并且从用户的视线消失或者鸟飞出视线,并且因此如果该用户想要将该情景展示给某人则要求速度快捷。
    在这种情况下,佩戴图像显示设备100的用户可以将通过外部摄像机512捕捉用户自己的视线方向所获得的图像直接传输或者发布给周围用户的图像显示设备,而无需从用户的口袋或者包中取出摄像机来执行成像操作。
    同时,当观察接收的图像时,周围用户想要说“哪个?”或者“在哪?”然后周围用户直接发现罕有的或者有价值的事物并且可以在愉快地喊出“找到了。太棒了!”的同时达成共识。
    在佩戴各自的图像显示设备100的多个用户的多用户环境中,由担任将用户的视线方向中的图像传输或者发布给周围用户的图像显示设备角色的用户佩戴的图像显示设备100(在图像传输侧的图像显示设备)被称为“视野提供者”,并且由担任观看从视野提供者接收的图像角色的用户佩戴的图像显示设备100(在图像接收侧的图像显示设备)被称为“视野接收者”。理所当然,图像显示设备100担任视野提供者和视野接收者的角色哪一个不固定,并且由任何用户佩戴的图像显示设备100在用户将用户自己的视线方向中的图像传输或者发布给周围用户的时候均可以成为视野提供者。进一步地,在不必提供用户自己的视线方向中的图像时,图像显示设备100可恢复成为视野接收者并且接收由另一个视野提供者提供的图像,以将该图像展示给该用户。
    图6示出了操作用于视野提供者的图像显示设备100的功能配置。
    图像输入单元601输入要提供至视野接收者的图像。例如,图像输入单元601可输入用户的视线方向中的通过外部摄像机512捕捉的实况图像(live image)。此外,图像输入单元601可输入存储在记录单元506中的过去捕捉的图像。换言之,图像输入单元601可经由通信单元505输入从外面拍摄的图像(例如,其他用户的视线方向中的图像或者放在网络上的图像)。
    如上所述,外部摄像机512根据状态检测单元511中检测的用户的视线方向控制姿势,以捕捉用户的视线方向中的图像。此外,用户可以通过输入操作单元502的操作或者语音输入调节外部摄像机512的焦距。在这种情况下,图像输入单元601接收用户的视线方向中的实况图像的输入。 理所当然,存储在存储单元506中的过去捕捉的用户的视线方向的图像可输入至图像输入单元601。
    应注意,外部摄像机512可以捕捉广角图像,并且图像输入单元601可根据视野接收者的视线方向来输入从广角图像剪裁为预定视角的捕捉图像。
    角色切换单元602在视野提供者与视野接受者之间切换图像显示设备100的行为。在初始状态中,角色切换单元602将图像显示设备100设置为视野接收者模式并且等待从作为视野提供者操作的另一个图像显示设备提供的图像。当用户发现罕有的或者有价值的事物时,角色切换单元602将图像显示设备100切换为视野提供者。例如,在视野提供者经由远程控制器或者输入操作单元502给出手动提供图像的情况下或者在状态检测单元511检测用户的心智状态(用户是否沉浸或者关注显示图像的观察的留下印象程度、刺激或者失眠、情绪、情感等)并且给出手动提供图像的情况下,角色切换单元602将图像显示设备100切换为视野提供者模式。当将图像显示设备100切换为视野提供者模式时,角色切换单元602激活各个单元601和603至605的操作。
    要切换为视野提供者的图像显示设备100执行处理以将从图像输入单元601输入的图像传输或者发布至视野接收者。在外部摄像机512捕捉用户的视线方向中的图像并且图像输入单元601输入所捕捉的图像的情况下,图像显示设备100提供用户的视野。例如,当遇到鱼刚从池塘的水面向上跳跃的情景(参见图11)或者珍稀鸟类刚飞出树林的情景(参见图12)时,用户会留下印象或者非常激动并且想要将该情景展示给某人。当用户经由输入操作单元502给出提供图像的指令或者状态检测单元511检测到用户的印象或者激动时,响应于此,角色切换单元602将图像显示设备100切换至视野提供者模式。
    此外,当图像传输(即,与视野接收者的图像分享)结束或者用户具有较小的动机作为视野提供者(例如,当状态检测单元511检测到对于显示的图像用户觉得没有印象或激动时)时,角色切换单元602将图像显示设备100恢复为视野接收者模式。
    根据由角色切换单元602执行的将图像显示设备100切换为视野提供者,视野接收者设置单元603设置视野接收者,即,将图像显示设备设置为图像被传输的目的地(destination)。
    视野接收者设置单元603在视野提供者周围可以搜索要成为视野接收者的图像显示设备。在这种情况下,视野接收者设置单元603通过其可接收范围在预定距离内的传输功率从通信单元505传输(广播)图像发布消息。然后视野接收者设置单元603将图像显示设备设置为视野接收者,图像显示设备在预定时段内回复确认消息。应注意,考虑到通信负载或者信息泄漏和隐私,对此访问有限的视野接收者的数目可被设置在预定值(例如,三个以内)。例如,可以基于确认消息的到达顺序或者通过其确认消息已经在预定时段内接收到的视野接收者的运气进行选择。
    此外,视野接收者设置单元603可以设置视野提供者观看视野接收者的范围。在这种情况下,用作视野提供者的用户利用目光接触指定视野接收者。具体地,视野接收者设置单元603发现通过状态检测单元511检测的用户的视线方向中的用户并且将该用户设置为视野接收者。当视线方向中的另一个用户给出预定符号或者手势(诸如,看一眼)时或者通过其他动作与另一个用户专属地达成协议时,此用户可被设置为视野接收者。
    可替代地,不管用户的当前位置,视野接收者可在视野接收者设置单元603中提前登记。例如,诸如视野接收者的MAC(媒体访问控制)地址或者IP(互联网协议)地址的信息被设置在视野接收者设置单元603中,可以使用该信息唯一识别各个视野接收者的图像显示设备。此外,视野接收者设置单元603可以将图像发布消息传输给预先登记的视野接收者,并且仅将已经回复确认消息的视野接收者设置为最终的视野接收者。
    可登记可以是视野接收者的用户的脸部图像。例如,视野接收者设置单元603使用外部摄像机512捕捉可以是视野接收者的用户的脸部图像并且将脸部图像存储为验证信息。脸部图像可被存储在视野接收者设置单元603或者记录单元506中。当图像显示设备100切换至视野提供者模式时,在通过外部摄像机512捕捉的周围环境的图像中出现的用户的脸部图像被识别并且与预先登记的脸部图像匹配的情况下,视野接收者设置单元603 可以将该用户设置为视野接收者。可替代地,响应于图像发布消息已经回复确认消息的用户中的仅脸部被识别的用户可被设置为视野接收者。
    在视野接收者设置单元603动态设置视野接收者的情况或者视野接收者被预先登记的情况中的任何情况下,所有的视野接收者可不必同等地处理而是根据隐私水平或安全水平分为两个或更多个种类。
    在视野接收者设置单元603从视野提供者的周围环境中动态设置视野接收者的情况下,并且在图像显示设备100在从被切换为视野提供者模式时开始的预定时段内甚至不可以设置一个视野接收者的情况下(例如,在即使通知了图像发布消息也不可以在预定时段内接收确认消息的情况下),视野接收者设置单元603放弃将图像提供给视野接收者。在这种情况下,角色切换单元602将显示设备100切换为视野接收者模式并且恢复为等待从另一个视野提供者提供图像的状态。
    附加信息创建单元604根据情况创建附加信息。附加信息与提供的图像一起被传输至视野接收者。附加信息的实例包括通过状态检测单元511检测的视野提供者的视线方向的信息以及用户的手指指出的方向的信息。在视线方向中,存在通过视野提供者发现的对象(即,罕有的或者有价值的事物)。当在由视野接收者接收的图像中难以找到该对象时,视野提供者的视线方向变成重要信息(找到对象的提示)。
    例如,按照附加信息,附加信息创建单元604创建GUI(图形用户界面)信息,诸如,在用户的视线方向中的图像中的对象上叠加和显示的突出和标记,以及由表示图像中的对象的位置的文本、声音等形成的导航信息。可替代地,附加信息创建单元604不仅可以将诸如突出和标记的附加信息识别为图像,而且可以将视线方向中的用户的视线方向中的对象识别为图像,然后仅通过放大图像来着重指出该对象。
    例如,在提供了鱼刚从池塘的水面向上跳跃的情景中所捕获的图像的情况下,当从通过外部摄像机512捕捉的图像中识别用户(视野提供者)的视线方向中的鱼时,如图13所示,附加信息创建单元604创建提供至这条鱼的突出或者标记1301,或者如图14所示,创建鱼被放大的图像1401。此外,在应用了鸟刚飞出树林的情景中所捕获的图像的情况下,当 从通过外部摄像机512捕捉的图像中识别用户(视野提供者)的视线方向中的鸟时,如图15所示,附加信息创建单元604创建提供给这只鸟的突出或者标记1501,或者如图16所示,创建鸟被放大的图像1601。例如,基于从外部摄像机512获取的周围环境的图像的三维信息,可以为对象(诸如,鱼和鸟)显示突出或者标记1301或1501。
    此外,附加信息创建单元604实际上可将声音用作附加信息,该声音由视野提供者从声音输入和输出单元514输入。
    图像传输单元605朝向各个视野接收者的图像显示设备将图像输入传输至图像输入单元601。通过视野接收者设置单元603设置各个视野接收者。通信单元505可以用于传输处理。要传输的图像可以是通过外部摄像机512捕捉的实况图像或者当视野提供者发现对象时所捕捉的静止图像。可替代地,要传输的图像可以是移动图像或者从记录单元506复制的静止图像。
    然后根据情况图像传输单元605也将附加信息传输至视野接收者,在附加信息创建单元604中创建附加信息。当在附加信息创建单元604中创建附加信息时,图像传输单元605总是可以传输具有附加信息的图像。可替代地,只有当作为视野提供者的用户指定附加信息的传输时,可以传输附加信息或者可以将附加信息仅传输给指定的视野接收者。
    例如,在视野接收者设置单元603根据隐私水平或者安全水平将视野接收者分为两个或更多个种类的情况下,图像传输单元605可以提出限制,使得附加信息仅被传输至以高级别设置的视野接收者。这是因为用户的视线信息等也是与隐私相关的信息。
    总之,用于视野提供者的图像显示设备100发布和传输发现有价值的事物的用户的视野,并且因此可以容易地与视野接收者分享用户自己的宝贵经历。
    图7示出了操作用于视野提供者的图像显示设备100的处理过程的流程图。
    图像输入单元601输入要提供至视野接收者的图像(步骤S701)。例如,图像输入单元601可输入通过外部摄像机512捕捉的用户的视线方向 中的实况图像。此外,图像输入单元601可输入存储在记录单元506中的过去捕捉的图像。在处理期间的输入图像被输出到用于显示的显示单元509。
    在此,用户发现罕有的或者有价值的事物,然后留下印象或者很激动。状态检测单元511检测用户的心智状态变化或者对来自输入操作单元502的用户的状态变化上的用户指令做出响应(步骤S702的是),角色切换单元602将图像显示设备100切换为视野提供者(步骤S703)并且开始发布该图像。
    视野接收者设置单元603尝试在预定时段内设置视野接收者(步骤S704)。
    例如,视野接收者设置单元603通过其可接收范围在预定距离内的传输功率传输图像发布消息并且等待确认消息的响应。可替代地,视野接收者设置单元603将图像发布消息传输至预先登记的视野接收者并且等待确认消息的响应。
    预定时段过去后,当视野接收者设置单元603甚至不可以设置一个视野接收者(步骤S705的否)时,放弃将图像发布给视野接收者。在这种情况下,角色切换单元602将图像显示设备100恢复为视野接收者模式(步骤S710),并且该处理返回至步骤S701。
    另一方面,当视野接收者设置单元603可以设置一个或多个视野接收者(步骤S705的是)时,附加信息创建单元604根据情况尝试创建附加信息,该附加信息与提供至视野接收者的图像一起被传输(步骤S707)。例如,附加信息包括指示用户的视线方向的突出或者标记、或者在视线方向中被识别为图像的对象的放大图像(参见图13至图16)。
    在视野接收者根据隐私水平或安全水平分为两个或更多个种类并且在步骤S704中仅设置附加信息不可以传输给低级别的视野接收者的情况下,附加信息创建单元604可省略附加信息的创建。
    然后图像传输单元605朝向通过视野接收者设置单元603设置的各个视野接收者的图像显示设备传输通过图像输入单元601输入的移动图像或者静止图像(步骤S708)。
    此外,在步骤S708中,图像传输单元605也适当地向视野接收者传输附加信息,在附加信息创建单元604中创建附加信息。在视野接收者根据隐私水平或安全水平分为两个或更多个种类的情况,对于在步骤S704中将被设置为低级别的视野接收者,图像传输单元605不将附加信息传输至其。
    在继续图像发布的情况下(步骤S709的否),重复执行创建附加信息(步骤S707)和传输图像(步骤S708)。
    此后,当用户经由输入操作单元502给出结束发布图像的指令时,或者当状态检测单元511检测到用户的印象或者激动变弱,并且确定没必要发布图像(步骤S709的是)时该处理程序结束。
    此外,图8示出了操作用于视野接收者的图像显示设备100的功能配置。
    只要角色切换单元602不将图像显示设备100切换为视野提供者,图像显示设备100主要操作为视野接收者。例如,当图像显示设备被设置为视野接收者模式时,通信单元505处于图像发布消息的待机状态。即使处于视野接收者模式,外部摄像机512也捕捉用户的视线方向中的图像,但是图像输入单元601不获取通过外部摄像机512捕捉的图像。当将图像显示设备100切换为视野接收者模式时,角色切换单元602激活相应单元801至803的操作。
    视野提供者设置单元801将图像显示设备100从其接收图像的另一方(即,图像显示设备)设置为视野提供者。当在通信单元505中接收图像发布消息时,视野提供者设置单元801将该消息的传输源设置为视野提供者,并且将确认消息回复至视野提供者。
    例如,当发现罕有的或者有价值的事物时,佩戴图像显示设备100的任何用户均可以是视野提供者。然而,当无限接收从所有视野提供者提供的图像时,视野接收者遭受消极效果,诸如,通信负载增加以及难以观看用户最初想要观看的图像。在这方面,视野提供者设置单元801限制如上所述的视野提供者,并且限制或者拒绝来自任何其他图像显示设备的图像供应。
    视野提供者设置单元801可以预先设置可从其提供图像的图像显示设备,并且可以限制或者拒绝来自任何其他图像显示设备的图像供应。此外,当在视野提供者设置单元801中预先设置视野提供者时,视野提供者设置单元801回复专属于预先设置的图像发布消息的传输源的视野提供者的确认消息。理所当然,当不提供这种限制并且所以提供的图像旨在被接收时,可以省略在视野提供者设置单元801中预先设置视野提供者。
    此外,当要成为视野提供者的用户的脸部图像被存储时,在接收图像发布消息时,视野提供者设置单元801识别出现在通过外部摄像机512捕捉的周围环境的图像中的用户的脸部图像。只有在脸部图像与预先登记的脸部图像匹配的情况下,才可以回复确认消息。
    此外,例如,要成为视野接收者的用户可利用目光接触指定视野提供者。具体地,视野提供者设置单元801预先将用户设置为视野提供者,在通过状态检测单元511检测的用户的视线方向中发现该用户。当视线方向中的用户给出预定符号或者手势(诸如,看一眼)或者当用户通过其他动作专有地达成协议时,视野提供者设置单元801可将该用户设置为视野提供者。可通过外部摄像机512捕捉然后存储要成为视野提供者的用户的脸部图像。
    图像接收处理单元802对通信单元505中的图像执行接收处理,从视野提供者传输该图像。此外,在附加信息也与图像一起从视野提供者传输的情况下,附加信息也经受接收处理。应注意,当在视野提供者设置单元801中预先设置要成为视野提供者的用户时,图像接收处理单元802拒绝从没有预先设置的用户接收图像,或者丢弃所接收的图像。此外,当要成为视野提供者的用户的脸部图像被存储时,在接收图像时,图像接收处理单元802识别出现在通过外部摄像机512捕捉的周围环境的图像中的用户的脸部图像,并且只有在脸部图像与预先登记的脸部图像匹配的情况下,才执行接收处理。
    应注意,根据情况图像接收处理单元802可以在记录单元506中存储所接收的图像或者附加信息。
    图像显示处理单元803处理在图像接收处理单元802中接收的图像在显示单元509上的显示以及该图像至显示单元509的输出。显示所接收的图像的方法的实例包括:显示通过在当前显示的图像上叠加所接收的图像的方法、在左右方的任意一个(在双目型的情况下)上显示所接收的图像的方法、以及将所接收的图像显示为当前显示的图像的子屏幕的方法(本文中所指的“当前显示的图像”包括视野接收者的视线方向中的图像以及通过视野接收者观看的视频图像)。此外,可在主屏幕与子屏幕之间交换当前显示的图像的显示和所接收的图像,或者可以切换至分割显示,而不以主从关系显示。
    图17示出了观看池塘的视野提供者的图像1702被显示在观看街角1701的视野接收者的子屏幕上的状态,从视野提供者传输图像1702。此外,图18示出了互相替换视野接收者的视线方向中的图像1801作为主屏幕与从视野提供者接收的图像1802作为子屏幕的状态。进一步地,图19示出了视野接收者的视线方向中的图像1901与从视野提供者接收的图像1902通过分隔屏幕显示的状态。此外,图20示出了视野接收者的视线方向中的图像2001被透视地显示在双目图像显示设备100的左侧并且从视野提供者传输的图像2002被显示在双目图像显示设备100的右侧的状态。
    用户可以经由输入操作单元502或者通过移动眼睛或眼睑(诸如,眨眼操作)来指示图像显示处理单元803切换屏幕。本文中所指的“当前显示的图像”包括透视图像。
    在附加信息也与图像一起从视野提供者接收的情况下,基于该附加信息,图像显示处理单元803还对所接收的图像执行特殊处理。
    在附加信息是视野提供者的视线方向的情况下,图像显示处理单元803可在所接收的图像中显示突出或者标记。突出或者标记指示视线方向。这方便视野接收者集中于突出或者标记并且找出由视野提供者发现的罕有的或者有价值的事物。例如,如图13所示,在提供鱼刚从池塘的水面向上跳跃的情景中捕捉的图像的情况下,当从所接收的图像识别用户(视野提供者)的视线方向中的鱼时,图像显示处理单元803创建提供给鱼的突出或者标记。此外,如图15所示,在提供鸟刚飞出树林的情景的捕捉 图像的情况下,当从所接收的图像识别用户(视野提供者)的视线方向中的鸟时,图像显示处理单元803创建提供至鸟的突出或者标记。
    可替代地,图像显示处理单元803不仅可以把诸如标记的附加信息而且把用户的视线方向中的对象识别为图像,然后通过放大图样仅注重该对象。以放大方式显示的对象比较明显,并且因此易于被视野接收者找到。例如,如图14所示,在提供鱼刚从池塘的水面向上跳跃的情景的捕捉图像的情况下,当从所接收的图像识别用户(视野提供者)的视线方向中的鱼时,图像显示处理单元803创建其中鱼被放大的图像。此外,如图16所示,在提供鸟刚飞出树林的情景的捕捉图像的情况下,当从所接收的图像识别用户(视野提供者)的视线方向中的鸟时,图像显示处理单元803创建其中鸟被放大的图像。
    此外,在附加信息是诸如叠加在图像中的对象上的突出和标记的GUI信息的情况下,图像显示处理单元803在当前显示的图像上或者在显示图像的子屏幕上叠加并显示GUI信息(子屏幕可以是主屏幕或者分割屏幕)。
    此外,在附加信息是由指示视野图像中的对象的位置的文本、声音等形成的导航信息的情况下,图像显示处理单元803在显示单元509上将导航信息显示为字幕或者将导航信息作为声音从声音输入和输出单元514输出。
    当观看所接收的图像时,视野接收者开始搜索视野提供者发现的对象,同时说“哪个?”、“在哪儿?”等。然后视野接收者立即发现对象并且在愉快地喊出“找到了。太棒了!”的同时达成共识。对于不能立即找到对象的视野接收者,可以通过使用视野提供者的视线的突出或者标记、放大、导航信息的显示以及声音输出来提供进一步支持。这方便难以找出由视野提供者发现的对象的视野接收者找出对象,并且可以分享视野提供者的宝贵经验。
    然而,在视野接收者的图像显示设备100旨在减少附加信息的算术处理负载的情况下,图像接收处理单元802可丢弃与图像一起传输的附加信息。此外,图像显示处理单元803可不执行特殊处理,诸如,显示附加信 息、指示视线方向的突出或者标记以及放大。可替代地,例如,在传输确认消息时视野提供者设置单元801可以拒绝传输附加信息。
    图9示出了操作用于视野接收者的图像显示设备100的处理过程的流程图。
    图像输入单元601输入通过外部摄像机512捕捉的图像(步骤S901)。例如,外部摄像机512捕捉用户的视线方向中的风景的图像。
    在此,当状态检测单元511检测用户对视线方向中的风景留下印象或者刺激(步骤S902的是)时,图像显示设备100被切换为视野提供者并且执行(上述)图7中示出的处理过程。另一方面,如果用户的心智状态未变化或者用户不给出提供图像的指令(步骤S902的否),则图像显示设备100仍然保持处于视野接收者模式,并且图像输入单元601不获取通过外部摄像机512捕捉的图像。
    当从视野提供者接收图像发布消息(步骤S903的是)时,视野提供者设置单元801检查从消息的传输源提供的图像是否被接收(步骤S904)。
    例如,视野提供者设置单元801检查图像发布消息的传输源是否预先登记为视野提供者设置单元801的视野提供者。可替代地,视野提供者设置单元801通过目光接触、手势或者其他动作检查用户是否允许消息的传输源作为视野提供者。
    在此,在接收到从图像发布消息的传输源提供的图像(步骤S904的是)的情况下,回复确认消息(步骤S905)。应注意,在确认消息中,可以描述是否要求图像的附加信息。另一方面,在图像未被接收(步骤S904的否)的情况下,什么也不执行。
    当接收确认消息时,图像发布消息的传输源根据情况将视野提供者的视野图像与附加信息一起传输。在视野接收者侧的图像显示设备100中,图像接收处理单元802对在通信单元505中从视野提供者传输的图像执行接收处理(步骤S906)。此外,在附加信息也与图像一起传输的情况下,也对附加信息接收处理。
    图像显示处理单元803然后对图像在显示单元509上显示以及至显示单元509的输出进行处理,在图像接收处理单元802中接收图像。那时, 核对是否对图像执行特殊处理,诸如,附加信息的显示、指示视线方向的突出或者标记以及放大(步骤S907)。例如,可以通过用户选择或者考虑到图像显示设备100的算术加法自动地选择是否执行特殊处理。
    当确定执行特殊处理(步骤S907的是)时,执行任何一个指定的特殊处理,诸如,附加信息的显示、指示视线方向的突出或者标记、以及放大,并且然后将图像输出至用于显示的显示单元509(步骤S908)。
    可替代地,当确定不执行特殊处理(步骤S907的否)时,在步骤S905中接收的图像照原样被输出至用于显示的显示单元509(步骤S909)。
    应注意,在步骤S908和步骤S909中显示图像的方法包括各种方法,诸如,在双目图像显示设备100的左和右的任意一个上显示图像、子屏幕显示和分割显示方法。
    如上所述,通过视野提供者侧的图像显示设备100执行图7中示出的处理过程,并且通过视野接收者侧的图像显示设备100执行图9中示出的处理过程。这允许用户容易地分享发现罕有的或者有价值的事物的经历。
    应注意,可以通过图像显示设备100外部的设备(诸如,服务器)实现视野接收者设置单元603和视野提供者设置单元801的功能以及视野接收者和视野提供者的配对。
    专利文献1:日本专利申请公开第2008-147865号,0024至0026段
    专利文献2:日本专利申请公开第2008-154192号
    专利文献3:日本专利申请公开第2009-21914号
    专利文献4:日本专利申请公开第2011-2753号
    专利文献5:日本专利申请公开第2008-304268号
    工业实用性
    在上文,参考具体实施方式详细地描述了在本说明书中公开的技术。然而,显而易见的是,在不偏离本文中公开的技术要旨的前提下,本领域普通技术人员可以修改或者替换本实施方式。
    通过安放在用户的头上或者脸部上使用的各个图像显示设备可以被分为遮光型和透射型。本文中公开的技术可以应用于这些类型中的任何一个。此外,这些类型的图像显示设备可被分为包括用于右眼和左眼的显示 单元的双目型以及包括用于右眼和左眼中任意一个的显示单元的单目型。本文中公开的技术可以应用于该类型中的任何一个。理所当然,即使当本文中公开的技术应用于未安放在用户的头上或脸部上的图像显示设备类型的时,在用户之间也可以类似地交换图像。
    总之,已经作为实例描述了本文中公开的技术,并且不应当以限制的方式解释本说明书中描述的内容。为了确定本文中公开的技术的要旨,应该考虑权利要求的范围。
    应注意,本文中公开的技术可以具有以下构造。
    (1)一种头戴型或者面戴型的图像显示设备,所述图像显示设备包括:
    图像显示单元,显示图像;
    图像输入单元,输入图像;
    接收端设置单元,设置接收端,该接收端是输入至图像输入单元的图像的传输目的地;以及
    图像传输单元,将图像传输至接收端,图像被输入至图像输入单元。
    (2)根据(1)所述的图像显示设备,进一步包括检测使用图像显示设备的用户的状态的状态检测单元,其中
    响应于通过状态检测单元对用户的预定状态的检测,图像传输单元开始或者停止将图像传输至接收端,图像被输入至图像输入单元。
    (3)根据(1)所述的图像显示设备,进一步包括输入操作单元,其中
    响应于经由输入操作单元的用户指令,视野图像传输单元开始或者停止将视野图像传输至视野接收者。
    (4)根据(1)所述的图像显示设备,其中
    接收端设置单元传输图像发布消息并且设置回复确认消息的接收端。
    (5)根据(1)所述的图像显示设备,其中
    接收端设置单元设置通过用户指定的接收端。
    (6)根据(1)所述的图像显示设备,其中
    接收端设置单元预先登记接收端。
    (7)根据(1)所述的图像显示设备,其中
    当接收端设置单元不能设置任意一个接收端时,图像传输单元不传输输入至图像输入单元的图像。
    (8)根据(1)所述的图像显示设备,进一步包括创建附加信息的附加信息创建单元,该附加信息与输入至图像输入单元的图像一起被传输,其中
    图像传输单元将附加信息与输入至图像输入单元的图像一起传输至接收端。
    (9)根据(8)所述的图像显示设备,其中
    接收端设置单元将接收端分为两个或更多个种类,并且
    图像传输单元将附加信息仅传输至预定种类的接收端。
    (10)根据(8)所述的图像显示设备,其中
    图像输入单元输入在使用图像显示设备的用户的视线方向中的图像,并且
    附加信息创建单元创建关于用户视线的附加信息或者指示视线方向中的对象的附加信息。
    (11)根据(1)所述的图像显示设备,进一步包括成像单元,其中
    图像输入单元输入通过成像单元捕捉的图像。
    (12)根据(1)所述的图像显示设备,进一步包括:
    成像单元;以及
    记录单元,记录成像单元的捕捉图像,其中
    图像输入单元输入来自记录单元的捕捉图像。
    (13)一种头戴型或者面戴型图像显示设备,所述图像显示设备包括:
    图像接收处理单元,对从传输端传输的图像执行接收处理;以及
    图像显示单元,显示经受接收处理的图像。
    (14)根据(13)所述的图像显示设备,进一步包括设置传输端的传输端设置单元,其中
    图像接收处理单元仅从传输端接收图像,通过传输端设置单元设置传输端。
    (15)根据(14)所述的图像显示设备,其中
    传输端设置单元响应于来自传输端的图像发布消息回复确认消息。
    (16)根据(14)所述的图像显示设备,其中
    传输端设置单元设置通过用户指定的传输端。
    (17)根据(14)所述的图像显示设备,其中
    传输端设置单元预先登记传输端。
    (18)根据(13)所述的图像显示设备,其中
    图像接收处理单元选择性地接收与图像一起传输的附加信息。
    (19)根据(13)所述的图像显示设备,其中
    图像显示单元包括用于使用图像显示单元的用户的右眼和左眼的显示屏幕,并且在左和右显示屏幕的任意一个上显示图像,该图像经受接收处理。
    (20)根据(13)所述的图像显示设备,其中
    图像显示单元在作为子屏幕或者分割屏幕的显示屏幕上显示图像,该图像经受接收处理。
    (21)根据(13)所述的图像显示设备,其中
    图像接收处理单元对与图像一起传输的附加信息执行显示处理。
    (22)根据(13)所述的图像显示设备,其中
    传输端传输将在传输端的用户的视线方向中的图像与包含有关用户的视线的信息的附加信息一起传输,并且
    图像接收处理单元基于关于用户的视线的信息对从传输端接收的图像执行特殊处理,该信息被接收为附加信息。
    (23)根据(13)所述的图像显示设备,进一步包括记录从传输端接收的附加信息或者图像的记录单元。
    (24)一种图像显示方法,包括:
    输入图像;
    设置接收端,该接收端是在输入图像的步骤中输入的图像的传输目的地;并且
    将图像传输至接收端,图像在输入图像的步骤中被输入。
    (25)一种图像显示方法,包括:
    对从传输端传输的图像执行接收处理;并且
    输出图像以进行显示,该图像经受接收处理。
    (26)一种图像显示系统,包括:
    头戴型或面戴型传输侧图像显示设备,该传输侧图像显示设备传输输入图像;以及
    头戴型或面戴型接收侧图像显示设备,该接收侧图像显示设备显示从传输侧图像显示设备传输的图像。
    (27)一种以计算机可读格式描述的计算机程序,使计算机用作:
    图像显示单元,显示图像;
    图像输入单元,输入图像;
    接收端设置单元,设置接收端,该接收端是输入至图像输入单元的图像的传输目的地;以及
    图像传输单元,将图像传输至接收端,该图像被输入至图像输入单元。
    计算机程序,控制通过安放在用户的头上或脸部上使用的图像显示设备。
    (28)一种以计算机可读格式描述的计算机程序,使计算机用作:
    图像接收处理单元,对从传输端传输的图像执行接收处理;以及
    图像显示单元,显示经受接收处理的图像,
    计算机程序,控制通过安放在用户的头上或脸部上使用的图像显示设备。
    符号说明
    100 图像显示设备(透射型)
    101L、101R  虚拟图像光学单元
    102 支撑体
    103L、103R  麦克风
    104L、104R  显示面板
    300 图像显示设备(沉浸型)
    301L、301R 虚拟图像光学单元
    303L、303R  麦克风
    304L、304R  显示面板
    305 瞳孔距离调整机构
    501 控制单元
    501A ROM
    501B RAM
    502 输入操作单元
    503 远程控制器接收单元
    504 姿势/位置检测单元
    505 通信单元
    506 记录单元
    507 图像处理单元
    508 显示驱动单元
    509 显示单元
    510 虚拟图像光学单元
    511 状态检测单元
    512 外部摄像机
    513 声音处理单元
    514 声音输入和输出单元
    601 图像输入单元
    602 角色切换单元
    603 视野接收者设置单元
    604 附加信息创建单元
    605 图像传输单元
    801 视野提供者设置单元
    802 图像接收单元
    803 图像显示处理单元

    关 键  词:
    图像 显示 设备 方法 系统
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:图像显示设备、图像显示方法与图像显示系统.pdf
    链接地址:https://www.zhuanlichaxun.net/p-6359813.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1