GUI装置在此以引入方式引入于2014年7月24日提出的第2014-150487号日本专利申请
文件的全部公开内容。
技术领域
本发明涉及GUI(GraphicalUserInterface：图形用户界面)装置。
背景技术
近年来，在电子设备的GUI中广泛应用了触摸面板显示器。另外，开发出了如
专利文献1所记载的那样在空中显示GUI图像的技术、如专利文献2所记载的那样
检测针对在空中设定的虚拟操作面的操作的技术。
专利文献1：日本特开2010-78623号公报
专利文献2：日本特开2013-171529号公报
发明内容
在空中显示GUI图像的现有GUI装置的使用方便性不是很好。
本发明的目的之一是提供用户能够更方便使用的在空中显示GUI图像的GUI装
置。
(1)用于实现上述目的的GUI装置具备：投射部，其对在规定的视线方向上重
叠的多个空中画面投射图像；检测部，其检测空中的指示部的位置；以及选择部，其
根据所检测的上述指示部的动作，选择上述多个空中画面的一个作为操作对象。
根据本发明，用户可利用视线方向上的手指等指示部的动作来选择期望的空中画
面。例如可通过在视线方向上移动手指，来选择与当前选择的空中画面相比靠前或靠
里的空中画面。这里所谓空中画面是指，投射部投射图像的空中的平面或曲面的区域。
另外，用户的视线方向是根据GUI装置的形态预先假定的方向。另外，选择空中画
面作为操作对象的情况包括选择对该空中画面投射的图像、该图像所包含的对象、与
该对象对应的处理的情况。
(2、3)在用于达成上述目的的GUI装置中，上述投射部强调对作为上述操作
对象选择的上述空中画面投射的上述图像。具体地说，上述投射部通过调整透过率、
清晰度、明亮度、色度的至少任意一项，来强调对作为上述操作对象选择的上述空中
画面投射的上述图像。
通过采用此结构，来容易地识别选择哪个空中画面。
(4)在用于达成上述目的的GUI装置中，上述选择部在上述视线方向上的上述
指示部的位置位于以上述多个空中画面中的任意一个的上述视线方向上的位置为基
准的规定范围内时，选择该空中画面作为操作对象，上述规定的范围比上述多个空中
画面在上述视线方向上的间隔小。
通过采用此结构，容易地选择空中画面。
另外，这些发明可实现为由多个装置构成的GUI系统，或者可理解为对由1个
以上的装置构成的GUI系统进行操作的方法的发明或者使由1个以上的装置构成的
GUI系统动作的程序的发明。
附图说明
图1是示出本发明的一实施方式的框图。
图2A和图2B是示出本发明的一实施方式的画面结构图。
图3是示出本发明的一实施方式的流程图。
标号说明
1GUI装置；11第一投射部；12第二投射部；13第三投射部；20位置传感器；
30控制部；P1空中画面；P2空中画面；P3空中画面；P11图标；P12图标；P13
图标；P14图标；P21图标；P22图标；P23图标；P24图标；P31图标；P32图
标；P33图标；P34图标；U手指。
具体实施方式
以下，参照附图来说明本发明的实施方式。此外，对各个图中对应的构成要素标
注同一符号，并省略重复的说明。
1.概要
图1示出作为本发明的一实施方式的GUI装置1。GUI装置1可以是打印机、扫
描仪、固定电话机等设置型的装置，也可以是智能手机、平板PC(PersonalComputer：
个人计算机)、手表型PC、眼镜型PC等便携型的装置。GUI装置1向在用户的视线
方向上至少一部分相互重叠的多个空中画面P1、P2、P3投射包含图标的图像。用户可
通过将手指U的前端移动到已投射到空中画面P1、P2、P3上的图标的区域，来启动与
图标对应的处理。即使空中画面P1、P2、P3在视线方向上重叠，由于GUI装置1检测
视线方向上的手指U的位置，所以，能够确定选择了属于哪个空中画面的图标。另
外，用户可通过在空中画面中的未显示图标的区域移动手指U的前端，来切换为其
它的空中画面。为了实现这样的功能，GUI装置1具备第一投射部11、第二投射部12、
第三投射部13、位置传感器20以及控制部30。
2.结构
第一投射部11、第二投射部12以及第三投射部13是对空中画面P1、P2、P3投射
图像的装置。空中画面P1、P2、P3是第一投射部11、第二投射部12以及第三投射部
13投射图像的空中的平面区域。空中画面P1、P2、P3分别可以是平面也可以是曲面。
因为在空中显示图像的原理和装置的结构如日本特开2003-233339号公报、日本特开
2007-206588号公报等所公开的那样是公知的，所以省略说明。
位置传感器20是在包含空中画面P1、P2、P3的3维区域中检测手指U的前端位
置的装置。因为在3维区域中检测具有预先设定的特征的物体的位置的原理和装置的
结构是周知的，所以省略说明。
控制部30是与第一投射部11、第二投射部12、第三投射部13以及位置传感器20
连接的计算机，具备未图示的处理器、存储器、输入输出机构。在控制部30的存储器
中存储有用于控制位置传感器20、第一投射部11、第二投射部12以及第三投射部13
的GUI控制程序。
3.动作
接着，根据图2A、图2B以及图3来说明GUI装置1的动作。图2A、图2B表
示在视线方向上观察到的空中画面P1、P2、P3。
如图2A、图2B所示，第一投射部11、第二投射部12、第三投射部13可在空中画
面P1、P2、P3上同时显示图像。在图2A、图2B中示出以下这样的状态：第一投射部
11向空中画面P1投射包含图标P11、P12、P13、P14的图像，第二投射部12向空中画
面P2投射包含图标P21、P22、P23、P24的图像，第三投射部13向空中画面P3投射包
含图标P31、P32、P33、P34的图像。各个图标成像的区域与预先决定的处理对应。
空中画面P1、P2、P3可设定为在用户的视线方向上进行重叠。用户的视线方向是
根据GUI装置1的形态预先假定的方向。例如，如果是打印机，则可以将相对于已
印刷的用纸的排出口正对站立的用户的眼睛位置为基准来假定视线方向。另外，如果
是眼镜型PC，则可以假定已佩戴眼镜型PC的用户的面部的正面方向作为视线方向。
空中画面P1、P2、P3可设定为在用户的视线方向上一部分相互重叠，或者可设定为相
互完全重叠。另外，可在相同的区域中设定空中画面P1、P2、P3，或者可在相似的区
域中设定空中画面P1、P2、P3，或者可在不相似的区域中设定空中画面P1、P2、P3。图
2A、图2B表示在用户的视线方向上一部分重叠的相同区域中设定空中画面P1、P2、P3
的情况下、用户观察的投射图像。在图2A、图2B中，空中画面P1、P2、P3的大小不
同是因为，即使空中画面P1、P2、P3相同，从用户那里来看，越是靠近眼前的空中画
面，看起来越大。
空中画面P1、P2、P3被设定为在其垂线方向上隔开距离。可将空中画面P1、P2、P3
设定为等间隔，或者可设定为不等间隔，或者可设定为相互平行，或者可设定为相互
不平行。在本实施方式中，如图1所示，以距离2d的等间隔平行地设定空中画面P1、
P2、P3的区域。
为了提高在用户的视线方向上重叠的空中画面P1、P2、P3的可视性，第一投射部
11、第二投射部12、第三投射部13对向所选择的空中画面投射的图像进行强调。例如，
第一投射部11、第二投射部12、第三投射部13相对地降低向选择的空中画面投射的图
像的透过率，相对地提高对没有选择的空中画面投射的图像的透过率，由此，与其它
空中画面相比，容易看到所选择的空中画面的图像。另外，例如，第一投射部11、第
二投射部12、第三投射部13相对地提高向已被选择的空中画面投射的图像的清晰度、
明亮度、色度，相对地降低向未被选择的空中画面投射的图像的清晰度、明亮度、色度，
由此，与其它空中画面相比，容易看到被选择的空中画面的图像。第一投射部11、第
二投射部12、第三投射部13为了强调对选择的空中画面投射的图像，可调整透过率、
清晰度、明亮度、色度的任意一项，或者可调整任意两个以上，或者可调整全部。
图3是示出GUI装置1的操作输入处理的流程图。从GUI装置1启动之后，按
照能够以例如1mm以下的精度跟踪手指U的动作的较短时间间隔，反复地执行图3
所示的操作输入处理。
首先，控制部30从位置传感器20取得手指U的前端位置(S1)。
接着，控制部30判定手指U的前端是否处于空中画面的选择区域(S2)。关于
空中画面的选择区域，在各空中画面的区域中加上其周边区域而进行设定即可。在本
实施方式中，关于以间隔2d设定的空中画面P1、P2、P3，将如下区域作为选择区域，
即，在画面的垂直方向上与画面相距的距离小于d，在相对于画面平行的方向上与画
面的显示区域一致。因为以各空中画面为中央(基准)的深度2d的区域为选择区域，
所以，例如在手指U的前端处于图1所示的位置时，控制部30判定为手指U的前端
处于空中画面P2的选择区域。
在手指U的前端不处于空中画面的选择区域时，控制部30结束图3所示的操作
输入处理。在手指U的前端处于空中画面P1、P2、P3的任意一个的选择区域时，控制
部30将该空中画面选择为操作对象(S3)。例如，在手指U的前端处于图1所示的
位置时，将空中画面P2选择为操作对象。
当将空中画面的任意一个选择为操作对象时，第一投射部11、第二投射部12、第
三投射部13对向被选择为操作对象的空中画面投射的图像进行强调(S4)。具体地说，
通过控制部30调整作为投射对象输出到第一投射部11、第二投射部12、第三投射部
13的图像的透过率、清晰度、明亮度、色度等，对向被选择为操作对象的空中画面投射
的图像进行强调。具体地说，使不是操作对象的画面的图像与作为操作对象的画面的
图像相比，透过率变高，或者成为清晰度变低而模糊的图像，或者压缩明亮度或色度。
接着，控制部30判定手指U的前端是否处于向被选择的空中画面投射的任意一
个图标的选择区域(S5)。关于图标的选择区域，在各图标的显示区域中加上其周边
区域而进行设定即可。图标的选择区域设定为，在画面的垂直方向上是空中画面的选
择区域以下的宽度，在与画面平行的方向上与图标的显示区域一致。当将图标的选择
区域设定为在视线方向上比空中画面的选择区域窄时，在将手指U的前端在视线方
向上移动而选择空中画面之后，只要手指U的前端不向视线方向进一步移动就不会
选择图标，因此，用户容易区别地进行空中画面的选择操作和图标的选择操作。
在手指U的前端处于向所选择的空中画面投射的任意一个图标的选择区域时，
控制部30启动与该图标对应的处理(S6)，结束操作输入处理。在手指U的前端不
处于向选择的空中画面投射的任意一个图标的选择区域时，控制部30不启动与图标
对应的处理，结束操作输入处理。
根据以上说明的实施方式，用户可通过在视线方向上移动手指U来选择期望的
空中画面。另外，空中画面的选择区域在视线方向上比空中画面的区域宽，所以，用
户能够容易选择空中画面。另外，因为强调向所选择的空中画面投射的图像，所以用
户能够容易地识别出选择了哪个空中画面。
4.其它实施方式
此外，本发明的技术范围不被上述实施方式限定，显然可以在不脱离本发明主旨
的范围内施加各种变更。
例如，GUI装置也可以在手指的前端在任意一个空中画面的选择区域中保持预先
决定的时间以上的情况下，选择该空中画面。当GUI装置在这样的情况下选择空中
画面时，仅在要选择期望的空中画面的用户将指尖停留在该空中画面的区域周边的情
况下选择该空中画面。因此，即使其它空中画面存在于期望的空中画面的近前方，用
户也可以透过该其它空中画面移动手指来选择期望的空中画面。
另外，例如，GUI装置可以在手指的前端在任意一个图标的选择区域中保持预先
决定的时间以上的情况下，启动与该图标对应的处理。GUI装置在这样的情况下启动
与图标对应的处理时，仅在要选择期望的图标的用户将指尖停留在该图标的区域周边
的情况下启动与该图标对应的处理，即使在手指移动到内侧的画面时通过了图标部
分，误判断为选择了该图标的可能性也会减少。另外，也可以当在规定时间内往返于
图标的选择区域与其外部区域时，启动与图标对应的处理。
另外，例如，GUI装置也可以通过将对所选择的空中画面投射的图像投射到在视
线方向上观察时最靠前的空中画面来进行强调。例如，在已选择图1所示的空中画面
P1的情况下，可在空中画面P3上显示对空中画面P1投射的图像，对空中画面P2投
射已对空中画面P3投射的图像，对空中画面P1投射已对空中画面P2投射的图像。
此外，在通过这样地选择空中画面P3来交换投射图像时，可自动地选择重新投射已
对空中画面P3投射的图像的空中画面P1，维持空中画面P1的选择状态，直到选择
图标或者选择其它空中画面为止。
另外，例如，GUI装置也可以在指尖沿着视线方向快速移动规定距离以上时，选
择预先决定的空中画面。具体地说，在图1中，当检测到手指U的前端在0.5秒以内
沿着视线方向移动2d以上时，与指尖的位置无关，可选择在视线方向上观察时处于
最内侧的空中画面P1。另外，当检测到手指U的前端在0.5秒以内沿着与视线方向
相反的方向移动2d以上时，与指尖的位置无关，可选择在视线方向上观察时处于最
靠前的空中画面P3。
另外，例如，GUI装置也可以当在1个空中画面的选择区域中检测到预先决定的
指尖的移动时，维持该空中画面的选择状态，直至检测到预先决定的其它指尖的移动。
具体地说，当在空中画面P2的选择区域中检测到指尖与空中画面P2大致平行地往复
移动时，与指尖的位置无关，可以维持空中画面P2的选择状态，直至在空中画面P1
或空中画面P3的选择区域中检测到同样的指尖的移动。
另外，例如，GUI装置也可以当指尖在图标的选择区域中向图标进行移动时或相
对于画面向视线纵深方向移动时，启动与图标对应的处理。
另外，例如，GUI装置可在与画面平行的方向上将比空中画面或图标宽的区域作
为空中画面的选择区域或图标的选择区域。此外，相对于画面，视线近前方向的选择
区域的宽度(深度)与视线纵深方向的选择区域的宽度(深度)可以不同。尤其关于
图标的选择区域，期望使视线近前方向的宽度(深度)大于视线纵深方向的宽度(深
度)。
另外，例如，GUI装置可受理所谓的拖曳操作或拖放操作。具体地说，假设当在
1个空中画面的选择区域中的操作区域内手指的前端沿着画面进行移动时，进行拖曳
操作。然后，在手指的前端从操作区域离开时结束拖曳操作，进行投放。该选择区域
成为与空中画面的选择区域相等或者比该区域小的区域，但期望成为和空中画面相距
的距离与图标的选择区域相同的区域。这样，可对用户提供与所选择的空中画面是通
常的2维触摸面板显示器的情况同样的操作感觉。
另外，例如，作为用于检测操作的对象物的指示部不限于指尖，也可以是铅笔、
笔、棒等的尖部等。另外，也可以通过使指示部和检测部具有采用红外线等的通信功
能，来检测指示部的位置。
另外，例如，可采用多个指示部。在此情况下，期望利用多个指示部中的优先级
最高的指示部进行空中画面的选择。可以将常用手的食指的优先级设为最高，按照指
示部来预先决定优先级，或者按照进入包含全部空中画面的选择区域这样的区域等特
定区域的顺序提高优先级。
另外，例如，空中画面的数量可以是2个以上，也可以是4个以上。另外，对投
射对象的图像配置的图标的数量可以是1个，可以是2个，也可以是3个以上。另外，
也可以不在投射对象的图像上配置图标，而使投射对象的图像本身成为选择对象。具
体地说，可对多个空中画面分别投射照片图像，并将对选择出的空中画面投射的照片
图像投射到在视线方向上观察时位于最近前的空中画面。