操作输入装置与方法及程序.pdf

本发明能够直观又简单，且能够降低误认发生率，即使长时间操作带给操作者的负担也较少、能够正确判断出动作输入。其中，显示器（111）配置在操作者（102）的前面，操作者（102）能够在与显示器（111）之间的左右一定位置上设定的范围内，意识到手指等的形状为操作判断对象而进行操作。如本发明后述，对于操作者（102）来说，能够在显示器（111）左右分别活动右手（114）及左手（115）将位置决定和操作判断输入给系统，通过分开进行选择和决定这两个动作而识别，减少误识别，并降低伴随输入引起的身体负担。

权利要求书一种操作输入装置，其特征在于，具备：
显示单元，其显示操作者阅览的图像；
摄像单元，其朝向所述操作者配置在所述显示单元的旁边而生成所述操作者图像数据；
区域设定单元，其预先设定所述操作者的一部分能够控制在所述显示单元上被显示的既定标识的控制区域；
控制单元，其从所述操作者的图像中提取操作者的一部分，当所述操作者的一部分处于所述设定的控制区域内时，根据该操作者的一部分和所述显示单元的位置关系，移动所述标识；
操作判断单元，其从所述操作者的图像中提取操作者的一部分，根据所述设定的判断区域内的所述操作者的一部分动作，判断与所述标识的所述显示单元的显示面上的位置关联的操作是否被进行。
根据权利要求1所述的操作输入装置，其特征在于，
所述区域设定机构进一步预先设定判定与所述标识的所述显示机构的显示面的位置关联的操作是否被进行的判断区域，
所述控制区域根据由摄像单元上读取的操作者的图像所确定。
根据权利要求2所述的操作输入装置，其特征在于，
所述控制区域和所述判断区域分别位于以所述操作者为中心的左右任一方，
通过所述控制范围设定单元提取的操作者的一部分和通过所述操作判断单元提取的操作者的一部分不同。
根据权利要求3所述的操作输入装置，其特征在于，
所述区域设定单元根据从所述读取的图像上提取操作者的面部决定操作者的中心。
根据权利要求2或4中任一项所述的操作输入装置，其特征在于，
所述操作判断单元通过由所述摄像单元读取的操作者预先定义的一连串动作，确定所述控制区域和所述判断区域各配置在左右哪一方。
根据权利要求2～5中任一项所述的操作输入装置，其特征在于，
所述区域设定单元根据所述摄像单元读取的操作者预先定义的一连串动作，预先设定所述控制区域及所述判断区域。
根据权利要求2～6中任一项所述的操作输入装置，其特征在于，
所述区域设定单元预先设定所述判断区域和所述控制区域不重叠。
根据权利要求2～7中任一项所述的操作输入装置，其特征在于，
所述控制区域及所述判断区域为，与连接所述操作者的视点和所述显示单元的显示面的各顶点而确定的区域不相关的区域。
一种操作输入方法，其特征在于，其通过操作输入装置进行操作输入，所述操作输入装置具备，显示操作者阅览的图像的显示单元；生成观看所述显示单元的操作者的图像数据的朝向所述显示单元的操作者配置在所述显示单元旁边的摄像单元，所述操作输入方法具备：
预先设定所述操作者的一部分能够控制在所述显示单元上被显示的既定标识的控制区域的区域设定步骤，
从所述操作者的图像中提取操作者的一部分，当所述操作者的一部分处于所述设定的控制区域内时，根据该操作者的一部分和所述显示单元的位置关系，控制移动所述标识的控制步骤，
从所述操作者的图像中提取操作者的一部分，根据所述设定的判断区域内的所述操作者的一部分动作，判断与所述标识的所述显示单元的显示面上的位置关联的操作是否被进行的操作判断步骤。
一种程序，其在操作输入装置上执行操作输入方法，所述操作输入装置具备，显示操作者阅览的图像的显示单元；生成观看所述显示单元的操作者的图像数据的朝向所述显示单元的操作者配置在所述显示单元旁边的摄像单元，该操作输入方法具备：
预先设定所述操作者的一部分能够控制在所述显示单元上被显示的既定标识的控制区域的区域设定步骤，
从所述操作者的图像中提取操作者的一部分，当所述操作者的一部分处于所述设定的控制区域内时，根据该操作者的一部分和所述显示单元的位置关系，移动所述标识的控制步骤，
从所述操作者的图像中提取操作者的一部分，根据所述被设定的判断区域内的所述操作者的一部分动作，判断与所述标识的所述显示单元的显示面上的位置关联的操作是否被进行的操作判断步骤。
根据权利要求1所述的操作输入装置，其特征在于，
所述区域设定单元预先设定，包含由所述摄像单元读取的操作者预先定义的一连串动作表示的范围、与连接所述操作者视点和所述显示单元的显示面的各顶点来确定的区域不相关的区域的控制区域。
根据权利要求11所述的操作输入装置，其特征在于，
所述摄像单元为生成所述操作者的立体图像数据的三维摄像单元，
所述区域设定单元根据由所述摄像单元读取的操作者预先设定的一连串动作，作为所述控制范围，以不重叠连接所述操作者的视点和所述显示单元的显示面的各顶点来决定的区域的方式，预先设定对应所述显示单元的显示面的位置决定面，
所述控制单元在与所述操作者的一部分的所述设定的位置决定面上的位置对应的所述显示面上的位置上移动所述标识。
根据权利要求12所述的操作输入装置，其特征在于，
所述位置决定面形成在所述显示单元和所述操作者之间。
根据权利要求11～13中任一项所述的操作输入装置，其特征在于，所述操作判断单元从所述操作者的图像中提取与所述操作者的一部分不同的一部分，根据与该操作者的一部分不同的一部分所做的一连串动作，判断与该一连串动作关联的、预先确定的操作被进行。
根据权利要求14所述的操作输入装置，其特征在于，
还具备判断区域设定单元，其根据由所述摄像单元读取的操作者预先设定的一连串动作，预先设定作为由与所述操作者的一部分不同的一部分能够进行判断的区域的判断区域，
当与所述操作者的一部分不同的一部分处于所述被设定的判断区域内时，所述操作判断单元根据与所述操作者的一部分不同的一部分的一连串动作，判断进行与该一连串动作关联的、预先确定的操作被进行。
根据权利要求15所述的操作输入装置，其特征在于，
所述摄像单元为生成所述操作者的立体图像数据的三维摄像单元，
所述判断区域设定单元根据由所述摄像单元读取的操作者预先设定的一连串动作，作为所述判断区域，以不重叠连接所述操作者的视点和所述显示单元的显示面的各顶点确定的排除区域，且不与所述控制范围重叠的方式，预先设定对应所述显示单元的显示面的操作判断面，
所述操作判断单元从所述操作者的图像中提取与所述操作者的一部分不同的一部分，当与所述操作者的一部分不同的一部分处于所述被设定的操作判断面和所述显示单元之间时，判断所述一连串动作关联的操作被进行。
根据权利要求16所述的操作输入装置，其特征在于，
所述操作判断面形成在所述显示单元和所述操作者之间。
根据权利要求12或13所述的操作输入装置，其特征在于，
还具备判断范围设定单元，其预先设定作为由所述摄像单元读取的操作者预先确定的一连串动作标识的区域，且该区域与连接所述操作者的视点和所述显示单元的显示面的各顶点决定的区域不重叠，且能够根据与所述操作者的一部分不同的一部分判断不重叠于所述位置决定面的区域的判断区域，
所述操作判断单元从所述操作者的图像中提取与所述操作者的一部分不同的一部分，当与所述操作者的一部分不同的一部分处于所述被设定的判断区域内时，根据与该操作者的一部分不同的一部分所做的一连串动作，判断该一连串的动作关联的、预先确定的操作被进行。
根据权利要求18所述的操作输入装置，其特征在于，
所述判断区域设定单元根据由所述摄像单元读取的操作者预先设定的一连串动作，作为所述判断区域，以不重叠连接所述操作者的视点和所述显示单元的显示面的各顶点来确定的排除区域、且与所述控制范围不重叠的方式，预先设定对应所述显示单元的显示面的操作判断面，
所述操作判断单元从所述操作者的图像上提取与所述操作者的一部分不同的一部分，当与所述操作者的一部分不同的一部分处于所述设定的操作判断面和所述显示单元之间时，判断所述一连串动作关联的操作被进行。
根据权利要求19所述的操作输入装置，其特征在于，
所述操作判断面形成在所述显示单元和所述操作者之间。
根据权利要求12或13所述的操作输入装置，其特征在于，
从所述位置决定面的所述操作者侧的所述操作者的一部分和所述位置决定面的位置关系算出距离，根据距离使所述标识发生变化，来表示移动该标识的位置。
根据权利要求16、17、19或20中任一项所述的操作输入装置，其特征在于，
所述判断区域设定单元设定根据与所述操作判断面的位置关系、确定的作为所述判定区域的两个以上的虚拟操作层，
所述操作判断单元当在所述两个以上的虚拟操作层的任一区域内、读取到与所述操作者的一部分不同的一部分时，基于该虚拟操作层预先被分配的操作类别及与根据所述虚拟操作层内的所述操作者的一部分不同的一部分的一连串动作，判断所述操作内容。
根据权利要求11～13中任一项所述的操作输入装置，其特征在于，
还具备识别所述操作者声音的声音识别单元，
所述操作判断单元当通过所述声音单元识别的声音为预先确定的声音时，判断对应该预先确定的声音的操作被执行。
根据权利要求11～23中任一项所述的操作输入装置，其特征在于，
所述摄像单元由所述显示单元之一的摄像单元构成。
根据权利要求11～23中任一项所述的操作输入装置，其特征在于，
所述摄像单元由分别配置在所述显示单元左右的摄像单元构成，分别拍摄与所述操作者的一部分不同的一部分及所述操作者的一部分图像。
根据权利要求11～25中任一项所述的操作输入装置，其特征在于，
所述操作者的一部分是所述操作者的手。
根据权利要求14～20中任一项所述的操作输入装置，其特征在于，
所述操作者的一部分是所述操作者的手，与所述操作者的一部分不同的一部分是所述操作者的另外一只手。

说明书操作输入装置与方法及程序
技术领域
本发明涉及操作输入装置及操作判断方法，更详细地说，涉及从由摄像机等拍摄到的图像对测量对象的动作进行判断的操作输入装置及操作判断方法。
背景技术
近年来，在计算机、游戏机等中采用了各种输入方法。如，通过照相机拍摄操作者预先定义的手势之类的动作等进行识别，判断其手势是哪一操作内容的系统。例如，在专利文献1中提案了一种技术，具备：主计算机，其对由CCD照相机拍摄到的图像中的物体的形状、动作进行识别；显示器，其显示由主计算机识别到的物体的形状、动作，当用户朝向CCD照相机通过手势等给与指示时，给与的手势被显示在显示器的显示画面上，能够通过手势使用箭头光标的图标来选择显示在显示画面上的虚拟开关等，不需要鼠标等输入装置就能非常简便地进行设备的操作。
另一方面，在计算机的操作中，操作者通过移动鼠标，在显示器显示的按钮、输入区域等指定位置上对准指针进行点击等，由此确定“按下按钮”或“开始输入区域的输入”这些操作内容。这样，以往通过使用鼠标进行指示或聚焦（选择），在规定的位置上按一次点击键，由此能够选择其位置等。另外，通过连续按两次点击键，能够执行关联于所指示位置的各种应用程序（所谓双击）。或还可进行将所指示位置和移動地点相关联的拖拽等操作。输入键盘通常用于数值、文字等的具体信息输入，因此，操作者为了输出期望的信息，或输入所需信息，要重复进行通过鼠标的移动和键盘的输入。
另一公开的技术有：操作者不需要装载特别的设备，以更加提高有关操作者操作的便利性为目的，相对操作者，通过将相当于键盘、鼠标等的操作手段在适当的空间部分上定义如虚拟平面G、虚拟键盘H，从而操作者能够对显示图像进行所谓鼠标操作的点击操作、拖拽操作、双击操作等，还能够描绘、输入期望的线、图形或文字等（如参照专利文献2）。
现有技术文献
专利文献
专利文献1：特开2004－78977号公报
专利文献2：特开2004－258714号公报
发明内容
然而，不使用鼠标、键盘、触摸面板等设备的手势操作等会产生如下问题，即，需要非直观的复杂动作，且大幅度动作会增加身体负担，如专利文献2的发明因为操作的手难以亲身观察操作对象画面，手势操作的动作间“关联”模糊引起错误辨识的问题等，现有技术无法解决上述问题。特别是专利文献2的发明中未装载特殊设备等就能够进行操作输入，初看被认为是有效的技术。但是，存在操作的手自身遮盖了对象画面而引起的可视性问题和从“选择”到“决定”的两个操作步骤未被明确区分的问题，因此非常难以实施。
本发明鉴于上述问题而完成，其目的在于提供一种操作者对显示装置操作时直观又简单，同时误认发生率低，即使长时间操作带给操作者的负担也较少、能够正确判断出动作输入的操作输入装置和操作判断方法及程序。
为完成上述目的，权利要求1所述的发明，具备：显示单元，其显示操作者阅览的图像；摄像单元，其朝向操作者配置在显示单元的旁边，生成操作者图像数据；区域设定单元，其预先设定操作者的一部分能够控制在显示单元上被显示的既定标识的控制区域；控制单元，其从操作者的图像中提取操作者的一部分，当操作者的一部分处于设定的控制区域内时，根据操作者的一部分和显示单元的位置关系移动标识；操作判断单元，其从操作者的图像中提取操作者的一部分，根据设定的判断区域内的操作者的一部分动作，判断与标识的显示单元的显示面上的位置关联的操作是否被进行。
权利要求2所述的发明，其特征在于，在权利要求1所述的操作输入装置中，区域设定机构进一步预先设定判定与标识的显示机构的显示面上的位置关联的操作是否被进行的判断区域，控制区域根据由摄像单元读取的操作者的图像所确定。
权利要求3所述的发明，其特征在于，在权利要求2所述的操作输入装置中，控制区域和判断区域分别位于以操作者为中心的左右任一方，通过控制范围设定单元提取的操作者的一部分和通过操作判断单元提取的操作者的一部分不同。
根据权利要求4所述的发明，其特征在于，在权利要求3所述的操作输入装置中，区域设定单元根据从读取的图像上提取操作者的面部决定操作者的中心。
根据权利要求5所述的发明，其特征在于，在权利要求2或4中任一项所述的操作输入装置中，操作判断单元通过由摄像单元读取的操作者预先定义的一连串动作，确定控制区域和判断区域各配置在左右哪一方。
根据权利要求6所述的发明，其特征在于，在权利要求2～5任一项所述的操作输入装置中，区域设定单元根据摄像单元读取的操作者预先定义的一连串动作，预先设定控制区域及判断区域。
根据权利要求7所述的发明，其特征在于，在权利要求2～6任一项所述的操作输入装置中，区域设定单元预先设定判断区域和控制区域不重叠。
根据权利要求8所述的发明，其特征在于，在权利要求2～7任一项所述的操作输入装置中，控制区域及判断区域为，与连接操作者的视点和显示单元的显示面的各顶点而决定的区域不相关的区域。
根据权利要求9所述的发明，一种操作输入方法其通过操作输入装置进行操作输入，所述操作输入装置具备，显示操作者阅览的图像的显示单元；生成观看显示单元的操作者的图像数据的朝向显示单元的操作者配置在显示单元旁边的摄像单元，其特征在于，所述操作输入方法具备：预先设定操作者的一部分能够控制在显示单元上被显示的既定标识的控制区域的区域设定步骤，从操作者的图像中提取操作者的一部分，当操作者的一部分处于设定的控制区域内时，根据操作者的一部分和所述显示单元的位置关系，控制移动标识的控制步骤，从操作者的图像中提取操作者的一部分，根据设定的判断区域内的操作者的一部分动作，判断与标识的所述显示单元的显示面上的位置关联的操作是否被进行的操作判断步骤。
根据权利要求10所述的发明，一种程序，其在操作输入装置上执行操作输入方法的程序，所述操作输入装置具备，显示操作者阅览的图像的显示单元；，生成观看显示单元的操作者的图像数据的朝向显示单元的操作者配置在显示单元旁边的摄像单元，该操作输入方法具备：
预先设定操作者的一部分能够控制在显示单元上被显示的既定标识的控制区域的区域设定步骤，
从操作者的图像中提取操作者的一部分，当操作者的一部分处于设定的控制区域内时，根据操作者的一部分和显示单元的位置关系，移动所述标识的控制步骤，
从操作者的图像中提取操作者的一部分，根据被设定的判断区域内的操作者的一部分动作，判断与标识的所述显示单元的显示面上的位置关联的操作是否被进行的操作判断步骤。
根据权利要求11所述的发明，其特征在于，在权利要求1所述的操作输入装置中，区域设定单元包含由摄像单元读取的操作者预先定义的一连串动作表示的范围，预先设定与连接操作者视点和显示单元的显示面的各顶点来确定的区域不相关的区域的控制区域。
根据权利要求12所述的发明，其特征在于，在权利要求11所述的操作输入装置中，摄像单元为生成操作者的立体图像数据的三维摄像单元，控制范围设定单元根据由摄像单元读取的操作者预先设定的一连串动作，作为控制范围，以不重叠连接操作者的视点和显示单元的显示面的各顶点来决定的区域的方式，预先设定对应显示单元的显示面的位置决定面，控制单元在与操作者的一部分的设定的位置决定面上的位置对应的显示面上的位置上移动标识。
根据权利要求13所述的发明，其特征在于，在权利要求12所述的操作输入装置中，位置决定面形成在显示单元和操作者之间。
根据权利要求14所述的发明，其特征在于，在权利要求11～13任一项所述的操作输入装置中，操作判断单元从操作者的图像中提取与操作者的一部分不同的一部分，根据与操作者的一部分不同的一部分的一连串动作，判断与该一连串动作关联的、预先确定的操作被进行。
根据权利要求15所述的发明，其特征在于，在权利要求14所述的操作输入装置中，还具备判断区域设定单元，其根据由摄像单元读取的操作者预先设定的一连串动作，预先设定由与操作者的一部分不同的一部分能够进行判断的作为区域的判断区域，当与操作者的一部分不同的一部分处于被设定的判断区域内时，操作判断单元根据与操作者的一部分不同的一部分的一连串动作，判断进行与该一连串动作关联的、预先确定的操作被进行。
根据权利要求16所述的发明，其特征在于，在权利要求15所述的操作输入装置中，摄像单元为生成操作者的立体图像数据的三维摄像单元，判断区域设定单元根据由摄像单元读取的操作者预先设定的一连串动作，作为判断区域，以不经过连接操作者的视点和显示单元的显示面的各顶点确定的排除区域，且不与控制范围重叠的方式，预先设定对应显示单元的显示面的操作判断面，操作判断单元从操作者的图像中提取与操作者的一部分不同的一部分，当与操作者的一部分不同的一部分处于被设定的操作判断面和显示单元之间时，判断一连串动作关联的操作被进行。
根据权利要求17所述的发明，其特征在于，在权利要求16所述的操作输入装置中，操作判断面形成在显示单元和操作者之间。
根据权利要求18所述的发明，其特征在于，在权利要求12或13所述的操作输入装置中，还具备判断范围设定单元，其预先设定作为由摄像单元读取的操作者预先确定的一连串动作标识的区域，且该区域与连接操作者的视点和显示单元的显示面的各顶点决定的区域不重叠，且能够根据与操作者的一部分不同的一部分判断不重叠于位置决定面的区域的判断区域，操作判断单元从操作者的图像中提取与操作者的一部分不同的一部分，当与操作者的一部分不同的一部分处于被设定的判断区域内时，根据与操作者的一部分不同的一部分的一连串动作，判断一连串的动作关联的、预先确定的操作被进行。
根据权利要求19所述的发明，其特征在于，在权利要求18所述的操作输入装置中，判断区域设定单元根据由摄像单元读取的操作者预先设定的一连串动作，作为判断区域，以不重叠连接操作者的视点和显示单元的显示面的各顶点来确定的排除区域、且与控制范围不重叠的方式，预先设定对应显示单元的显示面的操作判断面，操作判断单元从操作者的图像上提取与操作者的一部分不同的一部分，当与操作者的一部分不同的一部分处于设定的操作判断面和显示单元之间时，判断一连串动作关联的操作被进行。
根据权利要求20所述的发明，其特征在于，在权利要求19所述的操作输入装置中，操作判断面形成在显示单元和操作者之间。
根据权利要求21所述的发明，其特征在于，在权利要求12或13所述的操作输入装置中，从位置决定面的操作者侧的操作者的一部分和位置决定面的位置关系算出距离，根据距离使所述标识发生变化，来表示移动该标识的位置。
根据权利要求22所述的发明，其特征在于，在权利要求16、17、19或20任一项所述的操作输入装置中，判断区域设定单元设定根据与操作判断面的位置关系确定的作为判定区域的两个以上的虚拟操作层，操作判断单元当在两个以上的虚拟操作层的任一区域内、读取到与操作者的一部分不同的一部分时，基于该虚拟操作层预先被分配的操作类别及根据与虚拟操作层内的操作者的一部分不同的一部分的一连串动作，判断操作内容。
根据权利要求23所述的发明，其特征在于，在权利要求11～13任一项所述的操作输入装置中，还具备识别操作者声音的声音识别单元，操作判断单元当通过声音单元识别的声音为预先确定的声音时，判断对应该预先确定的声音的操作被执行。
根据权利要求24所述的发明，其特征在于，在权利要求11～23任一项所述的操作输入装置中，摄像单元由显示单元之一的摄像单元构成。
根据权利要求25所述的发明，其特征在于，在权利要求11～23任一项所述的操作输入装置中，摄像单元由分别配置在显示单元左右的摄像单元构成，分别拍摄与操作者的一部分不同的一部分及操作者的一部分图像。
根据权利要求26所述的发明，其特征在于，在权利要求11～25任一项所述的操作输入装置中，操作者的一部分是操作者的手。
根据权利要求27所述的发明，其特征在于，在权利要求14～20任一项所述的操作输入装置中，操作者的一部分是操作者的手，与操作者的一部分不同的一部分为操作者的另外一只手。
附图说明
图1是用于说明本实施例的操作输入系统的一例的图。
图2是表示与本实施例的操作输入系统的计算机关系的示意模块图。
图3是用于说明本实施例的原理的图。
图4是本实施例处理的流程图。
图5是用于说明本发明一实施例所涉及的左右操作区域的图。
图6是用于说明本发明一实施例所涉及的左右操作区域的作用的图。
图7是表示本发明一实施例所涉及的画面及对应操作面的功能的示意图。
图8是表示本发明一实施例所涉及的画面及对应操作面的功能的示意图。
图9是本发明一实施例的虚拟操作面的侧面图。
图10是本发明一实施例的虚拟操作面的俯视图。
图11是用于说明本发明一实施例所涉及的左右两个操作区域的功能的实例图。
图12是用于说明本发明一实施例所涉及的左右两个操作区域的功能其他实例图。
图13是表示通过本发明的一实施例所涉及的操作输入系统输入操作一例的图。
图14是表示本发明的一实施例所涉及的操作者的动作和显示在画面上的图标的关系的图。
图15是表示本发明的一实施例所涉及的操作输入画面的具体显示一例的图。
图16是表示本发明的一实施例所涉及的操作输入画面上可能使用的各种图标的例子的图。
图17是表示本发明的一实施例所涉及的操作者的动作和显示在画面上的图标的关系的图。
图18是表示本实施例的操作输入系统的操作姿势的一例的图。
图19是表示本实施例的操作输入系统的一例的图。
图20是表示本实施例的操作输入系统的一例的图。
图21是表示本实施例的计算机CPU内所处理的程序的功能模块的一例的模块图。
图22是本实施例的处理的流程图。
图23是表示本发明的一实施方式所涉及的指定的操作面位置的提取处理的流程图。
图24是表示本实施例的操作输入系统的另外一例的图。
具体实施方式
以下参照附图对本发明的实施例进行详细地说明。
（第1实施例）
图1是表示本实施例的操作输入系统的一例的图。在本实施例中，如后所述，以操作者102的头部为基准，将右侧区域124及左侧区域125分别确定为右手114及左手115的操作区域，判断各自的操作内容，作为操作输入被处理。参照图1可以理解到：通过隔开一定距离配置右侧区域124及左侧区域125，能够回避操作者右手114及左手115的动作交错导致的到底是哪一个手的动作的误识别问题。
通过确定这样的两个区域，如图20所示，能够相对于显示器111用右手114及左手115进行不同种类的操作，更有效地进行操作判断。如本实施例中可构成为，用右手114使鼠标光标移动，用左手115确定操作内容（相当于鼠标的点击按下），但并不限定于此，也可以组合各种操作。
本实施例的显示器111放置在操作者102的前面，操作者102能够在与显示器111间的左右一定位置上所设定的区域内识别手指等的形状作为操作判断对象进行操作。在此，在显示器111上被显示通常个人计算机上所使用的各种应用程序用的各种图像，但是，再加上辅助操作输入，即能够将作为对象的操作者102的部位等显示在画面的一角，对操作者102显示当前时刻系统识别到哪种操作正在进行。在本实施例中，操作者能够使用通常的个人计算机用显示器作为视听显示器。另外，在本实施例中，对采用右手进行位置决定、左手进行操作判断的系统进行了说明，但并不限定于此，也可以通过好使的手或操作者的嗜好等进行左右对调。
在本实施例中，如图5所示，为获取图像使用摄像机511～514任一位置上的照相机。在此，图5中显示了4个照相机，也可以设置任一个或任两个以上。使用多个照相机时，可以用左右的照相机分别拍摄左右手的动作，从而提高图像的精度。另外，照相机可以使用红外照相机等本技术领域公知的任意摄像单元，除了图5所示的4个位置以外也可以选择显示器附近的任意位置作为设置位置。因此，照相机511等可以选择能够拍摄对象图像的任意类型的照相机，不局限于其方式，但优选在设置布局上能获取广角范围的照相机。
另外，还能够使用近年来个人计算机等上所使用的廉价的网络摄像头等。利用廉价的网络摄像头代替高价照相机，如照相机512及514那样，将各照相机设置在对象画面的两端，如上所述，通过使左右照相机分别独立承担左操作、右操作的读出方法，能够提高读出精度。此时，在从获取的二维图像信息上，用灵活的手移动鼠标光标（指尖的图像识别）、用另一只手的手势的轮廓图像识别决定意志的这一本技术领域公知的方法中，能够进行操作成为两步骤的PC操作。
其次，参照图19具体地说明本实施例的操作输入方法。图19是表示本实施例的操作输入系统的一例的图。参照图19，本实施例的操作是隔开连接图19例中的相当大的缓冲区域即连接上述视点501和操作对象画面502的四角的四角锥，仅以在左右被划分的区域124、125内手动作时为操作对象，因此在操作输入动作上操作者即使活动手也不遮挡显示器111上被显示的画面，能够确保通常的个人计算机操作时的可视性。在此，只要不引起左右手的交错，缓冲区域能够设成任意大小。另外，同样地左右动作的区域124、125通过上述缓冲区域被分开配置，能够使各自区域内的动作正确地分别判断为操作者的左手、右手。在以往通常的手势识别中，由于操作者两臂的交叉、身体和手臂的重叠等，产生误识别的情况居多，但，通过如上构成，能够分别限制区分根据操作者的操作区域设定和中央非读出区域所分割的左右手的操作区域，从而能够实现稳定操作。
在本实施例中，使用左右任意一只手仅用于XY坐标的指示或焦点（相当于以往鼠标的光标移动）功能（虚拟触控板功能），使用另一只手仅用于接受对焦点的决定动作如点击、双击、拖拽的触发的功能。这样，左右手分别分担完整功能，能够绝对地降低在两步骤判断操作过程中手势操作上常见的输入错误及误识别。另外，作为具体的手势，能够以打开手掌（猜拳的布形状）进行单击、双击操作，立起食指点击、立起两根手指进行双击等。另外，以下为了方便起见使用右手作为虚拟触控板功能，使用左手作为操作决定功能，但并不限定于此，还能够左右互换，进一步分割功能或使其综合。
（本实施例的系统构成）
图2是表示本实施例的操作输入装置的计算机110的构造的示意模块图。在计算机110上安装有显示器111，且连接拍摄操作者102等的摄像机511等，拍摄的图像存入计算机110。通过拍摄得到的图像在CPU210上提取出作为本实施例特征的操作者的一部分的左右手图像。计算机110一般具备CPU210，在RAM212上执行被存储在ROM211等上的程序，将基于由操作输入装置输入的图像的处理结果输出在显示器111等。在本实施例中，显示器111通过上述操作者的手活动被显示的图标等，除此之外，还能输出操作者要体验的各种应用程序提供的各种映像，另外如后所述还显示操作输入辅助那样的信息。
图21是表示在本实施例的计算机110的CPU210内处理的程序的功能模块一例的模块图。如图21所示，本系统的处理是通过图像读取部301、图像提取部302、图像位置算术部303、操作判断部304及标识控制部305执行。另外，在本实施例中，接收来自摄像机511的图像后到进行数据输出的处理是通过这5个模块执行，但并不限定于此，也可以采用其他模块或使用更少的模块进行处理。
另外，在本实施例中，作为显示器111，也可以使用能立体显示的3D显示器，从操作者的角度来看，操作面存在于设定或被调整的位置上以可见的方式显示图标。由此，操作者102以如同图标等存在于那里的方式作为立体图像进行识别，对识别到的立体图像使用手或手指执行操作。操作者102通过其右眼和左眼看见显示器111上被显示的图像及图标等，但由于图标等立体显示，例如由包含视差的2张的图像构成，通过右眼及左眼分别观察，形成如同从显示器111到位于操作者前面的立体显示的面。另外，被立体显示的面的位置和作为操作者的操作感实际被形成图标等的位置存在若干不同位置上进行显示的情况，但未必要求一致。
（操作区域的设定）
图3是用于说明设定本实施例的操作区域的处理的图。在本实施例中，为了更简单地设定左右操作区域，从上述摄像机111拍摄的操作者的图像中提取面部131作为左右区域设定时的基准。参照图3，用本技术领域公知的方法提取操作者102的面部131后，判断脸的中心部，将通过中心部的垂线判断作为操作者102的中心线132。在此中心线的左右设置不成为任一操作区域的一定的缓冲区域，并设定左右操作的区域125及124。这样，能够根据中心线132更简单地定义图6所示那样的右侧区域124及左侧区域125，但是，根据系统、操作者的体系等适当设定各操作区域的大小、位置的值。同样，根据左右手的动作的交错程度，适当设定缓冲区域的大小。另外，在本实施例中，提取了面部，但是，还能够以头部自身或其他位于头部旁边的操作者的一部分作为基准。
在本实施例中，这样有效的动作范围的设定处理是通过系统电源接通后或特定的操作如通过用遥控器指示等开始，但并不限定于此，也可以采用本技术领域公知的方法，由时刻（timing）开始。
另外，在本实施例中，在通常的PC操作中如图18所示支着两肘的手势输入为一般方式，因此对于动作范围的设定来说，考虑这样的操作姿势在适合操作者身体的位置上进行范围设定是有益的。而且，通过支着两肘的操作姿势，与以往PC操作时的鼠标、键盘相比，由两臂重量引起的对两肩的肌肉负担被大大减轻，只需用最小限的小幅度手势就能完成操作，因此身体负担被大幅减轻，同时能够用照相机台置换鼠标、键盘，具有很大价值。再加上通过两肘支撑在桌面上，由右手114操作的鼠标光标移动（焦点）、由左手115进行操作判断时也能总是确保稳定的手势位置。
在本实施例中，作为进行以上操作范围设定处理的前提，当假想本技术领域公知的初始设定如本实施例的操作输入装置被重新设置时，需要将事前准备利用的摄像机511的使用镜头的歪斜、显示器111和镜头的距离等的信息输入到装置中。另外，预先调整阈值设定等。
再者，如图24所示，还可以使桌上成为有效的动作范围。即可以用右手114在桌上移动来使图标移动，左手115通常伏在桌上，一旦接触桌面就可以进行操作和判断。
（本实施例的操作判断处理）
在本实施例中，参照图4及图19，确定使用摄像机511等拍摄的操作者102一部分的手或手指114、115的位置的同时，根据这些位置与显示器上对应点的相对位置、形状，移动显示器上的图标，或判断为一定的操作。首先，在图像读取部301上读取使用摄像机511等拍摄到的数据，从该数据上通过图像提取部302提取操作者的手的图像（S401及402）。
这样准备的结果，以上述操作区域的设定进行预先设定（S403），读出存储单元等上存储的有效的动作区域124、125的位置、大小。在此，将右手的操作开始位置定在适当位置上，采用本技术领域公知的任意方法，在对应右手114位置的显示器111上的位置上图标等通过标识控制部305被显示，与手的动作一起移动从而被控制。因此，操作者能够对照被显示的图标的活动，在有效动作区域124内确实地活动手指、手，因而能够进行移动显示面上被显示的图标等的操作（S404、405及408）。
操作判断部304根据操作者102的动作区域125内的左手115的形状、动作，判断预先确定的操作已进行，根据右手114的位置，将与左手形状或动作关联的预先被确定的操作内容一起，向系统通知操作被执行（S406及407）。
在此，什么样的形状、动作对应什么样的操作也可以由系统单独决定，也可以采取本技术领域公知的任意方法决定，或者仅仅通过操作者触碰其位置如选择图标或按下按钮进行判断。当有上述那样的操作输入时，判断的结果由计算机110执行。操作内容的判断不限定于在此说明的方法，也可以采用本实施例公知的任意方法。另外，具体的判断方法也省略了，但一般的话，预先确定的手势等的操作者的身体形状、动作及其所代表的操作内容保存在数据库等中，图像提取后，访问此数据库并判断操作内容。此时当然也可以通过本技术领域公知的方法利用图像识别技术、人工智能等提高判断精度。在此，手不在有效的动作区域124、125时操作不被判断。例如，当右手脱离有效区域124时，在其位置上图标停止或返回到初始位置。另外，当左手脱离有效区域125时，即使是预先确定的形状、动作，操作也不被判断。
以上，根据本实施例，以操作者的头部等为基准，确定左右的动作区域124、125，通过用左右手分别执行不同功能如图标的移动或选择、点击、拖拽等操作内容，尽管单是手势输入，但也不会给操作者带来负担，能够在个人计算机上不使用键盘而进行正确的操作输入。
（第2实施例）
在上述第1实施例中，在操作者和显示器间通过左右分担功能、活动手的操作输入方法中，对根据操作者的中心线决定左右操作区域的方法进行了说明，但是，在本实施例中基本上采用相同的系统构成，通过操作者的手势等、手等的位置、动作等，不考虑中心线确定操作区域。另外，在本实施例中，基本上从显示器分别来观察左右手、使左右手在左侧及右侧的一定范围内活动来进行操作判断，但并不限定于此，也可以通过在手自然所及的范围位置上活动手，用来操作判断。例如，图19所示将视点501和显示面502形成的四角锥的下侧作为空格键使用等设定各种功能。
本实施例的操作输入方法如图19所示，本实施例的操作仅在隔开连接上述视点501和操作对象画面520的四角的四角锥而左右划分的区域124、125内手动作时为操作对象，因此在操作输入动作中即使操作者活动手也不遮挡显示器111上被显示的画面，能够确保通常的个人计算机操作时的可视性。在第1实施例中，利用了包含这样的四角锥的缓冲区域的概念隔开了左右区域，而在本实施例中作为原则左右动作的区域124、125通过上述四角锥分开配置，从而能够正确地区分执行处理的左手和右手而进行判断。在以往通常的手势识别中，由于操作者两臂的交叉或身体与手臂的重叠等，发生误识别的情况居多，但是通过如上构成，能够分别限制区分操作者的操作区域设定、通过中央非读出区域被分开的左右手的操作区域，从而能够实现稳定地操作。
（第2实施例的操作范围的设定）
在本实施例中，作为进行操作范围设定处理的前提，当假想本技术领域公知的初始设定如本实施例的操作输入装置被重新设置时，需要将事前准备利用的摄像机511的使用镜头的歪斜、显示器111和镜头的距离等信息输入到装置中。另外，预先调整阈值设定等。当系统的初始设定结束时，进行本实施例的处理，参照图20，通过本实施例所涉及的操作者的手势说明设定左右动作范围的处理。如图20所示，使用照相机拍摄到的操作者的图像的手114、115，决定动作范围的位置、大小。具体而言，如图20所示，操作者将包含手114、115所示位置的一定范围设定为有效的动作范围。作为动作范围的例子，如图19中所示的范围124、125。在此，由于通过上述四角锥将左右的有效范围分开配置，因而设定的范围所涉及的上述四角锥的部分不被视为有效的动作，因此从有效的动作范围中被排除。
在本实施例中，这样有效的动作范围的设定处理是通过系统电源接通后、特定的操作如用遥控器指示等开始，但并不限定于此，也可以采用本技术领域公知的任意方法、时刻开始。
另外，在本实施例中，在通常的PC操作中如图18所示支着两肘的手势输入为一般方式，因此对于动作范围的设定来说，考虑这样的操作姿势在适合操作者身体的位置上进行范围设定是有益的。而且，通过这样支撑两肘的操作姿势，与以往的PC操作中的鼠标、键盘相比，由两臂的重量引起的对两肩的肌肉负担被大大减轻，只需最小限的小幅度手势就能完成操作，身体的负担被大幅减轻，在此基础上，能够用照相机台置换鼠标、键盘等，价值巨大。再加上通过使两肘支撑在桌面上，由右手114操作引起的光标移动（聚焦）、由左手115进行操作判断时也能总是确保稳定的手势位置。
另外，如图24所示，还可以使桌上成为有效的动作范围。即可以使右手114在桌上移动使图标移动，左手115通常伏在桌上，一旦接触桌面就可以进行操作和判断。
以上，根据本实施例，能够确定显示画面的视野即被上述四角锥明确分离的左右动作范围124、125，通过用左右手分别执行不同的功能如图标的移动或选择和点击、拖拽等的操作内容，尽管只是手势的输入，但也不会给操作者带来负担，从而能够实现在个人计算机等上不使用键盘的正确操作输入。
（第3实施例）
在上述第1及第2实施例中，对在操作者和显示器间通过左右分担功能、活动手的操作输入进行了说明，但是，在本实施例中基本上采用相同的系统构成，能够进一步提高操作输入的精度。也就是说，在本实施例中，导入虚拟的操作面的概念，利用相对于操作面的手的动作、操作面形成的区域，判断操作的触发、操作内容。因此，在本实施例中，通过使用三维照相机代替第1实施例的照相机，还获取到操作者自身、手或手指的z方向位置，从而可以正确地获取虚拟操作面上的手的位置，判断是否横穿操作面。因此，除了使用三维照相机这一点，系统构成与第1实施例相同，以下省略重复的点。另外，使用了本实施例的虚拟操作面的处理可适用于左右操作的双方，但还可以在右或左的任一操作中适用上述的第1实施例的处理，在另一方中适用本实施例的处理，可对照系统构成、使用状况进行适当地选择。
图5是用于说明本发明一实施例所涉及的左右虚拟操作面的图。在图5所示的摄像机511～514中，在实际系统使用时，基本上只需一台三维照相机即可。在本实施例中，通过摄像机511使用三维（或3D）照相机，能够生成包含操作者的立体图像。当然，也可以在左右配置通常的二维照相机进行使用，例如，摄像机512及514两个都具备，此时照相机也可以使用二维照相机，通过摄像机512及514两个来生成立体图像。
图9及图10是从侧面看操作面及上面观察到的图。参照图9及图10可以理解到操作面104、105以避开连接操作者视点501和操作对象画面520的四角的四角锥的方式而左右配置。在此，位置决定面104及操作判断面105的位置在后述PC设置阶段的初始设定步骤中，配合操作者的利用环境，在最适合输入操作的位置上撑开两手进行设定。此时，例如也可以在照相机侧补足操作者的头部两肩等上半身的位置信息、两眼的位置等，在朝向桌子的操作者支着肘部在两手易于操作的左右对照位置上进行配置设定，但并不限定于此，可以针对操作者的操作环境进行最佳设定。另外，图9及图10所示的位置决定面104及操作判断面105以避开上述四角锥的方式被配置在左右，这是为了如上述那样操作者的手114、115不遮挡操作者的视野，因此，只要能达到此目的，位置决定面104及操作判断面105可以大致被配置在左右，即使稍微与四角锥重叠也没有问题。
图11及12是用于说明本发明一实施例所涉及的左右两个操作面的典型功能的例子图。图11及12均是位置决定面104承担指示或焦点功能，如图7所示，对应位置决定面104的区域1202显示在显示器111的适当位置，当前手114聚焦对应的地点的颜色改变了，还能够显示未图示的图标等。这样，通过与位置决定面104上的手114的动作联动，使显示器111上的图像变化，操作者能够直观的边观察显示器111边用手114进行聚焦。
另外，如图11所示，操作判断面105具有一定的区域901，当手115超越过操作判断面105时，判断为操作已被开始，可根据区域901内的手115的形状、手势，判断操作内容。也就是说，本实施例的操作面是根据操作者102的身高、手臂长度或身高、肩宽等的身体尺寸信息进行设定，操作者102捕捉虚拟存在的预先设定的操作判断面105，当要进行各种操作时，可以操作判断面105为基准，手115伸出到前面的操作区域901来表示手势。
或者如图12所示，可将操作判断面设为两层902、1001，手115只贯通到第一层1001时判断为点击，到达第二层902时判断为双击。在本实施例中，表示了操作判断面具有两层的例子，但并不限定于此，也可以设定为三层或更多层，从而使其对应各种各样的功能。
另外，在上述图7所示的例子中，本实施例的操作输入系统具有简单的键盘功能，如图8所示，也可以具有通常的键盘功能。即通过右操作面104分担通常的键盘的右半部分，左操作面分担通常的键盘的左半部分，操作者能够边看显示器111上的键盘配置1202、1301边使其聚焦来决定操作。另外，在此时的操作决定中，通常在不利用的操作画面下设定另一个操作面等作为操作判断面。另外，在这样的操作画面下设置操作面时，也可仅分配空格键等。
（操作面的设定）
在本实施例中，当系统的初始设定结束时，进行有关本实施例所涉及的操作面的设定处理。如图20所示例子那样，通过用三维照相机拍摄的操作者的图像的手114、115，决定操作面的形状（包含大小、相对显示器的角度），例如根据从z方向的显示器到手114、115的距离来决定操作面104、105的位置。具体而言，如图1所示，我们理解为可以在操作者用手114、115表示的位置上形成操作面104、105。
其次，参照图23说明操作面提取处理。图23是表示提取本实施例指定的操作面的位置的处理的流程图。首先，一旦进行数据即操作者的立体图像数据的输入（S601），就会识别手的形状及头部（S602、S603），来判断是否形成操作面（S605）。具体而言，当手支撑在桌上、伸手姿势维持一定时间时，判断为操作面的设定处理，在操作者通过手指示的位置上将操作面从取得的立体图像中提取而形成操作面（S605），必要时根据操作者的身体的测量值如手臂长度、躯干或头部的位置设定操作区域（S606），输出数据从而结束（S609）。在此，本实施例中通过使肘支撑在桌上、伸手的动作静止一定时间，由此判断为操作面的设定指示，但并不限定于此，还可以通过本技术领域公知的任意方法使其判断指示诸如通过各种手势、遥控器操作等进行指示。另外，本实施例基本上在利用手造形的形状、位置上形成操作面，但也可以配合操作者的身体的特征、或显示器的位置、使用状况等进行调整。
当从头部的识别、手的姿势判断为不是操作面的设定处理时，则判断是否已处于操作面被设定的状态（S607），当操作面已被设定时，则判断为通常的操作，获取操作区域内的手的位置（S608）。通过以上，进行基于操作者指示的操作面的设定处理。
在此，操作面的形状参照图1等为垂直竖立的长方形，但并不限定于此，能够根据操作者的操作方式形成各种各样的形状（包含大小、相对显示器的角度）的操作面。如图18所示，也可以在桌上配置位置决定面1801及操作判断面1802，还可以以使用键盘、鼠标的感觉进行操作输入。当然为了配置这样的操作面，操作面设定时需要将手置于桌上，做预先确定的手势来设定操作面。
（本实施例的操作判断处理）
在本实施例中，确定使用摄像机511等拍摄到的操作者102的一部分的手、手指114、115的位置的同时，进行算出操作面104、105和操作者102的手指114、115的位置关系的处理。对此处理参照图22进行以下说明。
图22是本实施例的操作判断处理的流程图。首先，在图像读取部301中读取由摄像机511等拍摄到的数据（S401），通过图像提取部302从该数据中提取操作者的像（S402）。
这样准备的结果，以上述操作面的设定预先设定，读出存储单元等中存储的操作面的位置、形状（S403）。这样，当操作面的形状、位置被读出时，则采用本技术领域公知的任意方法，在对应操作面104上的手114位置的显示器111上的位置上图标等通过标识控制部305被显示，与手的动作一起移动的方式被控制。因此，操作者能够在对应被显示的图标的操作面上的位置上确实地使手指、手感触到，从而进行触摸显示面上被显示的图标等的操作。
操作判断部304当利用操作输入系统形成的操作面和与操作者102之间的相对位置关系（S404），从操作面的摄像机511等观察，当操作者102的一部分出现在近前时，判断为操作已开始（S405），确定位置决定面104上的手114的位置，在显示部的对应位置上移动图标的同时，另一方面以操作判断面105为基准，根据手的形状（打开手或立起两根手指等）、动作判断其形状、动作是预先设定的哪一个操作（S406）。判断的结果是，作为存在这种操作输入时，通过计算机110来执行（S407），在本来没有从操作面向近前侧伸出手的情况下，判断为操作未被执行而结束（S408）。操作内容的判断并不限定于在此说明的方法，也可以采用本实施例公知的任意方法。
（操作面近前侧的操作辅助）
在本实施例中，操作者在空间上虚拟设定的操作面为基准，以如同在此存在代替鼠标那样的输入设备的方式进行操作，由此来可靠地判断其操作内容，但是在作为操作者一部分的手或手指等到达操作面前，即在从操作者想要执行任意操作而开始活动手或手指后，直到按下操作面为止的期间也进行操作辅助，由此能够更容易、更高精度地进行操作输入。本功能特别在指示或聚焦的功能中有效，但即使在使用了操作判断面的操作判断中有效的场合也不少，因此作为一般虚拟设定的操作面以位置决定面为例进行了说明。
基本上，这样的操作辅助原理在于，配合相对操作面的操作者的部位、如手或手指的位置动作，通过在显示器111上形象化显示操作者想要进行哪种操作，能够引导操作者进行正确的操作输入。
关于这一点参照图14进行说明，本实施例中预先由操作者在适于对操作面进行操作的位置上设定了操作面104。如图14所示，在操作者想要对系统进行某种操作的情况下，在本例中将手臂2401相对显示器111进行前后活动，由于手或手指114的位置发生变化，因此当其情况显示在显示器111上时，当伸出的手指114到达固定的位置时，此时执行在显示器111的画面上指示的项目等，从而作为系统进行了固定处理。在图14例子中，由于相对于操作面104的手指114的位置（深度）不同，从而图标的大小发生变化，手指114越接近操作面图标变得越小，能够使操作者识别到通过自己的操作聚焦到固定的位置上。而且，在图标变得最小的位置上，确定操作，执行与其对应的处理。
以上操作的结果，图15是表示图标在显示器111的画面2501上如何发生变化的图。参照图15，假设在显示器111的画面2501上例如显示电视剧节目列表，正要进行某一节目的有关操作。在这样的情况下，例如在操作者要选择“设定变更”的菜单按钮的情况下，操作者如上述那样要朝向显示器111伸出手指114进行选择。在本实施例中，当手指114相对操作面的电视节目列表接近到固定距离时，在画面2501中显示图标2503。由于手指的位置尚远，因此显示成该图标显示图14所示的图标中位于右侧的较大图标。当操作者进一步伸出手臂2401时，该图标在靠近作为目标的选择项目“设定变更”的同时变小，变小到一定大小的图标2502时变为特别的图标。在此，通过本实施例的操作判断面105被判断为任一操作时，使图标变为不同的形状、颜色等，表示操作已被判断。
这样，在图15的例子中，通过根据手指114的位置使显示在画面2501上的图标的大小发生变化，由此操作者能够掌握自己的动作在系统中是如何被识别的，更易于识别操作面的位置，从而能够进行菜单的选择等操作。在此，包含手指114、手臂2401的操作者整体及各部位的位置、大小，与操作者的整体图像同样地能够通过使用三维照相机进行提取，因此能够掌握画面内的物体的进深等，从而能够根据这些信息算出与操作面的距离、位置关系。但是，本实施例中使用的三维照相机、位置的提取、距离的计算等也可以采用本技术领域公知的任意方法，因此，在此省略其说明。
在此显示在画面上的图标为圆形，且大小配合操作者的动作发生变化，但并不限定于此，如图16所示，也可以采用各种各样的图标并使其发生各种变化。即参照图16，（1）是手指形态的图标，与上述例子相同地，越接近操作面图标变得越小。（2）是圆形且逐渐变小，但是当通过操作判断面确定输入或选择时，变化为特定的形状来表示已被确定。在此图标或其他图标的情况下，也可以替换为形状（包含大小、相对于显示器的角度）的变化，或者配合地使其图标的颜色变化。如从蓝、绿、黄、红等冷色系变换为暖色系，由此操作者能够直观的识别操作被聚焦而被确定。（3）是X那样的形状，当处于远处时不仅大而且模糊，随着靠近而图标的大小变小，同时模糊消失变为明显可见的形状。（4）是图标整体大小不变化，识别描绘在其中的图形发生形状变化而被聚焦的样式。此时，还可以使图形的颜色发生变化。图16所示的（5）也是使形状发生变化的情况。在图23中，可以根据手指动作而相应地使图标的形状、颜色等发生变化，越过操作面时，其瞬间如栏2601所示那样，各种形状、颜色变化，闪烁，也能使操作者识别到操作已被判断。另外，虽未图示，作为其他图标的变化，最初透明，越接近操作面越变得不透明的变化效果。另外虽未图示，如后面所述另外设置显示器的立体显示功能，从而聚焦图标看起来如从画面飞出那样生成图像，还能够通知操作者聚焦的状态。
在此，在图标的变化中不过于使形状特别地发生变化，而使颜色、浓度发生变化时如图16所示，当不过于使图标移动而使手指114靠近时，颜色变为暖色系或变浓，从而能够确定输入。
另外，在以上例子中，为了确认操作的判断状况，在操作面的位置上显示图标，根据操作者的动作使颜色、形状发生变化，但是，例如在原本如菜单那样预先将指示的位置固定时，即使不特意显示图标也能通过在手指指示的位置最接近哪个被显示的菜单的项目按钮来确定，根据手指的动作、特别是距操作面的距离，使被指示的项目按钮上填充的颜色或填充的浓度发生变化，由此能够更易理解操作面的位置，更易进行操作输入。
以上针对操作面在操作者的水平方向前面几乎垂直地形成的情况进行了本实施方式的原理说明，但此原理并不受这种操作者和显示器的位置关系、形状影响，各种配置、构成均可以。