通过受抑全内反射的多点触摸感测 【技术领域】
本发明涉及用于实现基于受抑全内反射(frustrated total internal reflection)的高分辨率多点触摸感测(multi-touch sensing)的技术。
背景技术
对于单点接触，触摸感测不足为奇。触摸感测技术中的一类是采用受抑全内反射(FTIR)。当光遇到到具有较低折射率的介质的界面时(例如从玻璃到空气)，光发生一定程度的折射，折射的程度取决于光的入射角度，并且超过一定的临界角，光受到全内反射(TIR)。光纤、导光管(light pipe)、和其它光波导依靠这种现象以非常少的损耗有效地传输光。然而，界面处的另一种材料可以抑制这种全内反射，相反导致光从那里逸出波导。
受抑全内反射是公知的并且至少自20世纪60年代以来就已经在生物测量领域(biometrics community)中被用于成像指纹纹线(fingerprint ridge)。1965年出版的White的美国专利3,200,701(通过引用将该专利合并于此)描述了使用FTIR来以光学方式检测皮肤表面的纹线图案。
1972年出版的Johnson等人的美国专利3,673,327(通过引用将该专利合并于此)公开了触摸驱动(touch actuable)装置的早期版本，其中，二进制设备检测通过平板(platen)波导的光由于手指接触而引起的衰减。
1974年出版的Mueller的美国专利3,846,826(通过引用将该专利合并于此)描述了允许用户使用任意形态(free-form)的物体比如刷子、尖笔(styli)和手指在独立的显示器上“描画(paint)”的成像触摸感测器。在该装置中，来自CRT的飞点(flying spot)的光从大型棱镜的表面被全内反射并聚焦到单个的光电检测器(photo detector)上，从而产生被接触区域的更新位图。在1985年，这种方法在光学反转配置方面被更新，以视频照相机和宽光源代替CRT和光电检测器，如以下文献中所描述的那样：Greene，R.“The drawing Prism：AVersatile Graphic Input Device，”Proceedings of the 12
th Annual Conference onComputer Graphics and Interactive Techniques SIGGRAPH’85，ACM Press，NewYork，NY，103-110(1985)，该文献通过引用合并于此。
Mallos的美国专利4,346,376(通过引用将该专利合并于此)公开了基于CRT的触摸感测器，用单薄的平板波导代替了笨重的棱镜，并通过检测被与光接触的物体散射的光来工作。更多最近的指纹感测器利用这种方法，如以下文献中所描述的那样：Fujieda，I.，Haga，H.，“Fingerprint Input based onScattered-Light Detection”，Applied optics-IP，36，35，9152-9156(1997)，该文献通过引用合并于此。
自1984年以来，机器人技术领域(robotics community)也已经在用于机器人夹持器(robot gripper)的触觉感测器的构建中利用这个方法，但带有柔性的表面覆盖层(compliant surface overlay)。很多公布包括：Mott，D.H.，Lee，M.H.，and Nicholls，H.，“An Experimental Very High Resolution Tactile SensorArray，”Robot Sensors Vol.2：Tactile and Non-Vision，Pugh，A.，Ed.Springer-Verlag，Berlin，179-188(1986)；Tanie，K.，Komoriya，K.，Kaneko，M.，Tachis，S.，and Fujikava，A.，“A High Resolution Tactile Sensor，”Robot SensorsVol.2：Tactile and Non-Version，Pugh，A.，Ed.Springer-Verlag，Berlin，189-198(1986)；以及White的美国专利4,668,861，所述文献中的每一个通过引用合并于此。
通过利用柔性的(compliant)表面覆盖层，通常通过气隙(air-gap)与波导隔离的结构化的弹性覆膜(structured flexible membrane)，当被按压时，与波导产生光接触。Kasday的美国专利4,484,179，(通过引用将该专利合并于此)，在触敏显示器的上下文中公开了这种方法。
一种用于同时感测多点的接触或采用基于非FTIR方法的多点触摸感测的相当直接的方法是利用多个感测器，每个感测器感测各自的接触点。例如，Tactex Control Inc.拥有一行阵列感测器用作地板感测器、安全装置和其它应用。作为另一个例子，the publication Lee，S.，Buxton，W.，and Smith，K.C.，“AMulti-Touch Three Dimensional Touch-Sensitive Tablet，”Proceedings of theSIGCHI Conference on Human Factors in Computing Systems(San Francisco，California，United States)，CHI’85.ACM Press，New York，NY，21-25(1985)(该文献通过引用被合并于此)，描述了以矩阵布局布置的感测器的使用，其中有源元件设置在每个节点上(比如二极管、三极管)。
多点触摸感测可以通过采用感测元件的无源矩阵，例如力敏电阻器(FSR)，来实现，如在以下文献中讨论的那样，Hillis，W.D.，“A High ResolutionImaging Touch Sensor，”InternationalJournal of Robotics Research，pages 1，2，33-44(1982)，该文献通过引用合并于此。Nicol等人的美国专利4,134,063(通过引用将该专利合并于此)，公开了用于此目的的电容性电极的使用。并且最近在以下文献中进行了讨论，Rekimoto，J.，“SmartSkin：An Infrastructureof Freehand Manipulation on Interactive Surfaces，”Proceedings of the SIGCHIConference on Human Factors in Computing Systems，CHI’02，ACM Press，NewYork，NY，113-120(2002)，该文献通过引用合并于此。Fingerworks iGesturePad是另一个采用电容感测器的无源矩阵的装置的例子。Westerman等人的美国专利6,323,846(通过引用将该专利合并于此)，公开了另外的在多点触摸表面系统中使用这样的阵列的例子。这样的系统，虽然没有采用多个有源感测器的系统复杂，但是仍然必需很多电连接，因此不利地将其应用限制为需要相对低的分辨率的使用(比如，低于100x100)。此外，这样的系统在视觉上不透明(visually opaque)，因此如果要与图形显示器集成，则需要顶端投影(top-projection)。
视频照相机的使用已经被建议用来以高速率获取高分辨率数据集。然而，这些基于机器视觉(machine vision)的技术相当不精确并且不能确定是否已经进行了真实的触摸接触，这种不一致(disparity)令用户可能十分烦恼。新近的方法包括从强度估计深度，如在以下文献中讨论的那样，Matsushita，N.andRekimoto，J.，“HoloWall：Designing a Finger，Hand，Body，and Object SensitiveWall，”Proceedings of the 10
th Annual ACM Symposium on User InterfaceSoftware and Technology(Banff，Alberta，Canada，October 14-17，1997)，UIST’97，ACM Press，New York，NY，209-210(1997)；从立体(stereo)估计深度，如在以下文献中公开的那样，Wilson，A.D.，“TouchLight：An Imaging TouchScreen and Display for Gesture-Based Interaction，”Proceedings of the 6
thInternational Conference on Multimodal Interfaces(State College，PA，USA，October 13-15，2004)，ICMI’04 ACM Press，New York，NY，69-76(2004)；Malik，S.and Laszlo，J.，“Visual Touchpad：A Two-Handed GesturalInput Device，”Proceedings of the 6
th International Conference on Multimodal Interfaces(StateCollege，PA，USA，October 13-15，2004)，ICMI’04，ACM Press，New York，NY，289-296(2004)；以及跟踪嵌入在可变形的基底中的标记(marker)，如在以下文献中公开的那样，Kamiyama，K.，Vlack，K.，Mizota，T.，Kajimoto，H.，Kawakami，N.，and Tachi，S.，“Vision-Based Sensor for Real-Time Measuring of SurfaceTraction Fields，”IEEE Comput.Graph.Appl.25，1(Jan.2005)，68-75。这些文献中的每一个通过引用合并于此。
阐明各种交互技术的补充的公布包括：Buxton，W.，Hill，R.，and Rowley，P.，“Issues and Techniques in Touch-Sensitive Tablet Input，”Proceedings of the12th Annual Conference on Computer Graphics and Interactive TechniquesSIGGRAPH’85，ACM Press，New York，NY，215-224(1985)；Dietz，P.and Leigh，D.，“DiamondTouch：A Multi-User Touch Technology，”Proceedings of the 14thAnnual ACM Symposium on User Interface Software and Technology(Orlando，Florida，November 11-14，2001)，UIST’01.ACM Press，New York，NY，219-226(2001)；Westerman，W.，Elias，J.G.，and Hedge，A.，“Multi-Touch：A NewTactile 2-D Gesture Interface for Human-Computer Interaction，”Proceedings ofthe Human Factors and Ergonomics Society 45th Annual Meeting(Minneapolis/St.Paul，MN，Oct.2001)，632-636(2001)；以及Wu，M.and Balakrishnan，R.，“Multi-Finger and Whole Hand Gestural Interaction Techniques for Multi-UserTabletop Displays，”Proceeding of 16th Annual ACM Symposium on UserInterface Software and Technology(Vancouver，Canada，November 02-05，2003)，UIST’03，ACM Press，New York，NY，193-202(2003)，上述文献中的每一个通过引用合并于此。
【发明内容】
鉴于前述情况，可见在多点触摸感测领域仅有有限的发展。因此，仍然存在对相对简单、便宜和可扩展(scalable)的多点触摸感测器的需求。
因此，本发明的目的是提供用于提供高分辨率的多点触摸感测的相对简单、便宜和可扩展的多点触摸感测系统/处理(process)，。
本发明进一步的目的是提供基于受抑全内反射的多点触摸感测系统/处理。
根据本发明，多点触摸感测系统包含光波导，该光波导具有足够引起在预定方向接收的至少一个波长(比如，窄带波长)的光在光波导中受到全内反射的折射率。该系统包括具有被设置为与光波导的第一面相邻并隔开的第一表面的柔性层，而柔性层在被按压时可充分变形、以允许柔性层的第一表面的部分接触光波导。柔性层的第一表面具有充分近似于光波导的折射率的折射率，以使得在柔性层的第一表面接触光波导时引起一些受到全内反射的光散射并逸出光波导。图像感测器检测从光波导逸出的一些光。
根据本发明的另一个实施例，多点触摸感测系统包括光波导，和直接与光波导的第一面耦接的柔性层，其中柔性层和光波导具有充分近似的折射率，因此光波导在预定方向上接收的至少一个波长在光波导和柔性层内受到全内反射。该系统还包括直接耦接到柔性层的包层(cladding layer)。包层具有比柔性层折射率的足够低的折射率，以使得包层的形变引起一些受到全内反射的光散射和逸出柔性层和光波导。图像感测器检测一些从柔性层和光波导逸出的光。
根据本发明的另一个实施例，一种多点触摸感测系统包括柔性光波导，该柔性光波导具有足够引起在预定方向上接收的至少一个波长的光在所述柔性光波导内受到全内反射的折射率，该系统还包括包层，其直接与所述柔性光波导的第一面耦接。该包层具有比所述柔性光波导的折射率足够低的折射率以使得所述包层的形变引起受到全内反射的一些光散射并逸出柔性光波导。图像感测器检测一些逸出所述柔性光波导的光。
对于这些实施例中的每个实施例，本发明包括许多方面、特征和变型。这些方面和特征中的一些总结如下。
作为本发明的一个方面，柔性层具有关联的滤光器(light filter)，用于所述过滤所述至少一个波长的光。
作为本发明的另一个方面，通过多点触摸感测系统的用户的手指按压柔性层的第二表面，柔性层可变形。
作为本发明的另一个方面，图像感测器光学地设置成接收自光波导的第二个面逸出的光。
作为这一方面的特征，光学地设置在光波导的第二面和图像感测器之间的带通滤波器基本上仅允许所述波长的光从光波导通过到达图像感测器。
作为本发明的另一个方面，图像感测器是平板图像感测器，例如TFT(薄膜晶体管)图像感测器。
作为本发明的另一个方面，平板图像感测器是楔形光学照相机。
作为本发明的另一个方面，系统包括直对着光波导的一边设置的光源，用于发出被光波导接收的光。
作为本发明的另一个方面，光波导可以是复合组件。作为这一方面的具体的特征，光波导包括被处理为带有柔性层的非柔性的光波导。
作为本发明的另一个方面，该系统包括用于朝着光波导的第二面投影视频图像的后投影仪。可见光基本上可透过柔性层和光波导，以使得显示的视频图像通过这些层可看到。
作为这个方面的特征，设置在柔性层的漫射器(diffuser)漫射所投影的视频图像。
作为这个方面的另一个特征，柔性层自身被设计为漫射所投影的视频图像。
作为本发明的另一个方面，该系统包括所述波长的光不可透过的薄膜，该薄膜被设置在柔性层上。前投影仪将视频图像投影到薄膜上。
作为本发明的另一个方面，系统包括设置在光波导的第二面上的液晶显示(LCD)面板，用于在朝向柔性层的方向上显示视频图像，可见光基本上可透过柔性层和光波导，以使得所显示的视频图像通过这些层可看到。
作为这一方面的特征，多个发射源给LCD面板提供背光，背光漫射器被设置在LCD面板和发射源之间。
作为这一方面的另一特征，薄型的楔型背光单元为LCD面板提供背光。
作为这一特征的一个特征，图像感测器是楔形光学照相机。
作为为这一方面的另一特征，多个光源被提供作为LCD面板的背光，而且背光漫射器被设置在LCD面板和光源之间，图像感测器是楔形光学照相机。
作为这一方面的另一个特征，LCD面板被设置在从光波导逸出的光到图像感测器的光学路径中，所述波长的光可透过LCD面板，以使得LCD面板不会阻止逸出光波导的光到达图像感测器。
作为本发明的另一个方面，该系统包括设置在光波导的第二面上的液晶显示(LCD)/光学感测面板，用于在朝向柔性层的方向上显示视频图像，图像感测器是LCD/光学感测面板的光学感测元件。
作为本发明的另一个方面，该系统包括设置在光波导的第二面上的具有集成的感测器的有源矩阵OLED，用于在朝向柔性层的方向上显示视频图像，图像感测器为具有集成的感测器的有源矩阵OLED的集成的感测器。
作为本发明的另一个方面，该系统包括耦接到柔性层的弹性OLED
(FOLED)，用于在朝向多点触摸感测系统的用户的方向上显示视频图像。FOLED足够柔韧以便在被按压时使柔性层变形，从面使柔性层接触光波导。
作为本发明的另一个方面，该系统包括设置在柔性层上的双面FOLED，其具有用于在朝向多点触摸感测系统的用户的方向上显示视频图像的发射层和用于在朝向该用户方向上感测逸出光波导的一些光的感测层。双面FOLED足够柔韧以便在被按压时使柔性层变形，从而使柔性层接触光波导。图像感测器与FOLED的感测层相对应。
作为本发明的另一个方面，该系统包括耦接到柔性层的弹性LCD和弹性背光的组合，用于在朝向多点触摸感测系统的用户的方向上显示视频图像。弹性LCD和弹性背光的组合足够柔韧以便在被按压时使柔性层变形，从而使柔性层接触光波导。
作为本发明的另一个方面，该系统包括耦接到柔性层的弹性LCD，用于在朝向多点触摸感测系统的用户的方向上显示视频图像。光源使可见光穿过柔性层指向弹性LCD，柔性层漫射所述可见光。
作为这一方面的特征，弹性LCD包括集成的感测器，用于在朝向用户的方向上感测逸出光波导的至少一些光，而且图像感测器与集成在弹性LCD中的感测器相对应。
作为本发明的另一方面，所述波长的光是红外光，而且图像感测器检测红外光。该系统还包括第二图像感测器，用于检测穿过光波导和柔性层的视觉信息。第二图像感测器被配备为不检测打算提供给第一感测器的逸出光波导的光。
作为该方面的一个特征，第二图像感测器能够感测超出柔性层的区域。
作为本发明的另一方面，该系统合并了自动校准系统。具体来说，自动校准系统把红外触摸图像坐标系精确地配准(register)到绘图(显示的)坐标系。
本发明还包括许多方法实施例。根据本发明的方法实施例，一种多点接触感测方法包括在光波导内全内反射至少一个波长的至少一些光；充分按压具有被设置为与光波导的第一面相邻并且隔开的第一表面的柔性层，以引起柔性层的第一表面的部分接触光波导的第一面，具有充分近似于光波导的折射率的折射率的柔性层的第一表面在其接触光波导时引起一些受到全内反射光散射并逸出光波导；以及感测逸出光波导的至少一些光。
根据本发明的另一个方法实施例，一种多点触摸感测方法包括在光波导和柔性层内全内反射至少一个波长的至少一些光，该柔性层直接耦接到光波导的第一面；使直接耦接到柔性层并且具有比柔性层的折射率足够低的折射率包层变形，以使得一些受到全内反射的光散射并逸出柔性层和光波导；以及感测逸出光波导和柔性层的至少一些光。
根据本发明的另一个方法实施例，一种多点触摸感测方法包括在柔性光波导内全内反射至少一个波长的至少一些光；使直接耦接到柔性光波导并具有比柔性光波导的折射率足够低的折射率包层变形，以使得一些受到全内反射的光散射并逸出柔性光波导；以及感测逸出柔性光波导的至少一些光。
对于上述总结的方法实施例中的每个实施例，这样的实施例包括多个方面、特征和变形。以上结合系统实施例总结的那些方面和特征也同样适用于在此描述的方法。
本发明附加的目的、特征、方面和有益效果讨论如下，而其他目的、有益效果和特征对本领域的普通技术人员将变得显而易见。
【附图说明】
如下的详细描述，作为示例给出而并非试图仅将本发明限定于此，结合附图将会最佳地理解下面的描述，其中：
图1A-1D示出了根据本发明的多点触摸感测的几个例子；
图2是根据本发明的FTIR触摸感测器的简化示意图，该FTIR触摸感测器合并了非漫射型具有微观结构折射率匹配的柔性层；
图2A是根据本发明的采用平板(flat)图像感测器的FTIR触摸感测器的简化示意图；图2B是可以在本发明中采用的楔型照相机的示意图；图2C是根据本发明的光波导的示意图，该光波导为复合组件(compound component)；
图3是根据本发明的另一个实施例的FTIR触摸感测器的示意图，该FTIR触摸感测器合并了带包层的折射率匹配的柔性层；
图4是根据本发明的另一个实施例的FTIR触摸感测器的示意图，该FTIR触摸感测器合并了直接设置在支撑基底上的带包层的高折射率柔性波导；
图5示出了根据本发明的多点触摸后投影系统的示意图；
图6示出了根据本发明的多点触摸前投影系统的示意图；
图7A和7B是根据本发明的多点触摸系统的示意图，该多点触摸系统采用不同柔性层设计并且包括有源矩阵LCD(AMLCD)；
图7C、7D和7E是示出了采用LCD显示器的另外的多点触摸系统的示意图；
图8示意性图示了利用有源LCD面板的多点触摸系统，该有源LCD面板包含光学感测元件；
图9示意性图示了采用弹性OLED(FOLED)的多点触摸系统；
图10示意性图示了采用弹性OLED的多点触摸系统，该弹性OLED的其中一面用作发射显示器，而另一面用作图像感测器；
图11示意性图示了采用弹性LCD的多点触摸系统；
图12示意性图示了采用弹性LCD和作为背光漫射器(backlight diffuser)的柔性层的多点触摸系统；
图13示意性图示了采用弹性LCD的多点触摸系统，该弹性LCD包含集成的感测器；
图14是采用了用于非FTIR感测的附加感测器的多点触摸感测系统的示意图；和
图15是根据本发明合并了自动校准系统的多点触摸感测系统的示意图；
【具体实施方式】
多点触摸感测使得用户可以一次用多于一个的手指与系统相互，如在和弦和双手操作中那样。多点触摸感测可以同时容纳多个用户，这对诸如交互墙和桌面的较大的共享显示系统特别有用。附图中的图1A至图1D示出了本发明的多点触摸感测的几个简单的例子。
根据本发明的多点触摸感测是基于受抑全内反射(FTIR)。FTIR感测技术能够以高的时空分辨率获取真实的触摸图像信息，可扩展到大型装置，并且非常适合与多种显示技术一起使用。当光遇到到具有较低折射率的介质的界面时(例如从玻璃到空气)，光发生一定程度的折射，折射的程度取决于光的入射角度，并且超过一定的临界角，光受到全内反射(TIR)。但是，如果另一种材料被放置在界面处，则全内反射则受抑制，从而导致光逸出波导。由于在本领域公知并理解FTIR的概念，所以除了理解本发明所必需的内容之外，在此省略对FTIR的更多技术描述。
本发明的许多实施例及其变型描述如下。出于此目的，术语“一个实施例”、“另一个实施例”、“第二实施例”、“第三实施例”、“一种变型”、“另一种变型”等被使用只是为了方便地将一种结构、过程、系统等与另一种结构、过程、系统等区别开，而不是用来指明相对的重要性或差异量或其他量化特性或对比特征，除非在此另外明确说明。此外，术语“第一(first)”、“第二(second)”、“主(primary)”、“次(secondary)”等用来将一种组件、元件、物体、步骤、过程、活动(activity)或事物(thing)与另一个区别开，而不是用来指明时间上的相对的位置或排列，除非在此另外明确说明。
用于FTIR触摸感测器的非漫射型具有微观结构的折射率匹配的柔性层(Non-Diffusive，Micro-Structured Index-Matched Compliant layer)(柔性层设计类型1) 附图2是根据本发明的第一实施例的多点触摸感测系统10的简化了的示意图。如图示，多点触摸感测系统10(或者，为了方便，称为“感测器10”或“系统10”)包括光波导12、光源14、柔性层16和图像感测器20(有时也称为“成像感测器”或“成像照相机”)，以及其他要描述的组件。
光源14优选为红外(IR)发射器，例如包括多个高功率红外LED的IR发射器。光源14被直对着光波导12的抛光的一边设置，以便可以最大程度地耦合进入全内反射。例如，光源14可以提供880nm波长上460mW的光输出，尽管其他光输出可以被采用。
光波导12可以是丙烯酸薄片(sheet ofacrylic)，其边缘已经被抛光得很光亮，但是也可以利用其他适合的材料。在一个制造的样机的例子中，四分之一英寸(6.44mm)厚的丙烯酸薄片被用作光波导，该丙烯酸薄片面积为16英寸乘12英寸(406mm×305mm)。普通玻璃通常不是优选的，因此其光透射能力差。然而，可以采用较透明的玻璃配方(例如“water white”，BK-7硼硅酸盐玻璃等)。虽然较贵，但是这样的玻璃在结构上更坚硬些，而且远不如丙烯酸容易被划伤。
自光源14发射的光在光波导12内受到全内反射，因此使光被截留在光波导12内。当一个物体被与光波导12相接触地放置时，全内反射受抑制，因此导致一些光散射(“散射光”)而且逸出光波导12，如图2中箭头“a”所示。在不存在柔性层16的情况下，手指可以直接接触光波导12以引起一些光散射，如下述文献中所描述的那样，美国专利公布No.2008/0029691(‘691公布)，公布于2008年2月7日，该文献通过引用合并于此。‘691公布，以及其中公开和要求保护的发明一起转让给本发明的受让人。
根据图2所示的实施例，多点感测系统0包括设置在光波导12一面的柔性层16。由于柔性层的微观结构，小的空气隙24正好被保留在这两个组件之间。柔性层16可以被定制浇铸或蚀刻到柔性塑料(compliant plastic)或其他材料的一层上或者以其他任何适合的方式制成。当压力施加于柔性层16时(例如，如图2所示通过手指26)，柔性层16或在其与波导12相邻的表面上的材料具有与波导12的折射率充分近似(“基本上近似”)的折射率，以便当向柔性层16施加压力时(例如，通过手指26，如图2中所示)最大程度地耦合。柔性层16的微小区域16a与波导12接触以保持空气隙24。优选地，区域16a足够小并且足够稀疏，从而不会淹没(swamp)期望的信号(即，在柔性层16的静止没有被按压的状态期间，最小化散射光的量)。优选地，选择或制造有图案(pattern)的柔性层，这样FTIR响应的量取决于作用在其上的外力或压力的量。波长选择(wavelength-selective)滤波器薄膜层18(此处也称为“IR滤波器”)优选地设置在柔性层16上，如图2所示，以消除，或至少最小化背景照明的影响。具体来说，IR滤波器18至少滤除由光源14发射的光的频率。
可见光基本上可透过如图2所示的包含柔性层16和波导12以及IR滤波器18的叠层(stack)，因此该叠层与直观(direct view)显示器(例如LCD)一起使用是非常理想的，但是也可以通过将柔性层的外表面处理为漫射的或者通过添加适当的漫射器(diffuser)来与后投影一起使用，如下面描述的某些实施例中所讨论的那样。
在图2的实施例中，具有适合的镜头(例如广角或移轴镜头(a wide angle orshift lens))的红外图像感测器20被相对于波导垂直地安装并且检测通过波导的散射的光。优选地，图像感测器安装有带通滤波器22，该带通滤波器与光源14的输出相匹配，以最小化光噪声。图像感测器20可以是不同的类型，例如CCD、CMOS。
该散射光也可以由薄的或平的图像感测器30感测，例如图2A中示意性示出的。也可以采用楔形光学(wedge-optic)照相机，例如在2006年Boucal等人的下述公布中所描述的照相机：“Wedge Displays as Cameras，”SIDInternational Symposium Digest of Technical Papers，37(2).pp.1999-2002(“Boucal’06”)。Boucal′06通过引用合并于此。楔形光学照相机32示意性图示在图2B中。然而，仍然可以利用TFT(薄膜晶体管)光电二极管/光电晶体管阵列。在以上和以下描述的布置的每一个中，可以采用适当的附加光学器件以使散射光改变方向，从而使这里描述的一个或多个的感测装置能够被设置在相对于光导的另一位置(例如与IR发射器相邻)。
图2C示意性图示了根据本发明的光波导，该光波导是复合组件，如图示，其包含被处理为具有柔性光波导层34的非柔性光波导层36。两个层34和36共同起光波导的作用。在另一个变型中，层34可以是非柔性的，但具有其他有益的特性。可以理解，在此处描述的某种显示装置/系统中，在光波导上采用粘合的(bonded)柔性层可以有助于FTIR。各个实施例中的每一个的其他器件，比如柔性层16(图2)，也可以是复合组件。
图像感测器20(或感测器30或楔型照相机32或其他感测器类型)的输出可以提供给适合的计算机(未示出)或能够处理各种公知的图像处理操作的其他电子装置，所述图像处理操作比如对于每一视频帧的校正(rectification)、背景减除(background subtraction)、噪声去除和分析。然后，可以采用公知的视觉跟踪(vision tracking)技术以将视频序列转换成离散的触摸事件和笔画(stroke)。以640×480分辨率(相当于精度大于1mm
2)、每秒60帧、8比特单色(monochrome)捕捉光的图像照相机适合多种多点触摸感测应用。当然，可以采用具有更高分辨率的，不同帧捕捉速率和/或其他特性的成像照相机。由适合的计算系统来执行处理。
根据本发明的多点触摸感测提供了全部的成像触摸信息而没有闭塞(occlusion)或者不明确(ambiguity)问题。触摸感测是零外力(zero-force)和真实的，即其精确地将触摸与非常轻微的悬停(hover)区分开。本发明的多点触摸感测系统能够以高时空分辨率采样。该多点触摸感测系统可扩展到相对大的表面，比如象墙一样大的触摸显示器，尽管对于多点触摸感测系统覆盖相对大的区域应当考虑包括照相机分辨率和照明量的各种因素。
带包层(cladded)并且折射率匹配的柔性层(柔性层设计类型2) 图3示出根据本发明的另一个实施例的多点触摸感测系统40的简化的示意图。透明的柔性材料(例如光学粘合剂(optical adhesive))作为柔性层42，该柔性材料与波导44折射率匹配而且直接施加到波导44。在交互表面上折射率较低的包层46被设置在柔性层42上。包层的形变引起光反射并散射出该叠层。如图2中实施例所示，可以采用不同类型的感测器，比如平板图像感测器或楔型照相机。
直接放置在支撑基底上的带包层的高折射率柔性波导(柔性层设计类型3) 图4示出根据本发明的另一个实施例的多点触摸感测系统40的简化的示意图。在这个实施例中，柔性波导52作为波导和柔性层二者工作。柔性波导52由基底54支撑而且由折射率高于基底的透明的材料(clear material)组成。设置在柔性波导52的交互表面的包层56具有低于波导的折射率(例如PET)。当包层56变形时，如图4所示，光反射或散射出该叠层。
有利的是，在图4示出的实施例中，对由光源(IR发射器58)发射的光，基底54不需要作为波导工作，这样，基底54可以由各种各样的材料组成，并且具有各种各样的光学特性。根据本发明的一个特征，基底54可以是现有的显示组件的一部分，例如LCD显示器或在零售环境中的店面橱窗(storefrontwindow)。在这样的情况中，柔性波导52和包层56(和，可选地，IR滤波器60)可以就地(in-situ)应用到现有的基底54。
如上所述，图2、3、4示意性图示了根据本发明的多点触摸感测系统的不同的实施例/变型。出于方便，图2所示的实施例此后称为柔性层设计类型1；图3所示的实施例此后称为柔性层设计类型2；图4所示的实施例此后称为柔性层设计类型3。而且，针对这些实施例的每一个，可用采用不同类型的感测系统/过程。具体来说，图2、2A和2B示意性图示了三种不同类型的图像感测器：(1)采用适当镜头的图像感测器20；(2)平板图像感测器30；和(3)楔形光学照相机32。可以采用其他类型的感测系统/过程，包括TFT光电二极管阵列或在此没有明确的其他适合的平板图像感测器类型。
每一个实施例(包括柔性层设计类型1、类型2和类型3，如上所述)采用了至少包括光波导的多种组件。如此处提到的，这样的组件中的一个或多个可以是复合组件，在具体的变型中，柔性光波导可以是被处理为带有柔性层的(非柔性)光波导，共同起光波导作用。可以理解，具有这样的柔性层的光波导有利于FTIR。
下述实施例属于多点触摸系统，其包括或合并在不同类型的显示装置/系统内。除非另外指出，这样描述的实施例中的每一个可以连同在此描述的柔性层设计类型(即类型1、2、3)中的任何一个一起使用。此外，除非另外指出，这样描述的实施例中的每一个可以使用任何一种感测系统/方法(例如图像感测器20、平板图像感测器30、楔形光学照相机32等)。此外，除非另外指出，这样描述的实施例中的每一个可以使用任何其他类型的显示方法(如果适合的话)，或者一个都不用。仅为方便起见，描述如下的图5-6和8-13，示意性示出了采用柔性层设计类型1的各种实施例。
多点触摸后投影系统 图5示出了根据本发明的多点触摸后投影系统70的简化示意图。投影仪72被设置在该叠层(即，柔性层、波导等)的观看/接触面之后，漫射器薄膜(diffuser film)74被设置在IR滤波器76上(或设置在柔性层78或包层46和56上-图3和图4)。可替代地，省略漫射器薄膜74并且柔性层78(或柔性波导)被制造成能产生期望的漫射特性。在多点触摸感测系统中采用后投影在‘691公布文件中进一步描述。由于后投影仪的使用，最好不采用TFT图像感测器，除非这样的感测器被设计为不妨碍视频投影。这个实施例以及各种其他实施例的优点是在显示和交互表面之间具有零视差(zero disparity)。
多点触摸前投影系统 前投影在空间成问题的许多环境中仍然有用。图6是根据本发明的多点触摸前投影系统80的示意图。系统80包括前投影仪82、设置在柔性层86上的不透红外光(infrared-opaque)的薄膜(阻挡层84)和在阻挡层84上的任何适合的前投影层(投影屏幕88)，连同先前描述的多点触摸感测器的组件(例如波导、柔性层)。由于前投影，所以该叠层显然不需要在视觉上透明，不透红外光的薄膜是首选的而且比IR滤波器(例如图5中所示的IR滤波器76)有效得多。如前面提到的，可以采用不同类型的图像感测器。
合并了有源矩阵液晶显示器的多点触摸系统 图7A和7B是根据本发明的分别采用柔性层设计类型1和3，而且包括有源矩阵LCD(AMLCD)的多点触摸系统的示意图。首先参考图7A，多点触摸系统100采用了设置在波导104后面的有源LCD面板102。在图7A的实施例中，采用了柔性层设计类型1，该柔性层设计类型1包括柔性层104、以及设置在波导104和柔性层106之间的空气隙108、和IR滤波器110。漫射器112被设置为与LCD面板102的背面相邻(最好是接触)；以及诸如LED的多个发射源(背光114)，均匀分布在漫射器112之后。可以采用不同类型的图像感测器。
在图7B所示的实施例中，多点接触系统120采用设置在柔性层设计类型3后面的LCD面板122，其中包层126被设置在柔性波导124上。如图7A中实施例所示，漫射器132被设置为与LCD面板122背面相邻，而且多个发射源(背光134)均匀分布在漫射器132的后面。
根据本发明，图7A和7B所示的实施例可以被应用到典型的、现有的、现货供应(off-the-shelf)类型、通常是非柔性的LCD。这样的LCD通常可透过红外波长，因此，本发明的成像感测器适合被设置在有源LCD层的后面而不需要改动LCD层。更宽泛地说，LCD可以被适当设置在光波导和图像感测器之间的(红外光的)光学路径中。如果需要的话，将现有LCD的背光单元(BLU)修改为靠着LCD面板的背面包括上述漫射器(例如漫射器112、134)而且适合的发射源被设置在漫射器的后面。
图7C、7D和7E示出了采用LCD显示器的本发明的另外的、示范性的组合。图7C是系统130的示意图，该系统包括设置在LCD132a上的FTIR感测叠层131(使用上述实施例中的任意之一)以及薄型的(thin-profile)楔形背光单元133。图像感测由直观视频照相机134a实现。
图7D是系统135的示意图，该系统类似于图7C所示的系统130，但是采用楔形光学照相机用于图像感测。图7E示出了类似于系统130的另一个系统137，但是取代利用楔形背光单元，采用漫射器138和光源139直接对LCD进行背部照明。
合并了光学感测AMLCD/AMOLED的多点触摸系统 图8示意性图示了利用有源矩阵LCD 142的多点触摸系统140，该有源矩阵LCD 142在LCD面板内包括附加的光学感测元件(出于方便，此处称为“LCD/光学感测面板”)。实质上在面板自身上包括平板照相机的LCD面板是已知的。LCD面板内的感测器平常用来可视地感测触摸，通常是通过阴影(shadow)。请参见例如以下文献，“Active Matrix LCD with Integrated OpticalTouch Screen”，Willem den Boer、Adi Abileah、Pat Green、Terrance Larsson、Scott Robinson and Tiny Nguyen，SID Symposium Digest 34，1494(2003)，该文献通过引用包括于此。
然而，图8所示的本发明的多点触摸系统140不是利用感测器直接感测触摸，即通过阴影或其他直接成像，而是集成在此描述的FTIR技术与LCD显示器，使得LCD显示器内的感测器被用来感测从光波导逸出的光。非漫射柔性层144叠放在IR激励(IR-pumped)波导146上，该IR激励波导被设置于LCD面板142上。LCD背光单元(BLU)148被设置在LCD面板之后，而没有在背光单元之后(或之前)设置附加的图像感测器。对于典型的、现货供应的带有集成光电感测器(photosensor)的LCD面板，没有必要改动LCD面板的背光单元。优选地，LCD上的感测元件单独安装有IR滤波器(作为LCD滤色器阵列的一部分)。
在图8所示的实施例的变型中，可以取代图8所示的LCD面板，而采用具有集成的感测器的有源矩阵OLED。
具有弹性(flexible)显示器的多点触摸系统 图9示意性图示了采用弹性OLED 162(也称为“FOLED”)的多点触摸系统160。弹性OLED通常制作在塑料基底上，这样能够在外力下充分变形。弹性OLED已公知，如以下文献中所讨论的那样，G.Gustafssson，Y.Gao，G.M.Treacy，F.Klavetter，N.Colaneri，A.J.Heeger，Flexible light-emitting diodes madefrom soluble conducting polymers，Nature 1992，357，477，该文献通过引用合并于此。根据图9中所示的实施例，FOLED 162直接设置在柔性层164上。当接触时，外力通过该弹性显示器(即，FOLED 162)传递至柔性层164。通常，该显示器可透过IR，因此不需要IR滤波器。如果不是这样，则可选地可以将不透光的阻挡物设置在该显示器之后。类似于其他多个实施例，图像感测器168被设置在波导166之后以检测散射光。FOLED 162最好是足够柔软，以使其在期望的触觉灵敏度下变形。图9的实施例的优点在于在显示和交互表面之间具有零视差。
根据本发明，各种其他弹性类型的显示器可以取代弹性OLED而被采用。例如，可以利用所谓的“eInk”显示器，其在下述文献中被讨论：Huitema，H.E.A.；Gelinck，G.H.；van der Putten，J.B.P.H.；Kuijk，K.E.；Hart，C.M.；Cantatore，E.；Herwig，P.T.；van Breemen，A.J.J.M.：de Leeuw，D.M.“Plastictransistors in active-matrix displays”Nature 2001，414，(6864)，599，该文献通过引用合并于此。可以利用其他弹性发射或反射显示器(例如电泳的、电致的)。
具有“双面弹性OLED”的多点触摸系统 图10示意性示出多点触摸系统180，该多点触摸系统180采用了集成到同一基底上或背对背层叠(laminated back to back)的两个弹性层，其中两个层都是有源的。具体来说，一层可以是反射FOLED(发射层)，而另一层可以是弹性TFT光电二极管阵列(感测层)。出于方便，背对背结合的两个弹性层此处称为双面FOLED，在图10中示为元件182。FOLED一般已经制作成每一像素集成有感测元件，通常用于跟踪发射组件的老化，这样的元件通常叠放在像素的下方。这些感测元件通常屏蔽基底下方的光学信号。
在图10所示的实施例中，双面FOLED 182具有显示面182a和制作在其反面的光学感测阵列182b，因此其能够感测入射该面上的光学信号。双面FOLED 182设置在柔性表面184上，该柔性表面被设置在IR激励的波导186之上。
当柔性层184接触波导186时，由于某外力施加到双面FOLED 182上，散射光(在图10中由箭头b代表)通过柔性层184逸出，而且被光学感测面182b接收，由此被双面FOLED 182感测到。在图10的实施例中，不需要附加的图像感测器。此外，不需要IR滤波器。
具有弹性LCD的多点触摸系统 图11示意性图示了采用弹性LCD 202的多点触摸系统200，该弹性LCD202足够柔韧以使其在手指的触摸下变形。在足够柔韧的塑料基底上开发的LCD已公知，比如下述文件所公开的那样：“Active Matrix Displays Made withPrinted Polymer Thin Film Transistors，”H.Sirringhaus，S.E.Burns，C.Kuhn，K.Jacobs，J.D.MacKenzie，M.Etchells，K.Chalmers，P.Devine，N.Murton，N.Stone，D.Wilson，P.Cain，T.Brown，A.C.Arais，J.Mills，R.H.Friend PlasticLogic Limited，该文献通过引用合并于此。由于包括弹性LCD在内的LCD是不发射性的，因此图11包括薄的弹性背光204，该背光204被设置在本发明的FTIR感测器的弹性LCD 202和柔性层206之间。类似于其他多个实施例，图像感测器210被设置在波导208的后面以检测散射光。
具有弹性LCD和作为背光漫射器的柔性层的多点触摸系统 图12是类似于图11的实施例的多点触摸系统220的示意图，具有弹性LCD 222和IR滤波器223，而柔性层224用作LCD的漫射背光单元和设置在IR激励波导226上的柔性表面。从设置在波导226后面的背光228输出的可见光(例如LED阵列)指向柔性层224，该柔性层224最好具有很强的漫射特性，进而作为弹性LCD 222的背光单元。
具有集成的感测器的弹性LCD的多点触摸系统 图13示意性图示了采用了包含集成的感测器的弹性LCD 242的多点触摸系统240。
在图13所示的实施例中，弹性LCD 242被设置在柔性层244上，该柔性层被设置在IR激励的波导246之上。发射源(背光248)被分布在波导246的后面。
柔性层244在被按下时接触波导246，由此产生的散射光(由图13中箭头“c”表示)通过柔性层244逸出，而且被集成在弹性LCD 242中的感测器感测到。图13所示的实施例中不需要附加的图像感测器或IR滤波器。
具有附加感测能力/使用次(secondary)图像感测器的手势(Gesture)和基准(Fiducial)感测的多点触摸感测系统 根据本发明，此处描述的各种实施例可以可选地包括附加的图像感测器用于观察其他视觉信息(而不是此处描述的由触摸引起的FTIR)，诸如手的姿势、“悬停”信息、物体(object)上的基准标记(fiducial maker)或记号(token)、或其他视觉可辨认的元素。图14是采用附加的感测器262(此处也称作“次图像感测器”)的多点触摸感测系统260的示意图。图14还示出了具有先前描述的柔性层设计类型3(参考图4所描述的)的多点触摸系统。然而，此处描述的其他的柔性层设计可以与用于检测其他视觉信息的次图像感测器一起采用。此外，根据本发明的具有附加的感测能力的多点感测系统可以包括或合入在此处描述的任何显示装置，只要次图像感测器能够成像/感测系统接触表面上方的(即，未经过上述IR滤波器滤波的)元素(例如手指)，并且最好也不检测来自主(primary)FTIR图像感测器的信号。
诸如图14所示的次图像感测器262最好安装有具有波长不同于用于FTIR系统的带通滤波器的波长的带通滤波器。与次图像感测器的带通滤波器的波长相匹配的附加的光源264帮助该并行感测系统在主感测器没有正在感测触摸时除了其他事物以外还感测悬停的手指或物体。次图像感测器的多种应用包括确定每个触摸区域的身份(identity)(例如手的每个指头的…大拇指、食指等)，辨认手或其他物体的位置/方向/姿势，和识别/辨认其他视觉元素和/或动作。
合并了自动校准系统的多点触摸系统 在此处描述的各种实施例中，(主)图像感测器(例如图2所示图像感测器22)可以配备有与IR发射器(例如光源14)相匹配的带通滤波器(例如滤波器22)。根据本发明，这样的各种实施例可以包括自动校准系统，如图15示意性所示的系统280。如图示，带通滤波器(可转换带宽的滤波器282)被安装在机械的滤波器固定器上，该带通滤波器在计算机的控制下可操作，从而被移进或移出(如箭头“d”所表示)光学路径。通常，滤波器是用来防止照相机(图像感测器284)看到从例如投影仪288输出的而且显示在显示器290上的图形图像。当滤波器282被移出光学路径，图像感测器284(连同图像感测器284的输出的适当信号处理一起)根据本发明可操作用于将红外触摸图像坐标系精确地配准(register)到绘图坐标系。从绘图坐标系到红外图像的配准如下执行。滤波器被移出光学路径，计算机被指示发出一个点(基准)以便以图形方式输出在显示器上。这个点被图像感测器感测到，并且其坐标被记录。对屏幕表面上的多个其他点重复该过程(例如屏幕的四个角)，用于构建绘图坐标系和图像感测坐标系之间的几何映射。可以通过对屏幕上的每一点穷尽地完成，或可以通过将数学模型适配较稀疏的一组对应点来更有效地完成。一旦这个映射被计算出，来自图像感测器的所有触摸感测器数据被校正为绘图坐标系。
作为图15所示自动校准系统的另一个特征，图像感测器284还可以被利用到几何对准的多个重叠图像投影，比如当合并了多个投影仪的较大的系统被使用时。
附加的变型和特征 在此描述的各种实施例中，IR发射器可以是脉冲调制的而且同步于图像感测器的快门，从而有利于减少图像感测器接收到周围环境的光线数量。如果期望，可以以较亮的强度来脉冲调制光源，以提高系统的信噪比。
在此描述的各种实施例中，“IR”发射器可以选为近UV(near-UV)波长的。在这样的变型中，先前适合于IR的组件被用于此替代(alternate)波段的组件取代，特别是由于UV具有相当的破坏性。对于UV，由于UV的伤害性，必须进行特殊的额外的考虑以保护用户免受偏离的辐射。有利的是，与这里的各种实施例中描述的柔性层相关联的滤波器，过去常用来保护感测器免受背景信号干扰，也可以被用于保护用户免受从光波导散射的UV光的伤害。
此外，可以采用多个图像感测器以感测由触摸引起的FTIR效应，通常允许相对较大的多点触摸系统的实现。图像感测器可以沿单一轴、多个轴、沿栅格系统或其他适合的方式彼此间隔开。
在另一个变型中，两个或多个光的波长，优选为红外光，被光源输出，并且采用多个图像感测器以检测不同的波长。例如，采用两套LED来激励波导，一个例如是880nm，而另一个例如是950nm。于是，每个图像感测器成像不同的波长。可以采用不同波长的滤波器达到此目的。作为有用的可选的特征，必须通过系统的两个图像感测器(在具体的时间和地点)接收光，从而断定在那一时间/地点按压(depression)(即FTIR响应)的发生。可以采用公知的处理方法来处理这种情况下的两个视频流。因此，通过采用多个波长和多个图像感测器，FTIR响应进一步从背景光中区分出来。此外，如果没有使用柔性表面，通过辨认特定于人类手指的每个波长的强度的比率，可以将活动的手指从隐约的指印残留中区分出来。可以采用三个或更多的波长。
在某些实施例中，柔性层可以由各种塑料薄膜和其他材料制成。柔性层也可以包含多种材料的复合物，通常每种材料会贡献一个或多个下面期望的特性：i)光学FTIR性能；ii)红外屏蔽以减少来自外部环境光线的干扰；iii)防眩光(anti-glare)以提高显示器的可见度；iv)人类用户的触觉“感觉”(包括但不限于诸如摩擦等方面)；v)耐用性—最好是在该领域中可更换的硬壳(hardcoat)层。可以通过使用公知的折射率匹配的光学粘结剂将所采用的各种层彼此粘附。作为包含多种材料的复合物的柔性表面的另一个例子，叠层包括(1)橡胶薄层；(2)具有金属涂层的薄膜PET膜(聚对苯二甲酸乙二醇酯)；和(3)被处理为具有不光滑表面的薄PET膜。橡胶薄层提供用于FTIR，以及触觉响应和感觉。具有金属涂层的薄膜PET膜反射/吸收周围的红外光。被处理为具有不光滑表面的薄PET膜提供了一个舒适的表面，在其上用户的一个或更多个手指能够轻松地滑移，而且更耐磨损。
在此描述的某些实施例的另一个变型中，接触表面是不平坦的，即非平面的。比如，接触表面可以是凹形的、凸形的或其他非平坦设计。接触表面可以是球形的。
已经在本发明的若干实施例及其变型的上下文中描述了本发明。然而，应该理解，在不背离本发明的精神的情况下，可以采用本领域的技术人员所知晓的其他权宜手段。