一种光学多点触控设备及方法.pdf

本发明提供了一种光学多点触控设备及方法，属于多点触控领域。所述光学多点触控设备包括前面板和设置在其后方的后面板，所述前面板包括LCD前面板；所述后面板包括背光光源、红外光源和摄像头阵列，所述背光光源均匀排布，用以提供显示画面所需光线；所述红外光源均匀排布，用以照明触控物体，以供摄像头捕捉；所述摄像头阵列包括一组均匀排布的摄像头，用以捕捉触控物体的画面；所述前面板面向使用者一侧的表面称为显示触控面；所述显示触控面上任一位置均处于至少2个摄像头的视野之内。

1.  一种光学多点触控设备，其特征在于：所述光学多点触控设备包括前面板和设置在其后方的后面板，所述前面板包括LCD前面板；
所述后面板包括背光光源、红外光源和摄像头阵列，所述背光光源均匀排布，用以提供显示画面所需光线；所述红外光源均匀排布，用以照明触控物体，以供摄像头捕捉；所述摄像头阵列包括一组均匀排布的摄像头，用以捕捉触控物体的画面；
所述前面板面向使用者一侧的表面称为显示触控面；
所述显示触控面上任一位置均处于至少2个摄像头的视野之内。

2.  根据权利要求1所述的光学多点触控设备，其特征在于：所述前面板包括保护屏和／或扩散片，所述保护屏设置在LCD前面板的上方，所述扩散片设置在LCD前面板的下方。

3.  根据权利要求2所述的光学多点触控设备，其特征在于：所述保护屏、LCD前面板和扩散片中的任意相邻两层粘接到一起，或者三层依次粘接到一起，粘接采用的是折射率为1.3-1.55的透明的胶。

4.  根据权利要求2所述的光学多点触控设备，其特征在于：所述保护屏选用防眩光钢化玻璃。

5.  根据权利要求1所述的光学多点触控设备，其特征在于：所述后面板包括散光板，其设置在背光光源、红外光源和摄像头阵列的上方，在所述散光板上对应各个摄像头的位置均开有孔。

6.  根据权利要求1所述的光学多点触控设备，其特征在于：所述光学多点触控 设备包括反光板，其设置在前面板和后面板之间形成的空间的各个侧面，用以反射来自背光光源和红外光源的光线。

7.  根据权利要求1～6之一所述的光学多点触控设备，其特征在于：所述光学多点触控设备包括显示驱动系统、图像处理系统和电源系统：
所述显示驱动系统用以接收来自计算机的显示信号，驱动所述LCD前面板在背光光源的配合下，显示用户界面；
所述图像处理系统用以接收摄像头所捕捉的画面，经过分析，进行目标识别、目标距离识别和目标位置识别，最终将一个或多个用户的操作，转换为一个或多个目标及目标在显示触控面的投影位置和到显示触控面的距离，提供给计算机；
所述电源系统用以给该光学多点触控设备供电。

8.  根据权利要求1-7之一所述的光学多点触控设备的实现光学多点触控的方法，其特征在于：所述方法包括：
设一个显示触控面及其上方空间为区域R，它处于第一摄像头和第二摄像头的视野之中，有1个触控物体位于区域R中；
步骤1：拍照：
在同步信号的触发下，第一摄像头和第二摄像头同时对区域R进行拍照得到图像；
步骤2：畸变矫正：
根据预先获取的矫正数据对步骤1拍摄到的图像进行畸变矫正，其中，对第一摄像头获得的图像进行处理得到的图像为第一图像C1c，对第二摄像头获得的图像进行处理得到的图像为第二图像C2c；
步骤3：目标识别：
通过对第一图像C1c和第二图像C2c进行处理找到目标。
步骤4：高度识别和投影位置识别：
从第一摄像头的中心至第一图像C1c中识别出的目标做连线形成第一直线，从第二摄像头的中心至第二图像C2c中识别出的目标做连线形成第二直线，第一直线和第二直线的交点即为最终推算的触控物体在空间中的位置；
通过该交点向显示触控面做垂线，其垂足的坐标即为触控物体在显示触控面上的投影的坐标；垂线的长度即为触控物体到显示触控面的距离。

9.  根据权利要求8所述的方法，其特征在于：所述步骤1中，第一摄像头和第二摄像头的拍照行为的时间差小于或等于1毫秒。

10.  根据权利要求9所述的方法，其特征在于：所述步骤3由下面两个步骤单独或协同工作来完成：
步骤3-1：单幅图像目标识别
通过对第一图像C1c和第二图像C2c进行分析，找到目标；
步骤3-2：合并图像目标识别
将第一图像C1c和第二图像C2c投射在距离显示触控面高度为h的平面Ph上，然后将两幅投射画面进行叠加合并，找到目标。

一种光学多点触控设备及方法
技术领域
本发明属于多点触控领域，具体涉及一种光学多点触控设备及方法。
背景技术
现有的多点触控技术包括电阻式、电容式、表面声波、光学边框等，其中电阻式要求压力大于一定值才能感知到触控物体，而电容式、表面声波都要求触控物体必须触碰到屏幕，光学边框式只能感知5mm之内的触控物体。也就是说，目前这些技术只能够感知手指或其他触控物和触控表面接触点的信息，信息非常贫瘠。
发明内容
本发明的目的在于解决上述现有技术中存在的难题，提供一种光学多点触控设备及方法，可以感知手指和其他触控物(例如笔、模型船等等)在悬浮时、接触后的各种原始信息，包括：接触前的移动轨迹、和触控表面的距离变化、接触时的力度大小、接触物的形状、接触物的影像信息等。可以为进一步拓展人机交互，提供流畅自然的用户体验提供硬件基础。
本发明是通过以下技术方案实现的：
一种光学多点触控设备，包括前面板和设置在其后方的后面板，所述前面板包括LCD前面板；
所述后面板包括背光光源、红外光源和摄像头阵列，所述背光光源均匀排布，用以提供显示画面所需光线；所述红外光源均匀排布，用以照明触控物体，以供摄像头捕捉；所述摄像头阵列包括一组均匀排布的摄像头，用以捕捉触控物体的画面；
所述前面板面向使用者一侧的表面称为显示触控面；
所述显示触控面上任一位置均处于至少2个摄像头的视野之内。
所述前面板包括保护屏和／或扩散片，所述保护屏设置在LCD前面板的上方，所述扩散片设置在LCD前面板的下方。保护屏和扩散片均可以选配，配其中一个可以，两个都配也可以，根据需要来设置。
所述保护屏、LCD前面板和扩散片中的任意相邻两层粘接到一起，或者三层依次粘接到一起，粘接采用的是折射率为1.3-1.55的透明的胶。
所述保护屏选用防眩光钢化玻璃。
所述后面板包括散光板，其设置在背光光源、红外光源和摄像头阵列的上方，在所述散光板上对应各个摄像头的位置均开有孔。
所述光学多点触控设备包括反光板，其设置在前面板和后面板之间形成的空间的各个侧面，用以反射来自背光光源和红外光源的光线。
所述光学多点触控设备包括显示驱动系统、图像处理系统和电源系统：
所述显示驱动系统用以接收来自计算机的显示信号，驱动所述LCD前面板在背光光源的配合下，显示用户界面；
所述图像处理系统用以接收摄像头所捕捉的画面，经过分析，进行目标识别、目标距离识别和目标位置识别，最终将一个或多个用户的操作，转换为一个或多个目标及目标在显示触控面的投影位置和到显示触控面的距离，提供给计算机；
所述电源系统用以给该光学多点触控设备供电。
一种实现光学多点触控的方法，所述方法包括：
设一个显示触控面及其上方空间为区域R，它处于第一摄像头和第二摄像头的视野之中，有1个触控物体位于区域R中；
步骤1：拍照：
在同步信号的触发下，第一摄像头和第二摄像头同时对区域R进行拍照得到图像；
步骤2：畸变矫正：
根据预先获取的矫正数据对步骤1拍摄到的图像进行畸变矫正，其中，对第一摄像头获得的图像进行处理得到的图像为第一图像C1c，对第二摄像头获得的图像进行处理得到的图像为第二图像C2c；
步骤3：目标识别：
通过对第一图像C1c和第二图像C2c进行处理找到目标。
步骤4：高度识别和投影位置识别：
从第一摄像头的中心至第一图像C1c中识别出的目标做连线形成第一直线，从第二摄像头的中心至第二图像C2c中识别出的目标做连线形成第二直线，第一直线和第二直线的交点即为最终推算的触控物体在空间中的位置；
通过该交点向显示触控面做垂线，其垂足的坐标即为触控物体在显示触控面上的投影的坐标；垂线的长度即为触控物体到显示触控面的距离。
所述步骤1中，第一摄像头和第二摄像头的拍照行为的时间差小于或等于1毫秒。
所述步骤3由下面两个步骤单独或协同工作来完成：
步骤3-1：单幅图像目标识别
通过对第一图像C1c和第二图像C2c进行分析，找到目标；
步骤3-2：合并图像目标识别
将第一图像C1c和第二图像C2c投射在距离显示触控面高度为h的平面Ph上，然后将两幅投射画面进行叠加合并，找到目标。
与现有技术相比，本发明的有益效果是：本发明设备能够感知悬浮物体，并且能支持超过100个点的触控，因为其触控原始信息的丰富，结合上层软件，可以为用户带来诸多良好的用户体验，比如：
1、接触前的移动轨迹：可以预判用户意图等。
2、和触控表面的距离变化：可以在不接触触控表面下，进行触控操作等。
3、接触时的力度大小。
4、接触物的形状：可以排除一些干扰物。尤其是现在，大触摸屏越来越走向人们日常生活，抗干扰是一个越来越紧迫的需求。
5、接触物的影像信息：可以对图像进行识别，自动识别物体，然后进行该物体一些操作，比如：相关信息搜索、给物体拍照等。
附图说明
图1是本发明光学多点触控设备的结构图。
图2是本发明方法的原理图。
图3是本发明方法中的畸变矫正示意图。
图4-1是来自摄像头C1的经过处理后的图像C1c。
图4-2是来自摄像头C2的经过处理后的图像C2c。
图5-1是在距离触控面5cm上作投射和合并后的图形。
图5-2是在距离触控面10cm上作投射和合并后的图形。
图6是本发明方法中高度识别和投影位置识别的示意图。
图7是本发明设备的一个实施例。
具体实施方式
下面结合附图对本发明作进一步详细描述：
本发明在触控面板后方安装红外光源和摄像头阵列，在红外光源的照射下，摄像头捕捉手指等触摸物的图像；对于触控面上任一位置，都有两个不同位置的摄像头，以不同的视角捕捉其图像，从而形成对整个触控面及其上方一定距离这一空间，进行立体影像捕捉；该立体影像通过识别系统的分析，感知手指等触摸物是否存在于触控面上方，确定它们到触摸面的距离，判断它们是否接触到触摸面，并通过它们与触摸面接触时的形变，计算接触力度，提供给上层软件，从而实现感知悬浮物体、确定悬浮物体距离、判断悬浮物体是否接触并 计算接触力度，为上层软件实现优良用户体验提供硬件基础。
图1为本实施例提供的一种基于LCD的光学多点触控设备的结构示意图，图中分别为：
1)前面板，包括：
a)保护屏101：在本实施例中为5mm(可以用1mm～15mm)厚防眩光钢化玻璃，用以提供坚固耐用的触摸面，保护LCD，具体实施时，可根据实际需要选择合适的保护屏。
b)LCD面板102：为LCD前面板(Cell)，负责显示画面。
c)扩散片103：是优选的，扩散片是用以扩散来自背光光源的光，提供更均匀的画面。扩散片的参数包括透光率和雾度，这个是根据需要进行选择的。
具体实施时，这三层之间可以不粘接，也可以粘任意两层，或者将三者都粘接到一起，在本实施例中，这三者用折射率为1.5的透明的胶粘接固定，以消除光线在三者间不必要的反射。
2)后面板，包括：
a)背光光源302：在本实施例中，采用白光LED灯珠阵列，用以提供显示画面所需光线，具体实施时，可以根据需要采用RGB-LED光源或者CCFL(荧光灯管、日光灯管)。
b)红外光源303：在本实施例中，采用850nm红外LED灯珠阵列或者激光红外光源等，用以照明手指等触摸物体，供摄像头捕捉。具体实施时，背光光源和红外光源既可以设置在前面板的正后方，也可以设置在后上方，后下方或后测方，这些是根据实际需要确定的，例如图7给出的就是将摄像头301和红外光源303设置在后侧方的实施例
c)摄像头阵列：在本实施例中，采用6个对红外敏感的摄像头301(具体实施时，可根据触控屏的大小设置摄像头的个数和阵列，只要保证触控面上任一位置都处于两个不同的摄像头的视野之内即可。)，用以 捕捉手指等触摸物体的画面，提供给图像处理系统。系统以一个固定频率(如每秒60次)向摄像头阵列发出触发信号，每个摄像头在收到触发信号时开始拍照。这样使得各个摄像头的拍照是同步进行的。要求各摄像头实际拍照时间相互差距小于或等于1ms(毫秒)
d)散光板202：在本实施例中，选装了散光板，用以进一步模糊背光光源，提供更均匀的画面，同时也起到了对LCD前面板进行热隔绝的作用。
e)反光板201：在本实施例中，在后面板的4个立面上选装了反光板，用以更有效地利用来自背光光源和红外光源的光线。
背光光源排布要尽量均匀，避免画面出现暗区或者亮斑。红外光源排布要尽量均匀，使每个摄像头的曝光值尽量一致。摄像头排布尽量均匀，使其能够捕捉整个可视区域的物体运动。
3)显示驱动系统401：用以接收来自计算机的显示信号(在本实施例中，为HDMI、VGA或DVI)，驱动LCD前面板在背光光源的配合下，显示用户界面。
4)图像处理系统403：图像处理系统：用以接收摄像头所捕捉的画面，经过分析，进行目标识别，目标距离识别和目标位置识别，最终将一个或多个用户的操作，转换为一个或多个目标及目标在显示触控面的投影位置和到显示触控面的距离等信息，提供给计算机。
5)电源系统402：为背光光源、红外光源以及其他用电器件供电。
在本实施例中，前面板与后面板组合构成一个长方体，其中前面板(保护屏、LCD面板、扩散片)构成长方体的上表面；后面板中，背光光源、红外光源和摄像头排布在长方体下表面，上面覆盖散光板，四个立面上覆盖反光板。具体实施时，前面板和后面板可以平行设置也可以不平行设置。
本发明实现光学多点触控的方法，具体如下：
如上所述，所有的屏幕区域，均处于至少两个摄像头的可视范围内。如图2 所示，设一个屏幕区域及其上方空间001为区域R，它处于第一摄像头C1和第二摄像头C2的视野之中，同时有一个触控物体0002位于区域R中，下面将描述本发明的设备如何确定物体0的位置以及距离显示触控面100(保护屏加液晶前面板)的距离。如果有多个触控物体在此区域中，按照下面的步骤对各个触控物体进行逐个识别即可。
步骤1：拍照
在同步信号的触发下，摄像头C1和C2同时对区域R进行拍照，两者拍照行为的时间差应<1毫秒。
拍照所需光照由红外光源提供。
步骤2：畸变矫正
根据预先获取的矫正数据(使用矫正工具，在摄像头的可视区内的屏幕上显示nxn点阵，由程序自动识别或者手动点按的方式，得到这些nxn点阵在摄像头画面中的位置(nxn个摄像头画面内坐标点)，这样就得到摄像头的nxn个点与屏幕平面上nxn个点的对应关系，以此来推算出摄像头画面上的每个点与屏幕平面上的点的对应关系，这些对应关系就是矫正数据。)，对拍摄到的图像进行畸变矫正(将摄像头捕捉到的画面上的每个点的灰度值，根据上述对应关系，在平面画面对应点上赋予相同的灰度值，这样得到一个畸变矫正后的灰度图像。)。经过处理后，，一个区域R中紧贴现实触控面的平直网格，将会在处理后的图像中呈现平直，如图3所示。
把来自C1的经过处理后的图像称为C1c，来自C2的经过处理后的图像称为C2c。
这一步骤为后续空间计算做好准备.
步骤3：目标识别
本步骤由两个不同的步骤3-1，3-2单独或协同工作来完成：
步骤3-1：单幅图像目标识别
通过对来自C1和C2并经过畸变矫正的图像，C1c和C2c进行分析，找到目 标，目标包括手指尖、笔等。采用的典型方法为高通滤波，通过对图像进行高通滤波，去除连续变化区域，保留物体尖端，从而找到目标。
步骤3-2：合并图像目标识别
将C1c、C2c投射在距离显示触控面h的平面Ph，将两幅画面叠加合并，称为CM(h)，即在高度为h的平面上的合并：当在不同高度合并时，C1c和C2c重叠的程度不同，如图5-1和图5-2所示，当合并高度h与触控物体的实际高度基本相同时，该触控物体在C1c和C2c中影像在合并时会基本重叠，从而形成易于识别的高亮影像，如图5-2所示。
具体来说，步骤3-1的计算量小，步骤3-2的计算量大，对于识别精度要求不高的系统，可单独采用3-1，对于只识别距离显示触控面较近的物体(比如只识别5厘米以内目标)的系统，可单独采用3-2，对于识别准确度(对漏判，误判要求高)的系统，可以两种方法独立工作，或协同工作。独立工作为通过两套算法得出两套识别结果，最后统一判定。协同工作为通过3-1粗筛选目标，通过3-2在可能的高度层精确判定。
图4-1为来自摄像头C1的经过处理后的图像C1c，图4-2为来自摄像头C2的经过处理后的图像C2c，在不同距离的平面(5cm、10cm)上作投射(将C1c做从摄像头C1的焦平面到距离显示触控面100距离为d的平面的投影变换，得到画面C1c(d)，同样处理C2c，得到画面C2c(d)，将两画面合并，得到CM(d)。图中举例为CM(5cm)和CM(10cm)和合并后的图形如图5-1和图5-2所示，通过在不同高度合并后，较弱的不易识别的目标信号，变成了易于识别的强信号，如图5-2中的白色部分。
步骤4：高度识别和投影位置识别
如图6所示，图6中的两个黑色块表示C1c和C2c，通过C1c和C2c可以分别推算出物体在空间中的可能位置，这些可能位置排列成两条直线，两条直线的交点即为最终推算的物体在空间中的位置，从这个位置作垂线至显示触控面，即可得到如下两个信息：
1、物体在显示触控面的投影的坐标
2、物体到显示触控面的距离。
具体来说，图6中黑色色块为C1c和C2c，两个色块中的白点即为识别出的目标。从单个摄像头来看，对于一个在步骤3中已经识别的目标，已经准确知道其在校正后画面中的位置。从摄像头C1的中心连线至画面C1c中识别出的目标(即图中白点)，该物体的三维空间位置必然处于这条直线上，图6中的501是由C1c中目标位置推算的物体可能位置。
同理，从摄像头C2的看去，可以推算物体必然处于由C2到C2c中的白点之间连线的延长线上，图6中，502是由C2c中目标位置推算的物体可能位置，将两个条件结合，可以知道物体实际位于两条直线的交点。
通过该交点向显示触控面做垂线，其垂足的坐标即为物体在显示触控面的投影的坐标，图6中503是物体在显示触控面100上的位置；交点到垂足的距离即为物体到显示触控面100的距离。
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。