使用相机和输出标记的指点装置 【技术领域】
本发明涉及如鼠标或操纵杆等指点装置，其具有用于捕捉如PC监视器等显示器的图像的相机以及用于辨识并跟踪指点光标或标记的图标的图像处理构件。本发明的指点装置可以TV遥控器或数字铁笔的形式来使用。存在类似的发明(第10-0532525-0000号韩国专利，使用相机的三维指点装置(3 dimensional pointing device using camera))。所述类似的发明具有这样的问题：其需要通过相机来捕捉附接在显示器上的光学标记(如红外线LED等光源)，且电子黑板的指点装置具有这样的问题：其需要超声波传感器或红外线传感器。PDA或平板PC的指点装置具有这样的问题：其需要压力传感器或触摸传感器。如OLED等便携式柔性薄膜显示器难以在其上采用此类常规的沉重且庞大的传感器系统。
【发明内容】
技术问题
为了解决所述问题，本发明的目标是提供不需要任何附接在显示器上的传感器系统(如红外线LED、超声波传感器、红外线传感器和压力传感器)的指点装置。
技术解决方案
本发明提供使用显示在屏幕上的光标图标或图案作为标记来代替如红外线光源或超声波源等物理标记的指点装置。
有利效用
通过使用本发明的指点装置，有可能在不在包含如OLED等柔性显示器的显示器上附接物理传感器系统或跟踪标记的情况下，移动如鼠标或操纵杆光标等指点光标。
【附图说明】
图1是作为平板PC和笔型相机的本发明的实施例。
图2是在向左方向上移动的箭头标记。
图3是在向左下方向上移动的箭头标记。
图4是二维显示单元阵列。
图5是标记图像的实例。
图6是图5的负图像。
图7是正在输出二维图案单元阵列的标记图像的显示器。
<图中符号>
mo：监视器，mk：标记
ca：相机，st：铁笔
r：铁笔的旋转
mkb：二维图案单元阵列的标记图像
【具体实施方式】
实施例1
本发明的指点装置包含如常规显示器(计算机监视器、TV监视器、射束投影屏幕)等标记输出部分、用于捕捉所述标记输出部分的相机部分以及从所捕捉到的图像辨识标记且产生指点信号的图像处理部分。相机部分的外观可为用于数字TV的遥控器、用于平板PC的铁笔或用于射击游戏的枪支控制器。图像处理部分可为DSP(数字信号处理器)、微控制器或计算机中的图像处理程序。所述标记可为具有箭头形状的常规鼠标光标或任何类型的图案，如+、手或某种用户定义的游戏图标。如果标记可由图像处理部分辨识，那么标记的大小、形状和颜色没有限制。图1绘示本发明的指点装置，其为平板PC的显示器(mo)上的笔型相机(ca)。相机捕捉标记(mr)，其为显示器上的箭头图标(mk)，如微软视窗(Microsoft Windows)的常规鼠标光标图标。将所捕捉到的图像(运动视频)传送到图像处理部分，其辨识所述标记且产生指点信号。为了进行指点工作，首先，用户必须将笔型相机移动到显示器的光标图标上，使得光标图标可由笔型相机捕捉。而且，如果用户通过在显示器上书写字符或绘制多边形而移动笔型相机，那么标记在所捕捉图像中的位置从图像的中心移动到图像的边界，且标记在所捕捉图像中的移动(换句话说，运动向量)可由图像处理部分通过将先前帧图像与当前帧图像进行比较而辨识。图像处理部分将所检测到的运行向量传送到标记输出部分，且标记输出部分产生控制信号以将标记(光标图标)移回到所捕捉图像的中心，使得标记跟随笔型相机的移动。举例来说，如果图1中的笔型相机在x方向(dx)上移动，那么所捕捉图像中的标记在-x方向(-dx)上移动，如图2中所示，其中x方向是水平的且y方向是垂直的，如图1中所示。接着，图像处理部分产生信号，使得标记输出部分可增加标记的x坐标，其中增量的量与所捕捉图像地中心和标记在所捕捉图像中的位置之间的距离成比例。换句话说，图像处理部分找到标记在所捕捉图像中的运动向量，且标记输出部分改变标记在所找到的运动向量的负方向上的坐标。在微软视窗中，光标的此移动可通过使用视窗API(应用程序接口)来控制，所述视窗API可读取并改变鼠标光标的坐标。如果所捕捉图像中的标记位于所捕捉图像的中心，那么运动向量为零向量且不存在标记的位置改变。图3绘示标记从先前帧中的虚线箭头到当前帧中的实线箭头的运动向量。通过辨识标记的大小和形状失真，三维指点也是可能的。举例来说，较小的标记表示笔型相机与显示器之间的较大距离，且较大标记表示笔型相机与显示器之间的较小距离。标记的此大小信息可用作鼠标光标(x，y)的另一坐标(z)。标记在所捕捉图像中的方向也可用作另一坐标(图l中的旋转角度r)。可通过辨识含有如矩形或三角形的顶点等特征点的标记的失真来检测笔型相机的观看方向并将其用作指点信号。此失真分析和计算相机与特征点之间的相对方向是被称为图像处理技术中的透视n点问题的众所周知的技术，且可在http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL COPIES/MARBLE/high/pia/solving.htm中找到详细描述。
如果标记在笔型相机的观看方向之外，那么图像处理部分无法从所捕捉图像检测所述标记，且标记的移动停止。为了继续指点程序，用户必须将笔型相机搬运到标记处，并改变笔型相机的观看方向，使得所述标记可由笔型相机捕捉。通过向笔型相机添加复位按钮，可去除此搬运动作。如果用户按压复位按钮，那么标记改变其位置。更具体地说，标记输出部分通过复位按钮的触发信号来依序改变标记的位置，如图4中所示。标记以下列方式水平移动
从(0，0)到(5，0)，且
从(0，1)到(5，1)，且
从(0，2)到(5，2)，且
从(0，3)到(5，3)，且
从(0，4)到(5，4)，且
且最后从(0，5)到(5，5)。换句话说，标记依序扫描所有单元。如果标记图像在扫描期间被图像处理部分捕捉并辨识到，那么此时停止扫描且开始指点程序。图4中的6×6个显示单元是实例，且必须针对给定显示器和相机来调整单元的真实数目。推荐快速移动所述标记且使用快速相机，使得人眼无法辨识所述扫描。
本发明的模式
实施例2
以上实施例1是通过触摸显示器来使用的笔型相机。如果相机远离显示器，那么所捕捉标记太小而不能被辨识。在此情况下，推荐使用相机的自动对焦系统且配合相机使用伸缩式镜头或变焦距镜头。通过使用此光学设备，有可能将本发明的指点装置用作用于平板PC的电子笔和用于数字TV的遥控器。
实施例3
以上实施例1中的标记是固定图案，但在此实施例中，标记是整个显示图像，且必须调整相机与显示器之间的距离，使得可捕捉整个显示图像。标记输出部分包含图像传送部分，其将显示图像传送到图像处理部分。图像处理部分通过将所捕捉图像的子区与所传送的显示图像进行比较来从所捕捉图像找出显示区(其被称为基于模型的视觉)。在微软视窗XP中，按压计算机键盘的打印屏幕Sys Rq键将捕捉显示图像，且将图像存储到剪贴板中。此图像传送可通过软件借助模拟按键或通过使用装置驱动器来进行。图像传送部分还可由硬件实施。图像处理部分从所找到的显示中找出特征点，且可通过使用透视n点问题的公式来获得相机与显示器之间的相对距离和方向，且此距离和方向信息可用于产生指点信号。第10-0532525-0000号韩国专利是借助于分析矩形的特征点的三维指点装置。本发明的指点装置实时地从显示图像选择特征点，且特征点对于每一帧并不固定。基于模型的视觉是用以找出已知模型(所传送的显示图像)与给定图像(相机所捕捉到的图像)之间的对应关系的技术，且在大卫·A·福塞斯(David A.Forsyth)和吉恩·庞塞(Jean Ponce)的计算机视觉----现代方法(ISBN：0-13-085198-1)的第18章中公开。
实施例4
如果显示的背景较简单(例如，射束投射到白墙上)，那么从所捕捉图像检测显示区是简单的程序，但如果显示的背景不简单，那么从所捕捉图像检测显示区并不如此简单。为了容易地从所捕捉图像检测显示区，可将闪光产生部分添加到实施例3的标记输出部分，且可将差异图像计算部分添加到实施例3的图像处理部分。更具体地说，标记输出部分针对每个偶数帧(0、2、4、……)输出空白图像，且针对每个奇数帧(1、3、5……)输出正常图像。(此奇数和偶数帧是实例，且在真实实施方案中，有可能使用0、4、8、……作为偶数帧，且使用1、2、3、5、6、7、……作为奇数帧，换句话说，可在真实实施方案中调整帧频率。)空白图像表示其所有像素均具有相同亮度和颜色的图像。推荐使显示的帧速率(每秒帧数目)保持较大，使得人眼无法辨识到闪光，且也使相机的帧速率保持较大，使得相机可捕捉显示的偶数和奇数帧。图像处理部分获得先前帧的所捕捉图像与当前帧的所捕捉图像之间的差异图像。差异图像是图像处理技术中众所周知的概念，其像素值被定义为两个图像的两个对应像素之间的差异。(两个图像的两个对应像素意味着两个像素的(x，y)位置是相同的。)图像处理部分所计算的差异图像的非零像素对应于闪光显示区，且差异图像的零像素对应于显示的背景(非闪光区)。换句话说，可通过计算差异图像并从差异图像选择非零像素来检测闪光显示。实际上，如果相机未固定，那么显示的背景的边缘线可对应于非零像素，但可通过使用高速闪光频率和高速相机来使此些非零像素减到最少。差异图像的非零像素的区是所捕捉图像中用于闪光显示区的候选者，且可由基于模型的视觉来确定比实施例3更精确的显示区。可将所找到的显示区与所传送的显示图像进行比较，且可如实施例3那样产生指点信号。
实施例5
实施例4的用于每个偶数帧(0、2、4……)的空白图像可由可辨识图案(标记)代替，且图像处理部分可通过仅分析偶数帧的所捕捉图像来辨识所述图案。图5绘示所述图案(标记)的实例，其含有开口矩形以及位于矩形中心处的+。所述+标记表示标记的中心，且矩形可用于三维指点。不存在对图案的大小、形状和颜色的限制。举例来说，多边形、线、条形码、字母和数字可为此图案。辨识字符是被称为OCR(光学字符辨识)的众所周知的技术。
实施例6
实施例5的可辨识图案可被分裂成图案图像和所述图案图像的负图像。如果标记输出部分以足够高的频率依序且重复输出图案图像(针对0、3、6、……帧)、负图案图像(针对1、4、7、……帧)和正常图像(针对2、5、8、……帧)，那么人眼无法辨识所述图案图像，但可仅辨识正常图像，因为图案和其负图案最终得到时间平衡。但是，高速相机可捕捉所述图案图像且可通过图像处理部分来辨识所述图案图像。图5和图6是图案图像和其负图像的实例。
实施例7
实施例4到6的标记图像可为二维图案阵列，其中每一图案表示显示的二维位置(x，y)。图案可为二维条形码或数字。图7绘示二维单元阵列，其中每一单元含有图案。可通过用笔型相机采用此些图案单元作为标记图像来去除实施例1的复位按钮。单元中的所捕捉图案图像可由图像处理部分辨识且可转换为对应于指点信号的二维位置(x，y)。存在类似的发明PCT/US1999/030507，其呈现具有特殊垫的用于输出绝对坐标的鼠标，其中所述垫含有图案且可由鼠标中的相机辨识。除了标记之外，当前实施例与实施例5到6之间没有差异。不存在对单元中的图案的限制。图案可为字母、数字、二维条形码。通过将矩形包含到图案中且对其进行辨识，有可能通过透视n点问题的公式来产生三维指点信号。