通用计算设备 本申请是通过引用而被结合于此的、2002年10月31日提交的、题为“通用计算设备”的、美国专利申请序列号10/284,417的部分继续申请。
【技术领域】
本发明的特征总地针对用于生成平滑的电子墨水的计算机输入设备。更为具体地来说，本发明的特征针对在提供公共用户界面的同时可用于发散(divergent)平台上的输入设备。
背景技术
计算系统已经极大地改变了我们生活的方式。第一波计算机的价格高得惊人，并且仅在商业设置中使用是节约成本的。随着计算机变得更容易购买，在工作场所和家中对个人计算机的使用变得如此之广泛，使得计算机已变成与办公室的办公桌和家中的餐桌一样普遍。微处理器已经结合于我们的日常生活的各个方面中，从电视机和其它娱乐系统到用于控制我们的汽车的工作。
从占用大型办公室设备的整个楼层的数据处理设备(data crunchingdevice)到膝上型计算机或其它便携式计算设备，计算设备的发展已经极大地影响了文档生成方式和信息存储方式。便携计算能力使得个人能够使用这些设备在办公室之外的场所进行打字、撰写备忘录、记笔记、创建图像以及执行各种任务。专业人员和非专业人员都能够使用能够在任何场所满足他们地计算需求的设备在移动中执行任务。
典型的计算机系统，尤其是使用诸如MicrosoftWindows之类的图形用户界面(GUI)系统的计算机系统，对接受来自诸如键盘(用于输入文本)、具有用于激活用户的选择的一个或多个按钮的指点设备(如鼠标)之类的一个或多个离散的输入设备的用户输入进行了优化。
计算世界的原本目的之一是在每一张桌子上都有一台计算机。在很大程度上，在办公室场所中普遍存在的计算机已经实现了该目的。随着膝上型计算机和高性能的个人数据助理的出现，办公室场所已经扩展到包括完成工作的各种非传统的地点。在一定增长的程度上，计算机用户必须熟练掌握用于他们的计算设备中的每个计算设备的发散的用户界面。从用于标准个人计算机的鼠标和键盘到各自数据助理的简化的无源(resistive)触笔界面，甚至到蜂窝电话机的小型按键，用户面临着各种不同的用户界面，用户需要在能够使用基础技术之前掌握这些界面。
尽管技术领先，但是大多数用户趋向于使用打印在纸上的文档作为他们最初的编辑工具。印刷纸件的某些优点在于它们的可读性和便携性。其它优点包括分享有注解的纸件文档和人们能够存档纸件的方便性。将先进的计算系统和印刷纸件的功能之间的隔阂相联系的一种用户界面是触笔式用户界面。触笔式用户界面的一个方法是使用无源式技术(resistive technology)(在当今的PDA中是普遍的)。另一方法是在膝上型计算机中使用有源式传感器。计算世界的下一目的之一是将用于操作计算机的用户界面带回给用户。
与使用触笔相关联的一个缺点在于这些设备与包含传感器板的计算设备紧密相关。换言之，触笔仅可用于在连同所要求的传感器板一起使用时产生输入。而且，触笔的检测受到触笔离传感板的距离的远近的影响。
现有的便携式计算设备可能对于多用户配置缺乏特殊形式的识别。如此，如果两个这样的计算设备同时工作，主计算机变得混乱，并将感测来自同一计算设备的注释。如果一个用户利用该计算设备对一文档进行注释，然后第二用户利用第二计算设备对该同一文档进行注释，接收来自所述计算设备的数据帧(data frame)的主PC将数据解释成源自相同的计算设备。缺乏识别注释从哪个计算设备产生的能力，主PC就不能明确地跟踪对某一计算设备的改变。
现有的便携式计算设备可能缺乏用户可能在已存在的墨水上进行跟踪笔迹的能力。现有的计算设备可在清洁的无墨迹的表面上跟踪用户的笔迹；然而，这些设备的图像捕捉能力不能跟踪发生在已存在的墨迹上的笔迹。此外，现有的计算设备缺乏对当手持诸如钢笔之类的书写器具时自然存在的透视(perspective)的处理能力。当用户以垂直于书写表面的角度手持计算设备时，相关计算设备的图像传感器有效地工作。然而，大多数用户不会以相对于表面90度的角度持笔。如此，对于要足以补偿计算设备的角度的传感器来说，透视成为问题。
现有技术领域中需要一种便携式计算设备，能够充当用于各种计算设备中的任何一个的输入设备，并能够在各种情况下工作。进一步地，现有技术领域中需要一种便携式计算设备，能够由特定的识别进行识别，以便允许多用户同时地在文档和/或应用程序内操作。此外，现有技术领域中还需要一种便携式计算设备，能够降低在捕获表面上的图像时的透视的影响，并可配置成在任何存在的墨迹上跟踪用户的书写笔迹。
【发明内容】
本发明的诸方面针对上述的一个或多个问题，从而跨发散的计算平台向用户提供公共的用户接口。本发明的诸方面涉及一种用于生成电子墨水和/或生成其它输入的输入设备，而与数据所针对的设备无关。输入设备可形成为笔形，可包括或可不包括墨盒，以便于输入和设备以熟悉的方式移动。本发明的一个方面是便携式计算设备，可由特定的识别进行识别，以便允许多用户同时地在文档上和/或应用程序内进行操作。
本发明的一个方面使用红外照明和打印在、嵌入于或印在表面上的迷宫图。该表面可以是上面以碳墨水印有迷宫图的一张纸。本发明的摄像机可捕捉位于非碳内容下的迷宫图单元。与m阵列解码和文档图像分析相关的算法对捕捉的包含文档内容和迷宫图的图像的位置进行解码。
本发明的另一方面提供具有红外(IR)照明的偏移光学系统，它包括一组透镜和光学传感器，光学传感器充当较低分辨率的摄像机。摄像机位于不同的平面中，离开用于注释的输入设备一定的偏移角度。偏移改善了性能，并处理了透视，使得输入设备可以正常的书写角度更为自然地被使用。IR照明帮助检测位置编码，在可见光照明下，位置编码通常被已存的文档内容或墨水所覆盖。
当连同附图一起阅读时，可更佳地理解本发明的诸方面的上述概述以及下面的各种实施例的详细描述，所示的附图仅仅是示例性的，不应被认为是对本发明的任何限制。
【附图说明】
图1说明了可实施本发明的某些方面的通用数字计算环境的示意图；
图2说明了根据本发明的至少一个方面的输入设备；
图3示出了根据本发明的诸方面使用的摄像系统的三个示例性实施例；
图4说明了根据本发明的至少一个方面的输入设备的光学设计的一个实施例；
图5说明了根据本发明的至少一个方面的输入设备的光学设计的一个实施例；
图6说明了根据本发明的至少一个方面的输入设备的照明设计的一个实施例；
图7A和7B说明了根据本发明的至少一个方面的输入设备的力传感组件；
图8说明了根据本发明的至少一个方面的输入设备的透镜设计；
图9说明了用于对文档的位置进行编码的示例性技术(迷宫图)；
图10提供了对轨迹图案的说明，从该轨迹图案可生成电子墨水；
图11A和11B示出了根据本发明的至少一个方面的系统的示例性硬件架构；
图12说明了根据另一示例性实施例的结合于用于生成电子墨水的输入设备中的组件的进一步的组合；
图13是根据本发明的至少一个方面的通过输入设备的双核心架构的数据的流程图；
图14示出了根据本发明的至少一个方面的从输入设备发送的示例性数据帧结构；
图15示出了根据本发明的至少一个方面的对从多个输入设备发送的数据的处理的说明；以及
图16说明了对根据本发明的若干示例性实施例的输入设备的使用。
【具体实施方式】
本发明的诸方面设计可用于各种不同平台的输入设备，控制桌面型或膝上型计算机、在白板上书写、在诸如纸张之类的表面上书写、控制PDA或蜂窝电话机、或创建可在各种平台之间通信的墨水。
术语：
笔——可包括或不包括存储墨水的能力的各种书写器具。在某些例子中，根据本发明的实施例，可把不具有墨水存储能力触笔作为笔。
摄像机——图像捕捉系统。
有源编码——将代码结合于输入设备所放置的对象或表面之内，以便使用适当的处理算法确定输入设备的定位和/或移动。
无源编码——使用图像数据而不是结合的代码来检测输入设备的移动/定位，使用合适的处理算法从输入设备在其上移动的对象或表面获得图像数据。
输入设备——可配置用于生成和处理信息的用于输入信息的设备。
有源输入设备——使用结合于输入设备中的传感器主动地测量信号并产生表示输入设备的定位和/或移动的数据的输入设备。
无源输入设备——使用不是结合于输入设备之内的传感器检测输入设备的移动的输入设备。
计算设备——桌面型计算机、膝上型计算机、平板PC(Tablet PCTM)、各自数据助理、电话机、或包含输入设备的配置成处理信息的任何设备。
图1说明了可实施本发明的适用的计算系统环境100的例子。计算系统环境100仅仅是适用的计算环境的一个例子，而不应解释成对本发明的使用和功能范围的任何限制。也不应把计算系统环境100解释成对示例性计算系统环境100中所例示的任一组件或其组合具有任何依赖性或要求。
本发明可用于各种其它的通用或专用计算系统环境或配置。可适用于本发明的一直的计算系统、环境和/或配置的例子包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于多处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型计算机、大型计算机、可包括任何上述系统或设备的分布式计算环境。
可在由计算机执行的诸如程序模块之类的计算机可执行指令的一般上下文环境中描述本发明。一般来说，程序模块包括例行程序、程序、对象、组件、数据结构等，它们执行特定的任务或实现特定的抽象数据类型。本发明还可在分布式计算环境中得到实践，在分布式计算环境中，由通过通信网络链接的远程处理设备来执行任务。在分布式计算环境中，程序模块可位于包括存储设备的本地或远程计算机存储媒体中。
参考图1，用于实现本发明的示例性的系统包括采用计算机110的形式的通用计算设备。计算机110的组件可包括但不限于处理单元120、系统存储器130和将包括系统存储器的各种系统组件连接到处理单元120的系统总线121。系统总线121可以是若干类总线结构中的任一种，包括存储器总线或存储控制器、外围总线、以及使用各种总线体系结构中的任一种的局部总线。例如，但非限制，这种总线结构体系包括工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及外设部件互连(PCI)总线(也称为夹层总线(Mezzanine bus))。
计算机110一般包括各种计算机可读媒体。计算机可读媒体可以是任何能由计算机110访问的可得到的媒体，包括易失性和非易失性、可移动和不可移动的媒体。例如，但非限制，计算机可读媒体可包括计算机存储媒体和通信媒体。计算机存储媒体包括用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的以任何方法或技术实现的易失性和非易失性、可移动和不可移动的媒体。计算机存储媒体包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储技术、CD-ROM、数字通用盘(DVD)或其它光存储设备、磁带盒、磁带、磁盘存储器或其它磁存储设备、或能用于存储所需信息并能由计算机110存取访问的任何其它媒体。通信媒体一般将计算机可读指令、数据结构、程序模块或其他数据嵌入于诸如载波或其它传送机制之类的调制数据信号中，并包括任何信息传送媒体。术语“调制数据信号”指的是以设置或改变一个或多个特征的方式来编码信号中的信息的信号。作为例子但非限制，通信媒体包括如有线网络或直接线缆连接之类的有线媒体，和如声音、RF、红外线之类的无线媒体和其它无线媒体。任何上述的组合也应包括在计算机可读媒体的范围之中。
系统存储器130包括诸如ROM 131和RAM 132之类的易失性和/或非易失性存储器形式的计算机存储媒体。包含如在启动期间帮助计算机110内的各部件间传输信息的基本例行程序的基本输入/输出系统133(BIOS)一般存储在ROM 131中。RAM 132一般包含可由处理单元120即时访问和/或当前处理的数据和/或模块。作为例子但非限制，图1例示出操作系统134、应用程序135、其它程序模块136、以及程序数据137。
计算机110还可包括其它可移动/不可移动、易失性/非易失性计算机存储媒体。作为例子但非限制，图1例示出对不可移动的、非易失性的磁媒体进行读写的硬盘驱动器141、读写可移动的、非易失性的磁盘152的磁盘驱动器151、以及读写如CDROM或其它光媒体之类的可移动的、非易失性的光盘156的光盘驱动器155。示例性操作环境中能使用的其它的可移动的/不可移动的、易失性/非易失性计算机存储媒体包括但不限于：磁带盒、闪存卡、数字视频盘、数字视频带、固态RAM等。硬盘驱动器141一般通过诸如接口140之类的不可移动的存储器接口连接到总线121，磁盘驱动器151和光盘驱动器155一般通过诸如接口150之类的可移动的存储器接口连接到系统总线121。
图1中所例示的以及上述的驱动器及其相关的计算机存储媒体为计算机110提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。在图1中，硬盘驱动器141例示为存储操作系统144、应用程序145、其它程序模块146以及程序数据147。注意到，这些组件和与操作系统134、应用程序135、其它程序模块136以及程序数据137相同或不同。操作系统144、应用程序145、其它程序模块146以及程序数据147在这里以不同的编号给出，以说明它们至少是不同的副本。用户可通过如数字摄像机(未示出)、键盘162、通常称为鼠标的指点设备161、轨迹球或触板之类的输入设备将命令和信息输入到计算机110中。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、卫星反射器、扫描仪等。这些和其它输入设备常常通过耦合到系统总线121的用户输入接口160连接到处理单元120，但也能通过如并行端口、游戏端口或通用串行总线(USB)之类的其它接口和总线结构连接。监视器191或其它类型的显示设备也能经过如视频接口190之类的接口连接到系统总线121。除了监视器之外，计算机还可包括如扬声器197和打印机196之类的其它外围输出设备，这些外围输出设备可通过输出外围接口195进行连接。
在一个实施例中，提供笔式数字化仪163和附带的笔或触笔164，以便数字化地捕捉手写输入。虽然在示出在笔式数字化仪163和用户输入接口160之间的直接连接，但实际上，如本领域所已知的那样，笔式数字化仪163可直接地、通过并行端口或其它接口和系统总线121连接到处理单元120。此外，虽然所示的数字化仪163与监视器191分开，但是数字化仪163的可用输入区域可与监视器191的显示区域共存。而且数字化仪163可集成在监视器191中，或可作为重叠或附属于监视器191的单独设备而存在。
计算机110可工作于使用对如远程计算机180之类的一个或多个远程计算机的逻辑连接在联网环境中。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，它通常包括上述关于计算机110所描述的许多或所有部件，虽然在图1中只示出存储设备181。在图1中描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173，但还可包括其它网络。这种联网环境在办公室、企业范围计算机网路、内联肉和因特网中是常见的。
在LAN联网环境中使用时，计算机110通过网络接口或适配器170连接到LAN171。在WAN网路环境中使用时，计算机110一般包括调制解调器172或其它装置用来在诸如因特网之类的WAN 173上建立通信。内置或外置的调制解调器172可经用户输入接口160或其它适当的机构连接到系统总线121。在联网环境中，关于计算机110所描述的程序模块或其部分可存储在远地的存储设备中。作为例子但非限制，图1示出了驻留于存储设备181上的远程应用程序185。将理解，所示的网络连接是示例性的，可使用在计算机之间建立通信链路的其它手段。
我们认为存在各种众知的协议的任一种，如TCP/IP、以太网、FTP、HTTP等，且系统能以客户机-服务器的配置方式操作，以便允许用户从web服务器检索web网页。各种传统的web浏览器的任一种都能用于显示和处理在web网页上的数据。
图2提供了根据本发明的各种方面使用的输入设备的示例性实施例。下面描述若干不同的元件和/或传感器。各种传感器组合可用于实施本发明的诸方面。此外，也可包括其它额外的传感器，包括磁传感器、加速计、陀螺仪、或可检测输入设备相对于表面或对象的位置的任何传感器。在图2中，笔210包括墨盒202、压力传感器203、摄像机204、感应元件205、处理器206、存储器207、收发机208、电源209、对接部位(docking station)210、笔帽211以及显示器212。各种组件可按需使用例如未示出的总线进行电气耦合。笔210可用作用于包括桌面型计算机、膝上型计算机、平板PC(Tablet PCTM)、个人数据助理、电话机、或可处理和/或显示信息的任何设备的大范围设备的输入设备。
输入设备210可包括用于进行标准笔和纸张书写或绘图的墨盒202。而且，用户可利用输入设备在以典型的使用笔的方式操作设备的同时生成电子墨水。从而，墨盒202可提供用于在纸张上产生手写笔划的舒适的、熟悉的媒介，同时笔的移动被记录并用于产生电子墨水。可使用多种已知技术中的任一一种将墨盒202从取出位置(withdrawn position)移动到书写位置。可选地，墨盒202可被不包含墨、但允许用户在表面上移动笔而不损坏笔或表面的盒替代，如具有圆形尖端的塑料盒。此外，可包含感应元件以助于检测输入设备的相对移动，例如通过以类似于触笔生成的信号的方式产生指示输入设备的信号。可包含压力传感器203来指明输入，例如当笔201在放在对象上的同时被压下时，可指示出输入，从而如可由例如通过选择鼠标按钮的输入而实现的那样便于对对象或指示的选择。可选地，压力传感器203可检测用户利用笔写出笔划的压力，用于改变所生成的电子墨水的宽度。此外，传感器203可触发摄像机的工作。在可选地方式中，摄像机204可独立于压力传感器203的设置而工作。
而且，除了可用作开关的压力传感器之外，还可包括其它额外的开关来影响控制输入设备的操作的各种设置。例如，可在输入设备的外部提供一个或多个开关，并用于接通(power on)输入设备、激活摄像机或光源、控制传感器的灵敏度或光源的亮度、将输入设备设置于草稿模式(在草稿模式中不进行文本转换)、将设备设置成内部存储输入数据、处理和存储输入数据、将数据传送到输入设备能够与之通信的诸如计算设备之类的处理单元、或控制可能需要的任何设置。
可包含摄像机204来捕捉笔在其上移动的表面的图像。当笔在感应系统中用作触笔时，还可包括感应元件205来提高笔的性能。处理器206可包括用于执行与下文中将详述的本发明的各种方面相关联的功能的任何已知的处理器。类似地，存储器207可包括RAM、ROM或用于存储用于控制设备的数据和/或用软件或处理数据的任何存储设备。输入设备还可包括收发机208。收发机允许与其它设备进行信息交换。例如，可使用蓝牙或其它无线技术来促进通信。其它设备可包括可进一步包括输入设备的计算设备。
可包含电源219，如果笔201独立于或远离于主设备使用，则可提供电源。主设备中，要处理、存储和/或显示数据。电源209可结合于输入设备201的任何位置中，如果电源是可更换的，则电源可位于可即时更换的位置，或者如果电源是可充电的，则电源可位于便于充电的位置。可选地，笔可耦合于其它备择的电源，如用于将笔电气耦合到车载电池的适配器、连接到墙上的电源插座的充电器、计算机的电源或任何其它电源。
对接位置链接210可用于在输入设备和诸如外部主计算机之类的第二设备之间传输信息。对接位置链接210还可包括在依附于对接位置时或连接至电源时对电源209进行充电的结构(未示出)。USB或其它连接手段可将输入设备通过对接位置链接或通过其它备择端口连接到主计算机。可选地，还可使用硬连线连接将笔连接到设备，用于传输和接收数据。在硬连线的配置中，将省略对接位置链接，以有利于将输入设备直接线缆连接到主机。可省略对接位置链接或可用与其它设备通信的其它系统代替(例如蓝牙802.11b)。
输入设备201可进一步包括可移除的笔帽211，笔帽可装备有金属端，用于便于电阻式(resistive)传感检测，使得输入设备201可与包括例如传感板之类的设备一起使用。输入设备201的外壳可由塑料、金属、树脂、它们的组合、或可对输入设备的组件或整体结构提供保护的任何材料组成。底板(chassis)可包括金属隔板(compartment)，用于电气屏蔽设备的某些或全部的敏感电子组件。输入设备可以是细长形的，可对应于笔的形状。然而，输入设备可以是与其用作输入设备和/或墨水生成设备的用途相一致的任何其它形状。
图3A-3C示出了根据本发明的诸方面使用的摄像机的三个示例性实施例。如所述，输入设备可用于通过使用例如摄像机检测笔的移动来生成电子墨水。可包含摄像机304来捕捉笔在其上移动的表面的图像，通过图像分析，检测笔在被扫描的表面上的移动量。移动可与文档相关，并电子地将电子墨水变换成文档、添加到文档或与文档相关联(例如，除了原始文档之外，存储输入注释)。
如图3A所示，在一个实施例中，摄像机304包括图像传感器320，图像传感器由例如图像传感元件阵列组成。例如，摄像机可由CMOS图像传感器组成，具有能以32像素×32像素分辨率扫描1.79mm×1.79mm方形面积区域的能力。对于一个这样的图像传感器，最小的曝光帧率(frame rate)可以是大约330Hz，虽然例示的图像传感器可能以110Hz的处理速率工作。选择的图像传感器可包括彩色图像传感器、灰阶图像传感器，或可工作来检测超过单一阈值的强度(intensity)。然而，对摄像机或其组件的选择可根据与摄像机相关的所需要的工作参数、根据诸如性能、成本之类的考虑、或其它考虑而变化，例如可通过诸如为精确地计算输入设备的位置而要求的分辨率之类的因数来描述。
光源321可照亮输入设备在其上移动的表面。例如，光源可由单个发光二极管(LED)、LED阵列或其它发光设备组成。光源可产生包括白色光的单色光，或可产生多色光。摄像机中可包含半透明反射镜(half mirror)322，以按需引导光。摄像机304还可包括一个或多个光学设备323，用于将来自光源321的光聚焦到被扫描的表面324上，和/或将从表面反射的光聚焦到图像传感器320上。
如图3A所示，从光源321发出的光被半透明反射镜22反射，半透明反射镜是根据入射光的方向反射或透射光的镜。反射的光然后被引导通过透镜系统323并传送到反射表面下。然后，光从该表面反射出，通过透镜系统323，透过半透明反射镜322，以一透射角度通过镜面，然后入射到传感阵列320上。当然，包括各种组件的摄像机可用于捕获图像数据，包括结合了更少或更多数量的组件的摄像机。组件的配置中的变化也是繁多的。仅仅为了提供一个例子，在简单的配置中，光源和传感阵列可放置在一起，使得它们都面对着要从中捕捉图像的表面。在该情况下，由于不需要摄像机内的反射，因此可从系统中去除半透明反射镜。如图3B所示，在一简化配置中，光源321置于透镜离开323和传感器320的位置。在另一简化配置中，如图3C所示，可去除光源，通过透镜323将从对象表面反射出的环境光聚焦到传感器320上。
从而，结合于摄像机中的组件的变化或其替代可以与本发明的诸方面相一致的方式被采用。例如，摄像机和/或墨盒的位置和/或定向可与图2所示的不同，以允许使用各种摄像机和/或墨水配置和定向。例如，摄像机304或其任一组件可位于为墨盒提供的开口的附近，而不是如所示的那样位于同一开口处。作为另一例子，摄像机304可位于输入设备的中央，并且墨盒位于摄像机的一侧。类似地，光源321可结合于收容摄像机的剩余组件的结构中，或者一个或多个组件可与其它组件分开。此外，还可使用光源和/或光学系统，利用其它结构和/或软件，或按需对所例示的组件进行修改，来提供光投影特征。
在正常的光学设计中，光轴通过图像传感器和透镜的FOV(视场)的中心，光轴几乎与输入设备外壳平行。当输入设备垂直于纸面时，光学性能最佳，因为成像传感器平面与表面平面平行。然而，用户通常倾斜地或以一仰角使用笔，而并非是90°。因此，透视效应将限制输入设备的使用，如果以接近于90度角度手持输入设备时，输入设备才工作。当用户希望在已经书写了墨水的区域上写上什么的时候，就产生了在已存的墨水上书写的问题。需要特殊的处理来处理该问题，因为迷宫图(maze pattern)会被用户最初写的所覆盖。用于输入设备的视场偏移系统处理透视效应，IR(红外)照明处理在已存在的墨水上书写的问题。IR照明可用于捕捉被任何非碳内容覆盖的迷宫图。
图4说明了输入设备400的成像系统的实施例。输入设备400可包括32×32像素CMOS成像传感器410。系统目标可以是迷宫图平面的5mm×5mm区域。当用户书写或涂写时，在输入设备400和表面平面之间存在倾角和仰角，以笔尖作为支撑点。许多用户一般不会以90度的角度握笔。因此，本发明的成像系统设计成满足在某一倾角/仰角范围(如50°至90°)足够的图像质量要求。
表1标识了本发明的一个实施例的透镜要求。摄像机捕获的图像的大小(32像素×32像素)摄像机捕获的表面平面上的区域的大小(5mm×5mm)，在本申请中称为视场共轭距离小于30mm成像平面的失真小于3.5％分辨率高于12lp/mm(每毫米的线对数)放大率0.385(检测器尺寸/FOV尺寸)聚焦深度(DOF)65°±15°(以笔尖作为支撑点的倾角)照明在成像平面中近似均匀
表1——成像系统的透镜要求
如图4所示，输入设备400可用于与表面平面的可变的倾角中。因此，在系统设计中，65°的倾角示为设计角度。在输入设备400的这种姿态中，光学系统更有效。如图4所示，图像传感器410的实际视场440是透镜配置结构420的全部视场450的一部分，在成像系统的实际轴和透镜430的主光轴之间存在角度。成像系统的轴近似与笔的轴平行，即，成像系统的轴应该相对于表面平面为大约65°～70°。
在设计角度上，透镜配置结构420的光轴430垂直于成像平面，而图像传感器的视场偏离于光轴430，如图5所描绘的那样。视场中心离光轴的距离大约是7.44mm，产生相对于成像平面大约69.5°的倾角。视场偏移设计能够降低透视效应，因为在正常的设计角度条件中，成像平面几乎与纸面相平行，即，当以大约65°的角度手持输入设备时，透视非常小(小于3.5％)。本领域的技术人员应理解上述大约65°的示例性设计角度仅仅是一个例子，根据本发明可使用其它角度。
透镜配置结构420可以是三元件系统，由一偶对透镜(doublet lens)和一单透镜组成。选择适当的孔径数以考虑到聚焦深度和图像的亮度。整个光学系统可使用加利福尼亚州圣地亚哥市的ZEMAX设计软件来优化，以获得良好的分辨率和可接受的失真。
在光学系统设计中常常低估图像质量的照明效果。适当的照明方案能够提高图像对比度和分辨率，改善整个系统的性能。光源可由单个发光二极管(LED)、LED阵列或其它发光设备组成。光源可提供白光、单色光或多色光。照明组件还可包括一个或多个光学设备，用于将来自光源的光聚焦到被扫描的表面上，并尽可能使亮度均匀。
图6说明了根据本发明的至少一个方面的IR LED照明光学系统。通过膜，两个LED 610发射的光直接透射到平面表面620。两个LED照亮的区域重叠630，该区域大于摄像机的FOV 640。在一个实施例中，可选择850nm IR LED 610作为光源。表面620上的照明的特征是可由非碳墨水覆盖的图案，即IR LED 610的IR光可穿过墨水层，使得表面620上书写的墨水不会影响CMOS传感器捕捉的图像。而且，单个光谱能够提高图像质量。漫反射膜可置于IR LED 610的前端，以提高光的均匀性。FOV由两个LED 610以两个方向照明，以获得足够的亮度，以及在整个表面620上尽可能获得均匀的亮度。
包括透镜、成像传感器以及光源的成像系统可位于墨盒附近，如图4所描绘的那样。具有力敏感组件和成像系统组件的墨盒可结合于一机械组件中。来自接触于平面的笔尖的压力可用于打开/关闭图像采样，并提供用于数字墨水恢复的厚度参考。因此，对于压力敏感组件来说，一个问题是设计一种有效的和强健的力传递系统，能够当笔尖上下移动时灵敏地检测出笔尖压力和自动弹回(resile)。如图7A所示，力传感系统710提供精确可靠的力传感性能。系统710通过不锈钢球720将力直接集中于硅传感元件730。如图7B所示，示出了一种基于具有弹簧的滑块的有效的压力传递系统。弹簧740用于缓冲压力并将墨盒760弹回到原位。微动调制旋钮750用于设置力阈值。旋钮750位于滑块770之外的长度可用于确定弹簧740的压缩范围。设计的力范围是0kg到4.5kg。可使用线性运算放大器和12位串行A/D变换器来对力进行采样。敏感压力检测以及12位的精确度使得输入设备能够连同墨水厚度一起记录笔划。表2-8提供了关于本发明的透镜的一个实施例的附加信息。图8提供了伴随着如下所示的表6和7的附加信息。表面停止105系统孔径玻璃类别光线对准图像空间F/#＝6.5schott newchi～1旁轴基准，Cache onX光瞳偏移Y光瞳偏移Z光瞳偏移000变迹法(Apodization)有效焦距有效焦距后焦距总轨迹(total track)均匀，因数＝0.00000E+0005.317697(系统温度和压力下空气中)5.317697(图像空间中)5.18726227.07951图像空间F/#旁轴加工F/#加工F/#图像空间NA对象空间NA停止半径6.520.1999819.550020.024744920.068920860.3888333旁轴图像高度旁轴放大率 10.5 -2.791037入口光瞳直径入口光瞳位置 0.8181072 5.000273出口光瞳直径出口光瞳位置 1.083351 -21.74014场类型 最大 场 初波 角度放大率场 以毫米为单位的旁轴图像高度 10.5 0.545 0.7551635 5透镜单位 毫米
表2——一般透镜数据 # X值 Y值 权重 1 0.000000 0.000000 0.020000 2 0.000000 5.000000 1.500000 3 0.000000 7.500000 1.000000 4 0.000000 10.000000 1.000000 5 0.000000 10.500000 1.000000
表3——场类型：旁轴图像高度(单位：毫米) # VDX VDY VCX VCY VAN 1 0.000000 0.000000 0.000000 0.000000 0.000000 2 0.000000 0.000000 0.000000 0.000000 0.000000 3 0.000000 0.000000 0.000000 0.000000 0.000000 4 0.000000 0.000000 0.000000 0.000000 0.000000 5 0.000000 0.000000 0.000000 0.000000 0.000000
表4——遮光系数 # 值 权重 1 0.450000 1.000000 2 0.545000 1.000000 3 0.618000 1.000000
表5——波长：3 单位：微米 表面 (Surf) 类型 注释 半径 厚度 玻璃 直径 圆锥 (Conic) 0BJ 标准 无限 0.920734 7.524086 0 1 标准 无限 0.53 CBAK6 6.477137 0 2 标准 无限 4.23389 6.125204 0 3 标准 5.931 0.7 CLAF2 2.4 0 4 标准 -4.36 0 2.4 0 ST0 标准 无限 0.32 0.7776666 0 6 标准 -1.7 0.55 CZF2 1.049225 0 7 标准 11.56 0.08 2.4 0 8 标准 -9.45 0.78 CLAK3 1.69666 0 9 标准 -1.95 19.88562 2.4 0 IMA 标准 无限 21.06387 0
表6——表面数据概述 表面(Surf) 边缘 0BJ 0.920734 1 0.530000 2 4.536554 3 0.408946 4 0.168389 ST0 0.237029 6 0.695424 7 -0.020607 8 0.405197 9 20.298575 IMA 0.000000
表7——边缘厚度数据焦距，f5.52mm共轭长度28mmF#19.5光波长456，546，650nm
表8——透镜的技术规范
为了帮助输入设备的检测和/或定位，输入设备所置于的对象的表面可包括指示出表面的区域的相对位置的图像数据。在一个示例性实施例中，被扫描的表面可包括主计算机或其它外部计算设备的显示器，它对应于桌面型计算机、膝上型计算机、平板PC、个人数据助理、电话机、数字摄像机的监视器或可显示信息的任何设备。因此，在平板PC上生成的空白文档或其它图像可包括对应于表示文档的该部分在整个文档中或相对于图像的任何其它部分的相对位置的代码的数据。信息可由图像组成，图像可包括字母数字字符、编码图案、或可用于指示相对位置的图像数据的任何可辨认的图案。选择用于指定对象的表面中的区域的位置的图像可取决于结合在摄像机中的扫描设备的灵敏度，如传感器的像素分辨率，和/或包含于被扫描的表面中的图像数据的像素分辨率。从对象中提取的位置信息然后可被用于跟踪输入设备在对象上的移动。使用该信息，可精确地生成电子墨水或对应于输入设备的移动的其它信息。位置信息可用于检测输入设备所作用的图像内的位置，以及可提供输入设备在对象表面上的移动的指示。所产生的信息可用于与文字处理软件交互，以例如在文档中生成变化。
在备择实施例中，与输入设备结合使用的对象可由例如在背景中具有位置信息的纸组成。位置信息可结合于任何形式的代码、光学呈现、或其它形式中，可由与输入设备相关联的传感器感测到，并用于表示纸上的特定点的相对位置。
图9说明了用于对文档的位置进行编码的示例性技术。在该例子中，图像的背景可包括窄线，当大批量地观看这些窄线时，它们呈现出迷宫图。迷宫图设计中的每组窄线包括具有唯一定向和相对位置的若干窄线，例如，可指示出迷宫图的该部分相对于文档的其它部分的位置。可根据许多解码方案进行对所捕获的图像中发现的迷宫图的解码。在一个实施例中，可对某种配置安排和组织的线进行解码以生成位置信息。在另一实施例中，可通过从对应于经采样的图案的图像提取的代码，使用该代码在包含识别该区域的位置的数据的查找表中进行寻址，来得出所捕获的数据的位置的指示。提供对采用迷宫图的编码技术的参考仅仅是处于示例性的目的，还可与本发明的诸方面相一致地使用其它有源编码技术，包括但不限于通过引用而结合于此的2002年10月31日提交的题为“Active Embedded Interaction Code”的美国专利申请序列号10/284,412中的视觉编码技术。
即使没有位置代码，也可对图像传感器捕获的图像进行分析以确定输入设备在图像捕获时的位置。可使用连续的图像来计算输入设备在不同时刻的相对位置。该信息的相关可产生输入设备在基板上的精确轨迹。使用该轨迹信息，例如可生成精确地表示手写笔划的电子墨水。
图10提供了可从中生成电子墨水的轨迹图案的说明。在该例子中，首先捕获的图像可包含指示输入设备在第一时刻t1时的第一位置p1的一部分迷宫图。接着捕获的图像可包含一部分经编码的图像数据，在该例子中该部分是另一部分迷宫图，提供了时刻t2时第二位置p2的位置信息。第三次捕获的图像可包含第三部分的迷宫图，从而指示出输入设备在时刻t3时处于第三位置p3的定位。使用该数据，三个点可指示出输入设备从t1至t3的轨迹。使用算法来估计输入设备所描绘的上墨图案，可产生电子墨水。所使用的算法的复杂性可指示出所生成的墨水的精确性。例如，基本的上墨算法可简单地以不变的厚度用直线连接各点。以先前的采样点、采样间的时间或表示输入移动的速度或加速度的其它数据、或任何其它相关数据为因数的算法可提供更精确地表示输入设备的实际移动的墨水(例如通过其它传感器)。
摄像机304进行的光学扫描可生成为确定输入设备在各时刻的位置而必须的数据，可使用该信息来生成电子墨水。在一个说明性的实施例中，在时刻t1捕获的图像与在时刻t2捕获的图像进行的比较可提供指示出在t1至t2期间笔从一个点移动到另一个点的移动距离。这两个点的数据和/或移动的相对距离可随后用于生成输入设备的移动轨迹，用于生成表示手写笔划的电子墨水。比较两个或多个图像或所捕获的图像的诸部分，以计算相对移动，这可通过不同的分析来完成。在该情况下，例如，在不止一个图像中出现的特征可进行比较，特征从这些图像的一个位置到另一个位置的相对移动可提供出笔的移动的精确指示。如果使用不规则的采样周期，可修改处理算法来补偿采样周期中的变化，以更精确地指示出输入设备的移动与每次移动所要求的实际时间之间的相关性。指示运动速度的信息可助于生成适当厚度的墨水。
根据这种实施例，输入设备所移动的表面可包括计算设备的显示器、鼠标垫、桌面、或任何非均匀的反射表面，从这些表面可提取指示出输入设备在该表面上移动的对象或图像数据。处理所捕获的图像数据的寻迹算法可以是固定的，或可随着所捕获的图像的特征而变化。使用简单的寻迹算法，例如，处理器可检测桌面的木料中的颗粒，并且，根据对摄像机捕获的一系列图像的比较，可使用连续图像中颗粒的某些特定图案的相对位置来确定输入在各时刻的位置和/或输入设备在该表面上的相对移动。在图像中的特征难于辨认以及图像更为均匀的情况下，要求更为复杂的寻迹算法。可与本发明的诸方面相一致地采用备择的被动编码技术，包括但不限于通过引用而结合于此的2002年10月31日提交的题为“Passive Embedded Interaction Code”的美国专利申请序列号10/284,451中的编码技术。
图11A示出了根据本发明的一个实施例的系统的硬件架构。将使用相同的参考标号表示在先前的实施例中所描述的相同的或相关的组件。处理器1106可包括用于执行与本发明的各方面相关联的功能的任何已知的处理器。例如，处理器可包括FPSLIC AT94S40，可由具有AVR核心的FPGA(现场可编程门阵列)组成。该特定器件可包括20MHz的时钟，并以20 MIPS的速度工作。当然，对用于输入设备1101的处理器的选择可由系统的成本和/或处理速度要求来规定。如果图像分析在输入设备内进行，则处理器1106可进行图像分析。可选地，处理可由第二处理器进行，如结合于设备1101中的数字信号处理器(DSP)。处理器1106可进一步工作来执行降低功耗的关键步骤，以节省电源1109中的电力，例如当输入设备不活动时关闭各种组件的电源，这可基于指示设备的移动和/或定位的数据。处理器1106还可工作来校准和调整各种组件的性能，例如包括调节光源的强度或调节摄像机的传感阵列的灵敏度。处理器或耦合的数字信号处理器还可从多个存储的图像处理算法中进行选择，并可根据例如与设备所移动的表面相关联的特征来控制选择最适合于检测移动的图像分析算法。从而，可根据编制在输入设备中的性能考虑来自动地选择图像处理算法。可选地，可根据用户的输入来控制输入设备和建立设置，用户的输入例如通过力传感器的动作或输入设备的输入，或根据对应于命令的手写笔划。
在一个实施例中，存储器1107可包括一个或多个RAM、ROM、闪存、或用于存储数据、存储用于控制设备的软件或存储用于处理数据的软件的存储设备。如所述，表示位置信息的数据可在输入设备1101中被处理，并可存储在存储器1107中，以传送到主计算机1120。可选地，捕获的图像数据可缓存于输入设备1101中的存储器1107中，用于传送到主设备1120进行处理或其它。
收发机或通信单元可包括发送单元和接收单元。如所述，表示输入设备的移动的信息，可处理成适合于生成和/或显示电子墨水的形式或其它，可传送到诸如前述的桌面型计算机、膝上型计算机、平板PC、个人数字助理、电话机或用户输入和电子墨水可能有用的其它此类设备之类的主计算机1120。收发机可使用任何无线通信技术与外部设备通信，包括用于进行短距无线通信的蓝牙技术、红外通信、或蜂窝网或其它长距无线技术。可选地，收发机可通过对主计算机的直接链路来控制数据的传送，诸如通过USB连接，或通过与对接支架(docking cradle)的连接间接地进行。输入设备还可使用专用连接而硬连线至某一主计算机。收发机还可用于接收信息和/或软件，在一个实施例中，该信息和/或软件可用于改善输入设备的性能。例如，可通过先前描述的技术中的任何一种技术上传用于处理器的控制功能的更新的程序信息。而且，还可把软件传送到输入设备，包括用于分析图像数据的软件和/或用于校准输入设备的软件，可从外部设备下载。
处理器1106可按照交互作用模型工作。可以软件的形式实现交互作用模型，用于保持一致的经验，其中生成电子墨水而与外部设备无关，外部设备的单元执行输入设备的功能。交互作用模型可处理捕获的数据，用于转换成通用于任何数量的主设备的形式，这些主设备包括桌面型计算机、膝上型计算机、平板PC、个人数据助理、电话机、白板、或可存储、显示或记录通过输入设备输入的数据的任何设备。处理器1106可识别连接的设备，或表示手写输入的数据所要送往的设备，根据这些识别，选择将输入数据转换成适用于识别出的特定设备的形式的处理。在该情况下，转换成有用于每个潜在的接收计算设备的形式的转换将包含于输入设备中，并按需可用。如果设备是无线或有线连接的，可按照设备之间的通信的结果而获得对预期的接收设备的识别。可选地，用户可直接输入数据所要送往的设备的身份。当然，如果输入设备包括显示器，可使用适用于显示器使用的和/或多个其它设备使用的默认的处理算法来处理数据。
图11B示出了根据本发明的至少一个方面的系统的另一硬件架构。该硬件架构可以是一套印刷电路板(PCB)和运行于PCB上的固件。该套PCB的组件包括双核心架构组件1150、另一输入传感器单元1160、图像捕捉单元1170、通信组件1180、音频单元1155、用户接口单元1190、存储器1186、逻辑控制1187、以及硬件加速组件1188。本领域的技术人员应理解下面所述的电路板及其描述并非本发明所必需的，可将其一个或多个组件包含于本发明中用于本发明的操作。
双核心架构组件1150包括RISC(精简指令集计算机)或GPP(通用处理器)1151，用于运行诸如Windows CE之类的嵌入式OS(操作系统)。DSP(数字信号处理器)1152负责运行算法，如图像处理、迷宫图分析和m阵列(m-array)解码。两个核心可以是两个不同的芯片或内建于一个芯片中。MCU/RISC/GPP组件1151可具有同时工作的多个传感器和A/D(模拟数字变换)芯片。传感器和A/D芯片需要同时被配置和控制。MCU/RISC/GPP组件1151可处理系统控制、计算、以及通信，因为MCU/RISC/GPP组件1151适用于实时并行计算。MCU/RISC/GPP组件1151的一个例子可包括三个芯片：来自加利福尼亚州圣何塞市的Xilinx公司的FPGA芯片：XCV50CS144，具有50K个逻辑门和96个用户IO；来自加利福尼亚州圣何塞市的Xilinx公司的配置PROM：XC18V01；以及来自来自加利福尼亚州圣何塞市的CYPRESS公司的32K×8 SRAM(静态RAM)，作为用于计算的缓存器。
DSP(数字信号处理器)组件1152可由两个芯片组成。TMS320VC5510是来自德克萨斯州达拉斯市的德州仪器(TI)的高性能、低功耗、定点DSP芯片。这样一种芯片非常适用于移动计算设备。该芯片用于计算以恢复用户书写的笔划。DSP组件1152的第二个芯片可以是来自加利福尼亚州桑尼维尔市的SST的16M位的多目的闪存存储器。该非易失性、可靠地、紧凑存储芯片用于存储DSP固件和计算结果。
两个输入单元包括另一输入传感器单元1160和图像捕捉单元1170。这些单元产生分别输出到双架构组件1150的力和图像信号。所述另一输入传感器单元1160可包括来自新泽西州莫里森镇的Honeywell的力传感器芯片1161：FSL05N2C、来自加利福尼亚州桑尼维尔市MAXIM的测量放大器1163：MAX4194、以及来自加利福尼亚州桑尼维尔市MAXIM的12位串行A/D变换器1162。所述另一输入传感器1160配置来以12位的精度、以多达大约每秒100K个采样的速率感测细微的力变化。需要精确的力数据来指示出输入设备是否正被用于书写、或用户在书写时如何推动输入设备。图像捕捉单元1170可包括来自日本东京市的松下公司的32×32像素图像传感器芯片1171：MF64285FP、来自德克萨斯州达拉斯市的德州仪器的8位A/D变换器1172：TLV571、以及逻辑控制组件1173。图像捕捉单元1170可以以多至336fps(每秒帧数)的速率捕捉图像。选择最小32×32像素分辨率的图像传感器，因为较低的分辨率不能捕捉到足够的特征用于处理。图像传感器1171是高速的、小型的、低功耗的图像传感器。图像捕捉单元1170可包括用于从多个区域捕捉图像数据的额外的传感器。例如，采用两个图像传感器1171的输入设备可用于连同白板的操作。一个图像传感器1171可配置成捕捉表示用户书写的数据。第二图像传感器1171可配置成扫描白板笔的指示器，如条形码。在这样一个例子中，白板笔的条形码可包括与白板笔的颜色和/或厚度相适合的信息。第二图像传感器1171可捕获该数据来识别出用户正在使用蓝色的白板笔，且厚度为1.5cm。
通信组件1180可包括WML-C09芯片1181和天线。WML-C09芯片是来自日本东京市三菱公司的第二类(Class 2)蓝牙模块。蓝牙芯片使得输入设备能够以720Kbps(每秒比特数)或每秒100帧的速率、在10米的范围内与主PC进行通信。蓝牙是低成本、低功耗的电缆替代方案，行业内有广泛的支持，适用于本发明的使用。每个蓝牙模块分配有特定的和/或唯一的蓝牙地址，可用于识别输入设备本身。通信组件1180可包括USB端口1182和UART组件1183。
电源管理组件1185设计成从供电的锂离子电池产生所有必要的电压，例如5V、3.3V、2.5V、1.6V。5V供电可由图像传感器1171和力传感器1161使用。2.5V供电可由MCU/RISC/GPP组件1151使用，作为内部电源。1.6V供电可由DSP组件1152使用，作为内部电源。3.3V供电可由诸如通信组件1180之类的其它组件使用。节电组件1186节省电池电源的工作寿命，充电组件1187对输入设备的电池电源充电。还设计过放电保护来防止电池损坏。电池电源管理组件可包括下列芯片：来自德克萨斯州达拉斯市的德州仪器的USS3952PW-1和来自加利福尼亚州桑尼维尔市的MAXIM的MAX9402S08，一起实现过放电保护；来自德克萨斯州达拉斯市的德州仪器的TPS60130PWP，产生5V供电输出；来自德克萨斯州达拉斯市的德州仪器的TPS62006DGSR，产生2.5V供电输出；来自德克萨斯州达拉斯市的德州仪器的TPS62000DGSR，产生1.6V供电输出；以及来自德克萨斯州达拉斯市的德州仪器的TPS62007DGSR和/或来自德克萨斯州达拉斯市的德州仪器的TPS79333，产生3.3V供电输出。
音频单元1155提供输入设备的组件的音频接口。音频单元1155可包括内建的音频播放系统，诸如MP3播放器。话筒1156允许在使用输入设备时记录话音。扬声器1157可从包括内建的和/或外部的MP3播放器、多媒体文件、音频文件、和/或某些其它音频源的各种源输出音频。蜂鸣器1158可以是用于用户的声音指示器，如非法操作指示器和/或低电池电源指示器。
用户接口单元1190提供各种用户接口元件用于与用户的通信。电源按钮1191允许用户打开或关闭输入设备，并可配置成进入睡眠模式、低功率模式用于节省电池电源。功能按钮/开关1192可用作为对输入设备的命令输入。功能按钮/开关可以是用于选择输入设备操作的应用程序中的元素的启动按钮。指示器1193可以是LED(发光二极管)和/或其它光输出，用于与用户视觉通信。指示器1193可改变色彩、强度和/或脉冲率。例如，当输入设备转变到低电源模式时，指示器1193可改变色彩。LCD(液晶显示器)1194可以是小型显示器，向用户输出视觉信息。例如，LCD 1194可通过在显示器上示出“低电池电力”指示出用户接口上的电池电源低。笔投影(pen projection)1195允许将图像投影到表面上。笔投影1195向输入设备的用户提供额外的视觉信息。
存储器1186允许存储各种类型的信息，包括力传感器1161和图像传感器1171数据和用于用户界面可操作的某一应用程序的操作指令。逻辑控制1187可用于控制外围设备。逻辑控制1187可以是FPGA或CPLD(复杂可编程逻辑器件)。硬件加速单元1188可配置成对算法加速以便提高输入设备的计算效率。
如图12所示，除了以相同的参考标号表示的先前描述的组件之外，输入设备1201还可包括一个或多个惯性传感器1215，用于感测笔移动、位置或定向。例如，输入设备1201可包括陀螺仪，用于提供表示笔在多个方向中的角速度的数据。输入设备1201可包括一个或多个加速计、或加速计组，测量加速度或笔上的重力。还可使用磁传感器通过检测地磁场的测量中的变化来测量笔的移动来获得表示笔的移动的数据，在这里按照惯性传感器来描述磁传感器，因为它根据图像数据之外的数据来检测输入设备的移动。来自结合于输入设备或与输入设备相结合的任一惯性传感器(可包括陀螺仪、加速计、磁传感器、用于测量输入设备的移动的指示元件或任何设备)的数据可用于与来自摄像机的数据相组合，以获得表示输入设备的移动或定位的数据，从而产生用于生成电子墨水的数据。
如所述，输入设备所位于的和/或移动的对象的表面可包括经编码的图像数据，指示出该表面中每个区域的位置或相对位置。该对象可包括诸如膝上型计算机之类的计算设备的显示器。在一个实施例中，可从存储器中调出文档，并显示在显示器上。嵌入于该文档中(如嵌入于背景中)的可以是指示出文档的每个区域的位置的位置编码信息(lie coded information)。例如，文档的背景可包括迷宫图，该图的足够大的一部分唯一地识别了整个文档中的每个区域。即使膝上型计算机的显示器不包括用于检测输入设备在屏幕上的移动的传感器，输入设备也可用于与编码的位置信息一起组合使用，在规定的位置上对文档进行注释或编辑。从而，输入设备可作为“有源输入设备”，使得与输入和设备相关联的传感器生成指示该设备的位置或定位的数据。
在一个实施例中，结合于输入设备之内的图像传感器捕捉表示输入设备所放置和/或移动的显示屏幕的表面的图像数据。传感器捕捉包括指示出输入设备的相对位置的位置代码的图像。随着用户移动显示的图像，在所显示的电子文档上输入注释和/或作出编辑，输入设备生成表示这些输入的信号和表示这些输入所结合于的文档中的位置的数据。使用输入设备代替鼠标还可影响对膝上型计算机的控制，或执行其它标准输入功能，包括光标的移动和选择的激活。
输入设备可连同文字处理软件一起使用，以通过例如删除文本和插入新文本来编辑文档。为了编辑显示在计算设备的屏幕上的文档，用户将输入设备置于屏幕上所需的位置上。为了删除文本，用户可将输入设备置于贴近屏幕，以划去所显示的文本的图像的方式移动设备。通过感测位置代码，图像可被处理来确定笔以划去方式移动，并识别出对应于用户移动的输入设备的位置的文本。因此，可使用输入来删除数据。
接着，用户可能希望插入新的文本。以类似的方式，用户可在要插入新文本的位置处绘制用于插入文本的符号，例如“套边(carrot)”或反转的“V”。用于将输入转换成存储于主计算机的输入设备中的图像数据和/或命令的处理软件将该符号识别为一控制信号，用于插入文本。利用输入设备的帮助，用户可用手写入要插入的文本。
在备择实施例中，用户可添加注释，利用高亮来指示出该注释所适合的原始文本。例如，用户可能使用显示在屏幕上的下拉菜单或高亮按钮来选择要高亮显示的文本。接着，在选择要高亮显示的文本上拖曳输入设备。然后，可在显示屏上与高亮显示的文本相邻的位置处书写与高亮/所选的文本相关联的注释。当操作完成时，用户可选择用于完成注释输入而必需的提示(prompt)。对文本的所有这些修改都可使用输入设备来产生，而不管显示器是否包括用于检测输入设备的移动的传感器。
可以图像数据、电子墨水或转换成文本的数据的形式来把对文档的修改显示/或结合于文档中。将输入转换成文本的转换可以用户不可见的方式发生，使得在屏幕上的文本的显示中好像按照输入显示文本。可选地，用户的手写输入可呈现在文档中。为了实现编辑的即时显示，可以正在进行的方式，把表示笔的移动和这些编辑的位置的信息传送到膝上型设备。
在操作中，输入设备捕捉输入设备所移动的表面的32×32像素分辨率的图像，以及指示出是否输入设备正在被用于书写或用户在书写时如何用力地推动输入设备的12位精度的力数据。图像和力数据被封装成帧。然后，使用蓝牙以多达每秒100帧的速率无线地传送连续的帧流。输入设备在通电后开始自动初始化过程，然后转入工作模式或待机模式。输入设备根据压力值的放大率在运行期间切换模式，即如果压力值大于给定的阈值则切换到工作模式，否则切换到待机模式。
在工作于工作模式时，输入设备消耗大约120mA的电流。帧数据产生于另一输入传感器单元(例如1160)和图像捕捉单元(例如1170)中，然后输出到双核心架构(例如1150)。双核心架构接收图像和力数据，将数据成帧(图像压缩、CRC编码、时间戳记、成帧)，并将数据传送到通信单元(例如1180)，用于与主PC通信。通信单元还提供连接到主PC处的直接用于调试目的RS-232的高速UART(例如1183)。双核心架构1150中的操作包括数据成帧、图像压缩、时间戳记、CRC编码、以及传输链路控制(通过UART或蓝牙)。
图13是根据本发明的至少一个方面的通过输入设备的双核心架构的数据的流程图。在获得数据时，在步骤1301发生图像和力传感器数据成帧过程。数据成帧可配置成通过将来自连续数据流的帧按两个“FF”进行划分来开拓有限的蓝牙带宽。捕获的图像和力数据在双核心架构中封装在一起成为数据帧。如图14所示，数据帧1400由图像数据(原始数据或经压缩的数据)、力数据、时间戳、压缩标志1410、CRC编码、帧标志组成。
在步骤1302，恒定压缩率算法将图像数据从每像素8比特压缩成5或6比特。该压缩保持稳定的传输率。该算法原理是预测+非均匀量化。预测公式是：d＝a+b-c，其中d是预测的像素值，a、b和c分别是左、上、左上侧的像素。根据按照双核心架构中的查找表存储的预定的方案对预测值和实际值之间的余项进行量化。步骤1302，可进行图像压缩以开拓有限的蓝牙带宽。在步骤1303，一个28比特的时间戳从开始以每个帧进行递增，以特定地和/或唯一地识别每个数据帧。在步骤1304，数据帧中的所有数据，除了帧标志之外，都送入28比特的CRC编码器。主PC中的接收机可检查CRC码并丢弃错误的帧。CRC码确保了所有接收到的帧数据都是正确的。
在数据流控制期间，在步骤1305，FIFO(先进先出)提供2048字节的缓存器以平衡数据生成率和传输率。该FIFO缓存器可同时工作。帧数据输入到FIFO中，并同时被取出。当蓝牙链路质量低时，蓝牙组件不能按数据生成率那样快地传送帧数据。如此，必需丢弃某些数据以保持帧的完整性。在步骤1306，流控制器实现自适应传输帧速率控制，以丢弃额外的帧数据。在数据传输期间，通信单元将帧数据传送到主PC。如果蓝牙控制器用于无线数据传输，则在步骤1307，发生从输入设备向主PC的蓝牙收发机模块的无线数据传输。可选地，在步骤1308，可利用UART控制器与主PC的RS-232对接。在双核心架构中实现高速UART核心，以从双核心架构将数据传送到主PC处的RS-232。该接口可以是用于调试的测试端口。
在工作于待机模式时，输入设备消耗大约40mA电流。电池电源管理组件、其它输入传感单元、以及图像捕捉单元可仍然处于工作中。双核心架构关闭大多数操作，仅仅监控压力值。通信组件工作于等待模式中。
如所述，还可记录进行输入的用户的身份。例如，输入设备可生成识别用户和/或某一特定输入设备的信息。该身份信息可附属于所生成的输入数据。可选地，这种识别数据可作为单独的信号提供而发送到主设备。
图14示出了根据本发明的至少一个方面的从输入设备发送的示例性数据帧结构。每个输入设备由笔ID(PEN ID)和蓝牙组件的蓝牙地址识别。压缩标志1410保持识别数据帧中的图像数据所源自的输入设备的数据(笔ID)。笔ID专用于输入设备。缺少用户登录输入系统和用户专用的登录名，在先的输入设备技术不具有专用于输入设备的识别系统。一个输入设备仅仅被识别为类似类型的任何其它输入设备。根据本发明的至少一个方面，压缩标志1410数据中的笔ID字段允许多个输入设备同时工作。这种应用在多作者协作中将是有用的。本领域的技术人员应理解图像数据字段的字节数1024、768和640分别表示无压缩的字节数、压缩到每像素6比特的字节数、压缩到每像素5比特的字节数。
在多用户应用中，若干用户可能同时或不同时地对同一文档进行注释。主PC将接收帧数据序列，因为每个输入设备将输出帧数据。通过使用笔ID和/或蓝牙地址提取每个输入设备的帧数据，若干个输入设备可同时地或不同时地一起工作，如图15所示。蓝牙技术允许通过无线数据传输同时识别多达7个不同的输入设备。如图15所示，输入设备1510、1520和1530每个通过蓝牙通信组件将捕获的图像数据无线地传送到主PC。主PC接收数据帧1540-1至1540-n的帧序列。主PC能够通过使用对应的输入设备1510、1520和1530的笔ID字段和/或蓝牙地址，从数据帧的序列中为每个输入设备1510、1520和1530分离出各自的数据帧。如此，在多用户应用中，不同的注释可发生在同一文档上，主PC能够跟踪哪个输入设备1510、1520或1530产生了哪个注释。
虽然上述说明性的实施例将输入设备移动的表面标识为膝上型设备的显示器，输入设备还可使用结合于输入设备在其上移动的任何对象的表面中的代码来检测定位。从而，可使用输入设备与桌面型计算机、平板PC、个人数据助理、电话机的监视器，或可显示信息的任何设备的组合来创建和/或编辑结合了位置编码的图像。编码的信息还可结合于这种设备的显示屏上覆盖的透明膜片中，或可结合于可与显示器组合使用的表面中，包括保护膜。
编码的信息还可结合于书写表面上或书写材料上，如纸上，以唯一地识别该表面上的位置。例如，位置信息可结合于纸张的背景中。如所述，位置信息可包括表示纸上的特定点的相对位置的任何形式的标记或代码。因此，可与编码的纸相关联地使用输入设备来记录与用户在适当位置进行手写相对应的信息。例如，仅仅装备有输入设备和结合有编码的位置信息的表面，在乘坐出租车时，可使用输入设备来向客户起草信件。利用输入设备在纸上书写，通过多次检测输入设备位置的变化来识别与文本或其它输入信息对应的手势。然后可把输入转换成电子墨水或其它电子数据，用于生成对应于这些手势的信息。输入的转换可随着输入的产生而进行，可在输入设备内进行，或由耦合到输入设备的主计算设备接收。可选地，这种转换可稍后进行。例如，使用输入设备生成的信息可存储于存储器中，并传送到接收者和/或主计算机，用于在稍后的时间进行适当的处理。
使用输入设备产生的数据，不管这些输入是手写字母、符号、文字或其它书写图像、这些数据都可在被位置代码所识别的位置处结合于文档中。从而，即使没有格式化的模板，也可使用识别输入信息的文档中的位置的位置信息来实现文档(如先前所述的信件)的布局。例如，可在适当的位置在纸上输入起草人的地址、接收人的地址、信件的主要部分以及结尾、以及其它成份。使用摄像机捕获的编码的位置信息，形成对应的电子文档的内容的文字和其它图像都结合在适当的位置。
使用检测的位置信息，输入设备还可与主计算设备交互，用于输入命令和作出选择等。在计算设备是具有web浏览特性的便携式摄像机或电话机的情况下，输入设备可以触笔或鼠标的方式使用来从显示的按钮或菜单中进行选择。因此，输入设备可用于激活主计算机的浏览器，并选择用于检索文件(如先前所述的文档)的选项，即使该文件存储于远地也是可行的。使用输入设备，用户可选择下载包含用户所需的信息的文件。接着，用户可通过输入设备向下载的文件输入注释。这些编辑可被传送到从其中下载文件的远地位置，其中输入设备能够进行与远地计算设备的通信。可选地，假设输入设备与主计算设备通信，则可使用这些编辑来编辑存储于输入设备和/或主计算设备中的文件。
在另一实施例中，显示在主计算设备的监视器上的文件可以是电子数据表(spreadsheet)，可使用诸如来自华盛顿州雷德蒙市的微软公司的EXCELTM软件之类的电子数据表软件来生成。可使用位置代码来将位置与数据表中的给定单元相关联。用户可在屏幕上显示的单元中输入数字条目。此时，输入设备捕捉与输入设备的位置相关联的图像，将该信息发送到主计算设备。例如，位于主计算设备中的并与数据表软件一起工作的处理软件根据检测到的位置代码来识别为该条目所选择的单元，并相应地修改电子数据表文档内容。
输入设备还可用于调用与某些特定手势或手势的组合相关联的图像或其它预先存储的信息。例如，输入设备可用于绘制符号，处理算法的设备被编程来识别该符号。可使用迷宫图来精确地检测输入设备在图案上的移动，使得可检测到与这种移动相关联的特定符号。例如，用户可控制输入设备在用户先前识别为要与公司标识相关联的纸上绘制符号。迷宫图可识别对应于字母“M”后紧跟字母“S”的移动的组合，将其作为指令以指明输入了微软公司的标识。结果，这种预先存储的信息可通过输入某一特定顺序的输入来输入到文档中。
输入设备还可用作被动式输入设备。例如，在该模式中，输入设备可用于与使用无源感测来感测输入设备的移动的计算设备组合使用。当与包括用于检测输入设备的移动的传感器板(如平板PC或个人数据助理)组合使用时，输入设备可充当触笔。使用输入设备，当输入设备置于非常接近于屏幕时，可生成电子墨水或其它图像数据。可以类似的方式输入控制功能。此外，在某一计算设备的监视器上显示的图像还可包括对应于表示文档的该部分的相对位置的编码的数据。使用摄像机从对象提取的位置信息可随后用于跟踪输入设备的移动，作为使用计算设备传感器检测的移动的替代或与之相结合。
例如，用户可能希望在以包含检测输入设备的定位的能力的便携式计算设备(如平板PC或个人数据助理)上创建或修改图像。输入设备可仅仅充当被动式输入设备，使得由计算设备生成表示输入设备的移动的信息。然而，计算上设备的传感器可能不具有在给定情况下以用户所要求的范围检测笔的移动的能力。例如，当用户位于不平稳的汽车中时，对用户输入的精确检测可能受到阻碍。当用户通过在计算设备的显示器的表面上移动输入设备来编辑文件时，输入设备可能贴近(jostle)和置于离传感器板相当远。即使计算设备的传感器所生成的信号可能变得较不精确，输入设备捕获的图像数据可用于检测输入设备在与计算设备的表面平行的平面中的移动。即使计算设备的传感器不再能检测输入设备的移动，图像传感器也可产生足够的信息来保持对输入设备的移动的精确表示，以反映出用户的输入意图。从而，即使当与包含感测输入设备的移动的能力的计算设备组合使用时，输入设备可充当被动式输入设备或主动式输入设备。
输入设备还可与任何纸张、书写表面或其它基板相关联的使用，以记录对应于用户的手写输入的信息。同样，仅装备有输入设备和书写表面，输入设备可用于起草至客户的信件。在该情况下，根据无源编码(passive coding)检测手势，其中使用除了嵌入于和/或打印在基板的表面的图像上的代码之外的代码来检测输入设备的移动。例如，用户可在纸平面上起草信件。当用户利用输入设备书写时，图像传感器捕捉纸的图像。可识别图像中的对象，捕获的图像系列中的对象的移动指示出移动。感测的对象可包括纸表面上的人工制品或其它对象，可对应于水印或纸的其它缺陷。可选地，纸可包括规则的线条，还可使用规则的线条来计算笔在表面上的移动。即使没有纸，也可确定输入设备的相对移动。输入设备可在桌面上移动，木材的颗粒提供了用于检测输入设备的相对移动所必需的对象。以先前所述类似的方式，用户可在纸或可光学检测移动的任何表面上起草信件。输入设备的移动可存储于存储器中和/或转换成表示手势的信息。
在另一实施例中，便携式设备可用作便携式计算设备的替代。例如，当一工程师乘火车去与设计团队的其它人会面时，工程师可能刚制作出对与其公司的心脏起搏器相关联的电路故障的解决方案，但是没有可用的膝上型或其它计算设备，该工程师可转而求助其输入设备作为适当的代替品，用于记录他的想法。使得大多数时间可用(去除墨盒或笔帽处于原地)，在他的面前的椅子的背面，用户撰写出表示对所讨论的可以的电路的修改的草图。他激活输入设备，将其设置于有助于产生草图的模式(例如可包括禁用转换)，开始勾画出表示对该问题的解决方案的简单设计。输入设备随后可存储表示手写的笔划的文件。断开草图模式，可在草图的相关位置附近草草写下注释和参考，这些条目结合于图像文件中。例如，用户可切换到注释模式，在该模式中，可识别出对应于字母的手势。从而，他可将他提出的解决方案的描述与草图相结合。不用等待达到医疗研究中心，操作者就可以选择将简图发送给设计团队的其余人，用于在计划的会议之前得到充分地考虑。这种传输可通过任何方式实现，包括从输入设备将修改的文档上传到诸如蜂窝电话机之类的便携式无线设备。然后可使用该信息产生诸如VISIOTM文档之类的图像文件。
一旦发送到团队的其余成员，对应于简图的草图的先前所述的文件就可显示在团队成员的主计算设备的监视器上。例如，图像以及所附的文本可呈现在桌面型计算机的显示器上。通过将输入设备至于接近于显示在监视器上的文件的图像，可把额外的注释添加到那些显示的图像上。在该情况下，可通过测量输入设备的光学传感器捕获的图像中的对象的相对移动来检测输入设备的移动。由输入设备产生的信号可由存储于输入设备中的软件处理，或发送到主计算设备进行处理。对检测到的移动的处理可生成电子墨水、文本或表示通过输入设备输入的注释的其它数据。
即使没有位置代码，输入设备还与具有用于检测输入设备的移动的传感器的计算设备连同使用。例如，输入设备可用作用于在个人数据助理或设计用于使用触笔的其它计算设备上产生手写笔记的源。因此，当执行差事时，用户可被提醒并希望将一项目添加到已经存在的“待做任务列表”(to do list)中。用户检索主计算设备(例如个人数据助理)中存储的列表。将输入设备的尖端定位于个人数据助理的显示器上，用户能够遍历菜单，并作出选择以检索所需要的列表。给出该列表，用户可在主设备的屏幕上位于已经完成的任务的说明的旁边的“空复选框”(empty box)中输入复选标记(check)。输入设备捕捉包含对应于该框的数据的屏幕的图像，并将数据发送到主计算设备。使用用于分析图像数据的处理算法，主计算设备随后检测框的形状，作为可作出登入的对象。为了成功地输入复选标记，可处理图像数据以检测笔在框上或框内区域中的移动，手势形成可识别的“复选”形状。然后主设备修改与列表相关联的文件，以将复选表示包含于框内。将输入设备定位于列表中的最后一项之后的空间，用户输入描述额外的项目的文本。主设备的传感器检测输入设备的移动，生成表示输入的数据。输入被转换成文本，并显示给用户，且带有一个空的复选框。
类似地，例如微软阅读器(MicrosoftReader)的用户，如阅读指定的小说的学生，可能希望在相关文本旁草草写下笔记。使用输入设备对便携式主设备的监视器上显示的图像作出注释。例如，用户将输入设备定位于主计算机(例如平板PC)的监视器上，在相关文本旁输入手写笔记。主设备的传感器检测手势，并存储为电子数据，电子数据被转换成图像数据，并显示在屏幕上。笔记可保持为手写的形式或可转换成字母数字字符。不激活额外的功能，可能看不见笔记，例如激活观看附加的评述或将输入设备定位在呈现注释的高亮的或某些其它的指示上。然后可以单独的文件存储笔记，或以存储于主计算机中的小说的电子版本的副本形式存储。
在又一个实施例中，来自形成输入设备的一部分的额外的传感器的信息可用于补充或完全替代其它形式的移动检测。这些额外的传感器可检测输入设备的线性加速度、角加速度、速度、旋转、压下力、倾斜、电磁场中的变化、或对输入设备的移动或定位的任何感测的指示。这些信息可助于产生更为精确的移动检测。可选地，额外的传感器可提供仅在给定时刻可用的信息。例如，输入设备可连同一一般均匀的表面(例如空白的纸)使用。在这些情况下，光学传感器捕获的图像可能不足以一致地和精确地检测输入设备的移动的信息。如果光学运动检测变得更为困难，例如如果用于跟踪输入设备的移动的对象变得更难于被检测，根据用于光学检测移动的一个实施例，来自额外的传感器的额外的信息可用于提供更为精细的运动检测。具体来说，用于确定位置和/或移动的算法可结合对额外信息的因素的计算，从而补充对移动和/或位置的检测。
如果光学检测失败，为了提供有用的结果，额外的传感器可仅提供用于检测移动的信息。例如，如果用户试图在叠层的工作台面的均匀的白色柜台上拟定绘图，光学感测系统可能不能提供表示移动的足够的数据。在该情况下，额外的传感器可提供充足的信息来产生可接受的精确的输入信息的表示。
例如，如果输入设备从被扫描的表面移动足够的距离，光学传感器单元可能不能捕捉对所提供的图像的精确表示。在该情况下，来自额外的传感器的额外的信息可用于补充由输入设备在其上移动的对象的图像获得的数据。从而，即使输入设备从输入设备正在移动的显示器上移动一英寸或更多(Z轴)，输入设备内的传感器可提供笔在显示器的平面中的移动的指示，即水平和垂直方向。
例如，与膝上型计算机连同使用的输入设备定位于用户前端的托盘桌上。背景中结合了迷宫图的文档的图像显示在膝上型计算机的屏幕上。用户输入的注释以蓝色墨水的实线示出。当飞机受到气流挠动时，座椅安全带符号突然出现。当用户越过膝上型计算机的键盘并向注释添加另一文字时，他的手快速地离开屏幕的表面。虽然图像传感器可能不能精确地检测形成所显示的迷宫图的线条，但是通过结合于输入设备中的额外的传感器测量x轴和y轴中的移动。
图16说明了根据本发明的若干示例性实施例的输入设备的使用，在各种环境中使用输入设备创建、传送和编辑文档。下面的描述仅仅是输入设备的用途的示例性说明，而并非对本发明的结构或功能的限制。
输入设备可用于通过允许在广泛的环境中创建和/或编辑文档并与各种设备相关联地使用来延长文档的寿命。使用输入设备1601，可在诸如所示的平板PC 1603之类的一个计算设备的屏幕上电子地创建文档1602。例如，输入设备1601可用于生成文档的手写草稿。由于输入设备1601充当用于平板PC 1603的触笔，生成了对应于输入于平板PC 1603的屏幕上的信息的电子墨水。电子墨水可转换成文本形式并存储于平板PC 1603中。
表示文档的电子文件可传送到诸如桌面型PC 1604之类的第二计算设备。在该环境中，可使用作为单独的输入单元工作的输入设备1601在桌面型设备的屏幕上编辑文档。因为输入设备1601感测其自己在显示的文档的图像内的相对位置，输入在桌面型设备的屏幕上的编辑可反映在电子文档1602中，即使显示器不包括用于感测输入设备的定位的元件。使用输入设备1601产生的编辑可在产生时传送到桌面型PC 1604，或可存储在输入设备160I内用于在稍后的时间传送到任何PC。可把编辑输入到存储于桌面型PC 1604中的文档1602的版本中。
还可由诸如链接到桌面型PC 1604的打印机1605之类的打印机以硬拷贝的形式输出创建的文档。文档的硬拷贝1606版本可包括使用例如迷宫图知名输入设备在文档中的任何位置的相对位置的信息或代码。硬拷贝可由一个或多个用户标出，每个用户具有输入设备，每个用户的编辑由单独的输入设备生成。连同表示编辑的信息一起，也可提供用于生成这些编辑的识别笔的信息。例如，可使用下划线的彩色文本来反映输入，如用于跟踪对文档作出的改变的应用中那样。编辑/输入可从桌面型PC 1604转送到平板PC 1603，用于结合于该文档中。可选地，可把编辑存储于输入设备1601内，并在稍后的时间上传。
文档还可输出到普通的纸上，或输出到不包括对输入设备的相对定位的指示的任何基板上。同样，硬拷贝1606可由具有输入设备的一个或多个用户作标记，每个用户的编辑由输入设备1601生成。在该例子中，可使用用于光学地感测输入设备1601在纸上的移动的编码技术来确定笔1601的位置或移动。如所述，可使用比较算法来确定位置/移动，其中图像数据的每个帧中的对象的相对位置被检测，并用于确定输入设备1601的移动。产生的编辑可传送到文档所源自的计算设备，例如用于上传原始数据文件。可通过诸如Pocket PC1607之类的计算设备传送编辑，用于传送到目的设备，这可通过无线或有线通信或通过将包含编辑的设备对接到计算设备来进行。
电子文档还可传送到诸如所示的平板PC 1603之类的第二计算设备。在该环境中，可使用输入设备1601作为简单的触笔在平板设备1603的屏幕上编辑文档。这些输入可从平板PC 1603转送到存储文档的原始副本的计算设备，作为对文档的注释或作为编辑，用于结合于该文档中。
利用嵌入式交互编码技术，可将液晶显示器转变成数字化仪。每个液晶单元的晶格区域可用于嵌入图案。在一个实施例中，可把迷宫图嵌入于液晶显示器面板的黑矩阵区域中。在另一实施例中，可把迷宫图嵌入于光导平面中。迷宫图的垂直的和水平的条带(bar)发出可由输入设备中的摄像机传感器捕捉的光。唯一的和绝对的坐标提供有m阵列(m-array)解码。如此，输入设备可用作平板PC、Pocket PC、智能电话机、和/或具有允许嵌入式交互编码的液晶显示器的任何其它设备的平板笔(Tablet Pen)。用户可在多个不同的设备之间使用相同的输入设备。例如，当对接于平板PC上时，输入设备可被充电。这种配置向用户提供了多种选择，同时仅保持一个必要的输入设备。
本发明的输入设备还可用于数据的远程存储和在稍后时间的传输。在附近没有主PC时，也可使用本发明的输入设备。输入设备的处理能力和存储能力能够处理图像传感器捕捉的图像，进行存储用于在稍后的时间传输。例如，当用户使用输入设备作笔记和/或注释文档时，笔记和注释可被处理并长时间地存储于输入设备中。可选地，数据可立即和/或稍后传送到个人数字助理(PDA)，并在PDA上处理和存储。如果PDA具有无线通信能力，则可把数据传送到位于远程位置的主PC或服务器。例如，当用户旅行时，他们用输入设备作出的笔记和注释可通过他们的智能电话机传回到他们的主PC中。用户可在飞机上时对文档作出注释，保存注释，并在稍后的时间将其传送到主PC和/或服务器，例如当飞机着陆时。
利用投影显示和嵌入的和/或打印的元数据，输入设备，例如通用计算设备，可使得阅读体验更具交互性。例如，华盛顿州雷德蒙市的微软公司的Office2000中的智能标签可连同绝对定位一起嵌入于和/或打印于文档上。当用户使用输入设备阅读和注释时，输入设备可检测并解码智能标签，并利用投影显示显示相关信息。如果字典条目嵌入于和/或打印于文档上，输入设备还可显示字典查找表。类似地，各种类型的信息可嵌入于和/或打印于文档上，诸如命令和控制信息以及音频信息。输入设备可检测和解码嵌入的和/或打印的信息，并相应地动作。
智能个人对象技术(SPOT)可包含于本发明的输入设备中。利用SPOT、嵌入的和/或打印的命令和控制信息、以及投影显示，输入设备能够在笔尖处向用户提供最新信息。例如，可把对天气预报的请求嵌入于或打印于打印出的纸上。输入设备可对请求解码，SPOT可根据用户的当前位置获得天气预报。输入设备可利用投影显示在纸上显示信息。类似地，可在笔尖处向用户提供诸如股票报价、体育、新闻、娱乐信息，如电影时间、电视播放时间等之类的各种信息。
虽然上述说明和附图利用具体的组件描述了实施例，但是额外的组件和/或去除任一组件都包含于本发明的范围内。类似地，可进行对各种组件在输入设备结构中的重新定位，而不会影响摄像机或惯性传感器检测笔的移动和产生电子墨水的精确性。例如，图像传感器可被用于检测输入设备在其上移动的表面或对象的特性的感测设备所替代或补充。从而，如果迷宫图形成在对象的表面，从而，可根据可见光谱外的能量辐射、发射到对象的这些能量的反射或其它感测技术来检测图。可检测和使用对表面的任何特性的感测，以确定输入设备在对象的表面上的位置和/或移动。作为另一个例子，可采用话筒感测系统，使得话筒检测输入设备定位的对象的声音反射或发射。
上述说明和描述的说明性的实施例已经描述了输入设备以笔形实现。然而，本发明的诸方面适用于任何形状和尺寸的输入设备。
使用这种输入设备应能够使得在任何位置进行个人计算。从而，装备有所描述的输入设备的用户可生成或编辑数据文件，而不管他们在哪里。可在办公室、教室、酒店、在行进中、甚至在海滩上，产生、编辑或记录文档和其它信息。
如所述，输入设备可包括适当的显示器。可选地，主计算设备的显示器可用于回顾所创建的文档和图像。用户可选择在输入信息(如文本)之前或之后对文档进行格式化，或可回顾文档和对文档的格式作出改变。观看这种显示器上创建的图像，在上述例子的上下文环境中，用户可在适当的位置插入包含其地址的标头。
虽然使用附属的权利要求来定义本发明，但是这些权利要求仅仅是说明性的，本发明可以任何的组合或子组合的方式包含这里所描述的元件和步骤。因此，存在任何数量的替代组合用于定义本发明，这些组合以各种组合或子组合的方式结合了包含说明书、权利要求书以及附图的说明书中的一个或多个元件。本领域的技术人员将理解，根据本说明书，本发明的诸方面的替代组合，单独地或与这里所定义的一个或多个元件或步骤的组合，可用作对本发明的修改或改变，或作为本发明的一部分。可以理解，这里所包含的本发明的书面描述覆盖了所有这种修改和改变。例如，在各种实施例中，已经示出了数据的某种顺序。然而，数据的任何排序都包含于本发明内。并且，在使用诸如大小(如以字节或比特为单位)之类的特性的某些单位的情况下，任何其它单位也是可预见到的。