全方位成像和传递的方法及其系统 本发明提供了一系列全方位成像和传递的方法，以及实现这一方法的装置系统。所谓“全方位成像系统”，是指能捕捉涵盖整个半球(也就是180度空间角度)视场图像的系统，同时没有机械移动部件。这种系统与传递网络连接并增加适应信息传递需要的相关设备，即形成全方位成像和传递系统。
在传统的光学领域，技术人员曾经尝试过许多方法要获取宽视场，包括常规照相机、鱼眼镜、多相机系统或旋转成像系统等多种宽视场成像系统，但几乎都不能产生三维全方位图像。现有的数字成像系统使用电子传感芯片，模拟成像系统使用静态摄影胶片，但两者都是由光学镜头系统记录图像。大多数照相机镜头图像投影可以看作单一中心投影的针孔，由于照相机镜头的尺寸和所用的传感器本身都有局限，他们收集到的光线一般形成角度非常小的圆锥，常规照相机的视场在5-50度范围。比如，装在1/2英寸电荷耦合芯片上，一个8.5mm，焦距1.3的镜头视场只有41.2度。光学工程师们设计过几种版本的大广角透镜系统，叫鱼眼镜(见图1，2)。鱼眼镜的特征在于焦距非常短，用它代替普通照相机镜头，能使照相机捕捉到大角度几乎180度半球内地物体。一般来说，视场越大，鱼眼镜的设计越复杂。为获得半球宽的视场，鱼眼镜的直径必须很大，结构复杂，因此价格昂贵。同时，设计一个能符合单一视点约束的鱼眼镜也很困难。单一视点是指所有入射光交于一点形成固定的视点。这对于市场所售的鱼眼镜来讲，的确是个问题，包括Nikon 8mm，f/2.8镜头。尽管鱼眼镜获得的图像对于某些应用已足够，但它的失真补偿没得到解决，另外昂贵的价格仍是广泛运用的障碍。鱼眼镜技术的优点在于采用确定位置不变的照相机获取大视角。其缺点是：视场图像的圆形边界通常是在地面附近，对于大多数图象系统来说，这正是需要高分辨率的地方；但是，半球型光学镜头的球面像差的非线性特征却使图像的圆形边界附近的分辨率很差，因此无法满足实际工作的需要。多相机系统是使用多部相机同时捕捉宽视场内的物体，每一点指向不同方向，可以用多个图象合成出一个完整的全方位图象。但合成无缝的图像依然相当复杂，因为每个相机有不同的投影中心。这样一个系统通常花费很高。另外一种增大视场的简单方法是围绕投影中心旋转整个摄像系统(图1)，即旋转成像系统，相机在不同位置摄到的图像按次序缝合，以获取全景图像。最近有多位研究者提出这种方法。旋转成像系统的缺点首先在于需要使用可移动部件和精确的定位装置。更突出的缺点是：该系统获取整个图象需要一个时间跨度，尽管系统能得到在全方位视场精确的方位信息，但处理过程很花时间，即该系统没有在瞬间同时获取整个宽视场图像的能力，因此不适合实时实地解决诸如避免移动障碍物的碰撞等问题。这些不足限制了旋转成像系统只能用于静态，非实时的应用。图2所示为全方位照相机、全景照相机和常规照相机的视场比较。我们可以看到，全景照相机仍然不是全方位的，它只提供在某一时间瞬间一个宽角度的视场，而不是在所有方向。所谓“全方位图像”，是指同时涵盖整个半球(180度空间)视场的图像。在现有技术中尚没有能满足这种要求的技术方案或装置。
本发明主要目的在于提供一个有效的全方位图像处理方法和装置，根据由全方位图像传感器得到的实时全方位图像，获取实时不变形的透视和全景图像及录像。本发明的全方位照相机，能实时捕捉全方位图像而不需可移动部件。在此运用映射矩阵定义用户定义的透视或全景视窗上的象素和原始的全方位图源象素位置之间一一对应的关系，取代了以前解复杂的高次非线性方程的运算，不变形图像的计算以视频速率(比如每秒30幅)实时进行。映射矩阵方案便利了全方位图像运算的硬件执行。另外，我们还将讨论一个使用全方位系列图像实现变化/运动检测的方法，取代常规需要不变形图源变化/运动检测的方法，我们提出直接使用变形的全方位图源。一旦在全方位图像上检测到变化，透视视窗的方向和配置参数如变焦(Zoom)，平场(Pan)及倾斜角(Tilt)，可自动检测到变化，并报警提醒操作人员注意。将本发明用于电话会议时，为了满足电话会议的需要，有必要确定会议中的讲话人并将照相机焦点对准讲话人。将麦克风排列与全方位图像传感器结合，由声音定向的视窗根据由麦克风排列检测到的声音信号自动调节透视视窗对准会议中的讲话人。另一个呈现于此的重要技术是根据遥控监测和监视实现全方位图像传递方法。在此呈现的全方位成像方法和装置，可以解决许多需要360度视角和三维测量才能解决的实际问题。呈现于此的是实时全方位图像处理系统，以及用声音定向的自动视窗选择方法，同时介绍通过Internet和全方位传感器实现远程监控和监视的系统结构。在此呈现的全方位成像方法和装置为需要同时在360度范围监视的很多实际问题提供了独特的解决办法。
图1.展示常规照相机、全景照相机和全方位照相机视场比较。
图2.所示为全方位成像系统和基于Internet的图像传输方案。
图3.举例说明全方位成像的反射凸镜。注意：这些凸镜不满足单一视点的约束条件，即反射光线的延长线不相交于同一点，也就是说，实际视点应光线撞击镜面的位置而不同。
图4.由OMNI镜获得的全方位图像：放置在C位置上的视频照相机能从虚拟的单一视点，反射镜焦心O“看到”整个半球的视场。
图5.建立映射矩阵MAP，将用户定义的透视视窗上每个象素点W(p，q)与全方位图像的象素值I(i，j)联系起来，W的设置由Zoom，Pan和Tilt参数(d，..)定义。
图6.透视视窗配置参数的定义：Zoom定义为从OMNI镜焦点d至W平面的距离；Pan定义为x轴和X-Y平面上法线的投影的夹角；Tilt为X-Y平面与W平面法线向量的夹角。
图7.方框图所示为建立映射矩阵，将变形的全方位图像转变为不变形透视视窗过程。
图8.方框图所示为使用映射矩阵显示透视视窗，实时图像处理的过程。
图9.建立映射矩阵MAP，将用户定义的全景视窗上每个象素点W(p，q)与相应的全方位图像的象素值I(i，j)联系起来。W的配置由Zoom和Tilt参数(d，β)决定。
图10.线性象素插值法图解。
图11.通过下线或上线处理，建立映射矩阵。
图12.使用全方位图像，变化/运动检测方案的方框图。
图13.可疑区域方向计算，并代入到透视视窗参数里，使视窗自动聚焦到可疑区域。
图14.声音定向的OmniEye照相机图解。
图15.计算向量和，以确定讲话人方位。
图16.在全方位成像系统中以声音方向定透视视窗的方框图。
图17.连接Omni网与Internet通讯服务器的结构图。
图18.Omni网服务器布局。
图19.服务器程序流程图。
图20.数据包格式定义。
图21.图示本发明双向传送的特点。
本发明提供的技术方案是基于以下光学原理：在常规照相机前面的某一位置放置凸面反射镜，可以大幅度地增加它的视场。视频照相机由于使用设计完美的表面形状，反射表面的视场大大增加。本发明为进一步增加其视场，在成像系统的前方增加了反射表面(如凸面反射镜)。汽车的后视镜是日常生活中加大驾驶员视场的普通一例。用于产生全方位视场的凸面镜有几种表面外形。图3列出三种：圆锥镜、球镜和抛物面镜。这些凸面镜的光学几何学提供了一个简单有效的方法，在不使用任何移动部件的情况下，改变视频照相机的平面视图，使其成为在这些反射镜的垂直轴线周围的全方位视图。乍眼一看，似乎所有凸镜都能得到全方位图像。事实并非如此。回顾图像形成的基本原理，我们知道图像是亮度(或颜色)的两维形式。一幅令人满意的图像必须满足以下两个基本特征：
(1)几何对应性：图像中的象素和物体上的点一一对应。
(2)单一视点约束：图像中每个象素对应来自成像平面上的那个象素通过针孔(单一视点)特定方向的视线。
请注意到这点，尽管图3中所列的凸面镜能大大增加视场，并证实用于某些监视场合已足够，但他们并不是理想的摄像装置。这些反射表面不能满足单一视点(SVC)的约束。对于高质量的全方位成像系统，进入全方位成像镜头的所有光线应有单一视点。本发明提供以下符合单一视点凸面反射镜的设计，我们将讨论满足单一视点约束的理想凸面镜表面形状：由镜面反射的光线的延长线必须通过单一视点(虚点)。我们将此反射镜命名为全视镜，或称为OMNI镜。首先我们要定义一些必要的符号和术语。如图4所示，我们使用最新上市的视频照相机，带一个普通镜头，其视场覆盖整个OMNI镜表面。因为照相机和镜头沿旋转轴对称，我们只需决定截面函数z(r)，该函数定义镜面的截面形状。OMNI镜的作用是反射所有来自视频照相机视觉中心(焦点，标注C)至视场内物体表面的视线。反射关键的特征在所有反射光线朝虚拟的单一视点，在镜子的焦心(标注O)必须有投影面。用另一句话说，反射镜应有效控制视线使照相机从单一视点O等效地看到物体。我们选择双曲面作为理想的OMNI镜外形(其中的优化方案为抛物面镜)。众所周知，双曲线的一个特征是：来自一个焦点的光线由双曲线反射，其延长线通过另一个焦点。如果我们选双曲面作为OMNI镜，如图4所示，把一个视频照相机放在焦点C，摄像系统在另一个焦点O形成单一视点，就如将照相机放在虚拟的O点。描述双曲面形状OMNI镜的数学方程是：(z+c)2b2-r2a2=1,--------------(1)]]>式中c=a2+b2,f=2c,]]>OMNI镜与众不同的特征是：不管投影点M落在镜面何处，CCD相机接收到的入射光的延长线总是通过单一视点O。为便于实时处理全方位图像，本发明使用了实时全方位图像处理的运算法则：一旦透视或全景视窗配置决定，从变形的全方位图像象素直接映射成透视视窗。透视视窗：如图5所示，一个假想的透视视窗可由用户在三维空间使用三个参数：Zoom，Pan和Tilt(d，..)任意定义，这些参数的定义和图解见图6。除了Zoom，Pan和Tilt(d，..)这几个参数外，用户还可调整在透视视窗显示的象素数组(如象素数)的维数。一旦透视视窗W确定，我们就可以把在不变形透视视窗内的象素点W(p，q)与在变形全方位图像上相应的象素位置I(i，j)建立一个映射矩阵。由于这种一一对应的关系，把变形的全方位图像转变为不变形图像，这种方法有其独到之处。图7所示为建立映射矩阵的方框图。用户在三维空间任意定义一个透视视窗，表示为W，只要满足视窗平面的法线应指向反射镜的焦心这一约束，如图5所示。定义为Zoom，Pan和Tilt(d，..)的三个参数用于指定透视视窗的配置。这些参数便于满足用户需要理想视图的宽范围选择。一旦这些参数确定，根据成像系统固定的几何关系，生成映射矩阵。首先，在OMNI镜之上W平面里每个象素的投影可以使用直接的光线追踪法：从W平面象素位置W(p，q)到OMNI镜焦心O的直线，交于镜面一点，记为M(p，q)(见图5)，点M(p，q)再投影至图像传感器焦点。使用“针孔”模型，从M(p，q)到点C的投影线截图像平面I于象素位置I(i，j)。于是，一一对应的关系就此建立：
W(p，q)←I(i，j)，这样，对透视视窗W上每个象素，在全方位图像相应于W(p，q)有唯一的象素位置，它的象素值(如RGB)可用于视窗中对应的象素。表示为MAP的映射矩阵建立起来，它的维数与在W视窗象素的维数相同。MAP每个单元存储在全方位图像I上对应象素的2个指数值(i，j)。建立映射矩阵MAP后，实时图像处理的任务就大大简化了。图8为实时全方位图像的获得和处理的流程图。每次获得全方位图像，完成查找图表运算，生成不变形图像显示在透视视窗上。全景视窗图像处理过程与我们前面讨论的透视视窗图像处理非常相似。如图9所示，全景视窗由用户使用三个参数在三维空间任意定义，这三个参数是：Zoom、Pan和Tilt(d，..)，视窗平面的法线指向反射镜的焦心。除了Zoom、Pan和Tilt(d，..)，用户还能调节显示在透视视窗上象素数组的维数。一旦这些参数确定，根据成像系统固定的几何关系，可以生成一个映射矩阵。首先，在OMNI镜表面上的W平面每个象素的投影，使用直接的光线追踪法则：从W面上象素位置记作点W(p，q)至OMNI镜焦心的直线，该直线交OMNI镜面于点M(p，q)(见图9)。点M(p，q)在投影到图像传感器的焦点。使用“针孔”模型，从M(p，q)到C的投影线交图像平面I于象素位置I(i，j)。于是，一一对应的关系就此建立：
W(p，q)←I(i，j)，
这样，对透视视窗W上每个象素，在全方位图像相应于W(p，q)有唯一的象素位置，它的象素值(如RGB)可用于视窗中对应的象素。表示为MAP的映射矩阵建立起来，它的维数与在W视窗象素的维数相同。MAP每个单元储存在全方位图像I上对应象素的2个指数值(i，j)。建立映射矩阵MAP后，实时图像处理的任务就大大简化了。每次获得全方位图像，完成查找图表运算，生成不变形图像显示在透视视窗上。象素值的插入：由于OmniEye系统W(p，q)和I(i，j)之间非线性的几何关系，反射点M(p，q)后投影的交点可能不是正好在图像平面的任何象素位置。在这种情况下，我们有几种方法获得W(p，q)的象素值：
(1)使用在图像平面I最邻近点的象素值而不需任何插入法。例如，计算出的坐标值为(12.315，26.876)，那么，将坐标值整数化
INT(12.315，26.876)＝(12，27)象素值I(12，27)即作为W(p，q)的象素值。这种方法是获得象素值最快捷的方法，但它存在内在的取整时出现的误差。
(2)使用插入法解决小数坐标的象素值。假定(i0，j0)落在(i，j)，(i，j＋1)，(i＋1，j)，和(i＋1，j＋1)格子里，相应的W(p，q)象素值可从以下公式(见图10)得到：
W(p，q)＝(j0－j)·[(i0－i)·I(i，j)＋(i＋1－i0)·I(i＋1，j)]
＋(j＋1－j0)·[(i0－i)·I(i，j＋1)＋(i＋1－i0)·I(i＋1，j＋1)]
(3)使用另外几种插入法，如平均法、二次插入法、样条法等，保证转变后图像的精度。使用IC芯片实现运算法则：我们简化全方位图像处理的运算法则，减少了解高次非线性方程的复杂运算，以查找图表函数取而代之。使用IC芯片可以很方便实现这种运算。图11展示了在电子硬件上实现运算的方框图。首先，参数空间需要分成有限数的组态。在透视视窗情况下，参数空间是三维的。在全景视窗，参数空间是二维的。对在参数空间每一可能组态，预计算出映射矩阵。映射矩阵可用以下格式储存：所有可能的映射矩阵预先储存在一系列存储芯片(如图2中“显示/记忆/本地控制逻辑模块”)，可以很容易获取并调用。一旦用户选择了视窗配置，即找到储存中的MAP矩阵，用于计算视窗的图像：式中I是全方位图像。“显示/记忆/本地控制逻辑模块”设计有内置存储器、图像显示、用户界面和自含操作结构，无需依赖其他的计算机。使用全方位图像检测运动：本发明同时还根据帧减检测物体的改变/运动。这个特点在安全系统中尤其有意义。方案的创新在于直接在帧减时使用连续的全方位图像，而不是使用转化后的透视图像。我们把连续的全方位图像记作I1，I2，…，In。在发挥安全监测或区域监督的功能时，我们定义最先得到的一幅为参照帧，记作I0，储存起来。对每一幅连续的图像Ii，作帧减运算：
DIFF＝I0－Ii这里使用过滤器运算排除可能会造成错误报警的峰值，如果余量图像任一元素“DIFF”都大于预先设定的下限值，比如，探测到侵入者，引发报警信号，把小范围邻近的可疑象素点转变为不变形的透视图像，从图像表面上检查状况。图12展示使用全方位图像检测变化/运动方案的方框图。在变化/运动检测中，使用全方位图像非常有效，因为它包含光学上压缩的环境图像，监控下的整个区域在一次操作里就可以检查到。
自动ZPT(Zoom，Pan，Tilt)
可疑区域的方向可由计算得出，供给透视视窗的参数，这样，视窗自动聚焦到可疑区域。自动聚焦的过程可描述如下(见图13)：(1)在全方位图像中确定可疑区域的中心，可通过计算可疑象素的重心确定：i0=Σi=1NiiN,j0=Σi=1NjiN,]]>(2)使用照相机传感器“针孔”模型追踪源自照相机焦点的投影光线在OMNI镜上撞击点，通过中心象素(i0，j0)，镜面上的撞击点记为M0。(3)使用源自OMNI镜焦心并通过撞击点M0的投影光确定透视视窗的法线，法线向量定义透视视窗的Pan和Tilt参数。(4)使用同样的光线追踪法，根据可疑象素组的边界确定缩放因子。
声音定向的透视视窗：根据检测到的讲话人，结合定向的麦克风，从而调节透视视窗的视窗方向。此项功能在电话会议上有其独到的应用。简单地说，定向的麦克风是在空间分布的麦克风组，声源传到每个麦克风强度和所化的时间不同。根据麦克风接收到声音信号的不同，声源的空间方向就可以估算出来，估算出来的声音方向用于控制任一透视视窗的视窗方向。图14为在OmniEye传感器上连接的麦克风组，数个麦克风放置在图像单元的外围。我们把第kth麦克风检测到的音响信号记作sk，k＝1，2，…n，讲话人的方向根据所有探测到的音响信号的矢量和确定：V=s1vω1+s2vω2+s3vω3+Λ+snvωn]]>
图15为计算矢量和过程的示意。声音传感器可装在全方位照相机内，也可分开。方向估测信号需输送到主计算机，使全方位照相机的软件可在实际操作中运用。Internet传输全方位图像：我们开发了一个基于Internet传输全方位图像系统的版本。我们称之为Omni网。系统结构：本发明使用一个服务器为Omni网用户提供信息传输服务。服务器的使用简化了交通控制，减少整个网络的负荷。尽管网桥或路由器等器件可提供自动数据传递但它因为不能减少交通负荷，不能和传输服务器起同样的作用。Omni网在医学运用方面作用尤其明显。病人传输图像或数据给医生或在Internet上的其他医务机构。没有服务器，每个病人必须明白把他/她的数据送到哪里，而且要分别送到几位专家手中。借助于服务器，病人只需把数据包及地址簿传递到服务器，服务器会帮病人分发。这样，不仅网络的交通负荷减少了，操作也更简便。系统图示请见图17。主机和本地/遥控监视站都是低成本可上Internet网的计算机。某些监视中心同时也连接在本地网(LAN)上。服务器是带Windows 2000或NT操作系统的PIII计算机，上网速度很快，也可兼作监视中心。图18示意Omni网服务器的布局。服务器用户机包括病人、远距离医学使用者和开业者、医学信息视觉系统、数据库、档案和检索系统。服务器基本功能是在用户之间管理通讯，如接收、传送、分发医学信号和记录、控制信息交流的方向、优先权、流速等。从用户的眼光看，他/她只需传送到服务器和/或从服务器接收数据，就能与指定的人或机构联系。Socket程序根据Omni网服务器结构，服务器传送协议应包括界面连接和数据包。我们建议采用的服务器连接协议是连接Internet应用层的socket界面，网络设计是星型布局的服务器/客户机结构。客户机/服务器通讯应用程序任务应包括两个组成部分：服务器程序和客户机程序。远距离监测应用需要服务器程序能为不同的客户提供服务，如：病人、医学专家、急症和存储装置。为有效使用服务器，客户机程序应提供合适的界面与服务器协同工作。考虑到这些要求，服务器程序的结构和客户机程序的界面功能在这里解密。使用面向对象编程概念，服务器程序由监听-socket类的对象和客户-socket类的许多对象组成。图19是服务器程序的流程图。不管何时，用户打电话给服务器，监听-socket类对象接电话，创立一个客户-socket类对象，保持与客户的连接并应客户需要提供服务。当客户-socket类从客户机那里接到数据包，它会编译并应客户要求，重新设置通信状态，将数据包传递到别的客户。除了面向对象的功能，服务器也在客户机中间管理通信量。服务器编制表格，储存所有客户socket程序的通信信息，包括：连接状态、客户名、组名、接收居住位、网桥状态和网桥拥有者。服务器也能提供简单的数据库处理。如果有客户提供的数据库，服务器会传送客户的需求，并把数据传送回客户。为服务器传送或分发信息给正确的客户，需定义一个特殊的数据包格式，如图20所示。这个格式包括客户地址、方向信息，数据长度和传送的数据。软件用C++和JAVA编写。操作系统是Windows 98 or NT。Internet图像传输：视频信号和图像通过Internet传输。远距离监测的某些应用不需要图像传输的视频速度。事实上，在几秒中传输一帧图像的速度在大多数情况下，是可以接受的。因此，高分辨率的图像(某些有损和无损的压缩方式，如zip，tiff，mpeg，或jpg)可以直接用于传输。双向通讯：本发明另一方面的特征是在全方位成像系统和遥控观测者之间提供双向通讯。这一特征对于如保安应用尤其实用。全方位成像系统将讲话人和麦克风如同照相机和凸透镜至于相同位置。音频信号通过无线或有线系统如网络传输，用户能在看到全方位图像的同时听到拍摄图像地点发出的声音。图21示意在远程监测地和全方位照相机之间携带音频信号的传输电缆的配备。在远程显示设备上的麦克风在从用户到在全方位照相机系统当地的讲话人之间传送音频信号。这样，用户在远程监测地讲话，照相系统能听到讲话声音。如果远程用户通过Internet监测全方位照相机系统的输出，提供双向音频传输的网络可以是Internet。换句话说，照相机系统和远程监测地之间的音频通讯可以是单向传输，包括由某些应用规定。如用户只希望听到照相机系统当地的声音(又不能被听到)，照相机系统可能与麦克风结合而不是与讲话人。麦克风的输出传输到远程监测地，使用户听到声音。
实施例1：在带有一个普通镜头的视频照相机前设置有双曲面的OMNI反射镜，照相机视场覆盖整个OMNI镜表面，照相机和OMNI镜头沿旋转轴对称。OMNI镜的作用是反射所有来自视频照相机视觉中心(焦点，标注C)至视场内物体表面的视线。反射关键的特征在所有反射光线朝虚拟的单一视点，在镜子的焦心(标注O)必须有投影面。即反射镜应有效控制视线使照相机从单一视点O等效地看到物体。照相机的输出接计算机，定向的麦克风(在空间分布的麦克风组)同时接计算机。计算机根据麦克风接收到声音信号的不同，估算出声源的空间方向，并将其用于控制任一透视视窗的视窗方向。服务器是带Windows 2000或NT操作系统的P III计算机，连接Internet网，并兼作监视中心。视频信号和图像通过Internet传输。其工作包括以下步骤：
利用满足单一视点约束的反射镜照明图象传感器，获取广视角图像，包括用户所需的透视视窗，
通过确定笛卡尔坐标系配置参数，定义用户可选择视窗，配置参数包括：zoom，缩放距离定义为从所说的反射镜焦点到视窗的距离，pan，摇镜头角定义为x轴与通过反射镜焦点的直线垂直于X-Y平面，和tilt，倾斜角为X-Y平面与视窗法线矢量的夹角，
定义反射镜和图像传感器组的预先确定的几何关系，
利用上述所描述的参数，映射透视视窗每个象素与相应的在图像传感器平面象素值。
实施例2：采用两个全方位照相机组成一个全方位立体照相机，两个OMNI镜对面放置，其光轴成一线。虚拟成像中心O1和O2相距B，B形成立体视觉的基线。