目标的三维观测方法和装置 本发明涉及通过光学检取(pick-up)、投影图案和三角测量计算对目标进行三维观测的方法，其中，作图案投影的装置和作图象检取的装置是相互分别构造的并能够被相互独立地定位以进行观测。
本发明还涉及这种方法的装置。
为了进行观测，根据光学原理工作的方法具有大量的好处。能够迅速而非接触地进行观测。现有技术包括电子图象转换器(例如，CCD阵列)，在对它的输出信号进行数字化之后，能够直接对其进行存储或估算。
用于对空间表面的表示和三维光学观测的方法和装置是已知的。它们根据三角测量方法，其中，把点、线或任何其他图案以特定的角度投影在被观测表面上，并且从一个不同于投影角的观测角用光学系统和图象转换器来检取投影图案。投影方向与检取方向之间的已知几何关系允许对该表面的内插点进行三维计算。
例如，如果把规则的线状图案投影在具有空间广度的目标上，当观测方向与投影方向不同时，由于目标地表面形状而产生一个畸变的线状图案。如果用一个合适的光学系统从这个观测方向使这个目标成象在CCD阵列上，并且如果图象信号被数字化并可提供给一个数据处理单元，则可以对图象中不同位置处的线段加以识别，而当光束路径已知，并且考虑投影线状图案的几何结构时，可以通过三角测量来计算3D坐标。
当采取不同的检取方向对几个单个图象进行检取时，从现有技术已知，通过所谓的“匹配算法”，利用相应表面部分的3D坐标，可以把有关三维表面的所获部分数据组合成总体数据。
例如，对于内窥镜检查，现在需要：
a)采用单独的图案投影单元和图象检取单元，采用它们相对于被观测表面自由可选择的对准。为了获得与三角测量计算相关的数据，两个单元之间的对准不得低于最低限度；
b)当对单个图象的序列进行检取时，在检取过程期间，为了简化处理，例如，为了通过对附加图象的检取能够观测进一步的表面区域，相互独立地改变两个单元相对于目标的位置和对准。
因此，本发明的目的是提供一种引言中所描述类型的目标的三维观测方法和装置，其中能够确定检取单元和投影单元彼此之间相对位置和取向，在一个以上图象的检取是有益的情况中，在检取过程期间能够跟踪两个单元彼此之间相对独立移动。为了三角测量计算，对于各个单个图象则必须考虑到图象检取与图案投影之间所确定的几何相关关系。
相对于该方法，本发明的目的可以达到，其中利用：
a)平面电子图象转换器，进行检取过程；
b)光束源和合适的光学装置，以不同于检取方向的角度将图案投影在被观测目标上；
c)合适的单元，对图象转换器的输出信号进行数字化并把这些数据提供给数据处理系统；
d)数据处理系统，利用合适的电路和/或算法，通过三角测量计算从单个图象的图象数据能够确定被观测目标的表面上点的3D坐标；
以能够确定检取单元与投影单元彼此之间相对位置和对准的这样方式提供进一步的装置和/或以能够确定检取单元与投影单元彼此之间相对位置和对准的这样方法构成所用的方法和/或装置。如果对于单个图象，检取单元与投影单元彼此之间相对的位置和对准是已知的，那么，通过三角测量计算以已知的方式能够确定表面上若干个点的3D坐标。
为此，根据本发明为了测量检取单元与投影单元彼此之间相对的位置和对准采用附加装置是有利的。
根据本发明，这最好是能够直接和间接地、与测量装置接触或连接地和非接触地(例如以光学方式)进行。
如果现在除了从单个图象获取的数据外还必须确定有关目标的附加数据，检取单元必须能够对单个图象的序列进行检取。对于本发明的目标，在检取过程期间使投影单元和检取单元作不同的移动，根据本发明，最好是必须这样形成装置和/或方法，即对于接下来的图象也能够确定检取单元与投影单元彼此之间相对的几何排列。
根据本发明最好能够保证在进行附加图象检取时也能对上述测量装置进行评价，并以所述的方式在三角测量计算中计入测量结果。
在单个图象序列的情况中，这样对目标进行检取，即由单个图象所确定的3D坐标描述大量的相应表面部分，如上所述通过现有技术中所称的“匹配算法”能够将各个3D数据组合。
如果单个图象的检取是快速接连地发生的，那么，通过对两个单元作适当处置可以假设，首先，相应表面部分的数目是足够多，其次，同以前的图象检取相比，检取单元与投影单元直接相互相对的几何相关关系仅作适中变化。
因此，如果两个单元的相关关系是已知的，例如在第一次检取的情况中，以及如果能够计算描述表面的大量的3D坐标，那么，在下列组成中下一次检取所包含的数据是不同的：
a)能够在三维空间中以线性方式的偏移对相应表面部分的3D坐标进行成象；
b)能够以相对于三维空间旋转偏移对相应表面部分的3D坐标进行成象；
c)能够以三维空间中直线方式相互相对地改变检取单元和投影单元彼此之间相对的相对位置；
d)能够以相对于三维空间的旋转改变检取单元和投影单元彼此之间相对的相对位置。
在下文中，为了统一描述，也将这些变化的可能性称为“自由度”
在现有技术中，在图形数据处理领域中，匹配算法是已知的，该算法从3D坐标的不同数据集合中形成将被指定为相应表面部分的这些数据割集(cut set)以及改变并优选以前列出的可能变化a)和b)，从而使两个数据集合的各个3D数据的割集相互最佳拟合，计入相应的位移和旋转。这一条件是指以前列出的变化c)和d)是已知的。
对于数字数学，系统地改变有限个数的自由度并计入一个或多个质量标准使它们最佳化的算法是已知的。然而，有系统偏差，计算的复杂性随自由度的增加而指数增大。
从仿生学递归步进方法是已知的，与术语“渐进策略(evolution strategy)”相结合，在待估算的大量数据基本相似的条件下通过自由度的随机变化和各个最佳变量的逐步选择，该递归步进方法会惊人地快速向最佳解逼近。
在这种情况中，根据本发明，为实现本发明的目的采用扩展的匹配算法是有利的，以致于：
第一，在递归数字过程中，首先，通过以前所述的自由度c)和d)的随机变化重复地形成所谓的“子孙(child)”变量，
第二，对于每个子孙变量，在以已知的方式，考虑到已作出的假设，通过三角测量从自由度c)和d)的图象数据计算3D数据集合，
第三，对于每个子孙变量，在以已知方式从3D坐标的不同数据集合中的匹配计算中，能够形成由被分配给匹配表面部分的这些数据组成的割集，这样改变和优化以前列出的自由度a)和b)，使得由两个数据集合的各个3D数据形成的割集能够进行一个到另一个的变换，对相对于自由度a)和b)分别选择的几何变化作出最佳考虑。
第四，从子孙变量，在渐进的意义上，从描述同一表面部分的两个数据集合中选择一个，它具有相对于数据对应关系的最大可获得质量，
第五，按照所述的渐进策略，从已作出的假设出发，对于以前所选最好子孙变量的自由度c)和d)，再次降低对自由度c)和d)的限制，在不同的变量中，关于再次随机改变下一代新子孙，以及根据上述五点-第一至第五的递归过程，直至自由度c)和d)的变化极限和相对于每一轮通过中所获最高质量的发生率之间的差别变得足够小为止。
结果，所需的全部数据已知具有足够高的准确度。
根据本发明，使形成的投影图案的装置和检取图象的装置在第一单个图象检取期间将它们牢固地连接在一起并处于限定的位置和取向上，这是有利的。在进一步的图象检取过程中，可以松开连接，由此允许它们作相互独立移动。然后，利用上述的扩展匹配算法能够为每一次新图象检取计算目标的另外的三维观测值并按照如上所述将其组合为总体数据。
另外，根据本发明，测量投影单元与检取单元彼此之间相对的几何排列是有利的，其中将所用的图案既投影在目标上又投影在图象检取单元上，在与图象检取单元牢固连接的限定表面上产生的图案由图象转换器的表面进行检取。在这个意义上，图象转换器能够用其广视场的一部分检取目标而用另一部分检取投影在图象检取单元自身上的图案。
在对图象数据进行估算时，根据本发明通过三角测量从投影在图象检取单元的表面(例如为平面和无光泽屏幕的形式)上的图象的畸变中首先计算两个单元彼此之间相对的几何排列，然后考虑到两个单元彼此之间相对的相关关系，以上述方式在空间范围中观测目标是有利的。
从本申请人于1996年12月9日提交的德国专利申请“提高目标三维观测的显著性的方法”中已知一种方法，其中，为了避免三角测量计算中的偏差将编码图案投影在目标上。
根据本发明，采用这样的编码图案确定投影单元与检取单元彼此之间相对的相关性是特别有利的。
本申请人在德国专利申请196,36354.3中揭示了一种方法和装置，其中利用随图象转换器的图象刷新率同步地设定的光学装置，能够对光束路径进行切换，交替地变为敏感或不敏感。
根据本发明，对检取单元的观测方向进行切换是特别有利的，在这个意义上，例如，通过两个在区域上工作的并被安排在例如分束器的两个光轴上的LCD单元，随图象转换器的图象刷新率，交替地在光学透明与不透明之间变化。其优点在于，为了确定投影单元相对于检取单元的几何关系，图象转换器的视场以及因此对目标进行成象时的分辨率不必被减小。
根据本发明，在投影单元上另外安排把例如不同图案投影在图象检取单元上的进一步的光学装置有利的。
作为与检取单元牢固耦合的上述表面的一种替代，根据本发明，最好能够把图案投影在具有已知空间广度的分别安排的表面上，以确定检取单元与投影单元彼此之间相对的关系，以及成象在检取单元的图象转换器上。
较佳地，根据本发明，能够安排第二个检取单元，以确定检取单元与投影单元彼此之间相对的关系。
本发明中所描述的方法和装置的所有结构能够以本发明的多种不同途径相互组合是特别有利的。
通过这里所述的特征，引言中所描述类型的目标三维观测装置能够实现本发明的目的：
a)采用至少一个广视场的电子图象转换器，它采用适合于对图象进行检取的光学系统；
b)采用至少一个装置，该装置影响上述至少一个图象转换器的输出信号的数字化并使这些数据提供给数据处理系统；
c)采用至少一个装置，该装置允许进行图案的投影；
d)对图案进行投影的装置和对图象进行检取的装置是相互独立分别构造的；
e)利用合适电路和/或算法的至少一个数据处理系统适合于按照三角测量方法计算3D坐标；
f)至少一个装置适合于确定投影单元与检取单元之间的几何结合。
在根据本发明装置的特别有利的实施例中，图象检取装置适合于对至少两个连续图象进行检取。
根据本发明装置的特别有利的实施例提供了能够存储来自至少两个单个图象的数据的装置。
根据本发明装置的特别有利的实施例提供了对至少两个单个图象的数据进行处理并能够利用合适的电路和/或算法将所述数据组合起来的装置。
从以下结合附图(图1、2、3和4)给出的对较佳实施例的描述中，本发明的进一步优点、特征和可能的应用将更加明显，其中：
图1示意性地示出投影单元与检取单元相互分开的检取装置的一个实施例，在这种情况中，为了在相对于投影和检取单元的限定几何条件下检取第一图象，借助于定位销将投影和检取单元耦合在一起。
图2示出图1所示的同一装置，然而，为了执行进一步的检取，未将它们耦合在一起。
图3示意性地示出投影单元与检取单元相互分开的检取装置的另一个实施例，其特征在于，同一个图案经投影单元的第二光束路径另外直接投影在检取单元的无光泽屏幕上，这是为了连续计算它们彼此之间相对的几何状况。
图4通过举例的方式示出编码图案的实施例。
不用说，为了简化对装置显要部件的描述，在图1、2和3所示的实施例中仅仅示意性地示出了投影和检取装置。此外，为了简化描述，对装置中属于现有技术的部件的实施例，如部件的连接或紧固的特定实施例的详细描述已经被分散。
在图1的实施例中，与投影单元的底座框架(2.3)牢固连接的有以下：光束源(2.7)、光学装置(2.4和2.6)和图案载体(2.5)。在这里所示的实施例中，光学装置是指能够照射目标表面的光束源(2.7)、聚光器(2.6)和能够在其上设置图案(刻蚀或者以载物片的形式)的图案载体。为了卫生方面的原因(为了灭菌起见)，载体(2.2)与底座框架(2.3)是可拆分式连接。载体(2.2)与底座框架(2.3)的连接是这样的，即在改变载体(2.2)后它准确地重新回到其预定几何位置(无需调节)。位于图案载体(2.5)上的图案通过光束偏转器(2.1)被投影在目标(1.1)上，进行检取。为了获得3D计算的相关数据，投影的线状图案以横穿三角测量角所固定的平面放置。
与检取单元的底座框架(3.3)牢固连接的有以下：光学装置(3.4)、电子图象转换器(3.5)和定位销(3.10)。为了卫生方面的原因(为了灭菌起见)，载体(3.2)与底座框架(3.3)是可拆分式连接。载体(3.2)与底座框架(3.3)的连接是这样的，即在改变载体(3.2)后它准确地重新回到其预定几何位置(无需调节)。电子图象转换器(3.5)是CCD阵列的形式，经电子连接(3.9)与控制单元(3.6)、A/D转换器(3.7)和数据处理单元(3.8)连接。被目标(1.1)反射的光束通过光学装置(3.4)(在本情况中为物镜)被成象在图象转换器(3.5)上。
为了执行第一次检取，借助于两个定位销(3.10)将投影和检取单元置于相互之间的限定位置上。由此已知的三角测量角度允许对被检取图象的3D坐标进行计算。
图2示出同一投影和检取单元，然而，在执行对同一目标一系列检取图象的第一次检取之后，处于未耦合的状态中。现在，能够对目标的另外区域的进一步图象和/或以不同的观测方向进行检取。由于检取频率高，例如在所示的实施例中为50Hz，其结果，在任何情况下，可以假设图象重叠的程度足够高，这就允许通过合适的匹配算法和数字方法对投影与检取单元彼此之间相对位置以及相对于目标的位置进行计算，它与以前的各次图象检取相比已经发生变化，因此，此外例如还允许对相关的各次三角测量角度进行计算。这就使得确定目标的3D坐标称为可能，而采用一次图象检取一直不能确定它们。
图3示出一个实施例，其中通过利用第二光束路径(非侵入地采用在装置部件外侧引导)把同一图案从投影单元投影到检取单元，在每一次图象检取时投影单元与检取单元之间的相互相对位置是已知的。采用这一实施例，通过分束器(2.8)时图案偏转90°并通过位于投影单元上的具有发散光束路径的透镜(2.9)投影到安排在检取单元上的无光泽屏幕(3.12)上。通过光束偏转器(3.11)使一部分图案所产生的图象偏转90°，进入检取单元的载体的光束路径中，从而将其成象在电子图象转换器(3.5)的半个广视场上。在数据处理单元(3.8)中通过合适的数字方法对图象的显著图案部分的估算，对于每一次图象检取，投影与检取单元的相对位置是已知的。采用这一实施例，同以上所述的情况相比，特别是对复杂目标，能够大大提高3D坐标所获得的准确度，通过对大量的图象检取的估算仅能计算目标的3D坐标。
图4通过举例的方式示出图案的一个实施例，由于每个同心要素(编码)的结构不同，通过它能够避免三角测量计算中的偏差。
本发明的特别有益的应用是在无损伤医学领域中。对于例如人体器官的光学三维确定，例如通过腹壁引入载体(2.3)和载体(3.2)的前端部分，通过激励附图中未示出的而在数据处理单元(3.8)的范围内能够提供的元件开始进行检取过程，其记录过程期间可以移动投影和检取单元，使得目标(1.1)的所有相关表面区域都逐步地被成象在图象转换器(3.5)上以及还通过线状图案的投影均等地确定它们。通过对上述激励元件的再次激励终止检取过程。
在一系列被检取的单个图象数据中，现在存在因目标(1.1)的表面形状引起的畸变的线状图案的图象。从线状图案的畸变中，具有光束路径的知识并考虑到相应单个图象检取的投影线状图案的几何结构，能够从大量的内插点计算3D坐标。从指定为单个图象的3D坐标的序列中，则能够以上述的方式对3D坐标进行组合，结果，尽管检取单元的投影面积和视场的限制，但是可以提供被检查的整个表面的3D坐标。在这种情况中，由于欠切割(undercut)，数据中间隙不再存在。通过对各个中间结果的在线计算和显示，此外，用户能够使检取装置的手工引导达到最佳。
对这里所述的实施例加以区别，尤其是：
a)在投影和检取单元中不采用移动部件；
b)光学组件具有简单结构；
c)除了载体(2.2和3.2)、底座框架(2.3和3.3)和对图案(2.5)进行投影的图案载体外，可以采用市场上供应的硬件元件。
从本申请人的德国专利申请19636354.3已知一种方法和装置，其中光学装置是以交替地把图案投影在被观测表面上的这种方法随图象转换器的图象刷新率同步地设定的，以及观测表面得到完全照射。
在本发明特别好的检取装置的结构中，在以上所述的意义中，设定和安排另外的装置，从而从一系列单个图象中能够获得被检测表面的3D数据和例如彩色视图二者。
参考表
1.1具有三维广度的目标
2．投影单元
2.1光束偏转器(反射镜)
2.2载体(在这种情况中为光学玻璃体的形式)
2.3底座框架
2.4光学装置(物镜)
2.5图案载体(带有刻蚀图案或例如载物片)
2.6光学装置(聚光器)
2.7光束源
2.8分束器
2.9光学装置(透镜)
3．检取单元
3.1光束偏转器(反射镜)
3.2载体(在这种情况中为光学玻璃体的形式)
3.3底座框架
3.4光学装置(物镜)
3.5电子图象转换器(CCD阵列)
3.6控制单元
3.7A/D转换器(帧接收器)
3.8数据处理单元
3.9电子连接
3.10定位销
3.11光束偏转器(偏转棱镜)
3.12无光泽屏幕