从单目内窥镜图像估计实时深度.pdf

上传人：e2

文档编号：1675955

上传时间：2018-07-03

格式：PDF

页数：11

大小：617.12KB

《从单目内窥镜图像估计实时深度.pdf》由会员分享，可在线阅读，更多相关《从单目内窥镜图像估计实时深度.pdf（11页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 102413756 A(43)申请公布日 2012.04.11CN102413756A*CN102413756A*(21)申请号 201080018543.6(22)申请日 2010.03.2561/173,722 2009.04.29 USA61B 1/04(2006.01)A61B 1/313(2006.01)A61B 19/00(2006.01)(71)申请人皇家飞利浦电子股份有限公司地址荷兰艾恩德霍芬(72)发明人 A波波维奇(74)专利代理机构永新专利商标代理有限公司 72002代理人王英刘炳胜(54) 发明名称从单目内窥镜图像估计实时深度(57) 摘要一。

2、种内窥镜手术方法涉及将内窥镜(20)推进到身体解剖区域内的目标位置；以及在将所述内窥镜(20)推进到所述目标位置时生成多个内窥镜视频帧(22)，内窥镜视频帧(22)示出了所述解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的深度)，该方法还涉及(S41)确定所述解剖区域单目内窥镜图像的帧时间系列内一个或多个像点的光流；以及(S42)根据所述像点的光流估计表示所述单目内窥镜图像内对象深度的景深。(30)优先权数据(85)PCT申请进入国家阶段日2011.10.27(86)PCT申请的申请数据PCT/IB2010/051316 2010.03。

3、.25(87)PCT申请的公布数据WO2010/125481 EN 2010.11.04(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 2 页说明书 4 页附图 4 页CN 102413769 A 1/2页21.一种微创手术系统(10)，包括：内窥镜(20)，其用于在将所述内窥镜(20)推进到身体解剖区域内的目标位置时生成多个内窥镜视频帧(22)，所述内窥镜视频帧(22)图示了所述解剖区域的单目内窥镜图像；以及内窥镜手术控制单元(30)，其与所述内窥镜(20)通信，以在将所述内窥镜(20)推进到所述目标位置时接收所述内窥镜视频帧(22)，其中，所述。

4、内窥镜手术控制单元(30)能够用于根据所述解剖区域的所述单目内窥镜图像的帧时间序列内的至少一个像点的光流来估计景深(36)，所述景深指示所述解剖区域的所述单目内窥镜图像内的对象的深度。2.根据权利要求1所述的微创手术系统(10)，其中，所述内窥镜手术控制单元(30)还能够用于生成表示景深估计的深度图显示(37)。3.根据权利要求1所述的微创手术系统(10)，其中，所述内窥镜手术控制单元(30)还能够用于根据所述景深估计将所述单目内窥镜图像与所述身体解剖区域的手术前图像配准。4.根据权利要求1所述的微创手术系统(10)，其中，所述内窥镜手术控制单元(30)还能够用于在手术前规划所述内窥镜(20)。

5、到达所述解剖区域内的所述目标位置的运动学路径(21)。5.根据权利要求1所述的微创手术系统(10)，其中，所述内窥镜手术控制单元(30)还能够用于在将所述内窥镜(20)推进到所述解剖区域内的所述目标位置时跟踪所述内窥镜(20)在所述解剖区域内的位置。6.根据权利要求5所述的微创手术系统(10)，其中，生成所述解剖区域的所述单目内窥镜图像的帧时间序列内的所述至少一个像点的所述光流包括跟踪所述内窥镜(20)在所述解剖区域内的位置。7.根据权利要求1所述的微创手术系统(10)，其中，所述内窥镜(20)是包括支气管窥镜和嵌套插管的组中的一个。8.一种内窥镜手术方法，包括：将内窥镜(20)推进到身体解剖。

6、区域内的目标位置；在将所述内窥镜(20)推进到所述目标位置时生成多个内窥镜视频帧(22)，所述内窥镜视频帧(22)图示了所述解剖区域的单目内窥镜图像；(S41)确定所述解剖区域的所述单目内窥镜图像的帧时间序列内的至少一个像点的光流；以及(S42)根据所述至少一个像点的所述光流来估计指示所述单目内窥镜图像内对象的深度的景深。9.根据权利要求8所述的内窥镜手术方法，其中，确定所述光流包括：(S51)生成包括多个矢量的矢量场，每个矢量指示所述帧时间序列内的像点之一的运动。10.根据权利要求9所述的内窥镜手术方法，其中，估计所述景深包括：(S52)识别所述矢量场内的扩展焦点；以及(S53)根据每个像点。

7、与所述扩展焦点的距离计算针对每个像点的深度点。权利要求书CN 102413756 ACN 102413769 A 2/2页311.根据权利要求9所述的内窥镜手术方法，其中，估计所述景深包括：(S53)根据所述矢量场中每个矢量的幅度计算针对每个像点的深度点。12.根据权利要求9所述的内窥镜手术方法，其中，估计所述景深包括：(S53)根据所述矢量场中每个矢量的速度计算针对像点的深度点。13.根据权利要求9所述的内窥镜手术方法，其中，估计所述景深包括：(S82)根据所述矢量场计算投影矩阵。14.根据权利要求13所述的内窥镜手术方法，其中，估计所述景深包括：(S83)根据所述投影矩阵的投影元的。

8、几何三角测量来计算针对每个像点的深度点。15.根据权利要求8所述的内窥镜手术方法，还包括：(S43)显示表示所述景深估计的深度图(37)。权利要求书CN 102413756 ACN 102413769 A 1/4页4从单目内窥镜图像估计实时深度0001 本发明总体上涉及牵涉到内窥镜的微创手术。本发明具体涉及估计从内窥镜获得的图像中所示对象的实时深度。0002 通常，最小侵入性手术利用内窥镜，内窥镜是具有成像能力的长而柔软或刚性的管。在通过自然孔窍或小切口插入身体内之后，内窥镜提供感兴趣区域的图像，在外科医生执行手术时，可以通过目镜或在屏幕上观察所述图像。对手术而言重要的是图像内(一个或。

9、多个)对象的深度信息，该信息将使得外科医生能够推进内窥镜，同时避开(一个或多个)对象，并且将方便对内窥镜位置的实时跟踪。然而，内窥镜图像的帧是二维的，因此外科医生可能会失去对在图像的屏幕快照中观察到的(一个或多个)对象的深度的感知。0003 本发明提供了一种技术，尽管内窥镜视频帧具有二维局限，但其可以利用来自单目(monocular)内窥镜图像的内窥镜视频帧生成深度图。0004 本发明的一种形式是一种采用了内窥镜和内窥镜手术控制单元的最小侵入性手术系统。在工作时，在将内窥镜推进到身体解剖区域内的目标位置时，内窥镜生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计。

10、单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的形状)，在将内窥镜推进到目标位置时，内窥镜手术控制单元接收内窥镜视频帧，从而根据解剖区域的单目内窥镜图像帧时间序列内的(一个或多个)像点的光流来估计指示解剖区域的单目内窥镜图像内对象深度的景深。0005 本发明的第二种形式是一种内窥镜手术方法，其涉及将内窥镜推进到身体解剖区域内的目标位置，以及在将内窥镜推进到目标位置时生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的形状)，该方法还涉及生成解剖区域的单目内窥镜图像的帧时间序列内。

11、的一个或多个像点的光流，以及根据(一个或多个)像点的光流来估计指示单目内窥镜图像内(一个或多个)像点深度的景深。0006 图1图示了根据本发明的最小侵入性手术系统的示范性实施例。0007 图2图示了表示根据本发明的深度估计方法的示范性实施例的流程图。0008 图3图示了表示根据本发明在图2中所示深度估计方法的第一示范性实施例的流程图。0009 图4图示了图3中所示流程图的示范性应用。0010 图5图示了现有技术中已知的示范性光流。0011 图6图示了现有技术中已知的示范性景深。0012 图7图示了现有技术中已知的示范性深度图。0013 图8图示了表示根据本发明在图2中所示深度估计方法的第二示范。

12、性实施例的流程图。0014 如图1所示，本发明的最小侵入性手术系统10采用了内窥镜20和内窥镜手术控制单元30。0015 在这里将内窥镜20宽泛地定义为，在结构上配置成经由光纤、透镜、微型(例如基说明书CN 102413756 ACN 102413769 A 2/4页5于CCD的)成像系统等对身体(例如，人或动物)的解剖区域进行内部成像的任何装置。内窥镜20的范例包括，但不限于，任何类型的窥镜(例如，支气管窥镜、结肠镜、腹窥镜等)以及类似于装备有图像系统(例如，成像套管)的窥镜的任何装置。0016 在这里将单元30的外部成像装置31宽泛地定义为，在结构上配置成对身体的解剖区域进行外部成像的。

13、任何装置。外部成像装置31的范例包括，但不限于，计算机断层摄影装置、磁共振成像装置、超声装置和x射线装置。0017 在这里将单元30的内窥镜路径规划装置32宽泛地定义为，在结构上配置成在手术前规划运动学路径的任何装置，该运动学路径到达身体解剖区域内的目标位置，用于配置内窥镜20(例如，配置成像套管)和/或用于在到达目标位置(例如，操作对支气管窥镜的控制)过程中控制内窥镜20。在内窥镜为支气管窥镜或运动学上相似的窥镜的语境中，装置32可以使用Trovato等人的于2007年4月17日公开的题为“3D Tool Path Planning，Simulation and Control System。

14、”的国际申请WO 2007/042986A2提出的路径规划技术，以生成由外部成像装置31采集的解剖区域的3D数据集指示的身体解剖区域(例如，肺)内的内窥镜20的运动学上正确的路径。在内窥镜20为成像嵌套插管或运动学上相似装置的语境中，装置32可以使用Trovato等人的于2008年3月20日公开的题为“Active Cannula configuration For Minimally Invasive Surgery”的国际申请WO 2008/032230A1提出的路径规划/嵌套插管配置技术，以生成由外部成像装置31采集的解剖区域的3D数据集指示的用于到达身体解剖区域(例如肺)内目标位置对于。

15、内窥镜20而言运动学上正确的配置。0018 在这里将单元30的内窥镜跟踪装置33宽泛地定义为，在结构上配置成跟踪内窥镜20在身体解剖区域内位置的任何装置。内窥镜跟踪装置33的一个范例是Trovato等人于2008年10月20日提交的题为“Image-Based Localization Method and System”的美国临时专利申请61/106669(申请人的文档编号No.010259US1)提出的基于图像的跟踪单元。内窥镜跟踪装置33的另一个范例是Konen等人的于2004年10月4日公布的题为“Method and System for Image-Guided Intervent。

16、ional endoscopic Procedures”的美国专利No.6135946提出的光学跟踪装置。内窥镜跟踪装置33的另一范例是市场上可买到的任何电磁跟踪单元，例如市场上可买到的来自superDimension公司的inReachTM系统的电磁跟踪单元。0019 在这里将单元30的深度估计装置34宽泛地定义为，在结构上配置成从内窥镜20采集的帧时间序列(即，依据任意类型的时间序列的两个或更多幅图像)中像点/特征的实际运动的图案(pattern)估计景深的任何装置。在实践中，可以由单元30利用深度估计装置34估计景深，以在为内窥镜20到达解剖区域内的目标位置而生成手术前配置时和/或在生成。

17、运动学路径的手术前计划以控制内窥镜20到达目标位置时，辅助内窥镜路径规划装置32。此外，在实践中，可以由单元30利用深度估计装置34来估计景深，以便于来自内窥镜20的内窥镜图像与装置31采集的手术前图像的配准，和/或在将内窥镜20推进到目标位置时加强对内窥镜20在解剖区域内位置的实时跟踪。此外，在实践中，深度估计装置34可以独立于来自单元30的其他装置而工作或在内部并入到单元30的其他装置之一中。0020 图2所示的流程图40表示由深度估计装置34(图1)执行的本发明的深度估计方说明书CN 102413756 ACN 102413769 A 3/4页6法。对于这种方法而言，深度估计装置34。

18、从流程图40的阶段S41开始，以确定内窥镜20采集的单目内窥镜图像的帧时间序列中像点/特征的运动的光流。接下来，或者与阶段S41的执行同时，深度估计装置34继续进行到流程图40的阶段S42，以从光流估计景深，其中景深指示单目内窥镜图像中一个或多个对象的深度，并在流程图40的阶段S43中使用景深估计来显示深度图。0021 图3所示的流程图50表示流程图40的示范性实施例(图2)。具体而言，装置34确定光流涉及在流程图50的阶段S52期间生成包括多个矢量的矢量场，每个矢量表示单目内窥镜图像内(例如，两个单目内窥镜图像之间)特定图像点的运动。例如，如图4所示，可以通过表示单目内窥镜图像内像点的运动的。

19、矢量(例如，图5中所示的矢量场70)来确定在内窥镜20穿过支气管61内的内窥镜路径21时由内窥镜20拍摄的患者60的支气管61的帧时间序列22中每个内窥镜视频帧的像点/特征的运动的光流。0022 此外，可以针对内窥镜跟踪装置33跟踪的给定帧从内窥镜20的相对位置计算两个内窥镜视频帧之间的内窥镜20的速度。考虑到假设在帧之间内窥镜20观察的是固定对象，所以帧可以是联贯的或有一些延迟。给定内窥镜20的速度，可以从光流上在相继切片中不运动的点来估计景深，这样的点被称为扩展焦点(“FOE”)，这是因为内窥镜20的光轴是与其运动对准的，并且因此FOE是与内窥镜20的运动对准的。知道了(1)每个点与流程图。

20、50的阶段S52识别的FOE之间的距离D，(2)每个点中光流的幅度V和(3)内窥镜20的速度V，可以计算每个点的深度信息。具体而言，深度估计装置34根据以下方程1在流程图50的阶段S53期间针对每个像点计算深度信息：0023 Zv*D/V 10024 其中Z是像点的深度。在这种情况下，可以从内窥镜20的固有参数(例如焦点等)计算X和Y位置。0025 例如，如图4所示，内窥镜跟踪装置33向深度估计装置34提供跟踪数据35，使得深度估计装置34能够在生成帧时间序列23时确定内窥镜20的速度v。这样一来，基于已知每个像点距矢量场中识别的FOE的距离D以及每个点中光流的幅度V，深度估计装置34针对所计。

21、算的帧时间序列23的矢量场内的每个点计算Z深度，以估计景深36(例如，图6中所示的景深71)，并生成深度图37(例如，图7中所示的经彩色编码的景深72)。0026 图8所示的流程图80表示流程图40(图2)的备选实施例。流程图80基于同一场景的两幅视图的立体视觉(即，在稍微不同的时间拍摄的两幅内窥镜视频帧)。具体而言，当在流程图80的阶段S81期间生成矢量场时，并假定内窥镜20正被装置33跟踪，那么对于两幅视图而言内窥镜20的相对位置也是已知的。对于这种情况，将坐标系关联至摄像机姿态，生成第一幅视图。因此，相对于第一幅视图生成第二幅视图的已知姿态是利用33旋转矩阵R和31平移矢量t定义的。此外。

22、，假设内窥镜20的固有摄像机参数是已知的(例如，从摄像机数据手册或从已知的校准方法得知的)，可以定义摄像机固有的33矩阵K。从这些数据，流程图80的阶段S82涉及根据以下方程2和3针对第一视图P1和第二视图P2计算44投影矩阵：0027 P1I|0 20028 P2K*R|T*K-130029 流程图80的阶段S83涉及投影矩阵投影元的几何三角测量，以计算每个像点的深说明书CN 102413756 ACN 102413769 A 4/4页7度。0030 如果内窥镜20未被装置33跟踪，可以利用矢量场执行类似程序以估计投影矩阵。在这种情况下，将仅按照比例因子估计深度，实际的物理深度是不知道的。

23、。0031 尽管已经参考示范性方面、特征和实施描述了本发明，但公开的系统和方法不限于这样的示范性方面、特征和/或实施。相反，本领域的技术人员从这里提供的描述将明了，容易对所公开的系统和方法进行修改、变更和改进，而不脱离本发明的主旨或范围。因此，本发明明确地涵盖其范围内的这种修改、变更和增强。说明书CN 102413756 ACN 102413769 A 1/4页8图1图2说明书附图CN 102413756 ACN 102413769 A 2/4页9图3图4说明书附图CN 102413756 ACN 102413769 A 3/4页10图5现有技术图6现有技术说明书附图CN 102413756 A。

摘要
申请专利号：	CN201080018543.6	申请日：	2010.03.25
公开号：	CN102413756A	公开日：	2012.04.11
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):A61B 1/04申请日:20100325\|\|\|公开
IPC分类号：	A61B1/04; A61B1/313; A61B19/00	主分类号：	A61B1/04
申请人：	皇家飞利浦电子股份有限公司
发明人：	A·波波维奇
地址：	荷兰艾恩德霍芬
优先权：	2009.04.29 US 61/173,722
专利代理机构：	永新专利商标代理有限公司 72002	代理人：	王英;刘炳胜
PDF完整版下载：	PDF下载

内容摘要

一种内窥镜手术方法涉及将内窥镜(20)推进到身体解剖区域内的目标位置；以及在将所述内窥镜(20)推进到所述目标位置时生成多个内窥镜视频帧(22)，内窥镜视频帧(22)示出了所述解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度(例如，支气管的单目内窥镜图像内支气管壁的深度)，该方法还涉及(S41)确定所述解剖区域单目内窥镜图像的帧时间系列内一个或多个像点的光流；以及(S42)根据所述像点的光流估计表示所述单目内窥镜图像内对象深度的景深。

权利要求书

1：一种微创手术系统 (10)，包括：内窥镜 (20)，其用于在将所述内窥镜 (20) 推进到身体解剖区域内的目标位置时生成多个内窥镜视频帧 (22)，所述内窥镜视频帧 (22) 图示了所述解剖区域的单目内窥镜图像；以及内窥镜手术控制单元 (30)，其与所述内窥镜 (20) 通信，以在将所述内窥镜 (20) 推进到所述目标位置时接收所述内窥镜视频帧 (22)，其中，所述内窥镜手术控制单元 (30) 能够用于根据所述解剖区域的所述单目内窥镜图像的帧时间序列内的至少一个像点的光流来估计景深 (36)，所述景深指示所述解剖区域的所述单目内窥镜图像内的对象的深度。
2：根据权利要求 1 所述的微创手术系统 (10)，其中，所述内窥镜手术控制单元 (30) 还能够用于生成表示景深估计的深度图显示 (37)。
3：根据权利要求 1 所述的微创手术系统 (10)，其中，所述内窥镜手术控制单元 (30) 还能够用于根据所述景深估计将所述单目内窥镜图像与所述身体解剖区域的手术前图像配准。
4：根据权利要求 1 所述的微创手术系统 (10)，其中，所述内窥镜手术控制单元 (30) 还能够用于在手术前规划所述内窥镜 (20) 到达所述解剖区域内的所述目标位置的运动学路径 (21)。
5：根据权利要求 1 所述的微创手术系统 (10)，其中，所述内窥镜手术控制单元 (30) 还能够用于在将所述内窥镜 (20) 推进到所述解剖区域内的所述目标位置时跟踪所述内窥镜 (20) 在所述解剖区域内的位置。
6：根据权利要求 5 所述的微创手术系统 (10)，其中，生成所述解剖区域的所述单目内窥镜图像的帧时间序列内的所述至少一个像点的所述光流包括跟踪所述内窥镜 (20) 在所述解剖区域内的位置。
7：根据权利要求 1 所述的微创手术系统 (10)，其中，所述内窥镜 (20) 是包括支气管窥镜和嵌套插管的组中的一个。
8：一种内窥镜手术方法，包括：将内窥镜 (20) 推进到身体解剖区域内的目标位置；在将所述内窥镜 (20) 推进到所述目标位置时生成多个内窥镜视频帧 (22)，所述内窥镜视频帧 (22) 图示了所述解剖区域的单目内窥镜图像； (S41) 确定所述解剖区域的所述单目内窥镜图像的帧时间序列内的至少一个像点的光流；以及 (S42) 根据所述至少一个像点的所述光流来估计指示所述单目内窥镜图像内对象的深度的景深。
9：根据权利要求 8 所述的内窥镜手术方法，其中，确定所述光流包括： (S51) 生成包括多个矢量的矢量场，每个矢量指示所述帧时间序列内的像点之一的运动。
10：根据权利要求 9 所述的内窥镜手术方法，其中，估计所述景深包括： (S52) 识别所述矢量场内的扩展焦点；以及 (S53) 根据每个像点与所述扩展焦点的距离计算针对每个像点的深度点。 2
11：根据权利要求 9 所述的内窥镜手术方法，其中，估计所述景深包括： (S53) 根据所述矢量场中每个矢量的幅度计算针对每个像点的深度点。
12：根据权利要求 9 所述的内窥镜手术方法，其中，估计所述景深包括： (S53) 根据所述矢量场中每个矢量的速度计算针对像点的深度点。
13：根据权利要求 9 所述的内窥镜手术方法，其中，估计所述景深包括： (S82) 根据所述矢量场计算投影矩阵。
14：根据权利要求 13 所述的内窥镜手术方法，其中，估计所述景深包括： (S83) 根据所述投影矩阵的投影元的几何三角测量来计算针对每个像点的深度点。
15：根据权利要求 8 所述的内窥镜手术方法，还包括： (S43) 显示表示所述景深估计的深度图 (37)。

说明书

从单目内窥镜图像估计实时深度
    本发明总体上涉及牵涉到内窥镜的微创手术。本发明具体涉及估计从内窥镜获得的图像中所示对象的实时深度。
     通常，最小侵入性手术利用内窥镜，内窥镜是具有成像能力的长而柔软或刚性的管。在通过自然孔窍或小切口插入身体内之后，内窥镜提供感兴趣区域的图像，在外科医生执行手术时，可以通过目镜或在屏幕上观察所述图像。对手术而言重要的是图像内 ( 一个或多个 ) 对象的深度信息，该信息将使得外科医生能够推进内窥镜，同时避开 ( 一个或多个 ) 对象，并且将方便对内窥镜位置的实时跟踪。然而，内窥镜图像的帧是二维的，因此外科医生可能会失去对在图像的屏幕快照中观察到的 ( 一个或多个 ) 对象的深度的感知。
     本发明提供了一种技术，尽管内窥镜视频帧具有二维局限，但其可以利用来自单目 (monocular) 内窥镜图像的内窥镜视频帧生成深度图。
     本发明的一种形式是一种采用了内窥镜和内窥镜手术控制单元的最小侵入性手术系统。在工作时，在将内窥镜推进到身体解剖区域内的目标位置时，内窥镜生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度 ( 例如，支气管的单目内窥镜图像内支气管壁的形状 )，在将内窥镜推进到目标位置时，内窥镜手术控制单元接收内窥镜视频帧，从而根据解剖区域的单目内窥镜图像帧时间序列内的 ( 一个或多个 ) 像点的光流来估计指示解剖区域的单目内窥镜图像内对象深度的景深。
     本发明的第二种形式是一种内窥镜手术方法，其涉及将内窥镜推进到身体解剖区域内的目标位置，以及在将内窥镜推进到目标位置时生成多个内窥镜视频帧，所述内窥镜视频帧图示了解剖区域的单目内窥镜图像。为了实时估计单目内窥镜图像内对象的深度 ( 例如，支气管的单目内窥镜图像内支气管壁的形状 )，该方法还涉及生成解剖区域的单目内窥镜图像的帧时间序列内的一个或多个像点的光流，以及根据 ( 一个或多个 ) 像点的光流来估计指示单目内窥镜图像内 ( 一个或多个 ) 像点深度的景深。
     图 1 图示了根据本发明的最小侵入性手术系统的示范性实施例。
     图 2 图示了表示根据本发明的深度估计方法的示范性实施例的流程图。
     图 3 图示了表示根据本发明在图 2 中所示深度估计方法的第一示范性实施例的流程图。
     图 4 图示了图 3 中所示流程图的示范性应用。
     图 5 图示了现有技术中已知的示范性光流。
     图 6 图示了现有技术中已知的示范性景深。
     图 7 图示了现有技术中已知的示范性深度图。
     图 8 图示了表示根据本发明在图 2 中所示深度估计方法的第二示范性实施例的流程图。
     如图 1 所示，本发明的最小侵入性手术系统 10 采用了内窥镜 20 和内窥镜手术控制单元 30。
     在这里将内窥镜 20 宽泛地定义为，在结构上配置成经由光纤、透镜、微型 ( 例如基
     于 CCD 的 ) 成像系统等对身体 ( 例如，人或动物 ) 的解剖区域进行内部成像的任何装置。内窥镜 20 的范例包括，但不限于，任何类型的窥镜 ( 例如，支气管窥镜、结肠镜、腹窥镜等 ) 以及类似于装备有图像系统 ( 例如，成像套管 ) 的窥镜的任何装置。
     在这里将单元 30 的外部成像装置 31 宽泛地定义为，在结构上配置成对身体的解剖区域进行外部成像的任何装置。外部成像装置 31 的范例包括，但不限于，计算机断层摄影装置、磁共振成像装置、超声装置和 x 射线装置。
     在这里将单元 30 的内窥镜路径规划装置 32 宽泛地定义为，在结构上配置成在手术前规划运动学路径的任何装置，该运动学路径到达身体解剖区域内的目标位置，用于配置内窥镜 20( 例如，配置成像套管 ) 和 / 或用于在到达目标位置 ( 例如，操作对支气管窥镜的控制 ) 过程中控制内窥镜 20。在内窥镜为支气管窥镜或运动学上相似的窥镜的语境中，装置 32 可以使用 Trovato 等人的于 2007 年 4 月 17 日公开的题为 “3D Tool Path Planning， Simulation and Control System” 的国际申请 WO 2007/042986A2 提出的路径规划技术，以生成由外部成像装置 31 采集的解剖区域的 3D 数据集指示的身体解剖区域 ( 例如，肺 ) 内的内窥镜 20 的运动学上正确的路径。在内窥镜 20 为成像嵌套插管或运动学上相似装置的语境中，装置 32 可以使用 Trovato 等人的于 2008 年 3 月 20 日公开的题为 “Active Cannula configuration For Minimally Invasive Surgery” 的国际申请 WO 2008/032230A1 提出的路径规划 / 嵌套插管配置技术，以生成由外部成像装置 31 采集的解剖区域的 3D 数据集指示的用于到达身体解剖区域 ( 例如肺 ) 内目标位置对于内窥镜 20 而言运动学上正确的配置。
     在这里将单元 30 的内窥镜跟踪装置 33 宽泛地定义为，在结构上配置成跟踪内窥镜 20 在身体解剖区域内位置的任何装置。内窥镜跟踪装置 33 的一个范例是 Trovato 等人于 2008 年 10 月 20 日提交的题为 “Image-Based Localization Method and System” 的美国临时专利申请 61/106669( 申请人的文档编号 No.010259US1) 提出的基于图像的跟踪单元。内窥镜跟踪装置 33 的另一个范例是 Konen 等人的于 2004 年 10 月 4 日公布的题为 “Method and System for Image-Guided Interventional endoscopic Procedures” 的美国专利 No.6135946 提出的光学跟踪装置。内窥镜跟踪装置 33 的另一范例是市场上可买到的任何电磁跟踪单元，例如市场上可买到的来自 superDimension 公司的 inReachTM 系统的电磁跟踪单元。
     在这里将单元 30 的深度估计装置 34 宽泛地定义为，在结构上配置成从内窥镜 20 采集的帧时间序列 ( 即，依据任意类型的时间序列的两个或更多幅图像 ) 中像点 / 特征的实际运动的图案 (pattern) 估计景深的任何装置。在实践中，可以由单元 30 利用深度估计装置 34 估计景深，以在为内窥镜 20 到达解剖区域内的目标位置而生成手术前配置时和 / 或在生成运动学路径的手术前计划以控制内窥镜 20 到达目标位置时，辅助内窥镜路径规划装置 32。此外，在实践中，可以由单元 30 利用深度估计装置 34 来估计景深，以便于来自内窥镜 20 的内窥镜图像与装置 31 采集的手术前图像的配准，和 / 或在将内窥镜 20 推进到目标位置时加强对内窥镜 20 在解剖区域内位置的实时跟踪。此外，在实践中，深度估计装置 34 可以独立于来自单元 30 的其他装置而工作或在内部并入到单元 30 的其他装置之一中。
     图 2 所示的流程图 40 表示由深度估计装置 34( 图 1) 执行的本发明的深度估计方法。对于这种方法而言，深度估计装置 34 从流程图 40 的阶段 S41 开始，以确定内窥镜 20 采集的单目内窥镜图像的帧时间序列中像点 / 特征的运动的光流。接下来，或者与阶段 S41 的执行同时，深度估计装置 34 继续进行到流程图 40 的阶段 S42，以从光流估计景深，其中景深指示单目内窥镜图像中一个或多个对象的深度，并在流程图 40 的阶段 S43 中使用景深估计来显示深度图。
     图 3 所示的流程图 50 表示流程图 40 的示范性实施例 ( 图 2)。具体而言，装置 34 确定光流涉及在流程图 50 的阶段 S52 期间生成包括多个矢量的矢量场，每个矢量表示单目内窥镜图像内 ( 例如，两个单目内窥镜图像之间 ) 特定图像点的运动。例如，如图 4 所示，可以通过表示单目内窥镜图像内像点的运动的矢量 ( 例如，图 5 中所示的矢量场 70) 来确定在内窥镜 20 穿过支气管 61 内的内窥镜路径 21 时由内窥镜 20 拍摄的患者 60 的支气管 61 的帧时间序列 22 中每个内窥镜视频帧的像点 / 特征的运动的光流。
     此外，可以针对内窥镜跟踪装置 33 跟踪的给定帧从内窥镜 20 的相对位置计算两个内窥镜视频帧之间的内窥镜 20 的速度。考虑到假设在帧之间内窥镜 20 观察的是固定对象，所以帧可以是联贯的或有一些延迟。给定内窥镜 20 的速度，可以从光流上在相继切片中不运动的点来估计景深，这样的点被称为扩展焦点 (“FOE” )，这是因为内窥镜 20 的光轴是与其运动对准的，并且因此 FOE 是与内窥镜 20 的运动对准的。知道了 (1) 每个点与流程图 50 的阶段 S52 识别的 FOE 之间的距离 D， (2) 每个点中光流的幅度 V 和 (3) 内窥镜 20 的速度 V，可以计算每个点的深度信息。具体而言，深度估计装置 34 根据以下方程 [1] 在流程图 50 的阶段 S53 期间针对每个像点计算深度信息： Z ＝ v*D/V [1]
     其中 Z 是像点的深度。在这种情况下，可以从内窥镜 20 的固有参数 ( 例如焦点等 ) 计算 X 和 Y 位置。
     例如，如图 4 所示，内窥镜跟踪装置 33 向深度估计装置 34 提供跟踪数据 35，使得深度估计装置 34 能够在生成帧时间序列 23 时确定内窥镜 20 的速度 v。这样一来，基于已知每个像点距矢量场中识别的 FOE 的距离 D 以及每个点中光流的幅度 V，深度估计装置 34 针对所计算的帧时间序列 23 的矢量场内的每个点计算 Z 深度，以估计景深 36( 例如，图6 中所示的景深 71)，并生成深度图 37( 例如，图 7 中所示的经彩色编码的景深 72)。
     图 8 所示的流程图 80 表示流程图 40( 图 2) 的备选实施例。流程图 80 基于同一场景的两幅视图的立体视觉 ( 即，在稍微不同的时间拍摄的两幅内窥镜视频帧 )。具体而言，当在流程图 80 的阶段 S81 期间生成矢量场时，并假定内窥镜 20 正被装置 33 跟踪，那么对于两幅视图而言内窥镜 20 的相对位置也是已知的。对于这种情况，将坐标系关联至摄像机姿态，生成第一幅视图。因此，相对于第一幅视图生成第二幅视图的已知姿态是利用 3×3 旋转矩阵 R 和 3×1 平移矢量 t 定义的。此外，假设内窥镜 20 的固有摄像机参数是已知的 ( 例如，从摄像机数据手册或从已知的校准方法得知的 )，可以定义摄像机固有的 3×3 矩阵 K。从这些数据，流程图 80 的阶段 S82 涉及根据以下方程 [2] 和 [3] 针对第一视图 P1 和第二视图 P2 计算 4×4 投影矩阵：
     P1 ＝ [I|0] [2] -1
     P2 ＝ K*[R|T]*K [3]
     流程图 80 的阶段 S83 涉及投影矩阵投影元的几何三角测量，以计算每个像点的深
     度。如果内窥镜 20 未被装置 33 跟踪，可以利用矢量场执行类似程序以估计投影矩阵。在这种情况下，将仅按照比例因子估计深度，实际的物理深度是不知道的。
     尽管已经参考示范性方面、特征和实施描述了本发明，但公开的系统和方法不限于这样的示范性方面、特征和 / 或实施。相反，本领域的技术人员从这里提供的描述将明了，容易对所公开的系统和方法进行修改、变更和改进，而不脱离本发明的主旨或范围。因此，本发明明确地涵盖其范围内的这种修改、变更和增强。