技术领域
本技术涉及图像处理装置、图像处理方法以及程序。具体而言，本技术涉及可适当地适用于诸如内窥镜的拍摄主体的体腔的内部的图像以获得体腔的内部的信息的装置的图像处理装置、图像处理方法以及程序。
<相关申请的交叉引用>
本申请要求于2014年11月12日提交的日本优先权专利申请JP 2014-229368的权益，该申请之全文通过引证结合于此。
背景技术
广泛使用一种帧连续的内窥镜系统，其使用旋转滤波器向体腔内部的组织依次应用三种颜色的光束R1、G1和B1，并且使用从这些光束的反射光图像产生的图像(普通光图像(normal light image))进行诊断。进一步，提出了一种内窥镜系统，该系统将具有与上述三种颜色的光束的特性不同的特性的两种窄带光束G2和B2依次应用于体腔内部的组织，并且使用从这些光束的反射光图像中产生的窄带光图像进行诊断(例如，PTL1)。
当使用获取窄带光图像的内窥镜系统进行诊断时，例如，在普通光图像中难以在视觉上识别的诸如鳞状细胞癌等病变可视化为与普通部分不同的棕色区域。因此，容易检测病变。
还提出了一种内窥镜系统，该系统将窄带的激发光应用于体腔内部的组织，并且使用通过获取由激发光或化学荧光从组织生成的自发荧光而产生的荧光图像来进行诊断(例如，PTL 2)。
当使用获取荧光图像的内窥镜系统进行诊断时，通过使用具有在诸如肿瘤的病变上明确累积的特性的荧光剂，仅仅诸如肿瘤的病变发射荧光，使得可以容易地检测病变。
然而，窄带光图像和荧光图像(统称为特殊光图像(special light image))通常具有与普通光图像的颜色大不相同的颜色。进一步地，这些特殊光图像由于缺乏照明光而非常暗。因此，难以仅仅使用特殊光图像来进行诊断。有鉴于此，为了提高用户的诊断精度，例如，可以同时获取并显示普通光图像和特殊光图像。然而，并行地同时显示这些图像促使用户在始终注意多个图像的同时进行诊断。这增加了用户的负担。进一步地，用户可以因暂时注意单个图像而忽视病变。
因此，PTL 3提出了获取与白色光的波长范围对应的第一图像和与特定波长范围对应的第二图像以确定在第二图像内的主体图像的类型，并且根据主体图像的类型对第一图像应用突出处理，从而防止忽视病变，同时减少用户的负担。
引用列表
专利文献
PTL 1：JP 2006-68113 A
PTL 2：JP 2007-229053 A
PTL 3：JP 2011-135983 A
发明内容
技术问题
基于由2D图像从平面图像获得的特征量，在包括PTL 1至3的相关技术中的方法执行特征检测。因此，难以获得主体的三维(3D)结构的信息和在对象(例如，血管)之间的3D位置关系。因此，可能难以在主体图像上执行类型确定和特征检测。
考虑到这种情况创作本技术，以使得能够通过使用深度信息容易地获取3D结构的信息和对象之间的位置关系。
问题的解决方案
根据本技术的一个实施方式的医疗系统包括：医疗成像设备；以及用于处理由该医疗成像设备拍摄的图像的图像处理装置，该图像处理装置包括电路，该电路被配置为从由该医疗成像设备拍摄的图像获取特殊光图像，该特殊光图像具有限于特定波长带的信息；使用该特殊光图像在患者的预定位置处生成深度信息；并且使用该深度信息检测结构关系。
根据本技术的一个实施方式的图像处理方法包括：从由该医疗成像设备拍摄的图像获取特殊光图像，该特殊光图像具有限于特定波长带的信息；使用该特殊光图像在患者的预定位置处生成深度信息；并且使用该深度信息检测结构关系。
一种非暂时性计算机可读介质，具有存储在其上的程序，当由计算机执行所述程序时使计算机执行处理。根据本技术的一个实施方式的处理包括：从由该医疗成像设备拍摄的图像获取特殊光图像，该特殊光图像具有限于特定波长带的信息；使用该特殊光图像在患者的预定位置处生成深度信息；并且使用该深度信息检测结构关系。
根据本技术的一个实施方式的用于处理由医疗成像设备拍摄的图像的图像处理装置包括电路，该电路被配置为从由医疗成像设备拍摄的图像获取特殊光图像，该特殊光图像具有限于特定波长带的信息；使用该特殊光图像在患者的预定位置处生成深度信息；并且使用该深度信息检测结构关系。
发明的有益效果
本技术的实施方式使得能够通过使用深度信息来容易地获取3D结构的信息和对象之间的位置关系。
本技术的效果不一定限于在本文中所描述的效果并且可以是在本公开中描述的任何效果。
附图说明
[图1]图1是示出应用本技术的图像处理装置的实施方式的配置的示图。
[图2]图2是示出应用本技术的图像处理装置的实施方式的另一个配置的示图。
[图3]图3是示出应用本技术的图像处理装置的实施方式的另一个配置的示图。
[图4]图4是用于描述图像处理装置的处理的流程图。
[图5]图5是用于描述检测出血位置的原理的示图。
[图6]图6是用于描述在检测出血位置时图像处理装置的处理的流程图。
[图7]图7是用于描述检测透明隔膜的原理的示图。
[图8]图8是用于描述在检测透明隔膜时图像处理装置的处理的流程图。
[图9]图9是用于描述检测雾的原理的示图。
[图10]图10是用于描述在检测雾时图像处理装置的处理的流程图。
[图11]图11A至11C是用于在2D图像中描述在动脉和静脉之间的位置关系的示图。
[图12]图12是用于描述血红蛋白的反射率的示图。
[图13]图13是用于描述检测动脉和静脉的原理的示图。
[图14]图14是用于描述在检测动脉和静脉时图像处理装置的处理的流程图。
[图15]图15是用于描述血管的重叠的确定的示图。
[图16]图16是考虑在血管之间的位置关系的图像实例。
[图17]图17是用于描述在检测血管的重叠时图像处理装置的处理的流程图。
[图18]图18是用于描述检测肿瘤的体积的原理的示图。
[图19]图19是用于描述在检测肿瘤的体积时图像处理装置的处理的流程图。
[图20]图20是用于描述记录介质的示图。
具体实施方式
在下文中，描述用于执行本技术的模式(在下文中称为实施方式)。按照以下顺序进行描述。
1、图像处理装置的配置
2、图像处理装置的操作
3、应用于检测出血位置
4、应用于透明隔膜厚度的检测
5、应用于雾的检测
6、应用于动脉和静脉的检测
7、应用于血管的重叠状态的检测
8、应用于肿瘤的检测
9、记录介质
<图像处理装置的配置>
图1是示出包括应用本技术的图像处理装置的图像处理系统的实施方式的配置的示图。应用本技术的图像处理装置101适用于构成内窥镜系统或显微镜系统的一部分的装置，并且适用于处理通过对主体的体腔内部成像而获得的图像的装置。
图像处理装置101处理由成像单元102拍摄的图像并将经处理的图像输出到显示单元103。显示单元103包括显示器并显示由图像处理装置101处理的图像。
图1将图像处理装置101、成像单元102和显示单元103示出为不同的主体。可替换地，图像处理装置101可以包括成像单元102的一部分或整个成像单元102或者可以包括显示单元103的一部分或整个显示单元103。
图像处理装置101包括普通光图像获取单元121、特殊光图像获取单元122、3D图像获取单元123、深度信息生成单元124、目标区域检测单元125和图像生成单元126。
成像单元102包括普通光图像拍摄单元141、特殊光图像拍摄单元142和3D图像拍摄单元143。
在图1所示的图像处理系统如上所述适用于内窥镜系统。当在图1所示的图像处理系统应用于内窥镜系统时，成像单元102形成为可插入主体的体腔内的形状。
例如，成像单元102形成为细长且可弯曲的形状以便可插入体腔内。成像单元102具有可拆卸的结构，使得根据要观察的区域使用不同的成像单元。在内窥镜领域中，成像单元102通常称为镜体。要使用的镜体的具体实例包括上消化器官镜体和下消化器官镜体。
尽管未示出，但是成像单元102包括用于对暗部成像的光源单元。普通光用作光源，并且普通光图像拍摄单元141拍摄用普通光照射的部分的图像。特殊光用作光源，特殊光图像拍摄单元142拍摄用特殊光照射的部分的图像。可替换地，特殊光图像拍摄单元142应用普通光并拍摄从用普通光照射的部分发射的并且穿过具有特定颜色的滤色器的光的图像。
3D图像拍摄单元143拍摄用至少普通光或特殊光照射的部分的图像。拍摄的图像是立体图像(3D图像)。
如图2中所示并且如下所述，可以从由普通光图像拍摄单元141拍摄的图像中生成特殊光图像，而不设置在图1中所示出的特殊光图像拍摄单元142。红外光(IR)或窄带波长光用作特殊光。
作为实例，图1示出了与普通光图像拍摄单元141和特殊光图像拍摄单元142分开提供的3D图像拍摄单元143。可替换地，下面如图3所示，普通光图像拍摄单元141和特殊光图像拍摄单元142可分别拍摄3D图像。
图像处理装置101的普通光图像获取单元121获取由普通光图像拍摄单元141所拍摄图像的图像数据。普通光图像获取单元121设置有模数转换器(AD转换器，未示出)。普通光图像获取单元121可以将模拟图像信号转换为数字图像信号以获取图像数据，或者可以从普通光图像拍摄单元141中获取数字图像数据。
同样，图像处理装置101的特殊光图像获取单元122获取由特殊光图像拍摄单元142所拍摄图像的图像数据。在以下描述中，由特殊光图像获取单元122获取的图像称为特殊光图像。由普通光图像获取单元121获取的图像称为普通光图像。由3D图像获取单元123获取的图像称为3D图像。
图像处理装置101的深度信息生成单元124从由3D图像获取单元123获取的3D图像生成深度信息。目标区域检测单元125使用从深度信息生成单元124提供的深度信息以及从特殊光图像获取单元122中提供的特殊光图像来检测预定区域。
例如，目标区域检测单元125生成诸如预定隔膜的厚度和在血管之间(例如，在前血管和后血管之间)的位置关系等信息。下面描述使用深度信息和待生成的信息的方式的具体实例。
图像生成单元126使用从普通光图像获取单元121提供的普通光图像、从特殊光图像获取单元122提供的特殊光图像、从3D图像获取单元123提供的3D图像以及关于由目标区域检测单元125检测到的目标区域的信息来生成要提供给用户的图像。
例如，生成将关于目标区域的信息(例如，隔膜厚度的数值)叠加在普通光图像上的图像。通过这种方式显示视觉上可识别的信息，例如，在图像上的隔膜厚度的数值，例如，普通光图像、特殊光图像或3D光图像使得用户能够获得难以仅仅通过观察普通光图像、特殊光图像或3D光图像获得的信息。因此，可用性明显提高。
图2是示出包括应用本技术的图像处理装置的图像处理系统的实施方式的另一个配置的示图。用相同的附图标记指定在图2所示的图像处理系统的一部分，即，具有与在图1所示的图像处理系统的配置相似的配置的部分。在下文中，适当地省略相似部分的描述，并且描述不同的部分。
在图2中所示的图像处理系统还包括图像处理装置201、成像单元202和显示单元103。图像处理装置201具有与在图1所示的图像处理装置101相同的配置，除了特殊光图像获取单元222从成像单元202的普通光图像拍摄单元141获取普通光图像以外。
成像单元202包括普通光图像拍摄单元141和3D图像拍摄单元143。在图2中所示的摄像单元102与在图1所示的摄像单元102的不同之处在于，没有提供特殊光图像拍摄单元142。
图像处理装置201的特殊光图像获取单元222从普通光图像拍摄单元141接收普通光图像的供应。尽管在此处，特殊光图像获取单元222描述为从普通光图像获取单元141接收普通光图像的供应，但是特殊光图像获取单元222可以从普通光图像获取单元141接收由普通光图像获取单元121获取的普通光图像的供应。
特殊光图像取得部222具有从普通光图像生成特殊光图像的功能。特殊光图像是用预定频带的光拍摄的图像，例如，通过对用蓝色光照射时与蓝色光反应的部分成像而获得的图像。特殊光图像取得部222从普通光图像中提取蓝色成分图像，以生成特殊光图像。
在图2中所示的图像处理系统通过这种方式从普通光图像获取特殊光图像。
图3是示出包括应用本技术的图像处理装置的图像处理系统的实施方式的另一个配置的示图。用相同的附图标记指定在图3所示的图像处理系统的一部分，即，具有与在图1所示的图像处理系统的配置相似的配置的部分。在下文中，适当地省略相似部分的描述，并且描述不同的部分。
在图3中所示的图像处理系统的成像单元302包括普通光3D图像拍摄单元341和特殊光3D图像拍摄单元342。普通光3D图像拍摄单元341拍摄在普通光下获得的普通光3D图像。特殊光3D图像拍摄单元342拍摄在特殊光下获得的特殊光3D图像。
图像处理装置301的普通光图像获取单元321获取由普通光3D图像拍摄单元341拍摄的普通光3D图像。普通光图像获取单元321可以从获取的普通光3D图像中生成2D图像，并且将生成的普通光2D图像提供给图像生成单元126，或者可以将获取的普通光3D图像提供给图像生成单元126，以照原样向用户提供普通光3D图像。
图像处理装置301的特殊光图像获取单元322获取由特殊光3D图像拍摄单元342拍摄的特殊光3D图像。特殊光图像获取单元322可以从获取的特殊光3D图像中生成2D图像，并且将生成的特殊光2D图像提供给图像生成单元126，或者可以将获取的特殊光3D图像提供给图像生成单元126，以照原样向用户提供特殊光3D图像。
3D图像获取单元323从普通光3D图像拍摄单元341获取普通光3D图像并且从特殊光3D图像拍摄单元342获取特殊光3D图像。深度信息生成单元124根据目标区域检测单元125要检测的内容，从获取的普通光3D图像和获取的特殊光3D图像生成深度信息。
在图1至图3中所示的每个图像处理装置中，用户可以选择在显示单元103上显示在普通光图像、特殊光图像和3D图像之中的哪一个。尽管未示出，但是图像处理装置还设置有从用户接收这种指令的操作单元。
在本文中描述的图像处理装置的配置仅仅是实例，并且不表示限制。例如，在图3所示的图像处理装置301中，与在图2所示的图像处理装置201一样，可以从普通光图像中生成特殊光图像。在这种配置中，普通光3D图像可以从成像单元302的普通光3D图像拍摄单元341提供给图像处理装置301的特殊光图像获取单元322。
即，如上所述，可以通过使用在特定波长带中的光进行成像来获取具有在特定波长带中的信息的特殊光图像，或者可以通过从使用在普通光(白光)的特定波长带中的光拍摄的普通光图像中提取在特定波长带中的信息来获取该特殊光图像。
进一步，可以通过执行立体图像拍摄来获取3D图像，或者可以通过获取2D图像，然后，将2D图像转换为3D图像，来获取3D图像。
接下来，描述在图1到图3所示的图像处理装置中执行的处理。首先，参考图4的流程图，概要地描述在图1到图3所示的图像处理装置的处理。然后，对要检测的区域的具体实例进行描述。
<图像处理装置的操作>
参考图4的流程图，概要地描述图像处理装置的处理。虽然在此处，在图3中所示的图像处理装置301描述为实例，但是也在图1中所示的图像处理装置101和在图2中所示的图像处理装置201中，通过相似的方式基本上执行处理。
在步骤S101中，3D图像获取单元323从普通光3D图像拍摄单元341获取普通光3D图像，并从特殊光3D图像拍摄单元342获取特殊光3D图像。在步骤S102中，深度信息生成单元124从由3D图像获取单元323获取的3D图像生成深度信息。使用在预定位置处的3D图像的坐标，特别是在深度方向上的坐标来生成深度信息。
在步骤S103中，目标区域检测单元125使用由特殊光图像获取单元322获取的深度信息和特殊光图像来检测预定区域，例如，血管或肿瘤。在步骤S104中，图像生成单元126生成向用户清楚地显示检测到的区域的图像并将生成的图像输出到显示单元103。
通过这种方式，应用本技术的图像处理装置能够通过也使用从3D图像获得的深度信息更详细地执行目标区域的更详细的检测。进一步，还可以向用户呈现深度信息。因此，例如，可以更详细地呈现血管的位置信息。
<应用于检测出血位置>
接下来，通过具体实例进一步描述图像处理装置301的处理，其中，检测出血区域作为要检测的区域。首先，参考图5描述检测出血位置的原理。
在图5中，在下侧显示肉体表面501。通过出血在肉体表面501上形成一摊血。一摊血具有血液表面502。可以想象，一摊血的出血部分上升为高于一摊血的其他部分。可以想象，如果肉体表面501是平坦的，如图5所示，则出血点P1上升为高于其他部分。
实际上，肉体表面501可以不是平坦的，而是可以是不平坦的。然而，在肉体表面501与血液表面502之间的差异，即，一摊血的厚度在出血点P1处较厚。因此，获取肉体表面501的3D图像和血液表面502的3D图像。然后，计算在肉体表面501的3D图像和血液表面502的3D图像之间的差异以测量在每个位置处的一摊血的厚度。当在位置处的厚度等于或大于某个厚度时，可以将该位置检测为出血点。
当在肉体表面501和血液表面502的成像中进行图像拍摄期间红外光(IR)用作光时，红外光穿过血液表面502并且到达肉体表面501。通过使用这种特征来进行使用红外光的立体图像拍摄，获取肉体表面501的3D图像。
另一方面，当在图像拍摄期间将白光用作光时，血液表面502反射白光，以返回而不穿过血液表面502。通过使用这种特征来进行使用白光的立体图像拍摄获取血液表面502的3D图像。
成像单元302(图3)的普通光3D图像拍摄单元341使用白光进行图像拍摄以获取血液表面502的3D图像。特殊光3D图像拍摄单元342使用红外光执行图像拍摄以获取肉体表面501的3D图像。计算在这两个图像之间的差异以获得在每个点处的一摊血的厚度信息。
参考图5，在点P2处，由深度IR_depth表示至使用红外光(IR)成像的肉体表面501的深度，并且由深度WL_depth表示至使用白光(WL)成像的血液表面502的深度。在这种情况下，在点P2处的一摊血的厚度s_depth可以由以下等式1表示。
厚度s_depth＝深度IR_depth-深度WL_depth
当通过这种算术运算获得的深度WL_depth大于预定阈值时，血液的厚度大。因此，这种位置可以被检测为出血位置。通过这种方式，具有大于阈值的深度WL_depth的位置被确定为出血位置。因此，可以应对具有多个出血位置的情况。
例如，当具有最大测量值的位置被确定为出血位置时，可以检测仅仅一个位置。另一方面，由于具有等于或大于阈值的测量值的位置被确定为出血位置，因此甚至在具有多个出血位置时，也可以将每个位置确定为出血位置。
参考图6的流程图，描述执行这种处理的图像处理装置301(图3)的操作。
在步骤S201中，获取普通光3D图像。在这种情况下，成像单元302的普通光3D图像拍摄单元341使用白光进行成像，以获取普通光3D图像，并且将所获取的普通光3D图像提供给3D图像获取单元323。
在步骤S202中，获取特殊光3D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342利用红外光执行成像，以获取特殊光3D图像，并且将所获取的特殊光3D图像提供给3D图像获取单元323。
在步骤S203中，深度信息生成单元124计算深度差。通过使用在3D图像的深度方向上的坐标执行上述等式1的算术运算来计算深度差。可以对在所获取的图像内的所有点(像素)或被确定为具有一摊血的区域执行算术运算，以生成血液的厚度信息，或者所获取的图像可以被划分为均具有预定尺寸的区域，并且可以对每个区域执行算术运算，以生成血液的厚度信息。
在步骤S204中，确定在步骤S203中计算的差值是否等于或大于阈值。可以由深度信息生成单元124进行该确定，并且确定的结果可以提供给目标区域检测单元125。可替换地，目标区域检测单元125可以接收由深度信息生成单元124生成的深度信息(差值)的供应，以进行确定。
当在步骤S204中确定差值等于或大于阈值时，处理进入步骤S205。在步骤S205中，将此时的当前处理点设定为出血点。通过与在将要提供给用户的图像内的一摊血的其他部分唯一地可区分的方式，显示设置为出血点的点，例如，以表示为出血点的预定标记或文本显示出血点。这种显示可以叠加在普通光图像或特殊光图像上。进一步地，要叠加的图像可以是3D图像。
另一方面，当在步骤S204中确定差值小于阈值时，处理进入步骤S206。在步骤S206中，将此时的当前处理点设定为出血点以外的一摊血的一部分。
通过这种方式，可以从两个3D图像获得差值，并从获得的差值中检测出血点。向用户呈现关于检测到的出血点的信息。因此，用户可以通过浏览信息来识别仅仅通过观察拍摄的图像难以识别的出血点。
<应用于透明隔膜厚度的检测>
接下来，通过具体实例进一步描述图像处理装置301的处理，其中，检测透明隔膜，作为要检测的区域。首先，参考图7描述检测透明隔膜的原理。
在图7中，在下侧显示肉体表面601。具有预定厚度的透明隔膜603位于肉体表面601上。透明隔膜603具有透明隔膜表面602。通过普通光(白光)难以拍摄透明隔膜的图像。因此，用户难以确定在用白光拍摄的图像中是否具有透明隔膜。
然而，可能需要切割透明隔膜以获得肉体表面601。在这种情况下，向用户呈现透明隔膜的厚度，使得容易知道透明隔膜应切割到什么程度。因此，可以提高应用图像处理装置301的诸如内窥镜和显微镜等装置的可用性。
可以通过偏振图像拍摄来拍摄透明隔膜表面602的图像。如图7中所示，偏振光P由透明隔膜表面602反射。因此，透明隔膜表面602可以通过对反射光成像而成像。肉体表面601可以通过使用白光(WL)成像来成像。
成像单元302(图3)的普通光3D图像拍摄单元341使用白光执行立体图像拍摄，以获取肉体表面601的3D图像。特殊光3D图像拍摄单元342使用偏振光执行立体图像拍摄，以获取透明隔膜表面602的3D图像。计算在这两个图像之间的差异，以获得在每个点处的透明隔膜603的厚度信息。
参考图7，在点P1，由深度WL_depth表示至使用白光(WL)成像的肉体表面601的深度，并且由深度P_depth表示至使用偏振光(P)成像的透明隔膜表面602的深度。在这种情况下，在点P1处的透明隔膜603的隔膜厚度f_depth可以由以下等式2表示。
隔膜厚度f_depth＝深度WL_depth-深度P_depth
由这种算术运算获得的隔膜厚度f_depth定义为透明隔膜的厚度。参考图8的流程图，描述执行这种处理的图像处理装置301(图3)的操作。
在步骤S301中，获取普通光3D图像。在这种情况下，成像单元302的普通光3D图像拍摄单元341使用白光进行立体成像，以获取普通光3D图像，并且所获取的普通光3D图像提供给3D图像获取单元323。
在步骤S302中，获取特殊光3D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342执行偏振立体成像，以获取特殊光3D图像，并且所获取的特殊光3D图像提供给3D图像获取单元323。
在步骤S303中，深度信息生成单元124计算深度差。通过使用在3D图像的深度方向上的坐标执行上述等式2的算术运算来计算深度差。将在步骤S303中计算出的差值设定为透明隔膜603的隔膜厚度。
通过这种方式，检测透明隔膜的隔膜厚度。作为等式2的算术运算的结果，当差值为零或等于或小于预定阈值时，可以确定没有透明隔膜。即，确定差值是否等于或大于预定阈值，还使得能够检测透明隔膜603的存在/不存在。
通过这种方式检测的透明隔膜的隔膜厚度在提供给用户的图像内显示为数值或颜色信息，例如，渐变。显示器使得用户能够一目了然地识别透明隔膜的存在/不存在和透明隔膜的厚度。这种显示可以叠加在普通光图像或特殊光图像上。进一步，要叠加的图像可以是3D图像。
例如，可以在预设位置(例如，屏幕的中心部分或具有某个间隔的晶格的位置)显示隔膜厚度的数值。可替换地，可以通过颜色对应于隔膜厚度改变的方式进行显示，并且显示叠加在普通光图像上。可替换地，可以在用户通过操作诸如指针和鼠标等操作单元来指示的位置处，显示隔膜厚度的数值。
通过这种方式，可以从两个3D图像获得差值，并且可以从获得的差值中检测透明隔膜和透明隔膜的隔膜厚度。向用户呈现关于检测到的透明隔膜的信息。因此，用户可以通过浏览信息来识别仅仅通过观察拍摄的普通光图像难以识别的透明隔膜。由于可以识别透明隔膜的隔膜厚度，因此容易获得放置解剖刀的感觉。这防止错误地损坏肉组织。
<应用于雾的检测>
接下来，通过具体实例进一步描述图像处理装置301的处理，其中，检测雾，作为要检测的区域。首先，参考图9描述检测雾的原理。
在图9中，在下侧显示肉体表面701。具有预定厚度的雾703位于肉体表面701上。雾703具有雾表面702。当使用普通光(白光)进行成像时，雾成分被反射并且成像为白点。由肉体表面701的结构造成的光亮或眩光也可以被识别为白点。在用普通光拍摄的图像中难以区分雾和光亮。
可以通过红外光图像拍摄来拍摄肉体表面701的图像。如图9所示，红外光IR穿过雾表面702，然后由肉体表面701反射。因此，肉体表面701可以通过对反射光成像而成像。雾表面702可以通过使用白光(WL)成像来成像。
成像单元302(图3)的普通光3D图像拍摄单元341使用白光执行立体图像拍摄，以获取雾面702的3D图像。特殊光3D图像拍摄单元342使用红外光执行立体图像拍摄，以获取肉体表面701的3D图像。计算在这两个图像之间的差异，以获得在每个点处的雾703的厚度信息。
参考图9，在点P1，由深度WL_depth表示至使用白光(WL)成像的雾表面702的深度并且由深度IR_depth表示至使用红外光(IR)成像的肉体表面701的深度。在这种情况下，在点P3处的雾703的厚度m_depth可以由以下等式3表示。
厚度m_depth＝深度IR_depth-深度WL_depth
当通过这种算术运算获得的厚度m_depth大于预定阈值th时，确定存在雾。参考图10的流程图，描述执行这种处理的图像处理装置301(图3)的操作。
在步骤S401中，获取普通光3D图像。在这种情况下，成像单元302的普通光3D图像拍摄单元341使用白光进行成像，以获取普通光3D图像，并且所获取的普通光3D图像提供给3D图像获取单元323。
在步骤S402中，获取特殊光3D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342利用红外光执行成像，以获取特殊光3D图像，并且所获取的特殊光3D图像提供给3D图像获取单元323。
在步骤S403中，深度信息生成单元124计算深度差。通过使用在3D图像的深度方向上的坐标执行上述等式3的算术运算来计算深度差。
在步骤S404中，确定在步骤S403中计算的差值是否等于或大于阈值。该确定可以由深度信息生成单元124进行，并且确定的结果可以提供给目标区域检测单元125。可替换地，目标区域检测单元125可以接收由深度信息生成单元124生成的深度信息(差值)的供应，以进行确定。
当在步骤S404中确定差值等于或大于阈值时，处理进入步骤S405。在步骤S405中，将在此时的当前处理点设定为雾。阈值是通过将预定值加上考虑到肉体表面701的不均匀性的值而获得的值。
另一方面，当在步骤S404中确定差值小于阈值时，处理进入步骤S406。在步骤S406中，将在此时的当前处理点设定为不是雾。
当检测到雾时，执行用于通知用户雾的存在的报警显示或者表示雾的颜色叠加在检测到雾的部分上的显示。这种显示可以叠加在普通光图像或特殊光图像上。此外，要叠加的图像可以是3D图像。
当检测到雾的区域与整个图像的比率大时，可以通过使用IR光源(红外光)的黑白显示来向用户提供没有雾的肉体表面701的图像光。可替换地，可以对图像应用用于去除雾的图像处理，以向用户提供去除了雾的图像。这使得可以确保手术视野，以防止操作错误。
通过这种方式，可以从两个3D图像获得差值，并从所获得的差值中检测雾或光亮。向用户呈现关于检测到的雾的信息。因此，用户可以通过浏览信息来识别仅仅通过观察拍摄的图像难以识别的雾的存在。
<应用于动脉和静脉的检测>
接下来，通过具体实例进一步描述图像处理装置301的处理，其中，检测动脉或静脉，作为要检测的区域。首先，参考图11A至11C描述通过用2D普通光对动脉和静脉成像所获得的图像。尽管在此处描述了动脉和静脉作为实例，但是本实施方式不限于动脉和静脉的组合。本实施方式适用于血管。
图11A示出静脉802和动脉803在表面801下的深度方向位于相同深度的状态。在图11A至11C中，静脉显示为阴影圆，动脉显示为白色圆。图。图11B示出静脉802和动脉803在表面801下的深度方向位于不同深度的状态。
当在图11A所示的状态和在图11B所示的状态通过来自表面801的普通光成像为2D图像时，拍摄如图11C中所示的图像811。在图像811中，静脉812和动脉813成像。由于图像811是2D图像，并且表示在静脉812和动脉813之间的位置关系的信息未显示在图像811上，所以难以读取哪一个位于在静脉812和动脉之间的较深位置813。
图12是示出在与氧结合的血红蛋白(HbO2)中的反射率和在与氧分离的血红蛋白(Hb)中的反射率的示图。在图12的示图中，水平轴表示要应用的光的波长，垂直轴表示反射率。
图12的示图显示与氧结合的血红蛋白(HbO2)和与氧分离的血红蛋白(Hb)根据波长具有不同的反射特征。与氧结合的血红蛋白(HbO2)流过动脉，并且与氧分离的血红蛋白(Hb)流过静脉。
当动脉和静脉位于相同的深度并具有基本相同的厚度时，由于反射率的差异，动脉具有比在640nm或更大的波长附近的静脉更高的反射率，以具有更鲜艳的红色，并且从而可以与静脉区分开。然而，当静脉位于表面附近并且静脉位于稍微深的位置并且如图11B所示这两个血管具有基本相同的厚度时，当用普通光观察表面时，在到达静脉之前由肉组织反射的光增加，以促使静脉具有与动脉相同的亮度。因此，难以区分两个血管，具体而言，位于不同深度的静脉和动脉。
可以在其间的深度方向，通过位置关系在静脉812和动脉813之间进行区分。因此，在血管之间的在深度方向的位置关系是重要的信息。因此，如图13所示，位于不同深度的血管用不同波长成像。
首先，利用具有不同波长的两个光束拍摄3D图像。在此处，以第一波长λ1和第二波长λ2执行成像。具有不同波长的光束到达在肉组织内的不同深度。第一波长λ1到达较浅的部分。第二波长λ2到达较深的部分。
如图13所示，当以位于表面801附近的静脉802和位于较深位置的动脉803进行成像时，第一波长λ1由静脉802反射，并且第二波长λ2由动脉803反射。即，通过第一波长λ1进行立体图像拍摄来获取作为静脉802的深度信息的深度λ1_depth，并且通过第二波长λ2进行立体图像拍摄来获取作为动脉803的深度信息的深度λ2_depth。
可以通过计算在这两个深度之间的差来获得在这两个血管之间的距离。
距离dif_depth＝深度λ2_depth-深度λ1_depth
通过这种方式获得的在血管之间的距离信息用于校正和显示位于较深位置处的动脉的反射率。因此，可以获得能够区分动脉和静脉的图像。
参考图14的流程图，描述执行这种处理的图像处理装置301(图3)的操作。
在步骤S501中，获取以第一波长λ1拍摄的3D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342通过第一波长λ1进行成像，以获取特殊光3D图像，并且所获取的特殊光3D图像提供给3D图像获取单元323。
在步骤S502中，获取以第二波长λ2拍摄的3D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342通过第二波长λ2进行成像，以获取特殊光3D图像，并且所获取的特殊光3D图像提供给3D图像获取单元323。
在步骤S503中，深度信息生成单元124计算深度差。通过使用在3D图像的深度方向的坐标执行上述等式4的算术运算来计算深度差。计算的差值定义为在血管之间的距离。
通过使用通过这种方式计算的在血管之间的距离校正并且显示位于较深位置处的动脉的反射率，可以能够获得能够区分动脉和静脉的图像。例如，位于浅位置的血管显示为红色，并且可以根据距离信息确定位于比浅血管更深的位置处的血管显示为稍微深红色，以执行与深度对应的着色。因此，呈现使得用户能够一目了然地识别在对应于深度的血管之间的位置关系的图像。
这种图像可以叠加在要呈现给用户的普通光图像或特殊光图像上。可替换地，图像可以叠加在3D图像上。
通过这种方式，可以从两个3D图像获得差值，并且从所获得的差值中检测在血管之间的位置关系(深度信息)。向用户呈现检测到的位置信息。因此，用户可以通过浏览信息来识别仅仅通过观察拍摄的图像难以识别的在血管之间的位置关系。
<应用于血管的重叠状态的检测>
接下来，通过具体实例进一步描述图像处理装置301的处理，其中，检测血管的重叠状态作为要检测的区域。首先，参考图15描述血管的重叠状态。
例如，通过在吲哚菁绿(ICG)注入之后的激发光观察，可以观察到在混浊羊水中的粘膜或胎盘血管的深部。然而，在具有多个重叠的血管的部分中，如在图15的左边的图所示，难以确定血管的重叠状态。因此，与癌组织911连接并因此具有转移潜能的血管的出口可能被错误地确定为另一血管的出口。
在图15的左边的图中，血管901、血管902和血管903在图中的中心部分彼此重叠。因此，难以确定血管是如在图15的右上图所示连接还是血管如在图15的右下图所示连接。
图15的右上图示出当确定连接血管901和血管904、连接血管902和血管905并且连接血管903和血管906时的状态。基于这种确定，血管903和血管906连接至癌组织911。
在图15中的右下图示出当确定连接血管901和血管904、连接血管902和血管906并且连接血管903和血管905时的状态。基于这种确定，血管903和血管905连接至癌组织911。
通过这种方式，当未正确地确定重叠状态时，可能错误地确定血管的连接。因此，重要的是，向用户呈现在血管之间的重叠状态以使用户能够确定血管的连接。
因此，在ICG注入之后在激励光的照射下执行立体图像拍摄，以检测距离信息ICG_depth。然后，从检测的距离信息ICG_depth中，检测血管的连接和重叠(即，在不同血管之间的区别)。进一步，从血管重叠信息中确定血流的方向以估计具有癌组织的高转移潜能的区域。
例如，向用户呈现如图16所示的图像。在图16所示的图像实例显示连接血管901和血管904，连接血管902和血管905，并且连接血管903和血管906。以在ICG注入之后在激励光的照射下执行立体图像拍摄以检测距离信息ICG_depth的方式检测血管的连接，并且从检测到的距离信息ICG_depth中检测血管的连接和重叠。
进一步地，也从距离信息ICG_depth中检测在血管之间的位置关系，具体而言，血管901和血管904位于顶部，血管902和血管905位于底部，并且血管903和血液容器906插入其间。因此，执行使得这种位置关系清晰的显示。
例如，在重叠血管的显示中，不同的血管以不同的亮度或颜色显示，以使得用户能够容易地确定血管结构。可以从连接至癌组织911的血管的连接信息中估计具有癌症的转移潜能的区域，并且可以突出显示该区域。
这种显示(图像的呈现)使得用户能够正确地确定血管的重叠状态。因此，可以正确地移除浸润的血管/组织。进一步地，可以减少具有癌症的转移潜能的区域的检查。
参考图17的流程图，描述执行这种处理的图像处理装置301(图3)的操作。
在步骤S601中，通过激发光图像拍摄，来获取3D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342通过在ICG注入之后的激发光进行成像，以获取特殊光3D图像，并且所获取的特殊光3D图像提供给3D图像获取单元323。
在步骤S602中，深度信息生成单元124计算深度差。
在步骤S603中，检测血管的连接和重叠。通过这种方式检测血管的连接和重叠，使得分析通过激励光图像拍摄所获取的3D图像，以从在血管彼此重叠的部分中的每个血管的深度信息中检测在血管之间的垂直位置关系，或者从深度信息中估计位于基本上相同的深度处的血管的连接。
如上所述，可以以不同的亮度或颜色显示不同的血管，或者可以使用检测结果突出显示具有癌症的转移潜能的区域。因此，用户可以正确地确定血管的重叠状态。结果，可以正确地移除浸润的血管/组织。此外，可以减少具有癌症的转移潜能的区域的检查。
<应用于肿瘤的检测>
接下来，通过具体实例进一步描述图像处理装置301的处理，其中，检测肿瘤，作为要检测的区域。首先，参考图18描述肿瘤的体积的估计。
在光动力学诊断(PDD)中，在患者服用氨基乙酰丙酸(5-ALA)后用蓝光进行观察，肿瘤看起来像发射红光。在该PDD中，可以仅仅观察到平面图像。因此，用户难以识别肿瘤的实际尺寸。
例如，如图18中所示，肿瘤可以是具有平面膨胀但不在内表面方向深入渗透的肿瘤1001，或者可以是具有小平面膨胀但是在内表面方向深入渗透的肿瘤1002。难以确定肿瘤是否与仅仅具有平面图像的肿瘤1002一样深入渗透。
因此，在PDD下执行立体图像拍摄，以检测距离信息PDD_depth，并且从根据2D图像获得的肿瘤的表面积和距离信息PDD_depth中估计肿瘤的体积。通过例如突出显示具有大估计体积的肿瘤，向用户呈现通过这种方式进行的体积估计的结果。
可以通过进一步可区分的方式突出显示在2D图像上具有小表面积并具有大估计体积的肿瘤。这种显示使得用户能够正确地区分因其小表面积而可能进行跟踪的具有大体积的肿瘤，并且确定适当的治疗。
参考图19的流程图，描述执行这种处理的图像处理装置301(图3)的操作。
在步骤S701中，通过在PDD下进行成像来获取2D图像。在这种情况下，成像单元302的特殊光3D图像拍摄单元342在患者服用氨基乙酰丙酸之后在用蓝光照射的情况下执行立体成像以获取患处着成红色的特殊光3D图像。将所获取的3D图像转换为2D图像以获取2D图像。
在步骤S702中，通过在PDD下进行成像来获取3D图像。与步骤S701一样，成像单元302的特殊光3D图像拍摄单元342在患者服用氨基乙酰丙酸之后在用蓝光照射的情况下执行立体成像以获取患处着成红色的特殊光3D图像。
在步骤S703中，深度信息生成单元124使用所获取的特殊光3D图像来计算肿瘤的深度(在内表面方向的深度)。
在步骤S704中，估计肿瘤的体积。从获取的特殊光2D图像中计算表面积，并且该表面积乘以从3D图像中计算的深度信息，以估计肿瘤的体积。
根据通过这种方式估计的体积，如上所述，例如，突出显示具有大估计体积的肿瘤，以呈现给用户。这种显示使得用户能够正确地确定肿瘤的尺寸并且确定适当的治疗。
通过这种方式，本技术使得可以检测目标区域以及与其相关的特征量，这通过仅仅用2D图像进行检测处理难以检测。进一步，通过基于检测到的目标区域和在呈现的图像上的特征量执行突出显示的处理或图像叠加处理，用户可以以容易在视觉上识别的形式获得更多的信息。
这使得可以在操作之前、之时以及之后实现更准确的诊断，提高操作的精度，减少操作时间，并且进行最小侵入性操作。
特定区域的上述检测操作可以独立地或组合地执行。例如，由于动脉和静脉的检测和血管的重叠状态的检测都是血管检测操作，因此这些检测操作可以组合进行，以更适当地检测动脉和静脉，并且清楚地检测在动脉和静脉之间的位置关系。
进一步地，可以切换执行不同区域的检测操作。例如，可以依次检测透明隔膜和雾，并且可以向用户呈现透明隔膜和雾的存在，并且还可以执行肿瘤的检测。
<记录介质>
上述一系列处理可以由硬件或软件执行。当通过软件执行这系列处理时，构成软件的程序安装在计算机中。计算机包括并入专用硬件内的计算机以及例如能够通过在其中安装各种程序来执行各种功能的通用个人计算机。
图20是示出由程序执行上述一系列处理的计算机的硬件的配置的实例的方框图。在计算机中，中央处理单元(CPU)2001、只读存储器(ROM)2002和随机存取存储器(RAM)2003通过总线2004彼此连接。进一步，输入/输出接口2005连接至总线2004。输入单元2006、输出单元2007、存储单元2008、通信单元2009和驱动器2010连接至输入/输出接口2005。
输入单元2006包括键盘、鼠标和麦克风。输出单元2007包括显示器和扬声器。存储单元2008包括硬盘和非易失性存储器。通信单元2009包括网络接口。驱动器2010驱动包括磁盘、光盘、磁光盘和半导体存储器的可移除介质2011。
在具有上述配置的计算机中，例如，CPU 2001通过输入/输出接口2005和总线2004将存储在存储单元2008中的程序加载到RAM 2003，以执行程序，以执行上述一系列处理。
例如，可以通过将程序记录在作为封装介质的可移除介质2011中来提供由计算机(CPU 2001)执行的程序。可替换地，可以通过诸如局域网(LAN)、因特网和数字卫星广播等有线或无线传输介质来提供程序。
在计算机中，可以通过将可移除介质2011连接至驱动器2010，通过输入/输出接口2005将程序安装在存储单元2008中。可替换地，程序可以由通信单元2009通过有线或无线传输介质来接收并且安装在存储单元2008中。可替换地，程序可以预先安装在ROM 2002或存储单元2008中。
由计算机执行的程序可以是按照在本说明书中描述的顺序以时间顺序方式执行处理的程序，或者并行地或在必要时(例如，在被调用时)执行处理。
在本说明书中，该系统表示包括多个装置的整个装置。
在本说明书中描述的效果仅仅是实例并且本技术的效果不限于此。本技术可以具有另外的效果。
本技术的实施方式不限于上述实施方式。在不背离本技术的主旨的情况下可以进行各种变形。
本技术可以具有以下配置。
(1)一种医疗系统，包括：医疗成像设备；以及
图像处理装置，用于处理由所述医疗成像设备拍摄的图像。所述图像处理装置包括电路，该电路被配置为：
从由所述医疗成像设备拍摄的图像获取特殊光图像，所述特殊光图像具有限于特定波长带的信息；
使用所述特殊光图像在患者的预定位置处生成深度信息；并且使用所述深度信息检测结构关系。
(2)根据(2)所述的医疗系统，其中，所述医疗成像设备是内窥镜或显微镜。
(3)根据(1)或(2)所述的医疗系统，其中，所述结构关系包括出血位置、透明隔膜厚度、由手术产生的雾和/或血管的重叠状态。
(4)根据(1)或(2)所述的医疗系统，其中，所述电路进一步被配置为：
获取具有限于白光波长带的信息的普通光图像，所述特定波长带对应于红外光，并且基于使用所述特殊光图像和所述普通光图像两者生成的额外深度信息来检测出血位置。
(5)根据(1)或(2)所述的医疗系统，其中，所述电路进一步被配置为生成将表示出血点的预定标记或文本叠加在所述特殊光图像或所述普通光图像上的图像。
(6)根据(1)或(2)所述的医疗系统，其中，所述电路进一步被配置为获取具有限于白光波长带的信息的普通光图像，所述特定波长带与偏振光相对应；并且基于使用所述特殊光图像和所述普通光图像两者生成的额外深度信息来检测透明隔膜的隔膜厚度。
(7)根据(6)所述的医疗系统，其中，所述电路进一步被配置为生成将表示所述透明隔膜的隔膜厚度的数值或与所述隔膜厚度相对应的灰度图像叠加在所述特殊光图像或所述普通光图像上的图像。
(8)根据(1)或(2)所述的医疗系统，其中，所述电路进一步被配置为获取具有限于白光波长带的信息的普通光图像，所述特定波长带与红外光相对应；并且基于使用所述特殊光图像和所述普通光图像两者生成的额外深度信息来检测由手术产生的雾。
(9)根据(8)所述的医疗系统，其中，所述电路进一步被配置为生成通知存在雾的报警显示或表示雾的颜色叠加在所述特殊光图像或所述普通光图像上的图像。
(10)根据(9)所述的医疗系统，其中，所述电路进一步被配置为指示所述特殊光图像的显示或生成经过去除由手术产生的雾的图像处理的图像。
(11)根据(1)或(2)所述的医疗系统，其中，所述特定波长带包括第一波长和与所述第一波长不同的第二波长，并且所述电路进一步被配置为基于使用具有限于所述第一波长的信息的第一特殊光图像和具有限于所述第二波长的信息的第二特殊光图像生成的额外深度信息来检测在血管的深度方向上的位置信息。
(12)根据(12)所述的医疗系统，其中，所述电路进一步被配置为生成使用在所述血管的深度方向上的位置信息校正位于比静脉更深的位置处的动脉的反射率的图像。
(13)根据(1)或(2)所述的医疗系统，其中，所述特定波长带与在吲哚菁绿(ICG)注入之后在激发光观察中使用的激发光相对应，所述电路进一步被配置为从由所述激发光获得的深度图像的所述预定位置处生成深度信息，并且所述电路进一步被配置为从所述深度信息检测重叠的血管之间的位置关系、与癌组织连接的血管或具有癌症的转移潜能的区域。
(14)根据(13)所述的医疗系统，其中，所述电路进一步被配置为生成以不同的亮度或颜色显示重叠的血管的图像或生成突出显示了具有癌症的转移潜能的区域的图像。
(15)根据(1)或(2)所述的医疗系统，其中，所述特定波长带对应于蓝光，所述电路进一步被配置为从由所述蓝光获得的深度图像的所述预定位置处生成深度信息，并且所述电路进一步被配置为从由所述蓝光获得的图像估计在肿瘤的平面方向上的尺寸，并且通过将所估计的尺寸的值乘以所述深度信息来检测肿瘤的体积。
(16)根据(15)所述的医疗系统，其中，所述电路进一步被配置为生成突出显示具有高于预定阈值的体积的肿瘤的图像。
(17)根据(1)或(2)所述的医疗系统，其中，所述电路进一步被配置为获取具有限于白光波长带的信息的普通光图像，其中，所述电路进一步被配置为从所述普通光图像生成具有限于所述特定波长带的信息的特殊光图像。
(18)根据(1)或(2)所述的医疗系统，进一步包括特殊光源，该特殊光源被配置为生成用于照亮患者的预定位置的特殊光。
(19)根据(1)或(2)所述的医疗系统，其中，根据所述结构关系，相对于进入患者的身体内的方向或相对于远离患者的身体的方向生成所述深度信息。
(20)一种图像处理方法，包括：从由医疗成像设备拍摄的图像获取特殊光图像，所述特殊光图像具有限于特定波长带的信息；使用所述特殊光图像在患者的预定位置处生成深度信息；并且使用所述深度信息检测结构关系。
(21)一种非暂时性计算机可读介质，具有存储在其上的程序，当通过计算机执行所述程序时使所述计算机执行处理，所述处理包括：从由医疗成像设备拍摄的图像获取特殊光图像，所述特殊光图像具有限于特定波长带的信息；使用所述特殊光图像在患者的预定位置处生成深度信息；并且使用所述深度信息检测结构关系。
(22)一种用于处理由医疗成像设备拍摄的图像的图像处理装置，包括电路，该电路被配置从由所述医疗成像设备拍摄的图像获取特殊光图像，所述特殊光图像具有限于特定波长带的信息；使用所述特殊光图像在患者的预定位置处生成深度信息；并且使用所述深度信息检测结构关系。
参考符号列表
101 图像处理装置
102 成像单元
103 显示单元
121 普通光图像获取单元
122 特殊光图像获取单元
123 3D图像获取单元
124 深度信息生成单元
125 目标区域检测单元
126 图像生成单元
141 普通光图像拍摄单元
142 特殊光图像拍摄单元
143 3D图像拍摄单元
222 特殊光图像获取单元
321 普通光图像获取单元
322 特殊光图像获取单元
323 3D图像获取单元
341 普通光3D图像拍摄单元
342 特殊光3D图像拍摄单元