图像处理设备、方法和程序.pdf

上传人：00062****4422

文档编号：4710462

上传时间：2018-10-30

格式：PDF

页数：15

大小：3.44MB

《图像处理设备、方法和程序.pdf》由会员分享，可在线阅读，更多相关《图像处理设备、方法和程序.pdf（15页完整版）》请在专利查询网上搜索。

1、(10)申请公布号 CN 103025227 A (43)申请公布日 2013.04.03 CN 103025227 A *CN103025227A* (21)申请号 201180036593.1 (22)申请日 2011.07.25 2010-168872 2010.07.28 JP A61B 1/04(2006.01) A61B 1/00(2006.01) A61B 6/03(2006.01) G06T 1/00(2006.01) G06T 15/08(2006.01) (71)申请人富士胶片株式会社地址日本东京 (72)发明人板井善则 (74)专利代理机构北京天昊联合知识产权代。

2、理有限公司 11112 代理人陈源李铭 (54) 发明名称图像处理设备、方法和程序 (57) 摘要问题本发明提供了一种适合于观察大肠的图像。手段通过插入大肠中的内窥镜来捕获示出了大肠壁的内表面的内窥镜图像（E1、 E2）。通过使用示出包括大肠在内的三维区域的三维图像来形成邻近血管图像（Q1），其从三维图像中与内窥镜图像（E1、 E2）的视点相对应的视点来表示存在于壁附近的血管部分。通过使用示出包括大肠的周围区域在内的三维区域的三维图像来形成周围血管图像（Q2），其从与内窥镜图像的视点相对应的视点来表示血管。然后，由显示装置以内窥镜图像。

3、（E1、 E2）、邻近血管图像（Q1）和周围血管图像（Q2）的顺序来显示这些图像。 (30)优先权数据 (85)PCT申请进入国家阶段日 2013.01.25 (86)PCT申请的申请数据 PCT/JP2011/004183 2011.07.25 (87)PCT申请的公布数据 WO2012/014437 JA 2012.02.02 (51)Int.Cl. 权利要求书 2 页说明书 7 页附图 5 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请权利要求书 2 页说明书 7 页附图 5 页 1/2 页 2 1. 一种图像处理设备，用于显示用于观察与周围血。

4、管相关联的管状器官的图像，所述设备包括：表面图像获得装置，用于获得表面图像，所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面；邻近图像生成装置，用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像，所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像；周围图像生成装置，用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像，所述周围血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描述血管的图像；以及显示控制装置，用于使得所述表面图像、。

5、邻近血管图像和周围血管图像按此顺序显示在显示装置上。 2. 根据权利要求 1 所述的图像处理设备，其中：所述设备包括用于根据所述表面图像检测病变的病变检测装置；并且所述显示控制装置是在所述病变检测装置检测到病变时使得进行图像显示的装置。 3. 根据权利要求 1 或 2 所述的图像处理设备，其中：所述设备包括用于对指示执行所述图像显示的输入进行检测的指令检测装置；并且所述显示控制装置是在所述指令检测装置检测到所述输入时使得进行图像显示的装置。 4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述显示控制装置是使得所述表面图像、邻近血管图像和周围血管图。

6、像以切换方式显示的装置。 5.根据权利要求1至3中任一项所述的图像处理设备，其中，所述显示控制装置是使得所述表面图像、邻近血管图像和周围血管图像并排显示的装置。 6.根据权利要求1至5中任一项所述的图像处理设备，其中，所述表面图像是在白光被导向所述表面时所捕获的图像和在不同于白光的特定波长范围内的光被导向所述表面时所捕获的图像中的任一个或两个。 7.根据权利要求1至6中任一项所述的图像处理设备，其中，所述邻近血管图像是表示投影到所述器官的结构上的所述血管的所述一部分的图像。 8. 一种图像显示方法，用于显示用于观察与周围血管相关联的管状器官的图像，所述方法包括：。

7、表面图像获得处理，用于获得表面图像，所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面；邻近图像生成处理，用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像，所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像；周围图像生成处理，用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像，所述周围血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描述所述血管的图像；以及显示控制处理，用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示权。

8、利要求书 CN 103025227 A 2 2/2 页 3 在显示装置上。 9. 根据权利要求 8 所述的图像显示方法，其中：所述方法包括用于根据所述表面图像检测病变的病变检测处理；以及所述显示控制处理是在通过所述病变检测处理检测到病变时使得进行图像显示的处理。 10. 一种图像处理程序，用于显示用于观察与周围血管相关联的管状器官的图像，所述程序使得计算机用作：表面图像获得装置，用于获得表面图像，所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面；邻近图像生成装置，用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像。

9、，所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像；周围图像生成装置，用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像，所述周围血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描述血管的图像；以及显示控制装置，用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。 11. 根据权利要求 10 所述的图像处理程序，其中：所述程序还使得计算用作病变检测装置，所述病变检测装置用于根据所述表面图像检测病变；以及所述显示控制装置是在所述病变检测装置检。

10、测到病变时使得进行图像显示的装置。权利要求书 CN 103025227 A 3 1/7 页 4 图像处理设备、方法和程序技术领域 0001 本发明涉及用于显示用于观察器官（诸如，大肠或胃）的图像的图像处理设备、方法和程序。背景技术 0002 在此以前，用于使用由插入器官中的内窥镜捕获的真实内窥镜图像来诊断和治疗患者的器官（诸如，大肠或胃）的技术是众所周知的。另外，用于根据通过 CT 成像等所获得的三维体积图像来生成虚拟内窥镜图像并且显示所生成的图像的技术也是众所周知的。 0003 日本未审查专利公布第 2006-061274 号提出了如下方法：检测插。

11、入器官中的内窥镜的位置和方位，然后基于所检测到的位置和方位生成视场与真实内窥镜图像相同的虚拟内窥镜图像，并且将通过内窥镜获得的真实内窥镜图像纹理映射为虚拟内窥镜图像，从而生成用于显示的图像。发明内容 0004 当诊断和治疗诸如大肠或胃的器官时，有时需要检查与该器官相关联的周围血管以及粘膜表面上的三维结构和纹理。 0005 在例如大肠的情况下，向在大肠的表面上检测到的病变（诸如，息肉）供给营养的血管的外观是用于辨别大肠癌的关键因素，并且中结肠动脉和右结肠动脉的外观影响到大肠癌的手术计划。因此，当诊断或治疗大肠时，需要观察位于粘膜下层和内在肌层中以及在粘膜表面上。

12、的毛细血管、以及中结肠动脉、右结肠动脉、回结肠动脉等的承续血管（succeeding vessel）的外观。 0006 相反，在通过在日本未审查专利公布第 2006-061274 号中所述的技术提供的用于显示的图像中，可以观察器官的粘膜表面的状态，但无法观察与器官相关联的周围血管的外观，从而不能认为该图像适当地响应了上述需要。 0007 鉴于上述状况而开发了本发明，并且本发明的一个目标是提供能够提供适合于观察与周围血管相关联的管状器官的图像的图像处理设备、方法和程序。 0008 本发明的图像处理设备是用于显示用于观察与周围血管相关联的管状器官的图像的设备，该设备。

13、包括： 0009 表面图像获得装置，用于获得表面图像，该表面图像表示通过插入器官中的内窥镜捕获的器官的壁的内表面； 0010 邻近图像生成装置，用于根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像，该邻近血管图像是从三维图像中与表面图像的视点相对应的视点描绘邻近于壁的血管的一部分的图像； 0011 周围图像生成装置，用于根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像，该周围血管图像是从三维图像中与表面图像的视点相对应的视点描述血管的图像；以及说明书 CN 103025227 A 4 2/7 页 5 0012 显示控制装置，。

14、用于使得表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。 0013 上述设备可以包括用于根据表面图像检测病变的病变检测装置，并且显示控制装置可以是在病变检测装置检测到病变时使得进行图像显示的装置。 0014 另外，上述设备还可以包括用于对指示执行图像显示的输入进行检测的指令检测装置；并且 0015 显示控制装置可以是在指令检测装置检测到输入时使得进行图像显示的装置。 0016 显示控制装置可以是使得表面图像、邻近血管图像和周围血管图像以切换方式显示或并排显示的装置。 0017 表面图像可以是在白光被导向表面时所捕获的图像和在不同于白光的、在特定波长范围内的。

15、光被导向表面时所捕获的图像中的任一个或两者。 0018 邻近血管图像可以是表示投影到器官的结构上的血管的一部分的图像。 0019 本发明的图像处理方法是用于显示用于观察与周围血管相关联的管状器官的图像的方法，该方法包括： 0020 表面图像获得处理，用于获得表面图像，该表面图像表示通过插入器官中的内窥镜捕获的器官的壁的内表面； 0021 邻近图像生成处理，用于根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像，该邻近血管图像是从三维图像中与表面图像的视点相对应的视点描绘邻近于壁的血管的一部分的图像； 0022 周围图像生成处理，用于根据表示包括器官的周围区域在。

16、内的三维区域的三维图像来生成周围血管图像，该周围血管图像是从三维图像中与表面图像的视点相对应的视点描述血管的图像；以及 0023 显示控制处理，用于使得表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。 0024 上述方法可以包括用于根据表面图像检测病变的病变检测处理，并且显示控制处理可以是在通过病变检测处理检测到病变时使得进行图像显示的处理。 0025 本发明的图像处理程序是用于使得至少一台计算执行由上述图像处理设备的每个装置执行的处理的程序。该程序记录在记录介质（诸如， CD-ROM、 DVD 等）上，或者以可下载的方式记录在服务器计算机的辅助存储。

17、装置中或网络存储中，并被提供给用户。 0026 本文中所使用的措辞 “邻近于壁” 是指在从壁的内表面到外部的预定范围内的区域。 0027 本文中所使用的措辞 “使得表面图像、邻近血管图像和周围血管图像以此顺序显示” 具有以其中接收显示的用户可以按这些图像显示的顺序识别这些图像的方式而执行的显示的广泛含义。例如，包括如下显示模式：表面图像、邻近血管图像和周围血管图像以切换方式显示的显示模式，以及表面图像、邻近血管图像和周围血管图像被并排显示的显示模式，以使得用户通过在显示屏上移动用户视线来按此顺序识别。 0028 本文中所使用的措辞 “器官的周围区域” 是指具有足以至。

18、少包括与器官相关联的主要血管的大小的区域。 0029 根据本发明的图像处理设备、方法和程序，获得了表示通过插入器官中的内窥镜说明书 CN 103025227 A 5 3/7 页 6 捕获的器官的壁的内表面的表面图像；根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像，该邻近血管图像是从三维图像中与表面图像的视点对应的视点描绘邻近于壁的血管的一部分的图像；根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像，该周围血管图像是从三维图像中与表面图像的视点相对应的视点描绘血管的图像；以及使得表面图像、邻近血管图像和周围血管图像以此顺序显示。

19、在显示装置上。这使得可以连续地观察器官的内表面的外观和具有从该表面到外周的走向的血管的外观，从而可以容易了解在器官的内表面上的组织和与器官相关联的周围血管之间的关系。 0030 特别地，在观察到诸如息肉等病变的情况下，这使得容易观察向病变供给营养的血管的外观和承续的主要血管的走向、以及粘膜表面上的病变的外观，从而利于确定该病变是良性的还是恶性的并利于手术计划。附图说明 0031 图 1 是医学图像处理系统的硬件配置图，示出了其概况。 0032 图 2 示意性地示出图 1 所示的图像处理设备的配置。 0033 图 3 是图 1 所示的图像处理设备的框图，示出了其功能配置。

20、。 0034 图 4 示出作为示例由显示控制装置实现的屏幕显示。 0035 图 5 是示出由图 1 所示的图像处理设备执行的处理流程的流程图。具体实施方式 0036 下文中，将参照附图描述本发明的图像处理设备、方法和程序的实施例。 0037 图 1 是医学图像处理系统的硬件配置框图，示出了其概况。如图 1 所示，内窥镜设备 3、三维图像捕获设备 5、图像存储服务器 6 和图像处理设备 8 经由系统中的网络 9 可通信地彼此连接。 0038 内窥镜设备 3 包括：内窥镜 31，其捕获对象的体腔的图像；处理器单元 32，其基于通过图像捕获所获得的信号来生成体腔内的对。

21、象组织的图像；光源单元 33，其提供用于照亮体腔的内部的光；位置检测单元 34，其检测内窥镜 31 的端部的位置和方位。 0039 内窥镜 31 包括彼此连接的操作部 3A 和插入部，并且具有延伸的且可分离地附接于处理器单元 32 和光源单元 33 的通用缆线。操作部 3A 具有各种类型的按钮，诸如用于指示插入部的端部 3B 在预定的角度范围内在上下和左右方向弯曲等的按钮。在本实施例中，内窥镜 31 是用于大肠的柔性镜，并且要插入对象的大肠内。通过光纤从光源单元 33 引导的光从内窥镜 31 的端部 3B 投射，并且内窥镜 31 的图像捕获光学系统获得对象的腹腔的。

22、图像。 0040 光源单元 13 包括白光源和窄带光源，该白光源发射具有在从红色区域到蓝色区域的范围内的波长的白光，该窄带光源发射具有不同于白光的特定波长的光，诸如波长为 56010nm的光。光源单元33被配置成使得在内窥镜设备3的图像捕获模式是普通图像捕获模式的情况下提供白光源产生的光，而在图像捕获模式是光谱图像捕获模式的情况下将窄带光源产生的光经由光学系统提供至内窥镜的光导。 0041 位置检测单元 34 检测内窥镜 31 的端部 3B 的位置和方位。更具体地，例如在日本未审查专利公布第2006-061274号中所述，位置检测单元34通过利用将具有对象的特定区说。

23、明书 CN 103025227 A 6 4/7 页 7 域的位置的三维坐标系的检测区域作为参考点的回波单元，来监测内窥镜 31 的端的特征形状，从而检测内窥镜31的端部在对象内部的相对位置和方位；并且位置检测单元34将所获得的端部3B的位置和方位的信息提供至处理器单元32。端部3B的位置和方位对应于视点和视线方向。 0042 处理器单元32通过将由内窥镜31捕获的图像信号转换为数字图像信号并通过数字信号处理（诸如，白平衡校正、阴影校正等）执行图像质量校正，来生成内窥镜图像。处理器单元 32 基于在内窥镜设备 3 的图像捕获模式是普通图像捕获模式期间所捕获的图像信。

24、号来生成普通内窥镜图像 E1，并基于在内窥镜设备 3 的图像捕获模式是光谱图像捕获模式期间所捕获的图像信号来生成光谱内窥镜图像 E2。在端部 3B 在图像捕获时的位置和方位的信息被附加作为辅助信息之后，内窥镜图像 E1 和 E2 中的每一个均被传送至图像存储服务器 6 和图像处理设备 8。 0043 三维图像捕获设备 5 是捕获对象的检查目标区域的图像并且生成表示该区域的三维图像的设备，更具体地，该设备是 CT 设备、 MRI 设备、 PET、超声图记录仪等。由三维图像捕获设备 5 生成的三维图像被传送至图像存储服务器 6 并存储在其中。在本实施例中，生成检查目标区域的。

25、三维图像 V，至少包括大肠及其周围区域。 0044 图像存储服务器 6 是存储并管理各种类型的数据的计算机，并且包括大容量外部存储装置和数据库管理软件。图像存储服务器 6 经由网络 9 与其他设备进行通信，以发送和接收图像数据等。更具体地，图像存储服务器 6 经由网络 9 获得由内窥镜设备 2 获得的内窥镜图像和由三维图像捕获设备 5 获得的三维图像，并且在记录介质（诸如，大容量外部存储装置）中存储 / 管理这些图像。 0045 图像数据的存储格式和经由网络 9 在各设备之间的通信基于诸如 DICOM 等的协议。 0046 图像处理设备 8 是安装有本发明的图像处理程。

26、序的计算机。计算机可以是诊断医生直接操作的工作站或个人计算机、或者经由网络与其连接的服务器计算机。图像处理程序被分布式存储在诸如 DVD、 CD-ROM 等的记录介质中，并且从记录介质安装在计算机上。或者，程序以可从外部访问的方式存储在连接至网络的服务器计算机的存储装置中或网络存储中，并且响应于请求而被下载 / 安装在医生使用的计算机上。 0047 图 2 示意性地示出通过将图像处理程序安装在工作站上而实现的图像处理设备的配置。如图所示，作为工作站的标准配置，图像处理设备 8 包括 CPU81、存储器 82 和存储装置（图像存储装置） 83。另外，显示器 84 和。

27、诸如鼠标 85 等的输入装置（指令检测装置）连接至图像处理设备 8。 0048 存储装置83中包括通过图像处理设备8中的图像处理所生成的图像数据，以及经由网络9从内窥镜设备3、三维图像捕获设备5和图像存储服务器6获得的内窥镜图像和三维图像。 0049 存储器 82 中包括图像处理程序。图像处理程序定义了表面图像获得处理、邻近图像生成处理、周围图像生成处理、病变检测处理、指令检测处理和显示控制处理，作为 CPU81 执行的处理。CPU81 根据程序执行这些处理将使得通用工作站用作表面图像获得装置 71、邻近图像生成装置 72、周围图像生成装置 73、病变检测装置。

28、74、指令检测装置 75 和显示控制装置 76。说明书 CN 103025227 A 7 5/7 页 8 0050 现在将参照图 3 描述图像处理设备 8 的每个功能块。 0051 表面图像获得装置 71 获得通过内窥镜设备 3 在预定视点位置对大肠的内部进行成像而捕获的普通内窥镜图像 E1 和光谱内窥镜图像 E2。在这些图像已存储在存储装置 83 中的情况下，可从存储装置 83 获得这些图像。普通内窥镜图像 E1 和光谱内窥镜图像 E2 中的每一个均对应于表示大肠的壁的内表面的表面图像。所获得的普通内窥镜图像 E1 和光谱内窥镜图像 E2 输出至显示控制装置 76。 005。

29、2 邻近图像生成装置 72 生成邻近血管图像，该邻近血管图像从与普通内窥镜图像 E1 或光谱内窥镜图像 E2 的视点相对应的三维图像 V 中的视点来描绘邻近于大肠壁的血管的一部分。更具体地，三维图像 V 是从三维图像捕获设备 5 或图像存储服务器 6、以及附接于普通内窥镜图像 E1 或光谱内窥镜图像 E2 的端部 3B 的位置 P 和方位 D( 内窥镜图像的视点和视线方向 ) 的信息而获得的。然后，提取大肠的中心线，并设置在垂直于中心线的每个横截面上从中心线经过的点径向延伸的多条线，并且将每条线经过的大肠壁的内表面上的点的像素值设置为在从壁的表面到外部的预定范围内在该线上。

30、的所有点的像素值中的最大值（深度 Mip 映射）。该处理在大肠壁的内表面上生成由于邻近于大肠壁的造影剂而具有高像素值的全部血管部分的投影图像。另外，作为在普通体绘制中所分配的不透明度，接近于一的值被分配给大肠壁，使得如实地描绘大肠壁的形状。接下来，通过将关于从作为三维图像V中对应于位置P的位置的视点径向延伸的多条视线的图像信息投影到以对应于方位 D 的方向作为投影方向中心的投影平面上，来根据三维图像 V 生成投影图像。 0053 对于具体的投影方法，使用已知的体绘制技术等（同样适用于周围图像生成装置 73）。以如上所述的方式生成的投影图像是构图与普通内窥镜图像。

31、E1或光谱内窥镜图像E2 的构图相同的虚拟内窥镜图像，并且是其中邻近于大肠壁的血管部分的投影图像作为图案而被表示在大肠壁上的图像。该虚拟内窥镜图像对应于本发明的邻近血管图像，在下文中被称为邻近血管图像。邻近血管图像被输出至显示控制装置 76。 0054 周围图像生成装置73根据三维图像V生成周围血管图像，该周围血管图像是从与普通内窥镜图像 E1 或光谱内窥镜图像 E2 的视点对应的三维图像 V 中的视点来描述大肠周围的血管的图像。更具体地，三维图像 V 是从三维图像捕获设备 5 或图像存储服务器 6 以及附接于普通内窥镜图像 E1 或光谱内窥镜图像 E2 的端部 3B 的位置。

32、 P 和方位 D 的信息而获得的。另外，作为在普通体绘制中所分配的不透明度，接近于零的值被分配给大肠壁，使得可见性不被大肠壁阻碍。接下来，通过将关于从作为对应于位置 P 的三维图像 V 中的位置的视点径向延伸的多条视线的图像信息投影到以对应于方位 D 的方向作为投影方向中心的投影平面上，来根据三维图像 V 生成投影图像。以如上所述的方式生成的投影图像是其中如实地描绘了大肠周围的组织的外观（特别是由于造影剂而具有高像素值的血管）的伪三维图像。该伪三维图像对应于本发明的周围血管图像，在下文中被称为周围血管图像。周围血管图像被输出至显示控制装置 76。 0055 病变。

33、检测装置74是如下装置：其根据普通内窥镜图像E1或光谱内窥镜图像E2检测病变，并且通过利用计算机辅助诊断系统自动检测诸如凸出物（息肉）、癌症或肿瘤的病变区域来获得病变区域53。该病变区域可以通过接收医生通过对内窥镜图像的判读检测到的且使用设置在图像处理设备 8 中的输入装置（诸如鼠标 84 等）所输入的病变的位置来获得。病变的检测结果被输出至显示控制装置 76、邻近图像生成装置 72、周围图像生成装置说明书 CN 103025227 A 8 6/7 页 9 73 等。 0056 指令检测装置75通过检测用户通过诸如鼠标85等的输入装置进行的菜单选择来检测稍。

34、后描述的、指示执行本发明的一系列图像显示操作的输入。指令检测装置 75 可以是检测用户通过内窥镜成像设备 3 的操作部 3A 所执行的操作并检测指令输入的装置。 0057 显示控制装置 76 控制显示器 84 的屏幕的显示格式和显示定时。更具体地，如果显示模式是 “普通显示模式” ，则显示控制装置 76 顺序地获得并显示以预定帧速率捕获的、内窥镜设备 3 获得的内窥镜图像。如果显示模式是 “串行显示模式” ，则显示控制装置 76 以切换方式将表面图像、邻近血管图像和周围血管图像以此顺序显示在显示器 84 的屏幕的预定显示区域上。另外，显示控制装置 7 还可以将表面图像、。

35、邻近血管图像和周围血管图像在显示屏上从上到下或从左到右地并排显示。显示控制装置 7 根据设置信息或用户操作确定是以切换方式显示这些图像还是并排显示这些图像。图 4 示出当显示模式是 “串行显示模式” 时的一个显示示例，其中普通内窥镜图像 E1、光谱内窥镜图像 E2、邻近血管图像和周围血管图像这些显示图像以此顺序并排显示。 0058 另外，如果病变检测装置 74 检测到病变或者如果指令检测装置 75 检测到指示执行串行显示的输入，则显示控制装置 76 将显示模式设置为 “串行显示模式” 并且执行上述显示。 0059 现在将参照图5所示的流程图描述本发明的图像处理设备8执行的。

36、处理流程的示例。首先，表面图像获得装置 71 获得通过内窥镜设备 3 在预定视点位置处对大肠的内部成像而捕获的普通内窥镜图像 E1 和光谱内窥镜图像 E2（步骤 ST1）。此后，病变检测装置 74 执行用于根据光谱内窥镜图像 E2 检测病变的处理，并且确定是否检测到病变（步骤 ST2）。如果在步骤 ST2 中没有检测到病变，则显示控制装置 76 将显示模式设置为 “普通显示模式” ，并且顺序地获得和显示以预定帧速率捕获的、由内窥镜设备3获得的内窥镜图像（步骤 ST3）。此后，重复步骤 ST2 和 ST3，直到在步骤 ST2 中检测到病变为止。 0060 如果在。

37、步骤 ST2 中检测到病变，则邻近图像生成装置 72 根据三维图像 V 生成邻近血管图像，该邻近血管图像是从与普通内窥镜图像E1的视点相对应的三维图像V中的视点描绘邻近于大肠壁的血管部分的图像（步骤 ST4）。另外，周围图像生成装置 73 根据三维图像V生成周围血管图像，该周围血管图像是从与普通内窥镜图像E1的视点对应的三维图像 V 中的视点描绘大肠周围的血管的图像（步骤 ST5）。可以同时执行步骤 ST5 和 ST6，或者可以首先执行任一个步骤并接下来执行另一步骤。随后，显示控制装置 76 将显示模式设置为 “串行显示模式” ，并且以切换方式将普通内窥镜图像E1。

38、、光谱内窥镜图像E2、邻近血管图像和周围血管图像以此顺序显示（步骤 ST6），并且处理结束。 0061 如上所述，根据本实施例的图像处理设备和程序，通过由插入大肠中的内窥镜执行的图像捕获来获得表示大肠壁的内表面的内窥镜图像（表面图像） E1、 E2。然后，根据表示包括大肠的三维区域的三维图像，生成邻近血管图像 Q1 和周围血管图像 Q2，其中该邻近血管图像 Q1 是从三维图像中与内窥镜图像的视点对应的视点描绘邻近于大肠壁的血管部分的图像，该周围血管图像 Q2 是从三维图像中与内窥镜图像的视点对应的视点描绘周围血管的图像。此后，内窥镜图像 E1、 E2、邻。

39、近血管图像 Q1 和周围血管图像 Q2 以此顺序显示在显示装置上。这使得能够连续地观察大肠的内表面的外观和具有从表面到外周的走向的血管的外观，从而可以容易地了解大肠的内表面上的组织和与大肠相关联的周围血管之间说明书 CN 103025227 A 9 7/7 页 10 的关系。 0062 另外，对内窥镜图像执行病变检测，并且如果检测到诸如息肉的病变，则使得内窥镜图像、邻近血管图像和周围血管图像以此顺序显示在显示装置上。这使得能够容易地观察向病变供给营养的血管的外观、承续的主要血管的走向以及粘膜表面上的病变的外观，从而利于确定病变是良性的还是恶性的以及利于手术计划。。

40、0063 在上述实施例中，已描述应用本发明的图像处理设备以观察大肠的情况，但应用不限于此，并且设备还可以用于观察与周围血管相关联的其他管状器官（诸如，胃）。 0064 另外，在上述实施例中，已描述普通内窥镜图像E1和光谱内窥镜图像E2都显示为表面图像的情况，但可以采用仅显示它们中的任一个的布置。 0065 另外，显示控制装置 76 可以是进一步配备有如下功能的装置：通过在显示模式是 “串行显示模式” 时进一步检测用户通过诸如鼠标85等输入装置执行的菜单选择，以切换方式将周围血管图像 Q2、邻近血管图像 Q1 和表面图像 E1、 E2 以与上述串行图像显示顺序相。

41、反的此顺序显示在显示器 84 的屏幕的预定显示区域上。 0066 另外，上述图像处理设备8还可以包括图像生成装置，其根据三维图像V来生成构图与内窥镜成像设备 3 捕获的内窥镜图像的构图相同且以仿佛由内窥镜观察一样的方式表示目标器官的外观的虚拟内窥镜图像，并且当显示模式是 “正常显示模式” 时，显示控制装置 76 可以以联锁方式显示内窥镜图像和构图与图像生成装置生成的内窥镜图像的构图相同的虚拟内窥镜图像。说明书 CN 103025227 A 10 1/5 页 11 图 1 说明书附图 CN 103025227 A 11 2/5 页 12 图 2 说明书附图 CN 103025227 A 12 3/5 页 13 图 3 说明书附图 CN 103025227 A 13 4/5 页 14 图 4 说明书附图 CN 103025227 A 14 5/5 页 15 图 5 说明书附图 CN 103025227 A 15 。

摘要
申请专利号：	CN201180036593.1	申请日：	2011.07.25
公开号：	CN103025227A	公开日：	2013.04.03
当前法律状态：	授权	有效性：	有权
法律详情：	授权\|\|\|实质审查的生效IPC(主分类):A61B 1/04申请日:20110725\|\|\|公开
IPC分类号：	A61B1/04; A61B1/00; A61B6/03; G06T1/00; G06T15/08	主分类号：	A61B1/04
申请人：	富士胶片株式会社
发明人：	板井善则
地址：	日本东京
优先权：	2010.07.28 JP 2010-168872
专利代理机构：	北京天昊联合知识产权代理有限公司 11112	代理人：	陈源;李铭
PDF完整版下载：	PDF下载

内容摘要

[问题]本发明提供了一种适合于观察大肠的图像。[手段]通过插入大肠中的内窥镜来捕获示出了大肠壁的内表面的内窥镜图像（E1、E2）。通过使用示出包括大肠在内的三维区域的三维图像来形成邻近血管图像（Q1），其从三维图像中与内窥镜图像（E1、E2）的视点相对应的视点来表示存在于壁附近的血管部分。通过使用示出包括大肠的周围区域在内的三维区域的三维图像来形成周围血管图像（Q2），其从与内窥镜图像的视点相对应的视点来表示血管。然后，由显示装置以内窥镜图像（E1、E2）、邻近血管图像（Q1）和周围血管图像（Q2）的顺序来显示这些图像。

权利要求书

权利要求书一种图像处理设备，用于显示用于观察与周围血管相关联的管状器官的图像，所述设备包括：
表面图像获得装置，用于获得表面图像，所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面；
邻近图像生成装置，用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像，所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像；
周围图像生成装置，用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像，所述周围血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描述血管的图像；以及
显示控制装置，用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
根据权利要求1所述的图像处理设备，其中：
所述设备包括用于根据所述表面图像检测病变的病变检测装置；并且
所述显示控制装置是在所述病变检测装置检测到病变时使得进行图像显示的装置。
根据权利要求1或2所述的图像处理设备，其中：
所述设备包括用于对指示执行所述图像显示的输入进行检测的指令检测装置；并且
所述显示控制装置是在所述指令检测装置检测到所述输入时使得进行图像显示的装置。
根据权利要求1至3中任一项所述的图像处理设备，其中，所述显示控制装置是使得所述表面图像、邻近血管图像和周围血管图像以切换方式显示的装置。
根据权利要求1至3中任一项所述的图像处理设备，其中，所述显示控制装置是使得所述表面图像、邻近血管图像和周围血管图像并排显示的装置。
根据权利要求1至5中任一项所述的图像处理设备，其中，所述表面图像是在白光被导向所述表面时所捕获的图像和在不同于白光的特定波长范围内的光被导向所述表面时所捕获的图像中的任一个或两个。
根据权利要求1至6中任一项所述的图像处理设备，其中，所述邻近血管图像是表示投影到所述器官的结构上的所述血管的所述一部分的图像。
一种图像显示方法，用于显示用于观察与周围血管相关联的管状器官的图像，所述方法包括：
表面图像获得处理，用于获得表面图像，所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面；
邻近图像生成处理，用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像，所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像；
周围图像生成处理，用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像，所述周围血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描述所述血管的图像；以及
显示控制处理，用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
根据权利要求8所述的图像显示方法，其中：
所述方法包括用于根据所述表面图像检测病变的病变检测处理；以及
所述显示控制处理是在通过所述病变检测处理检测到病变时使得进行图像显示的处理。
一种图像处理程序，用于显示用于观察与周围血管相关联的管状器官的图像，所述程序使得计算机用作：
表面图像获得装置，用于获得表面图像，所述表面图像表示通过插入所述器官中的内窥镜捕获的所述器官的壁的内表面；
邻近图像生成装置，用于根据表示包括所述器官在内的三维区域的三维图像来生成邻近血管图像，所述邻近血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描绘邻近于所述壁的血管的一部分的图像；
周围图像生成装置，用于根据表示包括所述器官的周围区域在内的三维区域的三维图像来生成周围血管图像，所述周围血管图像是从所述三维图像中与所述表面图像的视点相对应的视点描述血管的图像；以及
显示控制装置，用于使得所述表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
根据权利要求10所述的图像处理程序，其中：
所述程序还使得计算用作病变检测装置，所述病变检测装置用于根据所述表面图像检测病变；以及
所述显示控制装置是在所述病变检测装置检测到病变时使得进行图像显示的装置。

说明书

说明书图像处理设备、方法和程序
技术领域
本发明涉及用于显示用于观察器官（诸如，大肠或胃）的图像的图像处理设备、方法和程序。
背景技术
在此以前，用于使用由插入器官中的内窥镜捕获的真实内窥镜图像来诊断和治疗患者的器官（诸如，大肠或胃）的技术是众所周知的。另外，用于根据通过CT成像等所获得的三维体积图像来生成虚拟内窥镜图像并且显示所生成的图像的技术也是众所周知的。
日本未审查专利公布第2006‑061274号提出了如下方法：检测插入器官中的内窥镜的位置和方位，然后基于所检测到的位置和方位生成视场与真实内窥镜图像相同的虚拟内窥镜图像，并且将通过内窥镜获得的真实内窥镜图像纹理映射为虚拟内窥镜图像，从而生成用于显示的图像。
发明内容
当诊断和治疗诸如大肠或胃的器官时，有时需要检查与该器官相关联的周围血管以及粘膜表面上的三维结构和纹理。
在例如大肠的情况下，向在大肠的表面上检测到的病变（诸如，息肉）供给营养的血管的外观是用于辨别大肠癌的关键因素，并且中结肠动脉和右结肠动脉的外观影响到大肠癌的手术计划。因此，当诊断或治疗大肠时，需要观察位于粘膜下层和内在肌层中以及在粘膜表面上的毛细血管、以及中结肠动脉、右结肠动脉、回结肠动脉等的承续血管（succeeding vessel）的外观。
相反，在通过在日本未审查专利公布第2006‑061274号中所述的技术提供的用于显示的图像中，可以观察器官的粘膜表面的状态，但无法观察与器官相关联的周围血管的外观，从而不能认为该图像适当地响应了上述需要。
鉴于上述状况而开发了本发明，并且本发明的一个目标是提供能够提供适合于观察与周围血管相关联的管状器官的图像的图像处理设备、方法和程序。
本发明的图像处理设备是用于显示用于观察与周围血管相关联的管状器官的图像的设备，该设备包括：
表面图像获得装置，用于获得表面图像，该表面图像表示通过插入器官中的内窥镜捕获的器官的壁的内表面；
邻近图像生成装置，用于根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像，该邻近血管图像是从三维图像中与表面图像的视点相对应的视点描绘邻近于壁的血管的一部分的图像；
周围图像生成装置，用于根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像，该周围血管图像是从三维图像中与表面图像的视点相对应的视点描述血管的图像；以及
显示控制装置，用于使得表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
上述设备可以包括用于根据表面图像检测病变的病变检测装置，并且显示控制装置可以是在病变检测装置检测到病变时使得进行图像显示的装置。
另外，上述设备还可以包括用于对指示执行图像显示的输入进行检测的指令检测装置；并且
显示控制装置可以是在指令检测装置检测到输入时使得进行图像显示的装置。
显示控制装置可以是使得表面图像、邻近血管图像和周围血管图像以切换方式显示或并排显示的装置。
表面图像可以是在白光被导向表面时所捕获的图像和在不同于白光的、在特定波长范围内的光被导向表面时所捕获的图像中的任一个或两者。
邻近血管图像可以是表示投影到器官的结构上的血管的一部分的图像。
本发明的图像处理方法是用于显示用于观察与周围血管相关联的管状器官的图像的方法，该方法包括：
表面图像获得处理，用于获得表面图像，该表面图像表示通过插入器官中的内窥镜捕获的器官的壁的内表面；
邻近图像生成处理，用于根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像，该邻近血管图像是从三维图像中与表面图像的视点相对应的视点描绘邻近于壁的血管的一部分的图像；
周围图像生成处理，用于根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像，该周围血管图像是从三维图像中与表面图像的视点相对应的视点描述血管的图像；以及
显示控制处理，用于使得表面图像、邻近血管图像和周围血管图像按此顺序显示在显示装置上。
上述方法可以包括用于根据表面图像检测病变的病变检测处理，并且显示控制处理可以是在通过病变检测处理检测到病变时使得进行图像显示的处理。
本发明的图像处理程序是用于使得至少一台计算执行由上述图像处理设备的每个装置执行的处理的程序。该程序记录在记录介质（诸如，CD‑ROM、DVD等）上，或者以可下载的方式记录在服务器计算机的辅助存储装置中或网络存储中，并被提供给用户。
本文中所使用的措辞“邻近于壁”是指在从壁的内表面到外部的预定范围内的区域。
本文中所使用的措辞“使得表面图像、邻近血管图像和周围血管图像以此顺序显示”具有以其中接收显示的用户可以按这些图像显示的顺序识别这些图像的方式而执行的显示的广泛含义。例如，包括如下显示模式：表面图像、邻近血管图像和周围血管图像以切换方式显示的显示模式，以及表面图像、邻近血管图像和周围血管图像被并排显示的显示模式，以使得用户通过在显示屏上移动用户视线来按此顺序识别。
本文中所使用的措辞“器官的周围区域”是指具有足以至少包括与器官相关联的主要血管的大小的区域。
根据本发明的图像处理设备、方法和程序，获得了表示通过插入器官中的内窥镜捕获的器官的壁的内表面的表面图像；根据表示包括器官在内的三维区域的三维图像来生成邻近血管图像，该邻近血管图像是从三维图像中与表面图像的视点对应的视点描绘邻近于壁的血管的一部分的图像；根据表示包括器官的周围区域在内的三维区域的三维图像来生成周围血管图像，该周围血管图像是从三维图像中与表面图像的视点相对应的视点描绘血管的图像；以及使得表面图像、邻近血管图像和周围血管图像以此顺序显示在显示装置上。这使得可以连续地观察器官的内表面的外观和具有从该表面到外周的走向的血管的外观，从而可以容易了解在器官的内表面上的组织和与器官相关联的周围血管之间的关系。
特别地，在观察到诸如息肉等病变的情况下，这使得容易观察向病变供给营养的血管的外观和承续的主要血管的走向、以及粘膜表面上的病变的外观，从而利于确定该病变是良性的还是恶性的并利于手术计划。
附图说明
图1是医学图像处理系统的硬件配置图，示出了其概况。
图2示意性地示出图1所示的图像处理设备的配置。
图3是图1所示的图像处理设备的框图，示出了其功能配置。
图4示出作为示例由显示控制装置实现的屏幕显示。
图5是示出由图1所示的图像处理设备执行的处理流程的流程图。
具体实施方式
下文中，将参照附图描述本发明的图像处理设备、方法和程序的实施例。
图1是医学图像处理系统的硬件配置框图，示出了其概况。如图1所示，内窥镜设备3、三维图像捕获设备5、图像存储服务器6和图像处理设备8经由系统中的网络9可通信地彼此连接。
内窥镜设备3包括：内窥镜31，其捕获对象的体腔的图像；处理器单元32，其基于通过图像捕获所获得的信号来生成体腔内的对象组织的图像；光源单元33，其提供用于照亮体腔的内部的光；位置检测单元34，其检测内窥镜31的端部的位置和方位。
内窥镜31包括彼此连接的操作部3A和插入部，并且具有延伸的且可分离地附接于处理器单元32和光源单元33的通用缆线。操作部3A具有各种类型的按钮，诸如用于指示插入部的端部3B在预定的角度范围内在上下和左右方向弯曲等的按钮。在本实施例中，内窥镜31是用于大肠的柔性镜，并且要插入对象的大肠内。通过光纤从光源单元33引导的光从内窥镜31的端部3B投射，并且内窥镜31的图像捕获光学系统获得对象的腹腔的图像。
光源单元13包括白光源和窄带光源，该白光源发射具有在从红色区域到蓝色区域的范围内的波长的白光，该窄带光源发射具有不同于白光的特定波长的光，诸如波长为560±10nm的光。光源单元33被配置成使得在内窥镜设备3的图像捕获模式是普通图像捕获模式的情况下提供白光源产生的光，而在图像捕获模式是光谱图像捕获模式的情况下将窄带光源产生的光经由光学系统提供至内窥镜的光导。
位置检测单元34检测内窥镜31的端部3B的位置和方位。更具体地，例如在日本未审查专利公布第2006‑061274号中所述，位置检测单元34通过利用将具有对象的特定区域的位置的三维坐标系的检测区域作为参考点的回波单元，来监测内窥镜31的端的特征形状，从而检测内窥镜31的端部在对象内部的相对位置和方位；并且位置检测单元34将所获得的端部3B的位置和方位的信息提供至处理器单元32。端部3B的位置和方位对应于视点和视线方向。
处理器单元32通过将由内窥镜31捕获的图像信号转换为数字图像信号并通过数字信号处理（诸如，白平衡校正、阴影校正等）执行图像质量校正，来生成内窥镜图像。处理器单元32基于在内窥镜设备3的图像捕获模式是普通图像捕获模式期间所捕获的图像信号来生成普通内窥镜图像E1，并基于在内窥镜设备3的图像捕获模式是光谱图像捕获模式期间所捕获的图像信号来生成光谱内窥镜图像E2。在端部3B在图像捕获时的位置和方位的信息被附加作为辅助信息之后，内窥镜图像E1和E2中的每一个均被传送至图像存储服务器6和图像处理设备8。
三维图像捕获设备5是捕获对象的检查目标区域的图像并且生成表示该区域的三维图像的设备，更具体地，该设备是CT设备、MRI设备、PET、超声图记录仪等。由三维图像捕获设备5生成的三维图像被传送至图像存储服务器6并存储在其中。在本实施例中，生成检查目标区域的三维图像V，至少包括大肠及其周围区域。
图像存储服务器6是存储并管理各种类型的数据的计算机，并且包括大容量外部存储装置和数据库管理软件。图像存储服务器6经由网络9与其他设备进行通信，以发送和接收图像数据等。更具体地，图像存储服务器6经由网络9获得由内窥镜设备2获得的内窥镜图像和由三维图像捕获设备5获得的三维图像，并且在记录介质（诸如，大容量外部存储装置）中存储/管理这些图像。
图像数据的存储格式和经由网络9在各设备之间的通信基于诸如DICOM等的协议。
图像处理设备8是安装有本发明的图像处理程序的计算机。计算机可以是诊断医生直接操作的工作站或个人计算机、或者经由网络与其连接的服务器计算机。图像处理程序被分布式存储在诸如DVD、CD‑ROM等的记录介质中，并且从记录介质安装在计算机上。或者，程序以可从外部访问的方式存储在连接至网络的服务器计算机的存储装置中或网络存储中，并且响应于请求而被下载/安装在医生使用的计算机上。
图2示意性地示出通过将图像处理程序安装在工作站上而实现的图像处理设备的配置。如图所示，作为工作站的标准配置，图像处理设备8包括CPU81、存储器82和存储装置（图像存储装置）83。另外，显示器84和诸如鼠标85等的输入装置（指令检测装置）连接至图像处理设备8。
存储装置83中包括通过图像处理设备8中的图像处理所生成的图像数据，以及经由网络9从内窥镜设备3、三维图像捕获设备5和图像存储服务器6获得的内窥镜图像和三维图像。
存储器82中包括图像处理程序。图像处理程序定义了表面图像获得处理、邻近图像生成处理、周围图像生成处理、病变检测处理、指令检测处理和显示控制处理，作为CPU81执行的处理。CPU81根据程序执行这些处理将使得通用工作站用作表面图像获得装置71、邻近图像生成装置72、周围图像生成装置73、病变检测装置74、指令检测装置75和显示控制装置76。
现在将参照图3描述图像处理设备8的每个功能块。
表面图像获得装置71获得通过内窥镜设备3在预定视点位置对大肠的内部进行成像而捕获的普通内窥镜图像E1和光谱内窥镜图像E2。在这些图像已存储在存储装置83中的情况下，可从存储装置83获得这些图像。普通内窥镜图像E1和光谱内窥镜图像E2中的每一个均对应于表示大肠的壁的内表面的表面图像。所获得的普通内窥镜图像E1和光谱内窥镜图像E2输出至显示控制装置76。
邻近图像生成装置72生成邻近血管图像，该邻近血管图像从与普通内窥镜图像E1或光谱内窥镜图像E2的视点相对应的三维图像V中的视点来描绘邻近于大肠壁的血管的一部分。更具体地，三维图像V是从三维图像捕获设备5或图像存储服务器6、以及附接于普通内窥镜图像E1或光谱内窥镜图像E2的端部3B的位置P和方位D(内窥镜图像的视点和视线方向)的信息而获得的。然后，提取大肠的中心线，并设置在垂直于中心线的每个横截面上从中心线经过的点径向延伸的多条线，并且将每条线经过的大肠壁的内表面上的点的像素值设置为在从壁的表面到外部的预定范围内在该线上的所有点的像素值中的最大值（深度Mip映射）。该处理在大肠壁的内表面上生成由于邻近于大肠壁的造影剂而具有高像素值的全部血管部分的投影图像。另外，作为在普通体绘制中所分配的不透明度，接近于一的值被分配给大肠壁，使得如实地描绘大肠壁的形状。接下来，通过将关于从作为三维图像V中对应于位置P的位置的视点径向延伸的多条视线的图像信息投影到以对应于方位D的方向作为投影方向中心的投影平面上，来根据三维图像V生成投影图像。
对于具体的投影方法，使用已知的体绘制技术等（同样适用于周围图像生成装置73）。以如上所述的方式生成的投影图像是构图与普通内窥镜图像E1或光谱内窥镜图像E2的构图相同的虚拟内窥镜图像，并且是其中邻近于大肠壁的血管部分的投影图像作为图案而被表示在大肠壁上的图像。该虚拟内窥镜图像对应于本发明的邻近血管图像，在下文中被称为邻近血管图像。邻近血管图像被输出至显示控制装置76。
周围图像生成装置73根据三维图像V生成周围血管图像，该周围血管图像是从与普通内窥镜图像E1或光谱内窥镜图像E2的视点对应的三维图像V中的视点来描述大肠周围的血管的图像。更具体地，三维图像V是从三维图像捕获设备5或图像存储服务器6以及附接于普通内窥镜图像E1或光谱内窥镜图像E2的端部3B的位置P和方位D的信息而获得的。另外，作为在普通体绘制中所分配的不透明度，接近于零的值被分配给大肠壁，使得可见性不被大肠壁阻碍。接下来，通过将关于从作为对应于位置P的三维图像V中的位置的视点径向延伸的多条视线的图像信息投影到以对应于方位D的方向作为投影方向中心的投影平面上，来根据三维图像V生成投影图像。以如上所述的方式生成的投影图像是其中如实地描绘了大肠周围的组织的外观（特别是由于造影剂而具有高像素值的血管）的伪三维图像。该伪三维图像对应于本发明的周围血管图像，在下文中被称为周围血管图像。周围血管图像被输出至显示控制装置76。
病变检测装置74是如下装置：其根据普通内窥镜图像E1或光谱内窥镜图像E2检测病变，并且通过利用计算机辅助诊断系统自动检测诸如凸出物（息肉）、癌症或肿瘤的病变区域来获得病变区域53。该病变区域可以通过接收医生通过对内窥镜图像的判读检测到的且使用设置在图像处理设备8中的输入装置（诸如鼠标84等）所输入的病变的位置来获得。病变的检测结果被输出至显示控制装置76、邻近图像生成装置72、周围图像生成装置73等。
指令检测装置75通过检测用户通过诸如鼠标85等的输入装置进行的菜单选择来检测稍后描述的、指示执行本发明的一系列图像显示操作的输入。指令检测装置75可以是检测用户通过内窥镜成像设备3的操作部3A所执行的操作并检测指令输入的装置。
显示控制装置76控制显示器84的屏幕的显示格式和显示定时。更具体地，如果显示模式是“普通显示模式”，则显示控制装置76顺序地获得并显示以预定帧速率捕获的、内窥镜设备3获得的内窥镜图像。如果显示模式是“串行显示模式”，则显示控制装置76以切换方式将表面图像、邻近血管图像和周围血管图像以此顺序显示在显示器84的屏幕的预定显示区域上。另外，显示控制装置7还可以将表面图像、邻近血管图像和周围血管图像在显示屏上从上到下或从左到右地并排显示。显示控制装置7根据设置信息或用户操作确定是以切换方式显示这些图像还是并排显示这些图像。图4示出当显示模式是“串行显示模式”时的一个显示示例，其中普通内窥镜图像E1、光谱内窥镜图像E2、邻近血管图像和周围血管图像这些显示图像以此顺序并排显示。
另外，如果病变检测装置74检测到病变或者如果指令检测装置75检测到指示执行串行显示的输入，则显示控制装置76将显示模式设置为“串行显示模式”并且执行上述显示。
现在将参照图5所示的流程图描述本发明的图像处理设备8执行的处理流程的示例。首先，表面图像获得装置71获得通过内窥镜设备3在预定视点位置处对大肠的内部成像而捕获的普通内窥镜图像E1和光谱内窥镜图像E2（步骤ST1）。此后，病变检测装置74执行用于根据光谱内窥镜图像E2检测病变的处理，并且确定是否检测到病变（步骤ST2）。如果在步骤ST2中没有检测到病变，则显示控制装置76将显示模式设置为“普通显示模式”，并且顺序地获得和显示以预定帧速率捕获的、由内窥镜设备3获得的内窥镜图像（步骤ST3）。此后，重复步骤ST2和ST3，直到在步骤ST2中检测到病变为止。
如果在步骤ST2中检测到病变，则邻近图像生成装置72根据三维图像V生成邻近血管图像，该邻近血管图像是从与普通内窥镜图像E1的视点相对应的三维图像V中的视点描绘邻近于大肠壁的血管部分的图像（步骤ST4）。另外，周围图像生成装置73根据三维图像V生成周围血管图像，该周围血管图像是从与普通内窥镜图像E1的视点对应的三维图像V中的视点描绘大肠周围的血管的图像（步骤ST5）。可以同时执行步骤ST5和ST6，或者可以首先执行任一个步骤并接下来执行另一步骤。随后，显示控制装置76将显示模式设置为“串行显示模式”，并且以切换方式将普通内窥镜图像E1、光谱内窥镜图像E2、邻近血管图像和周围血管图像以此顺序显示（步骤ST6），并且处理结束。
如上所述，根据本实施例的图像处理设备和程序，通过由插入大肠中的内窥镜执行的图像捕获来获得表示大肠壁的内表面的内窥镜图像（表面图像）E1、E2。然后，根据表示包括大肠的三维区域的三维图像，生成邻近血管图像Q1和周围血管图像Q2，其中该邻近血管图像Q1是从三维图像中与内窥镜图像的视点对应的视点描绘邻近于大肠壁的血管部分的图像，该周围血管图像Q2是从三维图像中与内窥镜图像的视点对应的视点描绘周围血管的图像。此后，内窥镜图像E1、E2、邻近血管图像Q1和周围血管图像Q2以此顺序显示在显示装置上。这使得能够连续地观察大肠的内表面的外观和具有从表面到外周的走向的血管的外观，从而可以容易地了解大肠的内表面上的组织和与大肠相关联的周围血管之间的关系。
另外，对内窥镜图像执行病变检测，并且如果检测到诸如息肉的病变，则使得内窥镜图像、邻近血管图像和周围血管图像以此顺序显示在显示装置上。这使得能够容易地观察向病变供给营养的血管的外观、承续的主要血管的走向以及粘膜表面上的病变的外观，从而利于确定病变是良性的还是恶性的以及利于手术计划。
在上述实施例中，已描述应用本发明的图像处理设备以观察大肠的情况，但应用不限于此，并且设备还可以用于观察与周围血管相关联的其他管状器官（诸如，胃）。
另外，在上述实施例中，已描述普通内窥镜图像E1和光谱内窥镜图像E2都显示为表面图像的情况，但可以采用仅显示它们中的任一个的布置。
另外，显示控制装置76可以是进一步配备有如下功能的装置：通过在显示模式是“串行显示模式”时进一步检测用户通过诸如鼠标85等输入装置执行的菜单选择，以切换方式将周围血管图像Q2、邻近血管图像Q1和表面图像E1、E2以与上述串行图像显示顺序相反的此顺序显示在显示器84的屏幕的预定显示区域上。
另外，上述图像处理设备8还可以包括图像生成装置，其根据三维图像V来生成构图与内窥镜成像设备3捕获的内窥镜图像的构图相同且以仿佛由内窥镜观察一样的方式表示目标器官的外观的虚拟内窥镜图像，并且当显示模式是“正常显示模式”时，显示控制装置76可以以联锁方式显示内窥镜图像和构图与图像生成装置生成的内窥镜图像的构图相同的虚拟内窥镜图像。