基于普通微机的大数据量医学影像三维交互方法.pdf

基于普通微机的大数据量医学影像三维交互方法，本发明涉及计算机图形学与信息可视化技术领域。以解决对重建后的大数据量三维模型进行交互的问题。它通过下述步骤实现：医学影像三维数据体的多精度分块，将分块后的数据用八叉树结构进行存储；多精度数据块的纹理映射：具体为建立多分块数据与微型计算机显卡的图形纹理缓存间的映射关系；选定一组等距且平行的切面，利用该组切面与医学影像三维数据体相交产生多个切片，确定位于切片上的数据块并通过对八叉树结构数据块遍历的方式依次选定数据块的精度；交互绘制的实现：把由数据块组成的切片送入微型计算机显卡的图形纹理缓存，由微型计算机显卡完成各切片的间隙的插值计算，从而绘制三维图像。

1、  基于普通微机的大数据量医学影像三维交互方法，其特征在于它通过下述步骤实现：一、医学影像三维数据体的多精度分块：具体为将医学影像的三维数据体按精度进行多次等份分块，其中高精度的等份分块是在低精度的等份分块所产生的各块数据基础上的再次细分，将分块后的数据用八叉树结构进行存储；
二、多精度数据块的纹理映射：具体为建立多分块数据与微型计算机显卡的图形纹理缓存间的映射关系，从而实现用纹理的变化来表示数据块的精度变化；
三、选定一组等距且平行的切面，利用该组切面与医学影像三维数据体相交产生多个切片，确定位于切片上的数据块并通过对八叉树结构数据块遍历的方式依次选定数据块的精度；数据块的精度选择以使其纹理精度最大且多个切片上所有数据块总体纹理尺寸之和小于微型计算机显卡缓存能够容纳的最大容量；
四、交互绘制的实现：把由数据块组成的切片送入微型计算机显卡的图形纹理缓存，由微型计算机显卡完成各切片的间隙的插值计算，从而绘制三维图像。

2、  根据权利要求1所述的基于普通微机的大数据量医学影像三维交互方法，其特征在于步骤四中将显示切面需要的块装入链表，称其为需要块链表，将其和图形纹理缓存中的数据块进行比较，其中已被加载但不属于需要块链表的，可构成未使用块链表，图形纹理缓存中剩下的数据块则构成需重载块链表；将需重载块链表与需要块链表比较，二者不同的数据块加入图形纹理缓存。

3、  根据权利要求2所述的基于普通微机的大数据量医学影像三维交互方法，其特征在于如果新加入图形纹理缓存的数据块尺寸小于图形纹理缓存容量，将其直接加入；如果新加入图形纹理缓存的数据块尺寸大于图形纹理缓存容量，将加入图形纹理缓存的数据块降低精度。

4、  根据权利要求1所述的基于普通微机的大数据量医学影像三维交互方法，其特征在于在步骤三数据块的精度选择中感兴趣区的数据块精度等级高于远离感兴趣区的数据块。

5、  根据权利要求4所述的基于普通微机的大数据量医学影像三维交互方法，其特征在于它还包括步骤五，对步骤四结束后得到的三维图像，提高感兴趣区的数据块精度等级，降低远离感兴趣区的数据块的精度等级。

基于普通微机的大数据量医学影像三维交互方法
技术领域
本发明涉及计算机图形学与信息可视化技术领域。具体涉及医学影像的三维交互方法。
背景技术
随着科学技术的进步，现代化的医学影像设备功能越来越强，各种医学影像设备已成为医务工作者得出诊断依据的重要工具，如CT、MR、PET、SPET、DSA等等，均可针对不同病因而生成清晰的解剖图像。目前，主流的医学影像设备均能提供大量等距离的、空间对齐的二维影像序列。随着影像技术的不断进步，影像设备生成的数据量也越来越大，从最初的几十兆、上百兆开始向G级别发展，这也导致了对其进行分析所需的工作量的日益增大。要得出准确的诊断结果，医生需要依靠其专业知识和主观判断，从多幅二维图像中构思病灶在人体中的三维位置、形状、大小，从而导致了整个过程的不直观。为了使得诊断过程更为直观，学者们将视线转移到了三维层面，希望将连续的二维的断层图像序列通过计算机重建出三维的效果，这种技术被称之为科学可视化技术。可视化技术使人能够在三维图形世界中直接对具有形体的信息进行操作，和计算机直接交流。这种技术已经把人和机器的力量以一种直觉而自然的方式加以统一，这种革命性的变化无疑将极大地提高人们的工作效率。
就三维可视化的方式而言，目前大体分为两种：基于等值面的面绘制方法和基于体元的体绘制方法。面绘制法是在三维数据场中按用户给定的阈值提取一个与阈值相匹配的曲面几何图元拼接而成的等值面，然后再由传统的计算机图形学技术实现画面绘制，如经典的Marching cubes算法。体绘制法则是直接由三维数据生成最终的图像，如ray-casting、splatting和shear-warp等算法。面绘制的重建速度很快，在普通微机上基本能实现交互绘制，但由于其包含信息较少，无法反映三维数据的全部特征。而体绘制虽然包含的信息量大，在绘制过程中的计算量也远远大于面绘制方法，因此当数据量达到一定程度时，单纯依靠软件算法难以较快速的实现可视化。
1993年，Cullip和Neumann利用SGI公司的RealityEngine图形工作站首次实现了硬件加速的体绘制，为三维可视化的研究指出了一个新的方向，可视化技术开始由软件加速向硬件加速方向转变，三维医学数据通常是由二维图像序列叠加而成的，上述硬件加速技术将叠加后形成的体数据装载至计算机显卡的图形纹理缓存后，利用图形卡硬件来完成复杂的插值计算，重建为三维模型。自二十世纪后，各种影像设备生成图像的质量也在逐步增长，高质量的信息采集技术也为可视化技术提供了逼真的数据源。也正是由于数据采集精度和图像质量的提升，导致医学影像数据量的激增，对其的三维可视化也变得越来越困难。大数据量三维可视化实现困难的主要原因在于计算机硬件有限的存储容量和带宽，因此为了实现对大数据量医学影像的可视化，最直观的方法是提高计算机的硬件性能。但首先数据的增长速度远远超过了硬件性能的增长；其次，高性能的硬件必然伴随着极为昂贵的价格，这对于该技术在各个应用领域的普及也是一个很大的障碍。随着医疗领域逐渐向“精细化”发展，对可视化的要求不再局限于“看”的层面，还需要在“看”的同时能与重建模型进行交互，这也是可视化研究的主要目的。目前，大多数的大数据量可视化研究仍集中在如何能实现大数据量的三维重建方面，即如何能较快速地显示出最终的三维模型，还没有关于如何对重建后的大数据量三维模型进行交互的研究。本发明中所称的三维交互即是指对已经完成了从二维的断层图像序列通过计算机重建成三维图像后，再对该三维图像的旋转或平移操作。通过对该三维图像的交互，使医务工作者能得到其需要的三维图像的角度或位置。
发明内容
本发明的目的是提供一种基于普通微机的大数据量医学影像三维交互方法，以解决对重建后的大数据量三维模型进行交互的问题。
本发明通过下述步骤实现：一、医学影像三维数据体的多精度分块：具体为将医学影像的三维数据体按精度进行多次等份分块，其中高精度的等份分块是在低精度的等份分块所产生的各块数据基础上的再次细分，将分块后的数据用八叉树结构进行存储；
二、多精度数据块的纹理映射：具体为建立多分块数据与微型计算机显卡的图形纹理缓存间的映射关系，从而实现用纹理的变化来表示数据块的精度变化；
三、选定一组等距且平行的切面，利用该组切面与医学影像三维数据体相交产生多个切片，确定位于切片上的数据块并通过对八叉树结构数据块遍历的方式依次选定数据块的精度；数据块的精度选择以使其纹理精度最大且多个切片上所有数据块总体纹理尺寸之和小于微型计算机显卡缓存能够容纳的最大容量；
四、交互绘制的实现：把由数据块组成的切片送入微型计算机显卡的图形纹理缓存，由微型计算机显卡完成各切片的间隙的插值计算，从而绘制三维图像。
医学三维可视化的主要目的是为了使得医务工作者能更便捷地与医学数据进行交互，而大规模集成电路的发展也使得计算机图形硬件的功能和处理能力越来越强。本发明则是利用目前普通微机图形硬件都具有的纹理功能，结合有效的数据结构和调度算法，在普通微机上实现对大数据量三维重建模型的动态交互。且对发明的测试是在目前终端配置的微机上进行的，具体参数为：奔腾IV 3.0G，内存1GB，显卡为支持三维纹理的Radeon X600，显存大小256MB。本发明将三维医学影像集按精度进行分块，并建立八叉树结构来对其进行管理。在交互过程中将数据按照所设计的策略分层次载入图形纹理缓存，从而突破普通微机图形纹理缓存和带宽的限制，逐层实现大数据量医学影像的多精度绘制与交互。本方法将普通微机纹理特性与调度算法进行了有效结合，在兼顾绘制质量与交互性的同时，有效降低了大数据量可视化技术对硬件的需求。针对大数据量医学影像可视化对硬件性能、容量高要求的问题，本发明用普通微机完成对超过计算机显卡缓存容量限制的大数据量医学影像集的三维动态交互。通过充分挖掘图形卡的硬件特性，结合树形数据结构和构建数据块分类链表算法实现一种合理的图形纹理缓存调度方法，在保证一定三维重建质量的前提下，在普通微机上实现对大数据量医学影像集的三维动态交互。
附图说明
图1是实施方式一中数据分块与建立八叉树的示意图；图2是一维数据的纹理元示意图；其中a代表像素，c代表共享区域。图3至图6是某一切片在分块的数据中的精度选择过程4步示意图；图7是实施方式二的示意图，由于交互时切片位置的变化必然导致数据块在图形纹理缓存中的重新变化，数据块链表则是依据此变化的不同建立起来的；图8至图12是实施方式五确定位于切片上的数据块的一种方法的示意图；图13至18是实施方式六实验结果示意图。其中图13和图14表示脊骨医学数据的交互效果，图13和图14中所建立的八叉树叶节点的大小依次为64³和32³；图15和16表示肝脏医学数据的交互效果，图15和16中所建立的八叉树叶节点的大小依次为128³和64³；图17和18表示高精度的头部医学数据的交互效果，图17和18中所建立的八叉树叶节点的大小依次为64³和256³。
具体实施方式
具体实施方式一：本实施方式由下述步骤实现：一、医学影像三维数据体的多精度分块：具体为将医学影像的三维数据体按精度进行多次等份分块，其中高精度的等份分块是在低精度的等份分块所产生的各块数据基础上的再次细分，从而使得分割后的数据块尺寸可以在微型计算机显卡的图形纹理缓存中进行装卸，将分块后的数据用八叉树结构进行存储，并在该八叉树结构中实现对数据块的遍历；同一精度的数据块所包含数据块的尺寸和大小是均匀的，且八叉树每一个节点都对应三维医学影像中的一个数据块。医学三维数据通常是由多个二维图像按照次序叠加而成的，因此在每两个二维图像间存在接缝，对该接缝目前常用硬件加速技术处理，处理过程需将叠加后形成的体数据装载至图形纹理缓存，再利用图形卡硬件来完成复杂的插值计算，从而重建成医学影像三维数据体。由于计算机显卡与计算机总线间进行传输的带宽以及微机显存大小的限制，对于大数据量的体数据，无法一次将其全部加载到显存中，这是导致绘制速度下降的主要原因之一。
为了保证绘制过程中显存加载数据的合理性，将大的体数据分块，利用八叉树结构进行存储。如图1所示，整个体数据被划分为适当尺寸的块，其中最小尺寸的块构成八叉树的叶节点，而每8个相邻同尺寸的块则构成其父节点，用来表示更粗糙级别的块。以此类推，最终的根节点即为整个原始体数据。这里的根节点表示最低精度，而叶节点则代表最高精度。
在利用八叉树划分数据块并对其进行存取的时候，由于计算机可划分的内存数量有限，有时候需要忽略父节点而直接从其子节点开始划分。譬如在常用的32位机中，一次可以划分出的内存块最大为2GB，对于大于2G的数据，就无法分配出根节点和父节点所需的内存，在这种情况下，就需要从某一子结点开始划分，而父节点保留只作为寻址用，而不实际存储数据(即灰度或色彩)。
二、多精度数据块的纹理映射：具体为建立多分块数据与微型计算机显卡的图形纹理缓存间的映射关系，从而实现用纹理的变化来表示数据块的精度变化；数据块的精度变化是以图形硬件中纹理元表示数据位的多少来确定的。
对于八叉树中不同精度等级的数据块，用不同精度等级的纹理来表示。首先，依据纹理技术的发展过程，从最简单的一维纹理的表示方法开始。最初纹理技术是表示某一像素为中心的插值过程，假设一段一维数据是由m个相邻的像素组合而成，则其在硬件纹理函数中可线性映射为区间[1/2m，(2m-1)/2m]上的值。对于每个数据段的纹理表示，在图形纹理缓存中都映射为[0，1]区间的值，这样每个数据段的纹理表示被称之为纹理片元(一个像素点)。由于像素间的相邻关系，每两个片元间必然有一部分共享，即图2中标示的共享区域，这也是纹理函数区间小于[0，1]的原因。利用纹理子采样技术，同样可在普通微机图形硬件的三维纹理功能中实现。这里精度的等级也就是指纹理片元所表示的体数据值的范围，纹理精度高时一个数据块表示的体数据的范围小，最高可达到一一对应的关系；反之则每个片元表示的数据值的范围大，这样导致的结果是：纹理精度低时的交互速度快，而纹理精度高时的绘制质量高。
三、选定一组等距且平行的切面，利用该组切面与医学影像三维数据体相交产生多个切片，确定位于切片上的数据块并通过对八叉树结构数据块遍历的方式依次选定数据块的精度；数据块的精度选择以使其纹理精度最大且多个切片上所有数据块总体纹理尺寸之和小于微型计算机显卡缓存能够容纳的最大容量；所述切片在完成了本次交互的各个步骤后，会呈面对计算机屏幕的状态，也就是说该组切面在医学影像三维数据体的部位选择以符合医学工作者的需要为准。
数据块的精度选择原则是：将基于纹理的体绘制应用于不同精度的数据块，通过判断切面与数据块的相交情形来选择不同精度数据块，在兼顾绘制质量和交互速度的同时，求得重建模型最佳视觉效果所需的数据块。在对八叉树遍历过程中，尽可能用叶节点(即最高精度)来表示数据，但由于显存容量有限，完全用最高精度表示可能会超出显卡容量，所以需要降低精度来减小对显存的占用。
本发明所使用的基于纹理的体绘制的方法的主要思想之一就是用切片来表示体。在本步骤中，找出相交面上的数据块的过程是求取切片与体数据边界盒交点的过程。交点的求取算法仍与已有的三维纹理体绘制方法相同，但相交的形式由原来仅与单一的整个体边界盒变成了与八叉树中不同数据块相交。
利用步骤一中构建好的树型结构，对数据进行绘制。与以往方法不同的是，需要求取切面与每个数据块边界盒的交点，并存储在对应节点数据结构中。这个过程相当于将切面自顶向下插入该八叉树结构中，依次获得八叉树结构与该切面相交的块，过程如图3至图6所示。由于篇幅所限，图3至图6只表示单个切面在八叉树中的的部分遍历过程，大体步骤如下：
步骤1.切面最初从根节点出发，依次遍历其子节点。
步骤2.判断切面与数据块的相交情形，若相交，且该块不是叶节点，将该数据块再次细分。
步骤3.若已经到达叶节点，则判断用来表示体数据的纹理尺寸是否超过了图形纹理缓存的容量，若大于图形纹理缓存的容量则依据选择策略用低一级精度级别的纹理代替。
步骤4.若表示体数据的所有数据节点均为叶节点(即最高精度)或这些数据节点的尺寸已达到图形纹理缓存的容量，则中止遍历。
其中叶节点的大小则依据显卡硬件特性以及显存大小的不同来设置。对于高级显卡，叶节点的尺寸可以选择更小一些的；对于性能稍差的显卡，则叶节点的尺寸应选择稍大一些的。图6中最终得到的标有阴影的块即为显示该切片所需要的块，而其他的块在遍历后均可忽略，不必将其装入图形纹理缓存中。为了得到尽可能高的成像质量，对分块后的八叉树的遍历采用的是深度优先遍历的方法，换而言之，这种遍历方法就是要在保证交互速度和考虑硬件本身限制的同时，尽可能地用较高的精度级别来表示体数据。
四、交互绘制的实现：把由数据块组成的切片依次送入微型计算机显卡的图形纹理缓存，由微型计算机显卡完成各切片的间隙的插值计算，从而绘制三维图像以完成交互。此步骤的实现可以采用背景技术所指出的硬件加速技术。
具体实施方式二：本实施方式与实施方式一的不同点是：通过步骤三对八叉树进行遍历，可以得到在当前三维位置下切片上不同精度的数据块，而当对重建后的数据进行交互操作后，切片的位置会发生变化。本发明是针对数据量比较大的情形，在普通微机上将与变化后切片相关的数据块全部分批载入微机内存必然会导致整个绘制性能的下降，这里选择用链表来维护交互前后发生了变化的数据块。步骤四中将显示切面需要的块装入链表，称其为需要块链表，将其和图形纹理缓存中的数据块进行比较，其中已被加载但不属于需要块链表的，可构成未使用块链表，图形纹理缓存中剩下的数据块则构成需重载块链表。将需重载块链表与需要块链表比较，二者不同的数据块加入图形纹理缓存。这时会有两种情况：
1)一是新加入的数据块尺寸小于图形纹理缓存的剩余容量，可将其直接加入；
2)再者是新加入的数据块尺寸大于图形纹理缓存的剩余容量，这时需要将加入图形纹理缓存的数据块降低精度。即用八叉树的父节点来表示该处纹理块。考虑到本发明针对的绘制数据远大于普通微机图形硬件的存储容量，需要载入数据块链表的尺寸极有可能大于剩余的纹理缓存，这时需要在交互性和绘制精度间进行折中。
由于交互过程中，纹理变化在理论上应是连续的，所以需重载的数据块部分可能仍然驻留在图形纹理缓存中。因此在把数据块载入图形纹理缓存之前，先检测未使用块链表，以此来避免数据的重复载入。图4给出动态交互时的数据块调度过程，体绘制数据块的多精度数据块的选择方法已在步骤三中进行了阐述，这里就不再赘述。此方式能加快交互过程。适用于多次交互操作中。
具体实施方式三：本实施方式与实施方式一的不同点是：在步骤三数据块的精度选择中感兴趣区的数据块精度等级高于远离感兴趣区的数据块。在本实施方式的实施过程中，以医务工作者对数据的感兴趣区为依据来对精度和速度进行兼顾的，考虑到绘制质量的要求，在交互时需载入的数据块大于图形纹理缓存时，精度的降低从距离兴趣区远的纹理块最先开始降低精度，用它相邻的上一级的精度级别来表示该数据块，对八叉树结构而言即为距离兴趣区最远的数据块最先开始向上搜索其父节点。这样，大的数据将被有效地分批加载到显存进行绘制，在保证兴趣区绘制质量的同时加快了绘制速度。
具体实施方式四：本实施方式与实施方式三的不同点是：它还包括步骤五，对步骤四结束后得到的三维图像，提高感兴趣区的数据块精度等级，降低远离感兴趣区的数据块的精度等级。因为在医学体数据的绘制中，对于要观察的感兴趣区域，首先要求有一定的成像质量，这样才能便于医生得到正确的诊断结果；其次，为了使得该方法有一定的普及性，该方法要求在普通微机上对其实现交互，即要求一定的交互帧率。二者看来是矛盾的，要实现这两个要求，必然需要对绘制过程有一定程度的折中。这里我们采用交互时降低精度而观察时提高精度的思想来完成这个过程。因为交互过程中(如对数据旋转时)对数据的三维精度要求不是太高，而当交互完成后需要对其进行观察时，可采用较高的精度进行绘制。这样便可通过该过程达到想要的目的。
具体实施方式五：本实施方式给出步骤三中确定位于切片上的数据块的一种方法。切平面方程E可以表示为：
E(x，y，z)＝ax+by+cz       (0-1)
二者相交后的情形如图8。令AB为体数据边界盒上的某一条边，若平面与AB有交点，则设交点为P，由数学推导可以得出：
P=A+tAB→---(0-2)]]>
其中t为比例系数，由几何学可知任意平面可以通过平面上任意一点N和该平面的法线唯一确定，则：
NP→·n→=0---(0-3)]]>
在数据空间中，切平面的法线可以通过式(0-1)的常系数获得，即：
n→=(aa2+b2+c2,ba2+b2+c2,ca2+b2+c2)---(0-4)]]>
若不垂直于同样可以得出AB→·n→≠0,]]>令t=-(n→·NA→)n→·AB→,]]>根据以上条件，可以得出如下结论：
1.如果AB→·n→≠0,]]>则边与平面必有交点，进而可知，若0≤t≤1，点P在边AB上；若t＜0或t＞1，则线段AB与平面无交点，即P不在线段AB上。
2.如果AB→·n→=0,]]>则还可以分为两种情形，若n→·NA→=0,]]>说明边AB在平面上；
若n→·NA→≠0]]>平面与边AB没有交点。
如图8所示，体数据边界盒共有8个顶点，可组成12条边。对于每条边都可以用上述结论进行判断，便可以求出平面与边界盒的所有交点。如果平面与立方体相交，则交点数目最多为6个，最少为3个，如图9至图12所示：
具体实施方式六：为验证本发明方法的有效性，在如下配置下对三组体数据进行测试：操作系统Windows XP，处理器为奔腾IV 3.0G，内存1G，显卡为支持三维纹理的Radeon X600，显存大小256M，编程环境VC6.0。数据尺寸从几十MB到几GB不等，当数据量明显超过显存容量时，绘制仍然能不断进行。随着数据量的增大，交互速度会随之降低，但在当前配置下仍能达到交互级别，绘制效果列于表1中。此外，在同等数据量情况下，降低交互时的数据精度可有效提高交互速度。为了突出分块效果，我们将八叉树数据块的边界盒也从根节点开始逐层绘制出来，效果见图13至18。
表1大数据体绘制结果列表