基于多视角分离卷积神经网络的骨骼CT图像三维分割方法.pdf

《基于多视角分离卷积神经网络的骨骼CT图像三维分割方法.pdf》由会员分享，可在线阅读，更多相关《基于多视角分离卷积神经网络的骨骼CT图像三维分割方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911361300.1 (22)申请日 2019.12.25 (71)申请人 华侨大学 地址 362000 福建省泉州市丰泽区城东城 华北路269号 (72)发明人 彭佳林罗峥嵘袁直敏王文怀 (74)专利代理机构 厦门市首创君合专利事务所 有限公司 35204 代理人 张松亭 (51)Int.Cl. G06T 7/10(2017.01) G06K 9/62(2006.01) (54)发明名称 一种基于多视角分离卷积神经网络的骨骼 CT图像三维分割方法 (57)摘要 本发明属。

2、于图像处理技术领域， 提供了一种 基于多视角分离卷积神经网络的三维CT图像分 割方法， 主要涉及利用一种新型卷积神经网络对 CT图像中骨骼进行三维自动分割。 针对使用三维 卷积的神经网络存在模型过大、 运行内存占用量 过高、 无法在小显存容量显卡或嵌入式设备上运 行的问题， 同时为了提高卷积神经网络利用三维 空间上下文信息的能力， 本发明提出引入一种多 视角分离卷积模块， 利用多个二维卷积分别在三 维图像的多视角子图像上提取上下文信息并进 行多层级融合， 实现多视角和多尺度上下文信息 的提取和融合， 提高三维CT图像中骨骼的分割精 度。 经本发明改进后的网络结构在平均精准度上 得到明显提升， 。

3、模型参数数量得到明显降低。 权利要求书2页 说明书4页 附图2页 CN 111145181 A 2020.05.12 CN 111145181 A 1.一种基于多视角分离卷积神经网络的骨骼CT图像三维分割方法， 其特征在于， 包括 以下步骤： S1.骨骼CT图像预处理， 其具体包括： S11.对训练集样本进行数据扩充， 即随机旋转、 随机镜像和随机裁剪； S12.对步骤S11中所述训练集样本和待分割骨骼CT图像进行图像预处理， 得到预处理 图像样本和预处理待分割骨骼CT图像。 S2.多视角分离卷积神经网络的训练， 其具体包括： S21.构建以编码-解码结构的多视角分离卷积神经网络， 其由多个多。

4、视角分离卷积模 块构成； S22.利用步骤S12中所述预处理图像样本对步骤S21所述多视角分离卷积神经网络进 行训练， 通过反向传播优化模型参数， 得到多视角分离卷积神经网络参数模型； S3.利用步骤S22所述的多视角分离卷积神经网络参数模型对预处理待分割骨骼CT图 像进行自动分割。 2.根据权利要求1所述的基于多视角分离卷积神经网络的骨骼CT图像三维分割方法， 其特征在于步骤S12所述预处理包括： 将CT图像调整至合适的窗宽窗位， 使用高斯平滑对图 像进行去噪， 对图像零均值一方差标准化后获得预处理图像。 3.根据权利要求1所述的基于多视角分离卷积神经网络的骨骼CT图像三维分割方法， 其特征。

5、在于步骤S21所述的多视角分离卷积模块： 多视角分离卷积模块作为多视角分离卷 积神经网络基础模块， 由两个同样的多视角分离卷积子模块构成。 4.根据权利要求3所述的多视角分离卷积神经网络的骨骼CT图像三维分割方法， 其特 征在于： 所述多视角分离卷积子模块的前一子模块的输出作为后一子模块的输入， 多视角 分离卷积模块的输入通过残差路径连接到后一子模块的输出形成多视角分离卷积模块的 整体输出。 5.根据权利要求3或4所述的所述的基于多视角分离卷积神经网络的骨骼CT图像三维 分割方法， 其特征在于， 所述多视角分离卷积子模块运行方法为： (1)所述子模块将输入特征图划分为四组， 四个分支以串行方式。

6、卷积； (2)通过133， 313， 331三种不同视角的2D卷积核对三维图像的三个正交 视图信息进行编码； (3)上一个分支卷积的特征映射作为残差添加到下一个分支； (4)对执行到第四个分支的输入特征图使用最大池化下采样， 接着使用133卷积核 对特征图进行卷积， 然后使用三线性插值上采样恢复图像分辨率； (5)通过级联的方法将四组卷积特征提取框架提取的特征联合起来； (6)最后使用111卷积核对来自不同分支的特征进行信息融合获得三维图像的多 尺度和多视角上下文信息作为子模块的输出。 6.根据权利要求1所述的基于多视角分离卷积神经网络的骨骼CT图像三维分割方法， 其特征在于， 步骤S22中多。

7、视角分离卷积神经网络训练包括： 构建基于轮廓区域相似程度的 损失函数度量训练样本输出损失， 通过样本的预测结果与真实标记之间产生的误差反向传 播指导网络参数学习与表示学习， 使用梯度下降法进行迭代优化模型参数； 所述Jaccard的 损失函数， 公式如(1)所示： 权利要求书 1/2 页 2 CN 111145181 A 2 公式(1)中， Lseg为输出损失， Pi是体素i的预测概率， Yi是与真实数据一致的独热编码标 签， 为小常数防止分母为0。 权利要求书 2/2 页 3 CN 111145181 A 3 一种基于多视角分离卷积神经网络的骨骼CT图像三维分割 方法 技术领域 0001 本。

8、发明涉及一种骨骼CT扫描图像分割方法， 特别一种基于多视角分离卷积神经网 络的骨骼CT图像三维分割方法。 背景技术 0002 图像分割是把图像分成若干个特定的、 具有独特性质的区域并提出感兴趣目标的 技术和过程， 它是由图像处理到图像分析的关键步骤。 骨骼CT图像三维分割是骨科学家应 用于辅助骨骼疾病诊断的关键和必要的任务。 但是骨骼CT影像中存在大量的冗余信息， 因 此高效地筛选出最有效的特征指标变得非常有意义。 然而手工描绘这种超大规模的高分辨 率数据费时、 繁琐而且再现性也有限。 并且大多数现有的自动分割方法依赖于大量标注的 数据， 在大多数情况下都是不可用的。 0003 在早期的骨骼C。

9、T图像分割中， 普遍采用无监督图像处理方法进行图像分割， 例如： 自适应阈值处理、 区域生长和边界调整等， 其缺陷在于分割精度较低。 得益于深度学习的快 速发展， 卷积神经网络逐步适用于医学图像的处理中。 首先有人使用U-Net来细分生物医学 图像； 接着， 又有人提出一种改进的3D U-Net， 来学习稀疏注解的密集体积分割； 在此基础 上， 进一步提出一种用于体积医学图像分割的完全卷积神经网络V-Net。 但上述方法在用于 骨骼CT图像三维分割中， 存在收敛速度慢、 模型过大、 运行内存占用量过高、 无法在小显存 容量显卡或嵌入式设备上运行的问题。 发明内容 0004 本发明的主要目的在于。

10、解决现有模型中存在的收敛速度慢、 模型过大、 运行内存 占用量过高、 无法在小显存容量显卡或嵌入式设备上运行的问题， 从而实现在使用较少标 注训练样本的情况下亦能保证分割网络的准确性和鲁棒性。 提出一种多视角分离卷积神经 网络的骨骼CT图像三维分割方法， 采用多视角分离卷积模块在骨骼CT图像的多视角子图像 上提取上下文信息并进行多层级融合， 实现分割网络的自动化、 轻量化， 提升分割结果的准 确性。 0005 本发明采用如下技术方案： 0006 S1.骨骼CT图像预处理， 其具体包括： 0007 S11.对训练集样本进行数据扩充， 即随机旋转、 随机镜像和随机裁剪； 0008 S12.对步骤S。

11、11中所述训练集样本和待分割骨骼CT图像进行图像预处理， 得到预 处理图像样本和预处理待分割骨骼CT图像。 0009 S2.多视角分离卷积神经网络的训练， 其具体包括： 0010 S21.构建以编码-解码结构的多视角分离卷积神经网络， 其由多个多视角分离卷 积模块构成； 0011 S22.利用步骤S12中所述预处理图像样本对步骤S21所述多视角分离卷积神经网 说明书 1/4 页 4 CN 111145181 A 4 络进行训练， 通过反向传播优化模型参数， 得到多视角分离卷积神经网络参数模型； 0012 S3.利用步骤S22所述的多视角分离卷积神经网络参数模型对预处理待分割骨骼 CT图像进行自。

12、动分割。 0013 优选地， 在步骤S12中的预处理包括： 将CT图像调整至合适的窗宽窗位， 使用高斯 平滑对图像进行去噪， 对图像零均值一方差标准化后获得预处理图像。 0014 优选地， 在步骤S21中的多视角分离卷积模块作为多视角分离卷积神经网络基础 模块， 由两个同样的多视角分离卷积子模块构成， 前一子模块的输出作为后一子模块的输 入， 多视角分离卷积模块的输入通过残差路径连接到后一子模块的输出形成多视角分离卷 积模块的整体输出。 0015 上述多视角分离卷积子模块的运行方法包括： 0016 (1)子模块将输入特征图划分为四组， 四个分支以串行方式卷积； 0017 (2)通过133,31。

13、3,331三种不同视角的2D卷积核对三维图像的三个 正交视图信息进行编码， 捕获不同视野下的三维图像内部切片特征； 0018 (3)将上一个分支卷积的特征映射作为残差添加到下一个分支， 加强图像多尺度 上下文信息融合； 0019 (4)对执行到第四个分支的输入特征图使用最大池化下采样， 接着使用13 3 卷积核对特征图进行卷积， 然后使用三线性插值上采样恢复图像分辨率； 0020 (5)通过级联的方法将四组卷积特征提取框架提取的特征联合起来； 0021 (6)最后使用111卷积核对来自不同分支的特征进行信息融合获得三维图像 的多尺度和多视角上下文信息作为子模块的输出。 0022 优选地， 在步。

14、骤S22中的多视角分离卷积神经网络训练包括包括： 构建基于轮廓区 域相似程度的损失函数度量训练样本输出损失， 通过样本的预测结果与真实标记之间产生 的误差反向传播指导网络参数学习与表示学习， 使用梯度下降法进行迭代优化模型参数； 本方法使用了如下基于Jaccard的损失函数： 0023 0024 其中， Lseg为输出损失， Pi是体素i的预测概率； Yi是与真实数据一致的独热编码标 签； 为小常数防止分母为0。 0025 由上述对本发明的描述可知， 与现有技术相比， 本发明具有如下有益效果： 0026 1)能够充分发挥深度学习的自我学习优势， 以及神经网络自动学习良好的特征， 当输入图像时能。

15、够快速准确地提取特征， 并行抽取多种特征融合分类， 避免了人工提取特 征的局限性。 0027 2)该网络模型结构模块化， 简单紧凑， 只有少量的参数使得模型的求解方法简单 容易实现， 不用占用大量的计算资源。 0028 3)在三维空间内构造多层次多视角的特征学习， 提取和融合多视角和多尺度上下 文信息， 实现对骨骼CT图像精准三维分割。 0029 4)多视角分离卷积模块运用了分组卷积的思想， 能够增加滤波器之间的对角相关 性， 而且能够减少训练参数， 不容易过拟合， 达到类似于正则化的效果。 说明书 2/4 页 5 CN 111145181 A 5 0030 5)该网络模结构具有较强的鲁棒性，。

16、 使用较少的有标注训练集训练模型依然能获 得较好的分割性能。 附图说明 0031 图1为本发明的基于多视角分离卷积神经网络的骨骼CT图像三维分割方法及系统 示例性流程图； 0032 图2为本发明的基于多视角分离卷积神经网络的骨骼CT图像三维分割方法及系统 网络模型； 附图2(a)为网络模型具体结构， 附图2(b)为多视角分离卷积子模块具体结构。 0033 图3为本发明方法的骨骼CT图像三维分割效果图； 0034 图4为本发明方法的骨骼CT图像某一二维层面分割效果对比图； 0035 以下结合附图和具体实施例对本发明作进一步详述。 具体实施方式 0036 以下通过具体实施方式对本发明作进一步的描述。

17、。 0037 下面结合附图和具体实施例对本发明进行进一步说明， 应当理解， 此处所描述的 优选实施例仅用于说明和解释本发明， 并不用于限定本发明。 0038 如下采用骨骼CT数据作为具体实施例， 该数据包含46个个体的图像数据。 该图像 数据集包括两部分， 其中一部分为X线束对人体骨骼检查部位一定厚度的层面扫描三维CT 图像， 另一部分为已手动标注的骨骼轮廓的三维CT图像。 0039 如图1所示是按照本发明的一个实施方式示例性流程图， 具体步骤如下： 0040 1.预处理： 对训练集进行随机正负10 旋转、 随机镜像和随机裁剪获得数据扩充， 然后获取以数字表征的图像灰度矩阵， 接着将CT图像窗。

18、宽调整为1000Hu， 窗位调整为 500Hu， 将像素灰度值变换到0-255之间， 使用高斯平滑对图像进行去噪， 对图像零均值一方 差标准化后获得预处理图像。 0041 2.构建多视角分离卷积模块： 多视角分离卷积模块作为多视角分离卷积神经网络 基础模块由两个同样的子模块构成， 前一子模块的输出作为后一子模块的输入， 多视角分 离卷积模块的输入通过残差路径连接到后一子模块的输出形成多视角分离卷积模块的整 体输出； 多视角分离卷积子模块具体结构如附图2(b) 所示； 0042 3.构建多视角分离卷积神经网络： 本发明的网络模型具体结构如附图2(a) 所示， 由编码路径和解码路径构成， 除首尾卷。

19、积层分别为尺寸333、 11 1步长为1的卷积 操作外每一层的卷积操作都是采用改进后的多视角分离卷积子模块来代替； 网络的左半部 分是四层的编码器结构， 层与层之间采用Max Pooling下采样缩减特征图的大小； 右半部分 是一个四层的解码器的结构， 层与层之间采用三线性插值操作进行上采样， 逐步恢复特征 图的大小； 将编码器与解码器之间相同特征图大小的特征图进行逐元素相加， 增强特征图 的上下文信息， 提高分割的精度。 0043 4.参数设置： 本实例的训练过程一共迭代40000次， 基础学习率为0.0001， 每迭代 800次学习率乘以0.9， 每400次迭代结束保存一次模型， 训练过程。

20、中使用Adam优化器， momentum设置为0.9。 0044 5.训练模型： 构建基于轮廓区域相似程度的损失函数度量训练样本输出损失， 通 说明书 3/4 页 6 CN 111145181 A 6 过样本的预测结果与真实标记之间产生的误差反向传播指导网络参数学习与表示学习， 使 用梯度下降法进行迭代优化模型参数； 本实例使用了如下基于 Jaccard的损失函数： 0045 0046 其中， Pi是体素i的预测概率； Yi是与真实数据一致的独热编码标签； 为小常数防 止分母为0。 0047 6.分割： 使用步骤1对待分割骨骼CT图像预处理， 然后使用步骤5保存的多视角分 离卷积神经网络参数模。

21、型对待分割骨骼CT图像进行自动分割。 0048 如图3是表示骨骼CT图像三维分割结果， 图4是三维图像沿径向切片图， 其中图4 (a)是分割后的切片图， 图4(b)是分割前的切片图， 通过对比切片图可以很明显的观察到我 们在二维平面上已经很好地将骨头给分割出来了。 0049 将本申请提出的CT图像三维分割方法的评估结果与3D U-Net方法对比， 如下表对 比结果表。 0050 网络模型 DSC() JAC() 参数(M) FLOPs(G) 本申请方法(46个样本量) 95.7 91.4 2.9 73 3D U-Net(46个样本量) 94.3 89.3 25.1 788 本申请方法(23个样。

22、本量) 95.2 91.0 2.9 73 3D U-Net(23个样本量) 93.0 87.6 25.1 788 0051 其中 “DSC” 表示 “Dice系数” 、“JAC” 表示 “Jaccard系数” ， 用以衡量预测结果与标签 的相似程度， 其值越高表明分割结果越好； 参数： 表示多视角分离卷积神经网络的所有参数 量， M是million百万的缩写， 参数越小表示网络模型越简单越容易计算。 FLOPs浮点数运算 量： 是floating point operations的缩写， 意指浮点运算数， 理解为计算量， 可以用来衡量 算法/模型的复杂度。 G代表十亿， FLOPs 越小占用的。

23、显存越小越容易在小显存容量显卡或 嵌入式设备上运行。 0052 以上结果表明， 与现有技术相比， 本发明具有如下有益效果： 0053 1)能够充分发挥深度学习的自我学习优势， 以及神经网络自动学习良好的特征， 当输入图像时能够快速准确地提取特征， 并行抽取多种特征融合分类， 避免了人工提取特 征的局限性。 0054 2)该网络模型结构模块化， 简单紧凑， 只有少量的参数使得模型的求解方法简单 容易实现， 不用占用大量的计算资源。 0055 3)在三维空间内构造多层次多视角的特征学习， 提取和融合多视角和多尺度上下 文信息， 实现对骨骼CT图像精准三维分割。 0056 4)多视角分离卷积模块运用。

24、了分组卷积的思想， 能够增加滤波器之间的对角相关 性， 而且能够减少训练参数， 不容易过拟合， 达到类似于正则化的效果。 0057 5)该网络模结构具有较强的鲁棒性， 使用较少的有标注训练集训练模型依然能获 得较好的分割性能。 0058 上述仅为本发明的具体实施方式， 但本发明的设计构思并不局限于此， 凡利用此 构思对本发明进行非实质性的改动， 均应属于侵犯本发明保护范围的行为。 说明书 4/4 页 7 CN 111145181 A 7 图1 图2(a) 说明书附图 1/2 页 8 CN 111145181 A 8 图2(b) 图3 说明书附图 2/2 页 9 CN 111145181 A 9 。