提取B超图像显著纹理特征的方法及其应用.pdf

《提取B超图像显著纹理特征的方法及其应用.pdf》由会员分享，可在线阅读，更多相关《提取B超图像显著纹理特征的方法及其应用.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010487055.5 (22)申请日 2020.05.31 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 郑敏阮东升郑能干施毓 金林峰 (74)专利代理机构 杭州中成专利事务所有限公 司 33212 代理人 朱莹莹 (51)Int.Cl. G06K 9/46(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G16H 50/20(2018.01) (54)发明名称 一种提取B。

2、超图像显著纹理特征的方法及其 应用 (57)摘要 本发明涉及一种提取B超图像显著纹理特征 的方法及其应用， 公开了一种新的通道注意力机 制网络， 上下文激活残差网络， 旨在有效地建模B 超肝纤维化纹理信息， 该网络利用全局上下文信 息加强重要的纹理特征并抑制无用的纹理特征， 使得深度残差网络捕捉B超图像中更显著的纹理 信息。 其过程主要可以分为两个阶段： 训练和测 试。 在训练阶段， 将B超图像块作为输入， 肝穿活 检的病理结果作为标签训练上下文激活残差网 络。 在测试阶段， 将B超图像块输入到训练好的肝 纤维化无创诊断模型中即可得到每张超声图像 的肝纤维化分级。 本发明从数据驱动的角度实现 。

3、了快速且准确地估计B超图像的肝纤维化分级。 权利要求书3页 说明书4页 附图2页 CN 111783792 A 2020.10.16 CN 111783792 A 1.一种提取B超图像显著纹理特征的方法， 包括如下步骤： (1)建立多中心的超声影像数据集， 包括不同病人的B超图像和相对应的肝活检结果； (2)在每一张B超图像中截取三种不同大小分辨率的图像块进行数据增强； 将上述的图 像块数据集按照一定的比例， 划分为B超影像训练集和B超影像测试集， 其中B超图像块数据 作为模型的输入数据， 肝活检结果作为模型的标签数据； (3)利用ImageNet 2012数据集对深度上下文激活残差网络进行迁。

4、移学习， 获得预训练 后的肝纤维化分级模型； (4)将步骤(2)中获得的B超影像训练集微调预训练后的肝纤维化分级模型， 最终得到 基于上下文激活残差网络的B超肝纤维化分级模型； (5)将步骤(2)中获得的B超影像测试集输入到步骤(3)肝纤维化分级模型中， 从而得到 B超影像测试集中B超图像的肝纤维化分级结果； 步骤(3)所述深度上下文激活残差网络由多个上下文激活残差块堆叠而成， 上下文激 活残差块由两部分组成： 残差块和上下文激活块； 残差块用于提取B超图像中的纹理特征， 残差块的每一个通道负责提取不同特征的纹理信息； 上下文激活块用于加强残差块中重要 的纹理特征， 同时抑制无用的纹理特征， 。

5、使得残差块能够提取B超图像中更为显著的纹理特 征， 嵌入上下文激活块的残差块的函数表达式如下： yf(x)+xReLU(F(BN(W3g(W2g(W1x)+x g()ReLU(BN() 其中： x和y分别为残差块的输入和输出； BN()为批归一化操作， ReLU()为修正线性 单元， F()为上下文激活块； W1和W3为11卷积， W2为33卷积。 2.根据权利要求1所述的方法， 其特征在于： 上下文激活块F()主要包含3个操作： 用 于获得全局的纹理信息的全局上下文聚合； 用于消除由不同样本所引起的纹理特征分布不 一致性， 增强模型的鲁棒性的分组归一化； 及通过全局上下文信息， 学习每个通道。

6、的重要性 权重， 重要性权重刻画了每个通道学习到的纹理特征的重要性程度， 数值越大表示该纹理 特征越重要的上下文激活。 3.根据权利要求2所述的方法， 其特征在于： 为了简化， 令oF()， 全局上下文聚合具体为通过全局平均池化操作获得通道表征矢量zz1， z2， ， zk， ， zc： 其中， W和H为特征图的宽度和长度， C表示特征图的通道数量， k1， 2， ， C， i和j表 示特征图中坐标为(i， j)的空间位置点 分组归一化为将通道表征矢量z按通道维度进行分组， 然后对每一组内的特征矢量进 行归一化操作， 得到归一化后的通道表征矢量vv1， ， vi， ， vG， vi可以表示为：。

7、 权利要求书 1/3 页 2 CN 111783792 A 2 其中： pizmi+1， ， zm(i+1)，G表示分组的数量， Si表示第i组的通道索引集合， 为一个小的常数， 为了数值计算上的稳定， n表示通道索引， i表示组索引， i和 i分别表示 第i组特征的均值和方差， vi表示第i组归一化后的特征向量； 上下文激活具体过程为： 对每一个通道执行一个简单的线性变换并使用sigmoid函数 将其归一化到0到1， 如下所示： a ( v+)， 其中 和为可学习的权重和偏置，表示对应通道相乘； 利用学习到的纹理重要性权 重重新调整输入， 上下文激活块的输出可以表述为 最后， 将上下文激活块。

8、嵌入到残差块中， 残差块的输出可以被重新表述为： 4.根据权利要求1所述的方法， 其特征在于： 所述的步骤(3)中使用ImageNet对肝纤维 化无创诊断模型预训练的具体方法如下： 将ImageNet数据集中的B超影像训练集用于肝纤维化无创诊断模型的训练， 输入为自 然图像， 标签为每个图像的类别； 以肝纤维化无创诊断模型的输出值与标签之间的交叉熵 作为目标函数， 通过反向传播算法和梯度下降法不断地计算和更新该模型中的权重， 直到 目标函数的值小于设定的阈值或到达总的训练次数， 肝纤维化无创诊断模型预训练完成。 5.根据权利要求1所述方法， 其特征在于： 所述的步骤(4)中B超肝纤维化无创诊断。

9、模型 的微调具体过程如下： 根据步骤(2)获得B超影像训练集， 将不同分辨率的B超图像块统一调整到120120的 分辨率， 将其作为预训练后B超肝纤维化无创诊断模型的输入； 将B超肝纤维化无创诊断模 型的最后的输出层大小从1000改为3， 肝穿活检的病理结果作为标签； 依然以肝纤维化无创 诊断模型的输出值与标签ll1， l2， l3之间的交叉熵作为目标函数， 通过 反向传播算法和梯度下降法微调模型中的权重， 直到目标函数的值小于设定的阈值或到达 总的训练次数， 最终得到基于上下文激活残差网络的B超肝纤维化无创诊断模型。 6.根据权利要求5所述的方法， 其特征在于： 所述的肝纤维化无创诊断模型的。

10、交叉熵目 标函数表达式如下所示： 其中m为总的训练样本数， 表示B超肝纤维化无创诊断模型的输出结果， li为0或者1， 当且仅当第i类处为1。 表示模型中的训练参数。 7.根据权利要求1所述的方法， 其特征在于： 所述的步骤(5)中获得B超影像测试集的肝 纤维化分级结果的具体过程如下： 根据步骤(2)获得B超影像测试集， 将不同分辨率的B超图像块统一调整到140140的 分辨率， 截取图像块的中心区域， 分辨率大小为120120。 将其输入到微调后的B超肝纤维 化无创诊断模型中， 得到输出矢量将输出矢量中最大的值所对应的类别作 权利要求书 2/3 页 3 CN 111783792 A 3 为该。

11、B超图像的最终肝纤维化分级结果。 8.权利要求1所述方法在肝纤维化诊断中的应用。 9.利用权利要求1所述方法的医疗设备。 10.权利要求9所述医疗设备在肝纤维化无创诊断中的应用。 权利要求书 3/3 页 4 CN 111783792 A 4 一种提取B超图像显著纹理特征的方法及其应用 技术领域 0001 本发明属于B超诊断技术领域， 具体涉及一种提取B超图像显著纹理特征的方法及 其应用， 尤其是基于上下文激活残差网络的B超肝纤维化无创诊断方法。 背景技术 0002 肝纤维化是各种慢性肝病向肝硬化发展过程中的关键步骤和影响慢性肝病预后 的重要环节。 在临床诊断中， 肝脏组织活检被视为诊断肝纤维化。

12、的金标准， 然而， 该方法创 伤性很大导致很多患者不易接受。 近年来， 国内外学者致力于无创性肝纤维化诊断方法的 研究。 超声影像诊断因其安全， 廉价， 无创， 实时等优点被广泛地应用在肝纤维化诊断中。 然 而， 受限于超声成像质量， 超声肝纤维的诊断准确率非常依赖于医生的临床诊断经验。 为了 解决这一问题， 发展一种客观， 准确和智能的计算机辅助诊断方法显得尤为重要。 0003 目前， 基于计算机辅助诊断的B超肝纤维化诊断方法主要分为两类： 基于传统机器 学习方法和基于深度学习方法。 前者通常采用一种或多种纹理提取算法， 如灰度共生矩阵 和小波变换， 建模B超图像中肝实质区域的纹理信息， 然。

13、后采用支持向量机等分类器完成对 肝纤维化的分级。 此类方法往往无法应用到大规模的数据集中且无法准确地分级肝纤维 化。 后者采用深度学习中的卷积神经网络实现端到端的肝纤维化分级， 相比于前者， 后者通 常能获得更好的分类性能， 且易于训练和推广。 然而， 现有的此类方法由于缺乏额外的监 督， 网络无法精准地提取B超图像中肝纤维化的纹理特征， 导致诊断率非常低， 很难应用到 临床诊断中。 因此， 如何简单有效地捕捉B超图像中最关键的纹理特征是精确诊断肝纤维化 的一个关键性问题。 发明内容 0004 针对现有技术所存在的上述技术问题， 本发明提供了一种用于B超肝纤维化无创 诊断的基于上下文激活残差网。

14、络的提取B超图像显著纹理特征的方法。 该方法设计了一种 轻量级的通道注意力机制， 能够有效地捕捉B超图像中不同肝纤维化的纹理特征， 精准分级 肝纤维化。 0005 一种基于上下文激活残差网络提取B超图像显著纹理特征的方法， 包括如下步骤： 0006 (1)建立多中心的超声影像数据集， 包括不同病人的B超图像和相对应的肝活检结 果。 0007 (2)在每一张B超图像中截取三种不同大小分辨率的图像块(优选： 分辨率大小分 别为6060， 100100和120120， 每种分辨率的截取数量在2到4张。 )， 进行数据增强。 将 上述的图像块数据集按照一定的比例(优先训练集： 测试集为7： 3)， 划。

15、分为训练集和测试 集， 其中B超图像块数据作为模型的输入数据， 肝活检结果作为模型的标签数据。 0008 (3)利用ImageNet 2012数据集对基于上下文激活残差网络的深度残差网络进行 迁移学习， 获得预训练后的肝纤维化分级模型。 0009 (4)将步骤(2)中获得的B超影像训练集微调预训练后的肝纤维化分级模型， 最终 说明书 1/4 页 5 CN 111783792 A 5 得到基于上下文激活残差网络的B超肝纤维化分级模型。 0010 (5)将步骤(2)中获得的B超影像测试集输入到B超肝纤维化分级模型中， 从而得到 测试集中B超图像的肝纤维化分级结果。 0011 根据METAVIR评分。

16、系统并结合临床治疗经验， 将肝纤维化分为三个类别： 正常或轻 度肝纤维化(S0-S1)， 中度肝纤维化(S2-S3)和肝硬化(S4)。 0012 所述的基于上下文激活残差网络的深度残差网络由多个上下文激活残差块堆叠 而成。 上下文激活残差块由两部分组成： 残差块和上下文激活块。 残差块用于提取B超图像 中的纹理特征， 残差块的每一个通道负责提取不同特征的纹理信息。 上下文激活块旨在加 强残差块中重要的纹理特征， 同时抑制无用的纹理特征， 使得残差块能够提取B超图像中更 为显著的纹理特征。 上下文激活残差块的函数表达式如下： 0013 yf(x)+xReLU(F(BN(W3g(W2g(W1x)+。

17、x 0014 g()ReLU(BN() 0015 其中： x和y分别为残差块的输入和输出。 BN()为批归一化操作， ReLU()为修正 线性单元， F()为上下文激活块。 W1和W3为11卷积， W2为33卷积。 0016 上下文激活块F()主要包含3个操作： 全局上下文聚合， 分组归一化， 上下文激 活。 为了简化， 令oF()， 全局上下文聚合旨在获得全局的纹理信息， 具体为通过全局平 均池化操作获得通道表征矢量zz1， z2， ， zk， ， zc： 0017 0018 其中， W和H为特征图的宽度和长度， C表示特征图的通道数量， k1， 2， ， C。 分 组归一化旨在消除由不同样。

18、本所引起的纹理特征分布不一致性， 增强模型的鲁棒性， 具体 为将通道表征矢量z按通道维度进行分组， 然后对每一组内的特征矢量进行归一化操作， 得 到归一化后的通道表征矢量vv1， ， vi， ， vG， vi可以表示为： 0019 0020 0021其中： piZmi+1,.,Zm(i+1),G表示分组的数量， Si表示第i组的通道索 引集合， 为一个小的常数， 为了数值计算上的稳定。 上下文激活旨在通过全局上下文信 息， 学习每个通道的重要性权重， 重要性权重刻画了每个通道学习到的纹理特征的重要性 程度， 数值越大表示该纹理特征越重要。 具体过程为： 对每一个通道执行一个简单的线性变 换并使。

19、用sigmoid函数 将其归一化到0到1， 如下所示： 0022 a ( v+)， 0023 其中 和为可学习的权重和偏置，表示对应通道相乘。 利用学习到的纹理重要 性权重重新调整输入， 上下文激活块的输出可以表述为最后， 将上下文激活块 嵌入到残差块中， 残差块的输出可以被重新表述为： 说明书 2/4 页 6 CN 111783792 A 6 0024 0025 所述的步骤(3)中使用ImageNet对肝纤维化无创诊断模型预训练的具体方法如 下： 0026 将ImageNet数据集中的训练集用于肝纤维化无创诊断模型的训练， 输入为自然图 像， 标签为每个图像的类别。 以肝纤维化无创诊断模型的。

20、输出值与标签之间的交叉熵作为 目标函数， 通过反向传播算法和梯度下降法不断地计算和更新该模型中的权重， 直到目标 函数的值小于设定的阈值或到达总的训练次数， 肝纤维化无创诊断模型预训练完成。 0027 所述的步骤(4)中B超肝纤维化无创诊断模型的微调具体过程如下： 0028 根据步骤(2)获得训练集， 将不同分辨率的B超图像块统一调整到120120的分辨 率， 将其作为预训练后B超肝纤维化无创诊断模型的输入。 将B超肝纤维化无创诊断模型的 最后的输出层大小从1000改为3， 肝穿活检的病理结果作为标签。 依然以肝纤维化无创诊断 模型的输出值与标签之间的交叉熵作为目标函数， 通过反向传播算法和梯。

21、度下降法微调模 型中的权重， 直到目标函数的值小于设定的阈值或到达总的训练次数， 最终得到基于上下 文激活残差网络的B超肝纤维化无创诊断模型。 0029 所述的步骤(5)中获得测试集的肝纤维化分级结果的具体过程如下： 0030 根据步骤(2)获得测试集， 将不同分辨率的B超图像块统一调整到140140的分辨 率， 截取图像块的中心区域， 分辨率大小为120120。 将其输入到微调后的B超肝纤维化无 创诊断模型中， 将输出矢量中最大的值所对应的类别作为该B超图像的最终肝纤维化分级 结果。 0031 另外本发明还提供了一种基于上下文激活残差网络的B超肝纤维化无创诊断方法 和利用提取B超图像显著纹理。

22、特征的方法的医疗设备及其在肝纤维化无创诊断中的应用。 0032 本发明提出了一种新的注意力机制网络， 该网络提出了一种通道注意力模块， 上 下文激活残差块， 其能够利用全局的上下文特征信息， 学习网络特征中每一个通道的纹理 特征的重要性程度， 加强重要的纹理特征， 抑制无用的纹理特征和噪声， 从而有效地提高网 络对B超图像纹理建模能力。 0033 上下文激活残差网络由多个上下文激活残差块堆叠而成。 上下文激活残差网络， 旨在有效地建模B超肝纤维化纹理信息， 该网络利用全局上下文信息加强重要的纹理特征 并抑制无用的纹理特征， 使得深度残差网络捕捉B超图像中更显著的纹理信息。 其过程主要 可以分为。

23、两个阶段： 训练和测试。 在训练阶段， 将B超图像块作为输入， 肝穿活检的病理结果 作为标签训练上下文激活残差网络。 在测试阶段， 将B超图像块输入到训练好的肝纤维化无 创诊断模型中即可得到每张超声图像的肝纤维化分级。 本发明从数据驱动的角度实现了快 速且准确地估计B超图像的肝纤维化分级。 附图说明 0034 图1为上下文激活块图。 0035 图2为残差块图。 0036 图3为上下文激活残差块图。 0037 图4为B超肝纤维化显著纹理提取方法的整体框架 说明书 3/4 页 7 CN 111783792 A 7 具体实施方式 0038 为了更为具体地描述本发明， 下面结合附图及具体实施方式对本发。

24、明的技术方案 进行详细说明。 0039 本发明基于上下文激活残差网络的B超肝纤维化无创诊断方法， 具体包括如下步 骤： 0040 S1.构建多中心的B超肝纤维化数据集， 包括B超图像和肝穿活检的病理结果； 根据 METAVIR评分系统并结合临床治疗经验， 将肝纤维化分为三个类别： 正常或轻度肝纤维化 (S0-S1)， 中度肝纤维化(S2-S3)和肝硬化(S4)。 将肝穿活检的病理结果作为标签， 记为l l1， l2， l3。 0041 S2.从每张B超图像中截取3种不同大小分辨率的图像块， 分辨率大小分别为60 60， 100100和120120。 每种分辨率的截取数量在2到4张。 将获得的B。

25、超图像块按照一定 比例(训练集： 测试集为7:3)划分为训练集和测试集。 0042 S3.将上下文激活块(图1)嵌入到残差块(图2)中， 构成上下文激活残差块， 其结构 如图3所示， 设定网络深度为d， 简单地堆叠这个残差块， 建立B超肝纤维化无创诊断模型。 0043 S4.利用ImageNet数据集对B超肝纤维化无创诊断模型进行预训练， 通过反向传播 算法和梯度下降算法不断更新模型中的权重参数。 0044 S5.将B超图像训练集中的图像块统一调整到120120， 作为B超肝纤维化无创诊 断模型的输入， 相对应的肝穿活检病理结果作为标签， 通过反向传播算法和梯度下降算法 进一步更新模型中的权重参数。 0045 S6.将B超图像测试集中图像调整到140140， 截取中心区域120120， 输入到训 练好B超肝纤维化无创诊断模型中， 得到输出矢量将矢量 中最大的值的所 对应的类别即为该B超图像的肝纤维化分级。 说明书 4/4 页 8 CN 111783792 A 8 图1 图2 说明书附图 1/2 页 9 CN 111783792 A 9 图3 图4 说明书附图 2/2 页 10 CN 111783792 A 10 。