1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410027067.8(22)申请日 2024.01.09(71)申请人 百洋智能科技集团股份有限公司地址 266000 山东省青岛市市北区开封路88号 申请人 首都医科大学宣武医院北京毅慧康智能科技有限公司(72)发明人 张毅李琴张培龙马婷婷(74)专利代理机构 北京派特恩知识产权代理有限公司 11270专利代理师 胡亮张颖玲(51)Int.Cl.G16H 50/30(2018.01)G06T 7/00(2017.01)G06T 7/11(2017.01)G06T 7/33(2017.01
2、)G06T 17/00(2006.01)(54)发明名称肺结节跟踪与变化趋势预测方法、装置、设备及存储介质(57)摘要本申请公开了一种肺结节跟踪与变化趋势预测方法、装置、设备及存储介质,所述方法包括:获取待分析对象的两个CT图像,并从所述CT图像中分割出肺部区域图像;对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据;所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性;对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待分析肺结节;基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据。通过对两个
3、CT图像进行检测、配准跟踪以及对比分析,生成肺结节的变化趋势数据,提高对肺结节变化趋势数据的预测准确性。权利要求书3页 说明书25页 附图5页CN 117542527 A2024.02.09CN 117542527 A1.一种肺结节跟踪与变化趋势预测方法,其特征在于,所述肺结节跟踪与变化趋势预测方法包括:获取待分析对象的两个计算机断层扫描CT图像,并从所述CT图像中分割出肺部区域图像;对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据;所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性;对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待
4、分析肺结节;基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据。2.根据权利要求1所述的肺结节跟踪与变化趋势预测方法,其特征在于,所述肺结节属性包括所述肺结节的掩码图像;所述对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待分析肺结节,包括:通过最大化所述两个肺部区域图像之间的归一化互信息代价函数,确定所述两个肺部区域图像之间的配准参数;基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的肺结节的掩码图像的交并比,将满足预设要求的肺结节确定为所述待分析肺结节;其中,所述归一化互信息代价函数基于所述两个
5、肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的。3.根据权利要求1所述的肺结节跟踪与变化趋势预测方法,其特征在于,所述肺结节属性包括所述肺结节的检测框和掩码图像;所述对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据,包括:将所述肺部区域图像输入至训练后的肺结节检测模型,得到对应的肺结节检测特征图;所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点,和每一所述特征点对应的检测特征数据;所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径;基于所述肺结节特征图中每一所述特征点对应的检测特
6、征数据,确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径;所述肺结节的检测框由所述肺结节中心点和肺结节直径确定;基于所述肺结节中心点和预设截取范围,在所述肺部区域图像中截取所述肺结节所在的图像块,并将所述肺结节所在的图像块输入至训练后的肺结节分割模型,得到所述肺结节的掩码图像。4.根据权利要求3所述的肺结节跟踪与变化趋势预测方法,其特征在于,所述基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据,包括:针对每一所述肺部区域图像,基于所述待分析肺结节对应的掩码图像,确定所述待分析肺结节在至少一个评估维度上的肺结节参数;针对每一所述评估维度
7、,基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数,生成所述待分析肺结节在所述评估维度下的变化权利要求书1/3 页2CN 117542527 A2趋势数据;其中,所述评估维度包括以下至少之一:大小、体积、密度、实性占比、空泡征、分叶、毛刺。5.根据权利要求4所述的肺结节跟踪与变化趋势预测方法,其特征在于,所述评估维度还包括:良恶性、结节性质和浸润性;所述基于所述待分析肺结节对应的掩码图像,确定所述待分析肺结节在至少一个评估维度上的肺结节参数,包括:将所述待分析肺结节所在的图像块输入至训练后的良恶性分类模型,得到所述待分析肺结节的良恶性分类结果;所述待分析
8、肺结节所在的图像块由所述待分析肺结节对应的掩码图像确定;将所述待分析肺结节所在的图像块输入至训练后的结节性质分类模型,得到所述待分析肺结节的结节性质分类结果;在所述良恶性分类结果表征所述待分析肺结节属于恶性的情况下,将所述待分析肺结节所在的图像块输入至训练后的病理分类模型,得到所述待分析肺结节的浸润性分类结果。6.根据权利要求1至5任一项所述的肺结节跟踪与变化趋势预测方法,其特征在于,从所述CT图像中分割出肺部区域图像,包括:基于肺部区域对应的阈值范围和所述CT图像中每一像素点的值,对所述CT图像进行阈值分割,得到分割后的图像;基于形态学运算对分割后的图像进行调整,得到所述肺部区域的掩码图像;
9、基于所述肺部区域的掩码图像,生成所述肺部区域的检测框;利用预设的扩张参数,对所述肺部区域的检测框进行扩张处理,得到扩张后的肺部区域的检测框;利用扩张后的肺部区域的检测框对所述CT图像进行分割,得到所述肺部区域图像。7.根据权利要求1至5任一项所述的肺结节跟踪与变化趋势预测方法,其特征在于,所述肺结节跟踪与变化趋势预测方法还包括:基于训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对所述肺部区域图像进行分割,得到肺叶的掩码图像、气管的掩码图像和肺部动静脉的掩码图像;分别利用所述肺叶的掩码图像、所述气管的掩码图像和所述肺部动静脉的掩码图像,重建所述肺叶的三维重建模型、所述气管的三维重建模型和
10、所述肺部动静脉的三维重建模型;其中,管状器官分割模型的损失函数为Dice损失、交叉熵损失和中心线损失的线性组合,公式如下:;其中,所述管状器官分割模型包括气管分割模型和肺部动静脉分割模型,为Dice损失,为交叉熵损失,为中心线损失,为输出的管状器官的掩权利要求书2/3 页3CN 117542527 A3码图像,为标注的管状器官的掩码图像,为管状器官的中心线掩码图像。8.一种肺结节跟踪与变化趋势预测系统,其特征在于,所述肺结节跟踪与变化趋势预测系统包括:获取模块,用于获取待分析对象的两个计算机断层扫描CT图像,并从所述CT图像中分割出肺部区域图像;检测模块,用于对两个肺部区域图像进行肺结节检测,
11、得到每一所述肺部区域图像的肺结节数据;所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性;配准模块,用于对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待分析肺结节;生成模块,用于基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据。9.一种肺结节跟踪与变化趋势预测装置,其特征在于,包括权利要求8所述的肺结节跟踪与变化趋势预测系统。10.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述肺结节跟踪与变化趋势预测方法中的
12、步骤。11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述肺结节跟踪与变化趋势预测方法中的步骤。权利要求书3/3 页4CN 117542527 A4肺结节跟踪与变化趋势预测方法、装置、设备及存储介质技术领域0001本申请涉及图像处理技术领域,尤其涉及一种肺结节跟踪与变化趋势预测的肺结节跟踪与变化趋势预测方法、系统、装置、设备及存储介质。背景技术0002传统的肺结节筛查与趋势预测方法主要依赖于医生的专业知识和经验,通常是通过观察和分析CT图像来识别和评估肺结节。然而,由于每个医生的专业水平和经验不同,对同一份CT图像的解读和判断
13、也可能存在差异。可以看出,相关技术中对于CT图像中肺结节的定位以及变化趋势的预测存在准确度较低的问题。发明内容0003本申请实施例的技术方案是这样实现的:第一方面,本申请实施例提供一种肺结节跟踪与变化趋势预测方法,所述肺结节跟踪与变化趋势预测方法包括:获取待分析对象的两个计算机断层扫描CT图像,并从所述CT图像中分割出肺部区域图像;对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据;所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性;对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待分析肺结节;基于所述待分析肺结节在每一所述肺部区域图像
14、中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据。0004在一些实施例中,所述肺结节属性包括所述肺结节的掩码图像;所述对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待分析肺结节,包括:通过最大化所述两个肺部区域图像之间的归一化互信息代价函数,确定所述两个肺部区域图像之间的配准参数;基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的肺结节的掩码图像的交并比,将满足预设要求的肺结节确定为所述待分析肺结节;其中,所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的。0005在一些实施例中,所述肺
15、结节属性包括所述肺结节的检测框和掩码图像;所述对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据,包括:将所述肺部区域图像输入至训练后的肺结节检测模型,得到对应的肺结节检测特征图;所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点,和每一所述特征点对应的检测特征数据;所述检测特征数据包括所述特征点为肺结说明书1/25 页5CN 117542527 A5节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径;基于所述肺结节特征图中每一所述特征点对应的检测特征数据,确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径;所述肺结节的检测框
16、由所述肺结节中心点和肺结节直径确定;基于所述肺结节中心点和预设截取范围,在所述肺部区域图像中截取所述肺结节所在的图像块,并将所述肺结节所在的图像块输入至训练后的肺结节分割模型,得到所述肺结节的掩码图像。0006在一些实施例中,所述基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据,包括:针对每一所述肺部区域图像,基于所述待分析肺结节对应的掩码图像,确定所述待分析肺结节在至少一个评估维度上的肺结节参数;针对每一所述评估维度,基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数,生成所述待分析肺结节在所述评估维度下的
17、变化趋势数据;其中,所述评估维度包括以下至少之一:大小、体积、密度、实性占比、空泡征、分叶、毛刺。0007在一些实施例中,所述基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数,生成所述待分析肺结节在所述评估维度下的变化趋势数据,包括:基于每一所述CT图像对应的检测时间,确定变化时间;将所述变化时间、所述待分析肺结节在每一所述肺部区域图像中的肺结节参数,输入至变化率预测模型,得到所述待分析肺结节在所述评估维度下的变化率;其中,所述待分析肺结节在所述评估维度下的预测肺结节参数的计算公式如下:;其中,为从最新的CT图像对应的检测时间开始,时间t之后,所述待分析
18、肺结节在所述评估维度下的预测肺结节参数,V为最新的CT图像中所述待分析肺结节在所述评估维度下的肺结节参数,k为变化率。0008在一些实施例中,所述评估维度还包括:良恶性、结节性质和浸润性;所述基于所述待分析肺结节对应的掩码图像,确定所述待分析肺结节在至少一个评估维度上的肺结节参数,包括:将所述待分析肺结节所在的图像块输入至训练后的良恶性分类模型,得到所述待分析肺结节的良恶性分类结果;所述待分析肺结节所在的图像块由所述待分析肺结节对应的掩码图像确定;将所述待分析肺结节所在的图像块输入至训练后的结节性质分类模型,得到所述待分析肺结节的结节性质分类结果;在所述良恶性分类结果表征所述待分析肺结节属于恶
19、性的情况下,将所述待分析肺结节所在的图像块输入至训练后的病理分类模型,得到所述待分析肺结节的浸润性分类结果。0009在一些实施例中,所述从所述CT图像中分割出肺部区域图像,包括:说明书2/25 页6CN 117542527 A6基于肺部区域对应的阈值范围和所述CT图像中每一像素点的值,对所述CT图像进行阈值分割,得到分割后的图像;基于形态学运算对分割后的图像进行调整,得到所述肺部区域的掩码图像;基于所述肺部区域的掩码图像,生成所述肺部区域的检测框;利用预设的扩张参数,对所述肺部区域的检测框进行扩张处理,得到扩张后的肺部区域的检测框;利用扩张后的肺部区域的检测框对所述CT图像进行分割,得到所述肺
20、部区域图像。0010在一些实施例中,所述肺结节跟踪与变化趋势预测方法还包括以下至少之一:在所述CT图像对应的像素空间大小与预设像素空间大小不同的情况下,对所述肺部区域图像进行重采样,重采样后的肺部区域图像的像素空间大小为所述预设像素空间大小;基于预设的截断范围,对所述肺部区域图像进行截断处理,截断处理后的肺部区域图像中每一像素点的值位于所述截断范围内;对所述肺部区域图像进行归一化处理。0011在一些实施例中,所述肺结节跟踪与变化趋势预测方法还包括:基于训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对所述肺部区域图像进行分割,得到肺叶的掩码图像、气管的掩码图像和肺部动静脉的掩码图像;分别
21、利用所述肺叶的掩码图像、所述气管的掩码图像和所述肺部动静脉的掩码图像,重建所述肺叶的三维重建模型、所述气管的三维重建模型和所述肺部动静脉的三维重建模型。0012在一些实施例中,管状器官分割模型的损失函数为Dice损失、交叉熵损失和中心线损失的线性组合,公式如下:;其中,所述管状器官分割模型包括气管分割模型和肺部动静脉分割模型,为Dice损失,为交叉熵损失,为中心线损失,为输出的管状器官的掩码图像,为标注的管状器官的掩码图像,为管状器官的中心线掩码图像。0013第二方面,本申请提供肺结节跟踪与变化趋势预测系统,所述肺结节跟踪与变化趋势预测系统包括:获取模块,用于获取待分析对象的两个计算机断层扫描
22、CT图像,并从所述CT图像中分割出肺部区域图像;检测模块,用于对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据;所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性;配准模块,用于对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图像中的待分析肺结节;生成模块,用于基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节说明书3/25 页7CN 117542527 A7属性,生成所述待分析肺结节的变化趋势数据。0014第三方面,本申请提供一种肺结节跟踪与变化趋势预测装置,其包含本申请第二方面所述的肺结节跟踪与变化趋势预测系统。0015第四方面,本
23、申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。0016第五方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。0017本申请中,通过获取两个计算机断层扫描CT图像并分割出肺部区域图像,可以更准确地检测并定位肺结节;同时,通过检测肺结节的肺结节属性,可以为医生提供更全面的参考数据,有助于更准确地判断病情;另外,通过对同一待分析对象的两个CT图像进行对比分析,以观察肺结节的变化趋势;上述通过对两个CT图像进行检测、配准跟踪、以及对比
24、分析,生成肺结节的变化趋势数据,提高对肺结节变化趋势数据的预测准确性。0018应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请的技术方案。附图说明0019此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。0020图1为本申请提供的一种肺结节跟踪与变化趋势预测方法的实现流程示意图;图2为本申请提供的一种对两个肺部区域图像中的肺结节的配准方法的实现流程示意图;图3为本申请提供的一种对两个肺部区域图像中肺结节的检测方法的实现流程示意图;图4为本申请提供的一种待分析肺结节的变化趋势数据的预测方法的实
25、现流程示意图;图5为本申请提供的一种肺部区域图像的分割方法的实现流程示意图;图6为本申请提供的一种三维重建模型方法的实现流程示意图;图7为本申请提供的一种肺结节变化趋势预测方法及三维重建方法的流程示意图;图8为本申请提供的一种肺结节跟踪与变化趋势预测系统的组成结构示意图;图9为本申请提供的一种计算机设备的硬件实体示意图。具体实施方式0021为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。0022在以下的描述中,涉及到
26、“一些实施例”,其描述了所有可能实施例的子集,但是可说明书4/25 页8CN 117542527 A8以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。0023除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。00
27、24本申请实施例提供一种肺结节跟踪与变化趋势预测方法,该方法可以由计算机设备的处理器执行。其中,计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。0025图1为本申请实施例提供的一种肺结节跟踪与变化趋势预测方法的实现流程示意图,如图1所示,该方法包括如下步骤S101至步骤S104:步骤S101、获取待分析对象的两个计算机断层扫描CT图像,并从所述CT图像中分割出肺部区域图像。0026在一些实施例中,上述待分析对象的两个CT图像为,在不同时间点对该待分析对
28、象进行CT扫描得到的CT图像。0027其中,CT图像是计算机的重建图像,是经数字转换的重建模拟图像,由一定数目从黑到白不同灰度的像素按固有矩阵排列而成,一般情况下,CT图像可以为三维图像。这些像素的灰度反映的是相应体素的X线吸收系数。如同X线图像,CT图像亦是用灰度反映器官和组织对X线的吸收程度。其中黑影表示低吸收区,即低密度区,如含气的肺组织;灰影表示中等吸收区,即中等密度区,如软组织的肌肉或脏器;白影表示高吸收区,即高密度区,如含钙量高的骨组织。0028在一些实施例中,可以通过阈值分割技术从CT图像中分割出肺部区域图像。其中,通过选择一个合适的阈值,将CT图像中每一个像素点的像素值与该阈值
29、进行比较,从而将像素分为两个或多个类别。在CT图像中,肺部与周围组织在像素强度上通常有明显的差异。因此,可以选择一个阈值,使得肺部区域的像素值高于该阈值,而其他区域的像素值低于该阈值。这样,就可以将肺部区域图像从原始的CT图像中分割出来。0029在另一些实施例中,可以通过区域增长技术从CT图像中分割出肺部区域图像。该区域增长技术是一种基于区域的方法,它从一个或多个种子点开始,将与种子点相似或相邻的像素合并到同一个区域中。在CT图像中,可以通过选择一个或多个种子点(例如,肺部的某个明显特征点),然后使用区域增长方法将与种子点相似或相邻的像素合并到肺部区域中,进而将肺部区域图像从原始的CT图像中分
30、割出来。0030可以理解的是,与该CT图像的图像格式相同,该肺部区域图像也是三维图像。0031步骤S102、对两个肺部区域图像进行肺结节检测,得到每一所述肺部区域图像的肺结节数据;所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性。0032在一些实施例中,上述肺结节属性包括肺结节的掩码图像,肺结节中心点和肺结节直径;在一些实施例中,上述肺结节属性还包括以下至少之一:大小、体积、密度、实性占说明书5/25 页9CN 117542527 A9比、空泡征、分叶、毛刺等信息。0033其中,掩码图像是一种特殊的图像表示方法,肺结节区域的掩码图像会被标记为特定的值(例如黑色或1),而其他区域则被标
31、记为另一种值(例如白色或0);通过肺结节区域的掩码图像,可以直观地看到肺结节在图像中的位置和形状。肺结节中心点是肺结节的核心位置;肺结节直径是肺结节的尺寸指标。0034在一些实施例中,可以通过以下方法对两个肺部区域图像进行肺结节检测,得到上述肺结节数据:对两个肺部区域图像进行预处理,包括去除噪声、增强对比度、去背景等操作;利用机器学习或深度学习算法,如肺结节检测模型、肺结节分割等,将图像中的肺结节与其他区域进行分割,得到肺结节的掩码图像;对于分割出的肺结节的掩码图像,提取其特征,如大小、形状、密度等。0035步骤S103、对所述两个肺部区域图像中的肺结节进行配准,得到同时处于所述两个肺部区域图
32、像中的待分析肺结节。0036在本申请实施例中,在肺结节检测中配准的目的是确保两个肺部区域图像中的肺结节在相同的空间坐标系统中,这样就可以准确地比较和分析它们的位置、大小、形状等属性。也就是说,针对同时存在于两个肺部区域图像的待分析肺结节,步骤S102实现了该待分析肺结节的定位,步骤S103实现了对该待分析肺结节的跟踪。0037在一些实施例中,可以通过特征匹配的方法对两个肺部区域图像中的肺结节进行配准,包括:是通过提取出两个肺部区域图像中的肺结节的特征,如边缘、纹理、形状等,利用这些特征进行匹配,找到相同或相似的特征点;根据匹配的特征点,应用一个变换模型(如仿射变换、透视变换等),将一个肺部区域
33、图像中的肺结节对齐到另一个肺部区域图像中;通过优化算法,如梯度下降法、迭代最近点法等,不断调整变换参数,使两个肺部区域图像中的肺结节达到最佳的对齐效果,进而实现了对该待分析肺结节的跟踪。0038在另一些实施例中,还可以通过构建归一化互信息代价函数,通过优化该归一化互信息代价函数确定所述两个肺部区域图像之间的配准参数。0039在本申请实施例中,经过配准后,可以对实现对同时存在于两个肺部区域图像的肺结节的跟踪,进而得到同时处于两个肺部区域图像中的待分析肺结节。这些肺结节的位置、大小、形状等属性已经对齐,可以方便步骤S104进行后续的分析和比较。0040步骤S104、基于所述待分析肺结节在每一所述肺
34、部区域图像中对应的肺结节属性,生成所述待分析肺结节的变化趋势数据。0041在本申请实施例中,通过对两个肺部区域图像中的待分析肺结节的肺结节属性进行比较。肺结节属性可以包括大小、体积、密度、实性占比、空泡征、分叶、毛刺等。通过比较这些肺结节属性,可以初步判断待分析肺结节在两个图像之间的变化情况。0042在一些实施例中,这两个肺部区域图像是在不同的时间点获取的,可以进一步利用时间序列分析的方法。通过分析这些肺结节属性在时间上的变化,可以生成待分析肺结节的变化趋势数据图。示例性地,对于某些肺结节属性,如大小、体积等,可以使用数学模型进行拟合其变化趋势数据曲线。这样,可以更准确地评估待分析肺结节的变化
35、情况。0043本申请实施例中,通过获取两个计算机断层扫描CT图像并分割出肺部区域图像,可以更准确地检测并定位肺结节;同时,通过检测肺结节的肺结节属性,可以提供更全面的参考数据,有助于更准确地确定肺结节的结节状态;另外,通过对同一待分析对象的两个CT说明书6/25 页10CN 117542527 A10图像进行对比分析,以观察肺结节的变化趋势;上述方案,通过对两个CT图像进行检测、配准跟踪、以及对比分析,生成肺结节的变化趋势数据,提高对肺结节变化趋势数据的预测准确性。0044图2是本申请实施例提供的一种对两个肺部区域图像中的肺结节的配准方法的实现流程示意图,该方法可以由计算机设备的处理器执行。基
36、于图1,所述肺结节属性包括所述肺结节的掩码图像;图1中的S103可以更新为S201至S202,将结合图2示出的步骤进行说明。0045步骤S201、通过最大化所述两个肺部区域图像之间的归一化互信息代价函数,确定所述两个肺部区域图像之间的配准参数。0046其中,所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的。0047在一些实施例中,上述归一化互信息代价函数如公式(1)所示:公式(1);其中为两个肺部区域图像之间的联合熵,其中分别为两个肺部区域图像的信息熵。配准优化代价函数是归一化互信息(Normalized Mutual Information
37、,NMI)。这个公式的基本思想是衡量两个图像之间的互信息,并归一化以消除它们大小的影响。旨在找到两个图像之间的最佳对齐,使得它们之间的相似性最大化。0048步骤S202、基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的肺结节的掩码图像的交并比,将满足预设要求的肺结节确定为所述待分析肺结节。0049其中,交并比(Intersection over Union,IoU)用于评估图像分割或目标检测任务性能的度量方法。在本申请实施例中,该肺结节的掩码图像的交并比用于评估两个肺部区域图像之间的肺结节掩码图像的重叠程度。0050在一些实施例中,通过配准后的两个肺部区域图像和各个肺结节
38、对应的掩码图像,计算两个肺部区域图像之间每两个肺结节的掩码图像的交并比;之后,通过设定一个交并比的阈值,只有当两个肺结节的掩码图像的交并比大于这个阈值时,才将其确定为待分析肺结节。基于上述步骤得到的待分析肺结节是在两个肺部区域图像中都存在的、且具有足够重叠的肺结节,如此可以实现对同时存在的肺结节的跟踪。0051本申请实施例中,通过优化归一化互信息代价函数、以及计算交并比,能够跟踪同时存在于两个CT图像中的肺结节,进而从检测到的肺结节中准确地确定出待分析肺结节,为后续的医学分析提供可靠依据。0052图3是本申请实施例提供的一种对两个肺部区域图像中肺结节的检测方法的实现流程示意图,该方法可以由计算
39、机设备的处理器执行。基于图1,所述肺结节属性包括所述肺结节的检测框和掩码图像;图1中的S102可以更新为S301至S303,将结合图3示出的步骤进行说明。0053步骤S301、将所述肺部区域图像输入至训练后的肺结节检测模型,得到对应的肺结节检测特征图。0054在一些实施例中,在肺结节检测模型可以输出该肺部区域图像对应的肺结节检测说明书7/25 页11CN 117542527 A11特征图,其中,该肺结节检测特征图包括多个特征点,和每一特征点对应的检测特征数据;由于该肺结节检测模型可以对肺部区域图像进行下采样,因此,肺结节检测特征图中每一个特征点,在肺部区域图像的相应位置处对应一个图像块,该图像
40、块的尺寸与下采样的倍数相关。示例性地,在下采样倍数为4的情况下,一个图像块可以对应原始肺部区域图像中64个像素点。该特征点对应的特征检测数据包括该特征点的位置、该特征点属于肺结节的概率,肺结节的直径以及该特征点距离肺结节中心的偏移。0055在一些实施例中,上述肺结节检测模型的训练过程可以包括:步骤S3011、获取肺结节检测模型对应的样本数据集。0056其中,所述样本数据集包括肺部区域的样本图像和对应的肺结节标注。0057在一些实施例中,可以从数据库中获取大量历史CT图像,并对CT图像进行脱敏,保证了数据的安全性与隐私性;对CT图像添加肺结节标注,并对CT图像进行数据预处理(具体实施过程可以参照
41、后续实施例),得到该肺部区域的样本图像和对应的肺结节标注。示例性地,上述CT图像理解为多层的二维图像,相应地,上述添加肺结节标注的过程,实际上是在每一层二维图像中对属于肺结节的像素点添加标注的过程。为了体现与CT图像中其他对象的区别,示例性地,该肺结节标注可以设置为“0”。0058步骤S3012、基于预设比例对肺结节检测模型对应的样本数据集划分为训练集和测试集。0059其中,可以上述训练集与测试集之间预设比例可以设置为4:1。0060步骤S3013、利用训练集对初始的肺结节检测模型进行训练,得到待测试的肺结节检测模型。0061步骤S3014、利用测试集对待测试的肺结节检测模型进行测试,在满足预
42、设要求的情况下,将所述待测试的肺结节检测模型作为训练后的肺结节检测模型。0062在一些实施例中,上述肺结节检测模型的输入数据的格式为128,128,128,输出数据的格式为32,32,32,5(该肺结节检测模型对输入数据下采样4倍)。其中,该输入数据表示肺部区域的样本图像中尺寸为128128128的图像块,该输出数据表示为该图像块对应的尺寸为3232325的特征图像,前三个维度为特征点的坐标,特征图像(输出数据)中的一个特征点对应原图像64个像素点,该输出数据的第四个维度的五个值分别为p,z,y,x,d,p表示该特征点是肺结节的概率,z,y,x表示该特征点在空间三个方向相对肺结节中心的偏移,d
43、表示肺结节的直径。0063在肺结节检测模型的训练过程中,其损失函数选取的是focal损失。该损失函数在肺结节检测模型中对于正负样本不均的情况有很好的效果,可以表示为公式(2);公式(2);其中y(1,1)表示正负样本的标注,表示模型预测y=1的概率,为平衡因子,为调制系数。0064步骤S302、基于所述肺结节特征图中每一所述特征点对应的检测特征数据,确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径;所述肺结节的检测框由所述肺结节中心点和肺结节直径确定。说明书8/25 页12CN 117542527 A120065在一些实施例中,可以以每一特征点属于肺结节的概率作为权重,利用每一特征
44、点的位置和特征点距离肺结节中心的偏移,拟合肺部区域图像中存在的肺结节的肺结节中心点;还可以利用该每一特征点属于肺结节的概率作为权重,每一特征点对应的肺结节直径,拟合肺部区域图像中存在的肺结节的肺结节直径。0066在一些实施例中,在得到该肺结节的肺结节中心点和肺结节直径之后,可以生成该肺结节的检测框。0067步骤S303、基于所述肺结节中心点和预设截取范围,在所述肺部区域图像中截取所述肺结节所在的图像块,并将所述肺结节所在的图像块输入至训练后的肺结节分割模型,得到所述肺结节的掩码图像。0068在一些实施例中,该预设截取范围可以设置N个像素点,以该肺结节中心点对应的坐标(X,Y,Z)为(40,50
45、,60)为例,上述在所述肺部区域图像中截取所述肺结节所在的图像块,实际上是截取X位于40N至40+N之间、Y位于50N至50+N之间、Z位于60N至60+N之间的正方形图像块。0069可以理解的是,上述肺结节分割模型的训练过程与上述肺结节检测模型的训练过程类似,使用的是相同的样本数据集,但是,肺结节分割模型的输入数据为肺结节中心点所在的正方形图像块,而肺结节检测模型的输入数据为肺部区域图像。该肺结节分割模型的输出数据为64,64,64,2,其中,输出数据的前三个维度的值为与肺结节中心点所在的正方形图像块对应的坐标,输出数据的第四个维度的两个值分别为1p,p,p表示该坐标的像素点是肺结节的概率。
46、0070在肺结节分割模型的训练过程中,其损失函数选取的是Dice 损失和交叉熵损失。该损失函数可以表示为公式(3);公式(3);其中,为Dice损失,为交叉熵损失,为输出的肺结节的掩码图像,为标注的肺结节的掩码图像。0071本申请实施例中,能够准确检测出肺部区域图像中的肺结节,并确定其中心点和直径,同时能够精确截取肺结节所在的图像块,并得到肺结节的掩码图像,为后续的肺结节分析提供了准确的数据基础。此外,该方法采用了训练后的肺结节检测模型和肺结节分割模型,提高了检测的准确性和效率。0072图4是本申请实施例提供的一种待分析肺结节的变化趋势数据的预测方法的实现流程示意图,该方法可以由计算机设备的处
47、理器执行。基于图1,图1中的S104可以更新为S401至S402,将结合图4示出的步骤进行说明。0073步骤S401、针对每一所述肺部区域图像,基于所述待分析肺结节对应的掩码图像,确定所述待分析肺结节在至少一个评估维度上的肺结节参数。0074步骤S402、针对每一所述评估维度,基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数,生成所述待分析肺结节在所述评估维度下的变化趋势数据。0075其中,所述评估维度包括以下至少之一:大小、体积、密度、实性占比、空泡征、分说明书9/25 页13CN 117542527 A13叶、毛刺。0076针对大小维度,可以基于所述
48、待分析肺结节对应的掩码图像,计算该待分析肺结节的最小外接矩形,将所述最小外接矩形的长边作为所述待分析肺结节的大小(直径)。0077针对体积维度,可以基于所述待分析肺结节对应的掩码图像,统计所述待分析肺结节对应的像素个数,将像素个数与单个像素的体积的乘积作为所述待分析肺结节的体积。其中,单个像素的体积为三个方向spacing的乘积,spacing为图像中每个像素在物理空间中的实际大小,通常以毫米为单位表示。0078针对密度维度,通过所述待分析肺结节对应的掩码图像,统计该掩码图像中各个像素的HU值,将HU值的平均值作为所述待分析肺结节的密度。0079针对实性占比维度,对于结节性质为混合磨玻璃结节的
49、待分析肺结节,对其进行二次分割,分割出实性成分和磨玻璃成分,计算出实性成分的直径(d1),将实性成分的直径(d1)与待分析肺结节的直径(d)的比值(d1/d)作为实性占比。0080针对空泡征维度,对所述待分析肺结节对应的掩码图像进行阈值分割,阈值同样为400,若存在小于400的连通域则存在空泡征。0081针对分叶维度,在上述对所述待分析肺结节对应的掩码图像进行阈值分割的基础上,统计所述待分析肺结节的连通域,若存在2个以上连通域则所述待分析肺结节存在分叶。0082针对毛刺维度,通过计算所述待分析肺结节对应的掩码图像的边界曲率变化,在边界曲率变化超过预设变化阈值的情况下,则所述待分析肺结节存在毛刺
50、。0083在一些实施例中,上述生成所述待分析肺结节在所述评估维度下的变化趋势数据,实际上可以生成所述待分析肺结节在所述评估维度下的变化率,基于该变化率、最新的CT图像中待分析肺结节在所述评估维度下的肺结节参数和预测时间点,可以得到该待分析肺结节在所述评估维度下的预测时间点时的肺结节参数。0084示例性地,以评估维度为体积维度为例,已知最新的CT图像对应的检测时间是t1,预测时间点是t2,可以得到变化时间为t=t2t1,结合该变化时间t、t1处待分析肺结节的体积为V和变化率k,即可以得到t2处待分析肺结节的体积Vt,如公式(4)。0085 公式(4);其中,为从t1开始,到t2时刻肺结节的体积,