图像配准方法、计算机设备和存储介质.pdf

《图像配准方法、计算机设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《图像配准方法、计算机设备和存储介质.pdf（19页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910721606.7 (22)申请日 2019.08.06 (71)申请人 上海联影智能医疗科技有限公司 地址 200232 上海市徐汇区龙腾大道2879 号3楼3674室 (72)发明人 马姗姗曹晓欢薛忠 (74)专利代理机构 北京华进京联知识产权代理 有限公司 11606 代理人 李姣姣 (51)Int.Cl. G06T 7/33(2017.01) (54)发明名称 图像配准方法、 计算机设备和存储介质 (57)摘要 本申请涉及一种图像配准方法、 计算机设备 和存储介。

2、质， 所述方法包括： 获取待配准图像和 参考图像； 提取待配准图像的第一特征， 提取参 考图像的第二特征； 将待配准图像、 参考图像、 第 一特征以及第二特征输入通过训练确定的配准 网络， 获得变形场； 将变形场应用于待配准图像， 获得配准图像。 上述配准方法中， 将图像和提取 的图像特征同时送入通过训练确定的配准网络 中指导配准， 既保证了配准网络模型获得的输入 图像信息的完整性， 又保证了配准网络模型获得 输入图像信息的有效性和精准性， 从而可以提高 图像配准的精度。 权利要求书2页 说明书11页 附图5页 CN 110599526 A 2019.12.20 CN 110599526 A 。

3、1.一种图像配准方法， 所述方法包括： 获取待配准图像和参考图像； 提取所述待配准图像的第一特征， 提取所述参考图像的第二特征； 将所述待配准图像、 参考图像、 第一特征以及第二特征输入通过训练确定的配准网络， 获得变形场； 将所述变形场应用于待配准图像， 获得配准图像。 2.根据权利要求1所述的方法， 其特征在于， 所述通过训练确定的配准网络的确定方式 包括： 获取样本待配准图像和样本参考图像； 基于初始配准模型、 所述样本待配准图像以及所述样本参考图像， 获得中间配准图像； 基于所述中间配准图像和所述样本参考图像确定损失函数； 基于所述损失函数迭代优化所述初始配准模型； 当所述损失函数达到。

4、迭代终止条件时， 停止迭代， 获得所述通过训练确定的配准网络。 3.根据权利要求2所述的方法， 其特征在于， 所述基于初始配准模型、 所述样本待配准 图像以及所述样本参考图像， 获得中间配准图像， 包括： 提取所述样本待配准图像的第一样本特征， 以及所述样本参考图像的第二样本特征； 将所述样本待配准图像、 样本参考图像、 第一样本特征以及第二样本特征输入所述初 始配准模型， 获得样本变形场； 基于所述样本待配准图像和所述样本变形场， 将所述样本待配准图像向所述样本参考 图像进行配准， 获得所述中间配准图像。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述中间配准图像和所述样本参 考。

5、图像确定损失函数， 包括： 基于所述中间配准图像和所述样本参考图像确定配准损失； 基于所述样本变形场确定平滑损失； 基于所述配准损失和平滑损失确定所述损失函数。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述中间配准图像、 所述样本参 考图像确定配准损失， 包括： 采用与所述提取所述样本待配准图像的第一样本特征相同的方式提取所述中间配准 图像的第三样本特征； 基于所述样本参考图像和中间配准图像确定图像损失； 基于所述第二样本特征和第三样本特征确定图像特征损失； 基于所述图像损失和图像特征损失确定所述配准损失。 6.根据权利要求3所述的方法， 其特征在于， 所述提取所述样本待配准图像。

6、的第一样本 特征、 所述样本参考图像的第二样本特征， 包括： 通过第一初始特征提取模型提取所述样本待配准图像的第一样本特征； 通过第二初始 特征提取模型提取所述样本参考图像的第二样本特征； 在基于所述损失函数迭代优化所述初始配准模型时， 还包括： 基于所述损失函数迭代 优化所述第一初始特征提取模型， 以及优化所述第二初始特征提取模型； 当所述损失函数达到迭代终止条件时， 停止迭代时， 还包括： 获得所述通过训练确定的 权利要求书 1/2 页 2 CN 110599526 A 2 第一特征提取模型， 以及通过训练确定的第二特征提取模型。 7.根据权利要求6所述的方法， 其特征在于， 提取所述待配。

7、准图像的第一特征， 提取所 述参考图像的第二特征， 包括： 基于通过训练确定的第一特征提取模型提取所述待配准图像的第一特征， 基于通过训 练确定的第二特征提取模型提取所述参考图像的第二特征。 8.根据权利要求1至7任意一项所述的方法， 其特征在于： 所述待配准图像与所述参考图像为同模态的图像； 所述提取所述待配准图像的第一特征， 提取所述参考图像的第二特征， 包括： 采用相同 的特征提取方式提取所述待配准图像的第一特征， 以及提取所述参考图像的第二特征； 或者， 所述待配准图像与所述参考图像为不同模态的图像； 所述提取所述待配准图像的第一特征， 提取所述参考图像的第二特征， 包括： 所述提取 。

8、所述待配准图像的第一特征， 与所述提取所述参考图像的第二特征采用不相同的特征提取 方式。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。 权利要求书 2/2 页 3 CN 110599526 A 3 图像配准方法、 计算机设备和存储介质 技术领域 0001 本申请涉及计算机技术领域， 特别是涉及一种图像配准方法、 计算机设备和存储 介质。

9、。 背景技术 0002 图像配准(Image registration)就是将不同时间、 不同传感器(成像设备)或不同 条件下(天候、 照度、 摄像位置和角度等)获取的两幅或多幅图像进行匹配、 叠加的过程。 0003 图像配准主要分为刚性和非刚性两类。 其中， 刚性配准主要解决简单的图像整体 移动， 如平移、 旋转等问题； 非刚性配准主要解决的是图像的弹性变换的问题， 它容许变换 过程中任意两个像素点之间的对应关系发生变动。 医学图像配准技术是医学影像处理的基 础， 在图像信息融合、 辅助诊断、 手术规划、 手术导航以及医学基础理论研究等领域发挥着 十分重要的作用。 0004 在实际的临床应用。

10、中， 由于成像模式， 成像时间以及成像个体之间的差异等， 图像 之间的差异比较大， 刚性配准不适于解决此类问题； 同时， 人体的大部分组织和器官具有非 刚性特征， 因而针对非刚性医学影像的研究具有重要意义。 传统的方法中最具有代表性的 非刚性配准方法为Demons方法， 然而这种方法对于医学影像质量较差， 并且形变较大的医 学影像配准， 配准精度较低。 发明内容 0005 基于此， 有必要针对上述技术问题， 提供一种图像配准方法、 计算机设备和存储介 质。 0006 一种图像配准方法， 所述方法包括： 0007 获取待配准图像和参考图像； 0008 提取所述待配准图像的第一特征， 提取所述参考。

11、图像的第二特征； 0009 将所述待配准图像、 参考图像、 第一特征以及第二特征输入通过训练确定的配准 网络， 获得变形场； 0010 将所述变形场应用于待配准图像， 获得配准图像。 0011 一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 所述处理 器执行所述计算机程序时实现上述图像配准方法的步骤。 0012 一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执 行时实现上述图像配准方法的步骤。 0013 上述图像配准方法、 计算机设备和存储介质， 在对待配准图像向参考图像进行配 准时， 首先分别提取获取到的待配准图像的第一特征、 参考图像的第二特。

12、征， 然后通过将待 配准图像及其图像特征、 参考图像及其图像特征输入通过训练确定的配准网络中， 将待配 准图像向参考图像进行配准以获得配准图像。 上述配准方法中， 将图像和提取的图像特征 同时送入通过训练确定的配准网络中指导配准， 既保证了配准网络模型获得的输入图像信 说明书 1/11 页 4 CN 110599526 A 4 息的完整性， 又保证了配准网络模型获得输入图像信息的有效性和精准性， 从而可以提高 图像配准的精度。 附图说明 0014 图1为一个实施例中图像配准方法的应用环境图； 0015 图2为一个实施例中图像配准方法的流程示意图； 0016 图3为一个实施例中通过训练确定的配准。

13、网络的确定方式的流程示意图； 0017 图4为一个实施例中获得中间配准图像的流程示意图； 0018 图5为一个实施例中基于中间配准图像和样本参考图像确定损失函数的流程示意 图； 0019 图6为一个实施例中基于中间配准图像、 样本参考图像确定配准损失的流程示意 图； 0020 图7a为一个具体实施例中图像配准方法的流程示意图； 0021 图7b为另一个具体实施例中图像配准方法的流程示意图； 0022 图8为一个实施例中图像配准装置的结构框图； 0023 图9为一个实施例中计算机设备的内部结构图。 具体实施方式 0024 为了使本申请的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例，。

14、 对 本申请进行进一步详细说明。 应当理解， 此处描述的具体实施例仅仅用以解释本申请， 并不 用于限定本申请。 0025 本申请提供的图像配准方法， 可以应用于如图1所示的应用环境中。 本申请中的图 像配准方法应用于图像配准系统中， 在一些实施例中， 图像配准系统涉及终端； 在另一些实 施例中， 图像配准系统还涉及服务器， 其中， 终端110通过网络与服务器120进行通信。 在本 实施例中， 终端110获取待配准图像和参考图像， 分别提取两个图像的图像特征， 将待配准 图像及其图像特征、 参考图像及其图像特征输入通过训练确定的配准网络， 获得变形场， 将 变形场应用于待配准图像即可获得配准图像。

15、。 其中， 配准网络由服务器120训练获得， 服务 器120将通过训练确定的配准网络发送至终端， 由终端110完成图像的配准。 其中， 终端110 可以但不限于是各种个人计算机和笔记本电脑等， 服务器120可以用独立的服务器或者是 多个服务器组成的服务器集群来实现。 0026 在一个实施例中， 如图2所示， 提供了一种图像配准方法， 以该方法应用于图1中的 终端为例进行说明， 包括步骤S210至步骤S240。 0027 步骤S210， 获取待配准图像和参考图像。 0028 其中， 待配准图像为需要进行配准的图像， 也称浮动图像； 在配准过程中， 通常指 定取一幅图像为作为配准的标准， 称为参考。

16、图像； 图像配准任务的目的是对一幅图像进行 某种变形， 使其与另外一幅医学图像上的对应点达到空间上的一致， 这种一致是指人体上 的同一解剖点在两张匹配图像上有相同的位置。 可以理解地， 在本申请的实施例中， 是对待 配准图像进行某种变形使其与参考图像对应点在空间上达到坐标一致。 0029 在一个实施例中， 待配准图像和参考图像均为医学影像； 其中， 待配准图像和参考 说明书 2/11 页 5 CN 110599526 A 5 图像可以是同模态的， 也可以是不同模态的； 待配准图像和参考图像可以是二维图像， 也可 以是三维图像， 本实施例不做具体限定。 其中， 通过不同方式或者不同类型的成像设备。

17、获得 的医学影像为不同模态的图像； 若待配准图像和参考图像是通过同一类型的成像设备获得 的， 认为这一待配准图像和参考图像为同模态图像； 若待配准图像和参考图像是通过不同 类型的成像设备获得的， 认为这一待配准图像和参考图像为不同模态的图像。 例如， 待配准 图像与参考图像为同一检查对象的同一检查部位在不同时间由同一成像设备获得的图像， 此时待配准图像与参考图像为同模态图像； 待配准图像与参考图像为同一检查对象的同一 检查部位由不同成像设备获得的图像， 此时待配准图像与参考图像为不同模态的图像。 在 其它实施例中， 待配准图像和参考图像也可以是其它类型的图像。 0030 进一步地， 在一个实施。

18、例中， 终端可以从图像数据的存储区中获取待配准图像和 参考图像； 也可以直接从成像设备中获得待配准图像和参考图像， 即成像设备形成待配准 图像和参考图像之后将其传输至终端。 0031 步骤S220， 提取待配准图像的第一特征， 提取参考图像的第二特征。 0032 待配准图像与参考图像之间的差异性信息是图像配准的过程中的重要信息之一， 有效的利用其差异性信息， 可以更好的指导配准任务的进行； 因此在本实施例中， 分别对待 配准图像和参考图像进行图像特征的提取， 将获得的特征分别记为第一特征、 第二特征。 0033 在一个实施例中， 通过特征提取模块提取待配准图像的特征， 以及通过特征提取 模块提。

19、取参考图像的特征。 特征提取模块可以是预定义的特征提取方式， 也可以定义为深 度学习模型。 进一步地， 在一个实施例中， 特征提取模块可以是相同的特征提取方式对待配 准图像和参考图像进行特征提取， 也可以是采取不相同的特征提取方式。 0034 例如， 在待配准图像与参考图像为同模态的图像的一个实施例中， 采用相同的特 征提取方式提取图像特征； 又如， 在待配准图像与参考图像为不同模态的图像的一个实施 例中， 采用不相同的特征提取方式提取图像特征。 0035 其中， 采用相同的特征提取方式提取待配准图像和参考图像的图像特征， 或者采 用共享模型参数和模型结构的特征提取模块分别提取参考图像和待配准。

20、图像的特征信息， 等同于对不同的影像图提取具有相同定义的特征， 所得到的图像特征映射可以更好的体现 待配准图像和参考图像的差异； 并且通过提取图像的特征可以反应图像关键信息的特征映 射， 为配准网络提供更精准有效的信息， 帮助配准工作的进行； 进一步地， 由于参考图像和 待配准图像主要内容的相似性， 所提取的第一特征和第二特征也具有一定的共性。 更进一 步地， 特征提取模块对图像提取特征具体可以采用任意一种方式实现， 在本申请的实施例 中对其不进行限定。 0036 步骤S230， 将待配准图像、 参考图像、 第一特征以及第二特征输入通过训练确定的 配准网络， 获得变形场。 0037 其中， 配。

21、准网络是预先通过训练确定的， 用于实现对待配准图像的图像配准的深 度学习网络。 在本实施例中， 变形场(deformation field)可以用于表示待配准图像和参考 图像像素点坐标的变换关系； 通过变形场可以将待配准图像向参考图像进行配准， 获得与 参考图像的解剖位置在空间上保持坐标一致的配准图像； 变形场的变形方式可以是预先设 定的任意一种变形算法； 例如在一个具体实施例中， 变形场采用STN(spatial transform network， 空间变换网络)实现。 说明书 3/11 页 6 CN 110599526 A 6 0038 步骤S240， 将变形场应用于待配准图像， 获得配。

22、准图像。 0039 将步骤S230中获得的变形场用于对待配准图像进行配准， 以获得配准图像； 变形 场是根据待配准图像及其图像特征、 参考图像及其图像特征确定的， 因此， 将变形场应用于 待配准图像， 实际上是通过变形场将待配准图像向参考图像进行配准， 从而获得配准图像。 0040 在一个实施例中， 将变形场和待配准图像输入空间变换模块， 通过空间变换模块， 将变形场作用到待配准图像， 得到配准之后的图像； 可以理解地， 空间变换模块输出的即为 配准图像。 0041 上述图像配准方法， 在对待配准图像向参考图像进行配准时， 首先分别提取获取 到的待配准图像的第一特征、 参考图像的第二特征， 然。

23、后通过将待配准图像及其图像特征、 参考图像及其图像特征输入通过训练确定的配准网络中， 将待配准图像向参考图像进行配 准以获得配准图像。 上述配准方法中， 将图像和提取的图像特征同时送入通过训练确定的 配准网络中指导配准， 既保证了配准网络模型获得的输入图像信息的完整性， 又保证了配 准网络模型获得输入图像信息的有效性和精准性， 从而可以提高图像配准的精度。 0042 在一个实施例中， 如图3所示， 通过训练确定的配准网络的确定方式包括步骤S310 至步骤S350。 0043 步骤S310， 获取样本待配准图像和样本参考图像。 0044 样本待配准图像和样本参考图像一一对应， 组成图像对， 通过。

24、对样本待配准图像 进行配准， 使得其解剖位置与样本参考图像保持空间坐标的一致， 从而得到样本配准图像。 样本待配准图像与样本参考图像可以是同模态的图像， 也可以是不同模态的图像。 需要说 明的是， 训练配准网络需要多组图像对作为训练样本。 0045 步骤S320， 基于初始配准模型、 样本待配准图像以及样本参考图像， 获得中间配准 图像。 0046 其中， 初始配准模型可以是任意一种可以用于配准的深度学习神经网络模型。 在 一个具体实施例中， 初始配准网络可以是U-Net或者V-Net作为初始配准模型。 0047 进一步地， 在一个实施例中， 如图4所示， 基于初始配准模型、 样本待配准图像以。

25、及 样本参考图像， 获得中间配准图像， 包括步骤S410至步骤S430。 0048 步骤S410， 提取样本待配准图像的第一样本特征， 以及样本参考图像的第二样本 特征。 0049 在本实施例中， 在通过训练确定配准网络的过程中， 对样本待配准图像和样本参 考图像进行样本图像特征的提取。 在一个实施例中， 通过特征提取模块实现样本图像特征 的提取； 特征提取模块可以是预定义的一种或多种特征提取方式， 也可以定义为深度学习 模型。 其中， 深度学习模型可以是预先训练好的， 训练模型的方式可以是任意一种现有的方 式； 也可以是由初始深度学习网络模型与配准网络一起进行训练获得。 其中， 样本图像特征。

26、 的提取可以是某一种特征提取方式， 也可以是某几种特征提取方式， 提取不同的特征共同 送入初始配准模型进行学习。 0050 进一步地， 将提取样本待配准图像获得的样本图像特征， 记为第一样本特征， 将提 取样本参考图像获得的样本图像特征， 记为第二样本特征。 0051 例如， 当样本待配准图像与样本参考图像为同模态的图像， 采用相同的特征提取 方式提取样本图像的图像特征， 或者也可以是用于提取样本待配准图像和用于提取样本参 说明书 4/11 页 7 CN 110599526 A 7 考图像的特征提取模块共享模型结构和模型参数， 可以理解地， 该实施例中训练得到的配 准网络用于对同模态的图像进行。

27、配准； 在一个具体实施例中， 通过同一个特征提取模块对 样本待配准图像和样本参考图像进行样本图像特征的提取。 而在另一个实施例中， 样本待 配准图像与样本参考图像为不同模态的图像， 采用不相同的特征提取方式提取样本图像特 征， 或者也可以是用于提取样本待配准图像和用于提取样本参考图像的特征提取模块不共 享模型结构和模型参数， 可以理解地， 该实施例中训练得到的配准网络用于对不同模态的 图像进行配准。 0052 步骤S420， 将样本待配准图像、 样本参考图像、 第一样本特征以及第二样本特征输 入初始配准模型， 获得样本变形场。 0053 在本实施例中， 将通过初始配准模型获得的变形场记为样本变。

28、形场。 其中， 样本变 形场用于表示样本待配准图像与样本参考图像的像素点坐标的变换关系。 0054 步骤S430， 基于样本待配准图像和样本变形场， 将样本待配准图像向样本参考图 像进行配准， 获得中间配准图像。 0055 通过样本变形场对样本待配准图像进行配准， 将样本待配准图像向样本参考图像 进行配准， 将获得的图像记为中间配准图像。 在一个实施例中， 通过空间变换模块实现将样 本待配准图像向样本参考图像配准的过程。 其中， 样本变形场的变形方式可以是预先设定 的任意一种变形算法； 例如在一个具体实施例中， 样本变形场采用STN(spatial transform network， 空间变。

29、换网络)实现。 0056 上述实施例中， 通过提取样本图像的特征可以反应样本图像关键信息的特征映 射， 可以为初始配准模型提供更精准有效的信息， 从而更好的帮助配准模型的训练。 0057 步骤S330， 基于中间配准图像和样本参考图像确定损失函数。 0058 进一步地， 在一个实施例中， 损失函数包括样本图像的配准损失和样本变形场的 平滑损失。 如图5所示， 基于中间配准图像和样本参考图像确定损失函数， 包括步骤S510至 步骤S530。 0059 步骤S510， 基于中间配准图像和样本参考图像确定配准损失。 0060 更进一步地， 配准损失有包括样本图像的图像损失和特征损失， 在一个实施例中。

30、， 如图6所示， 基于中间配准图像、 样本参考图像确定配准损失， 包括步骤S610至步骤S640。 0061 步骤S610， 采用与提取样本待配准图像的第一样本特征相同的方式提取中间配准 图像的第三样本特征。 0062 在一个实施例中， 若样本待配准图像与样本参考图像为同模态的图像， 则提取第 三样本特征与提取第一样本特征和第二样本特征所采用的方式均相同； 若样本待配准图像 与样本参考图像为不同模态的图像， 则提取第三样本特征仅与提取第一样本特征(样本待 配准图像的图像特征)所采用的方式相同。 0063 步骤S620， 基于样本参考图像和中间配准图像确定图像损失。 0064 其中， 图像损失表。

31、示中间配准图像与样本参考图像之间的损失。 在一个实施例中， 图像损失值的计算可以是预定义的计算方式， 也可以是提前训练的可以衡量不同模态影像 图差异的深度学习模型来计算； 例如， 在一个具体实施例中， 样本图像的图像损失值通过互 信息(mutual information)的方式计算得到。 0065 步骤S630， 基于第二样本特征和第三样本特征确定图像特征损失。 说明书 5/11 页 8 CN 110599526 A 8 0066 其中， 图像特征损失表示中间配准图像的图像特征与样本参考图像的图像特征之 间的损失。 0067 步骤S640， 基于图像损失和图像特征损失确定配准损失。 0068。

32、 在本实施例中， 配准损失包括样本图像之间的损失以及图像特征之间的损失， 可 以加速网络模型的收敛， 提高配准精度。 0069 上述图像配准方法， 不仅衡量了配准之后的中间配准图像与样本参考图像之间的 差异， 并且提取中间配准图像的特征信息， 与样本参考图像的特征信息进行比较， 对样本图 像的图像特征映射的差异信息进行量化， 可以更有效精准的指导配准模型的训练， 取得更 好的效果。 0070 步骤S520， 基于样本变形场确定平滑损失。 0071 为了保证形变之后图像的拓扑结构不发生变化， 需要对样本变形场的平滑性进行 量化， 得到样本变形场的平滑损失。 0072 步骤S530， 基于配准损失。

33、和平滑损失确定损失函数。 0073 其中， 损失函数用于表示中间配准图像与样本参考图像的相似度差异， 可以用于 衡量配准的结果。 损失函数可以定义为任意一种有效的计算方式， 例如均方误差损失(MSE Loss)或者归一化交叉相关损失(Normalization cross correlation， NCC Loss)。 0074 在本实施例中， 更为具体地， 对配准损失与平滑损失进行加权求和之后获得损失 函数。 0075 在上述实施例中， 最终的损失函数模块共包括三部分： 样本变形场平滑性的约束 项； 配准之后的图像与样本参考图像之间的损失以及其各自特征映射之间的损失。 其中样 本变形场的平滑。

34、性的约束项用来保证样本变形场的平滑性， 保证配准之后的图像与样本待 配准图像的拓扑结构保持一致， 配准之后的图像与样本参考图像之间的损失与其各自特征 映射之间的损失共同作用， 引导深度学习模型的训练， 保证配准任务的进行。 0076 步骤S340， 基于损失函数迭代优化初始配准模型。 0077 步骤S340实际上是利用损失函数进行反向传播， 迭代更新模型参数， 优化模型。 0078 在一个实施例中， 在基于损失函数迭代优化初始配准模型时， 还包括： 基于损失函 数迭代优化第一初始特征提取模型， 以及第二初始特征提取模型； 当损失函数达到迭代终 止条件时， 停止迭代时， 还包括： 获得通过训练确。

35、定的第一特征提取模型， 以及通过训练确 定的第二特征提取模型。 在本实施例中， 提取样本待配准图像的第一样本特征、 样本参考图 像的第二样本特征， 包括： 通过第一特征提取模型提取样本待配准图像的第一样本特征； 通 过第二特征提取模型提取样本参考图像的第二样本特征。 0079 步骤S350， 当损失函数达到迭代终止条件时， 停止迭代， 获得通过训练确定的配准 网络。 0080 其中， 迭代终止条件可以根据实际情况设置为不同的条件； 例如在一个具体实施 例中， 当检测到模型迭代次数达到预设的迭代次数阈值时， 模型训练终止； 迭代次数阈值可 以根据实际情况进行设置。 0081 在特征提取模块为预先。

36、定义、 在训练过程仅训练配准网络的一个实施例中， 在训 练的过程中会实时的观察损失值的变化， 进而根据损失值的变化调整配准模型， 直至达到 迭代终止条件， 不再调整初始配准模型， 从而确定最终的配准网络。 说明书 6/11 页 9 CN 110599526 A 9 0082 在特征提取模块与配准网络同时进行训练的一个实施例中， 在训练的过程中实时 根据损失值的变化调整配准模型、 特征提取模块， 直至达到迭代终止条件， 不再调整配准模 型、 特征提取模块， 从而确定最终的配准网络、 特征提取模块。 其中， 根据损失函数对初始配 准模型、 初始特征提取模块的调整的过程可以通过任意一种现有的方式实现。

37、， 例如随机梯 度下降法。 0083 上述方法中， 根据初始配准模型输出的中间配准图像， 以及样本参考图像确定损 失函数， 并结合损失函数的变化优化初始配准模型， 可以获得配准的精准度较高的配准网 络。 0084 在一个具体实施例中， 请参照图7a和图7b分别表示本申请两个具体实施例中的图 像配准方法的流程， 其中， 图7a和图7b所示流程均包括使用模型进行图像配准的过程， 以及 模型的训练过程。 0085 首先训练获得配准网络， 训练获得配准网络的过程包括步骤： 获取样本待配准图 像、 样本参考图像， 分别通过特征提取模块提取样本待配准图像的图像特征(第一样本特 征)， 以及通过特征提取模块。

38、提取样本参考图像的图像特征(第二样本特征)， 将样本待配准 图像及其图像特征、 样本参考图像及其图像特征输入初始配准模型获得样本变形场， 将样 本变形场和样本待配准图像输入到空间变换模块中， 获得中间配准图像。 0086 通过特征提取模块(与提取样本待配准图像的特征提取模块共享模型结构和参 数)提取中间配准图像的第三样本特征， 根据样本参考图像与中间配准图像确定图像损失， 根据样本参考图像的特征与中间配准图像的特征确定图像特征损失， 以及确定样本变形场 的平滑损失， 结合图像损失、 图像特征损失以及平滑损失确定损失函数。 0087 在特征提取模块为预先定义的实施例中， 根据损失函数的数值迭代优。

39、化初始配准 模型， 在损失函数值达到终止条件时， 停止迭代， 获得最终的配准网络。 0088 在特征提取模块与配准网络一起训练的实施例中， 根据损失函数的数值迭代优化 初始配准模型、 初始特征提取模块， 在损失函数值达到终止条件时， 停止迭代， 获得最终的 配准网络、 特征提取模块。 其中， 配准网络用于后续对待配准图像进行图像配准； 特征提取 模块包括： 用于提取待配准图像特征的特征提取模块， 以及用于提取参考图像特征的特征 提取模块。 0089 利用上述训练获得的配准网络进行图像配准方法包括以下步骤： 0090 获取待配准图像、 参考图像， 通过特征提取模块提取待配准图像的图像特征(第一 。

40、特征)， 以及通过特征提取模块提取参考图像的图像特征(第二特征)， 将待配准图像及其图 像特征、 参考图像及其图像特征输入配准网络获得变形场， 将变形场和待配准图像输入到 空间变换模块中， 获得配准图像。 如图7a中， 待配准图像与参考图像为同模态的图像， 提取 第一特征和第二特征的特征提取模块共享模型结构和参数； 如图7b中， 待配准图像与参考 图像为不同模态的图像时， 提取第一特征和第二特征的特征提取模块不共享模型结构和参 数。 0091 上述图像配准方法， 增加特征提取模块提取图像的特征信息， 为深度学习模型提 供更有效的信息引导模型的训练， 并且将特征映射定义为损失函数的一部分， 不仅。

41、衡量了 配准之后的图像与参考图像之间的差异， 并且对两者在特征空间的差异信息进行量化， 有 效的提高了配准的精度。 说明书 7/11 页 10 CN 110599526 A 10 0092 应该理解的是， 虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示， 但是 这些步骤并不是必然按照箭头指示的顺序依次执行。 除非本文中有明确的说明， 这些步骤 的执行并没有严格的顺序限制， 这些步骤可以以其它的顺序执行。 而且， 图2-6中的至少一 部分步骤可以包括多个子步骤或者多个阶段， 这些子步骤或者阶段并不必然是在同一时刻 执行完成， 而是可以在不同的时刻执行， 这些子步骤或者阶段的执行顺序也不必。

42、然是依次 进行， 而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地 执行。 0093 在一个实施例中， 如图8所示， 提供了一种图像配准装置， 包括： 图像获取模块、 特 征提取模块、 变形场确定模块和配准模块， 其中： 0094 图像获取模块810， 用于获取待配准图像和参考图像。 0095 特征提取模块820， 用于提取待配准图像的第一特征， 提取参考图像的第二特征。 0096 变形场确定模块830， 用于将待配准图像、 参考图像、 第一特征以及第二特征输入 训练确定的配准网络， 获得变形场； 0097 配准模块840， 用于将变形场应用于待配准图像， 获得配准图像。

43、。 0098 关于图像配准装置的具体限定可以参见上文中对于图像配准方法的限定， 在此不 再赘述。 上述图像配准装置中的各个模块可全部或部分通过软件、 硬件及其组合来实现。 上 述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中， 也可以以软件形式存储 于计算机设备中的存储器中， 以便于处理器调用执行以上各个模块对应的操作。 0099 在一个实施例中， 提供了一种计算机设备， 该计算机设备可以是终端， 其内部结构 图可以如图9所示。 该计算机设备包括通过系统总线连接的处理器、 存储器、 网络接口、 显示 屏和输入装置。 其中， 该计算机设备的处理器用于提供计算和控制能力。 该计算机设备的存。

44、 储器包括非易失性存储介质、 内存储器。 该非易失性存储介质存储有操作系统和计算机程 序。 该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。 该计算 机设备的网络接口用于与外部的终端通过网络连接通信。 该计算机程序被处理器执行时以 实现一种图像配准方法。 该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏， 该计算机设备的输入装置可以是显示屏上覆盖的触摸层， 也可以是计算机设备外壳上设置 的按键、 轨迹球或触控板， 还可以是外接的键盘、 触控板或鼠标等。 0100 本领域技术人员可以理解， 图9中示出的结构， 仅仅是与本申请方案相关的部分结 构的框图， 并不构成对本申请。

45、方案所应用于其上的计算机设备的限定， 具体的计算机设备 可以包括比图中所示更多或更少的部件， 或者组合某些部件， 或者具有不同的部件布置。 0101 在一个实施例中， 提供了一种计算机设备， 包括存储器和处理器， 存储器中存储有 计算机程序， 该处理器执行计算机程序时实现以下步骤： 通过训练确定的配准网络的确定 方式包括： 0102 获取样本待配准图像和样本参考图像； 0103 基于初始配准模型、 样本待配准图像以及样本参考图像， 获得中间配准图像； 0104 基于中间配准图像和样本参考图像确定损失函数； 0105 基于损失函数迭代优化初始配准模型； 0106 当损失函数达到迭代终止条件时， 。

46、停止迭代， 获得通过训练确定的配准网络。 0107 在一个实施例中， 处理器执行计算机程序时还实现以下步骤： 基于初始配准模型、 说明书 8/11 页 11 CN 110599526 A 11 样本待配准图像以及样本参考图像， 获得中间配准图像， 包括： 0108 提取样本待配准图像的第一样本特征， 以及样本参考图像的第二样本特征； 0109 将样本待配准图像、 样本参考图像、 第一样本特征以及第二样本特征输入初始配 准模型， 获得样本变形场； 0110 基于样本待配准图像和样本变形场， 将样本待配准图像向样本参考图像进行配 准， 获得中间配准图像。 0111 在一个实施例中， 处理器执行计算。

47、机程序时还实现以下步骤： 基于中间配准图像 和样本参考图像确定损失函数， 包括： 0112 基于中间配准图像和样本参考图像确定配准损失； 0113 基于样本变形场确定平滑损失； 0114 基于配准损失和平滑损失确定损失函数。 0115 在一个实施例中， 处理器执行计算机程序时还实现以下步骤： 基于中间配准图像、 样本参考图像确定配准损失， 包括： 0116 采用与提取样本待配准图像的第一样本特征相同的方式提取中间配准图像的第 三样本特征； 0117 基于样本参考图像和中间配准图像确定图像损失； 0118 基于第二样本特征和第三样本特征确定图像特征损失； 0119 基于图像损失和图像特征损失确定。

48、配准损失。 0120 在一个实施例中， 处理器执行计算机程序时还实现以下步骤： 提取样本待配准图 像的第一样本特征、 样本参考图像的第二样本特征， 包括： 0121 通过第一初始特征提取模型提取样本待配准图像的第一样本特征； 通过第二初始 特征提取模型提取样本参考图像的第二样本特征； 0122 在基于损失函数迭代优化初始配准模型时， 还包括： 基于损失函数迭代优化第一 初始特征提取模型， 以及第二初始特征提取模型； 0123 当损失函数达到迭代终止条件时， 停止迭代时， 还包括： 获得通过训练确定的第一 特征提取模型， 以及通过训练确定的第二特征提取模型。 0124 在一个实施例中， 处理器执。

49、行计算机程序时还实现以下步骤： 提取待配准图像的 第一特征， 提取参考图像的第二特征， 包括： 0125 基于通过训练确定的第一特征提取模型提取待配准图像的第一特征， 基于通过训 练确定的第二特征提取模型提取参考图像的第二特征。 0126 在一个实施例中， 处理器执行计算机程序时还实现以下步骤： 待配准图像与参考 图像为同模态的图像； 提取待配准图像的第一特征， 提取参考图像的第二特征， 包括： 采用 相同的特征提取方式提取待配准图像的第一特征， 以及提取参考图像的第二特征。 0127 在一个实施例中， 处理器执行计算机程序时还实现以下步骤： 待配准图像与参考 图像为不同模态的图像； 提取待配。

50、准图像的第一特征， 提取参考图像的第二特征， 包括： 提 取待配准图像的第一特征， 与提取参考图像的第二特征采用不相同的特征提取方式。 0128 在一个实施例中， 本申请还提供了一种计算机可读存储介质， 其上存储有计算机 程序， 计算机程序被处理器执行时实现以下步骤： 0129 获取样本待配准图像和样本参考图像； 说明书 9/11 页 12 CN 110599526 A 12 0130 基于初始配准模型、 样本待配准图像以及样本参考图像， 获得中间配准图像； 0131 基于中间配准图像和样本参考图像确定损失函数； 0132 基于损失函数迭代优化初始配准模型； 0133 当损失函数达到迭代终止条。