多模态图像的分割模型的训练方法、图像处理方法和装置.pdf

《多模态图像的分割模型的训练方法、图像处理方法和装置.pdf》由会员分享，可在线阅读，更多相关《多模态图像的分割模型的训练方法、图像处理方法和装置.pdf（34页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010635872.0 (22)申请日 2020.07.03 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 边成 (74)专利代理机构 北京市柳沈律师事务所 11105 代理人 王娟 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06K 9/62(2006.01) (54)发明名称 多模态图像的分割模型的训练方法、 图像处 理方法和。

2、装置 (57)摘要 本公开提供了一种用于多模态图像的分割 模型的训练方法、 图像处理方法、 装置和介质。 训 练方法包括： 利用第一模态的训练图像集训练第 一分割模型； 对于第二模态的训练图像集中的每 个训练图像， 分别利用所训练的第一分割模型和 第二分割模型进行处理以得到第一语义特征和 第二语义特征， 其中， 第一和第二模态的训练图 像集是对多个参考对象分别在第一和第二模态 下进行采集得到的图像的集合， 第一和第二模态 的每个训练图像分别具有第一数量和第二数量 的已标注类别， 并且第二数量小于第一数量； 以 及通过将第一语义特征输入到第二分割模型并 将第二语义特征输入到所训练的第一分割模型，。

3、 来对第二分割模型进行训练。 权利要求书3页 说明书22页 附图8页 CN 111667483 A 2020.09.15 CN 111667483 A 1.一种用于多模态图像的分割模型的训练方法， 包括： 利用第一模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训练图像集是 对多个参考对象在第一模态下进行采集得到的图像的集合， 所述第一模态的训练图像集中 的每个训练图像具有第一数量的已标注类别； 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特 征提取以得到第一语义特征， 并利用第二分割模型对第二模态的训练图像集中的每个训练 图像进行语义特征提取以得到第二语义。

4、特征， 其中， 所述第二模态的训练图像集是对多个 参考对象在第二模态下进行采集得到的图像的集合， 所述第二模态的训练图像集中的每个 训练图像具有第二数量的已标注类别， 并且所述第二数量小于所述第一数量； 以及 通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所 训练的第一分割模型， 来对第一分割模型和第二分割模型进行语义迁移， 并基于所述语义 迁移对第二分割模型进行训练。 2.根据权利要求1所述的训练方法， 其中， 所述利用所训练的第一分割模型对第二模态 的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割 模型对第二模态的训练图像集中的每个训。

5、练图像进行语义特征提取以得到第二语义特征 包括： 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特 征提取以得到第一初始语义特征， 并对所述第一初始语义特征进行特征白化以得到所述第 一语义特征； 以及 利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以 得到第二初始语义特征， 并对所述第二初始语义特征进行特征白化以得到所述第二语义特 征。 3.根据权利要求2所述的训练方法， 其中， 通过第一特征白化层对所述第一初始语义特 征进行特征白化， 通过第二特征白化层对所述第二初始语义特征进行特征白化， 所述第一 特征白化层与所述第二特征白化层具有相同的处理。

6、参数。 4.根据权利要求1所述的训练方法， 其中， 所述第一分割模型包括第一分类器， 在将所 述第二语义特征输入到所训练的第一分割模型之前， 所述训练方法还包括： 利用所述第一分类器对所述第一语义特征进行分类以生成第一初始空间结构信息； 根据所述第一初始空间结构信息和所述第二语义特征生成增强的第二语义特征； 以及 将所述增强的第二语义特征作为所述第二语义特征。 5.根据权利要求4所述的训练方法， 其中， 所述根据所述第一初始空间结构信息和所述 第二语义特征生成增强的第二语义特征包括： 根据所述第一初始空间结构信息和所述第二语义特征生成所述第二语义特征的残差， 并对所述第二语义特征的残差与所述第。

7、二语义特征进行求和来得到所述增强的第二语义 特征。 6.根据权利要求1或4所述的训练方法， 其中， 所述第一分割模型包括第一分类器， 所述 第二分割模型包括第二分类器， 所述训练方法还包括： 利用所述第一分类器对所述第二语义特征进行分类以生成第一空间结构信息； 利用所述第二分类器对所述第一语义特征进行分类以生成第二空间结构信息； 以及 权利要求书 1/3 页 2 CN 111667483 A 2 训练第二分割模型， 将所述第一空间结构信息和所述第二空间结构信息对齐。 7.根据权利要求6所述的训练方法， 其中， 所述训练第二分割模型将所述第一空间结构 信息和所述第二空间结构信息对齐包括： 利用判。

8、别器对所述第二分割模型进行对抗训练， 将所述第一空间结构信息和所述第二 空间结构信息对齐。 8.根据权利要求1所述的训练方法， 其中， 所述利用第一模态的训练图像集训练第一分 割模型包括： 对于所述第一模态的训练图像集中的每个训练图像， 利用所述第一分割模型对所述训练图像中的每个类别生成预测标签； 以及 通过利用所述训练图像的第一数量的已标注类别中的每个类别的已标注标签对所述 预测标签进行监督， 来对所述第一分割模型进行有监督训练。 9.根据权利要求1所述的训练方法， 其中， 所述对第二分割模型进行训练包括： 对于所述第二模态的训练图像集中的每个训练图像， 利用所述第二分割模型对所述训练图像中。

9、的每个类别生成预测标签； 以及 通过利用所述训练图像的第二数量的已标注类别中的每个类别的已标注标签对所述 预测标签进行监督， 来对所述第二分割模型进行有监督训练。 10.一种用于多模态图像的图像处理方法， 包括： 输入多模态图像； 确定所述多模态图像是在第一模态还是第二模态下采集得到的图像； 在确定所述多模态图像是在第一模态采集得到的图像的情况下， 利用第一分割模型对 所述多模态图像进行图像分割， 以及在确定所述多模态图像是在第二模态采集得到的图像 的情况下， 利用第二分割模型对所述多模态图像进行图像分割； 以及 输出所述多模态图像的分割结果， 其中， 所述第一分割模型和第二分割模型通过以下步。

10、骤进行训练： 利用第一模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训练图像集是 对多个参考对象在第一模态下进行采集得到的图像的集合， 所述第一模态的训练图像集中 的每个训练图像具有第一数量的已标注类别； 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特 征提取以得到第一语义特征， 并利用第二分割模型对第二模态的训练图像集中的每个训练 图像进行语义特征提取以得到第二语义特征， 其中， 所述第二模态的训练图像集是对多个 参考对象在第二模态下进行采集得到的图像的集合， 所述第二模态的训练图像集中的每个 训练图像具有第二数量的已标注类别， 并且所述第二数量小于所述。

11、第一数量； 以及 通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所 训练的第一分割模型， 来对第一分割模型和第二分割模型进行语义迁移， 并基于所述语义 迁移对第二分割模型进行训练。 11.根据权利要求10所述的训练方法， 其中， 所述利用所训练的第一分割模型对第二模 态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分 割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特 征包括： 权利要求书 2/3 页 3 CN 111667483 A 3 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特 征。

12、提取以得到第一初始语义特征， 并对所述第一初始语义特征进行特征白化以得到所述第 一语义特征； 以及 利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以 得到第二初始语义特征， 并对所述第二初始语义特征进行特征白化以得到所述第二语义特 征。 12.根据权利要求11所述的训练方法， 其中， 通过第一特征白化层对所述第一初始语义 特征进行特征白化， 通过第二特征白化层对所述第二初始语义特征进行特征白化， 所述第 一特征白化层与所述第二特征白化层具有相同的处理参数。 13.一种图像处理方法， 包括： 输入第二模态的待分割图像； 利用用于所述第二模态的第二分割模型对所述待分割图像进。

13、行图像分割， 以得到图像 分割结果； 以及 输出所述图像分割结果， 其中， 用于特定模态的分割模型通过以下步骤进行训练： 利用第一模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训练图像集是 对多个参考对象在第一模态下进行采集得到的图像的集合， 所述第一模态的训练图像集中 的每个训练图像具有第一数量的已标注类别； 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特 征提取以得到第一语义特征， 并利用第二分割模型对第二模态的训练图像集中的每个训练 图像进行语义特征提取以得到第二语义特征， 其中， 所述第二模态的训练图像集是对多个 参考对象在第二模态下进行采集得到的。

14、图像的集合， 所述第二模态的训练图像集中的每个 训练图像具有第二数量的已标注类别， 并且所述第二数量小于所述第一数量； 以及 通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所 训练的第一分割模型， 来对第一分割模型和第二分割模型进行语义迁移， 并基于所述语义 迁移对第二分割模型进行训练。 14.一种用于多模态图像的图像处理装置， 包括： 处理器； 和 存储器， 其中， 所述存储器中存储有计算机可读代码， 所述计算机可读代码在由所述处 理器运行时， 使得所述处理器执行如权利要求1-13中任一项所述的方法。 15.一种计算机可读存储介质， 其上存储有指令， 所述指令在被处理。

15、器执行时， 使得所 述处理器执行如权利要求1-13中任一项所述的方法。 权利要求书 3/3 页 4 CN 111667483 A 4 多模态图像的分割模型的训练方法、 图像处理方法和装置 技术领域 0001 本公开涉及深度学习领域， 并且具体的涉及一种用于多模态图像的分割模型的训 练方法、 图像处理方法、 图像处理装置和计算机可读存储介质。 背景技术 0002 机器学习(Machine Learning,ML)是一门多领域交叉学科， 涉及概率论、 统计学、 逼近论、 凸分析、 算法复杂度理论等多门学科， 专门研究计算机怎样模拟或实现人类的学习 行为， 以获取新的知识或技能， 重新组织已有的知识。

16、结构使之不断改善自身的性能。 机器学 习是人工智能的核心， 是使计算机具有智能的根本途径， 其应用遍及人工智能的各个领域。 机器学习和深度学习通常包括人工神经网络、 置信网络、 强化学习、 迁移学习、 归纳学习、 式 教学习等技术。 0003 在深度学习领域中， 零样本学习方法(ZSL， Zero-shot Learning)是学术界重要的 前沿研究分支之一。 尽管大量科研相关人员已经标注了很多标准数据集， 但是其类别也是 有限的。 例如著名的数据集ImageNet， 即使包含千万级的数据， 也仅能涵盖有限个类别。 在 现实世界中， 类别是无穷的， 已经标注的数据仍然只占少数， 诸如疾病图像数。

17、据难以大量获 取并进行标注。 因此， 研究模型对无标注类别进行有效的学习并进行预测是非常有意义的。 现有技术中的零样本学习方法对图像分割的精度有限， 并且需采用基于自然语言处理的 Word2vec模型， 这使得现有方法无法应用于诸如医学图像等的非自然图像的图像分割。 发明内容 0004 为了克服现有技术中存在的缺陷， 本公开提出了一种用于多模态图像的分割模型 的训练方法、 图像处理方法及装置和计算机可读存储介质。 0005 根据本公开的一个方面， 提供了一种用于多模态图像的分割模型的训练方法， 所 述训练方法包括： 利用第一模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训 练图像集。

18、是对多个参考对象在第一模态下进行采集得到的图像的集合， 所述第一模态的训 练图像集中的每个训练图像具有第一数量的已标注类别； 利用所训练的第一分割模型对第 二模态的训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第 二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语 义特征， 其中， 所述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到 的图像的集合， 所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类 别， 并且所述第二数量小于所述第一数量； 以及通过将所述第一语义特征输入到所述第二 分割模型并将所述第二语义特征输入到所。

19、训练的第一分割模型， 来对第一分割模型和第二 分割模型进行语义迁移， 并基于所述语义迁移对第二分割模型进行训练。 0006 根据本公开的一个示例， 其中， 所述利用所训练的第一分割模型对第二模态的训 练图像集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割模型 对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征包括： 说明书 1/22 页 5 CN 111667483 A 5 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提 取以得到第一初始语义特征， 并对所述第一初始语义特征进行特征白化以得到所述第一语 义特征； 以及利用。

20、第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征 提取以得到第二初始语义特征， 并对所述第二初始语义特征进行特征白化以得到所述第二 语义特征。 0007 根据本公开的一个示例， 其中， 通过第一特征白化层对所述第一初始语义特征进 行特征白化， 通过第二特征白化层对所述第二初始语义特征进行特征白化， 所述第一特征 白化层与所述第二特征白化层具有相同的处理参数。 0008 根据本公开的一个示例， 所述第一分割模型包括第一分类器， 在将所述第二语义 特征输入到所训练的第一分割模型之前， 所述训练方法还包括： 利用所述第一分类器对所 述第一语义特征进行分类以生成第一初始空间结构信息； 根。

21、据所述第一初始空间结构信息 和所述第二语义特征生成增强的第二语义特征； 以及将所述增强的第二语义特征作为所述 第二语义特征。 0009 根据本公开的一个示例， 其中， 所述根据所述第一初始空间结构信息和所述第二 语义特征生成增强的第二语义特征包括： 根据所述第一初始空间结构信息和所述第二语义 特征生成所述第二语义特征的残差， 并对所述第二语义特征的残差与所述第二语义特征进 行求和来得到所述增强的第二语义特征。 0010 根据本公开的一个示例， 其中， 所述第一分割模型包括第一分类器， 所述第二分割 模型包括第二分类器， 所述训练方法还包括： 利用第一分类器对所述第二语义特征进行分 类以生成第一。

22、空间结构信息； 利用第二分类器对所述第一语义特征进行分类以生成第二空 间结构信息； 以及训练第二分割模型， 将所述第一空间结构信息和所述第二空间结构信息 对齐。 0011 根据本公开的一个示例， 其中， 所述训练第二分割模型将所述第一空间结构信息 和所述第二空间结构信息对齐包括： 利用判别器对所述第二分割模型进行对抗训练， 将所 述第一空间结构信息和所述第二空间结构信息对齐。 0012 根据本公开的一个示例， 其中， 所述利用第一模态的训练图像集训练第一分割模 型包括： 对于所述第一模态的训练图像集中的每个训练图像， 利用所述第一分割模型对所 述训练图像中的每个类别生成预测标签； 以及通过利用。

23、所述训练图像的第一数量的已标注 类别中的每个类别的已标注标签对所述预测标签进行监督， 来对所述第一分割模型进行有 监督训练。 0013 根据本公开的一个示例， 其中， 所述对第二分割模型进行训练包括： 对于所述第二 模态的训练图像集中的每个训练图像， 利用所述第二分割模型对所述训练图像中的每个类 别生成预测标签； 以及通过利用所述训练图像的第二数量的已标注类别中的每个类别的已 标注标签对所述预测标签进行监督， 来对所述第二分割模型进行有监督训练。 0014 根据本公开的另一方面， 提供了一种用于多模态图像的图像处理方法， 所述图像 处理方法包括： 输入多模态图像； 确定所述多模态图像是在第一模。

24、态还是第二模态下采集 得到的图像； 在确定所述多模态图像是在第一模态采集得到的图像的情况下， 利用第一分 割模型对所述多模态图像进行图像分割， 以及在确定所述多模态图像是在第二模态采集得 到的图像的情况下， 利用第二分割模型对所述多模态图像进行图像分割； 以及输出所述多 说明书 2/22 页 6 CN 111667483 A 6 模态图像的分割结果， 其中， 所述第一分割模型和第二分割模型通过以下步骤进行训练： 利 用第一模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训练图像集是对多个 参考对象在第一模态下进行采集得到的图像的集合， 所述第一模态的训练图像集中的每个 训练图像具有第。

25、一数量的已标注类别； 利用所训练的第一分割模型对第二模态的训练图像 集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割模型对第二 模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征， 其中， 所述 第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合， 所述 第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别， 并且所述第二数量 小于所述第一数量； 以及通过将所述第一语义特征输入到所述第二分割模型并将所述第二 语义特征输入到所训练的第一分割模型， 来对第一分割模型和第二分割模型进行语义迁 移， 并基于所述语义迁移对第二分割模型进。

26、行训练。 0015 根据本公开的一个示例， 其中， 所述利用所训练的第一分割模型对第二模态的训 练图像集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割模型 对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征包括： 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语义特征提 取以得到第一初始语义特征， 并对所述第一初始语义特征进行特征白化以得到所述第一语 义特征； 以及利用第二分割模型对第二模态的训练图像集中的每个训练图像进行语义特征 提取以得到第二初始语义特征， 并对所述第二初始语义特征进行特征白化以得到所述第二 语义特征。 001。

27、6 根据本公开的一个示例， 其中， 通过第一特征白化层对所述第一初始语义特征进 行特征白化， 通过第二特征白化层对所述第二初始语义特征进行特征白化， 所述第一特征 白化层与所述第二特征白化层具有相同的处理参数。 0017 根据本公开的一个示例， 所述第一分割模型包括第一分类器， 在将所述第二语义 特征输入到所训练的第一分割模型之前， 所述训练方法还包括： 利用所第一分类器对所述 第一语义特征进行分类以生成第一初始空间结构信息； 根据所述第一初始空间结构信息和 所述第二语义特征生成增强的第二语义特征； 以及将所述增强的第二语义特征作为所述第 二语义特征。 0018 根据本公开的一个示例， 其中，。

28、 所述根据所述第一初始空间结构信息和所述第二 语义特征生成增强的第二语义特征包括： 根据所述第一初始空间结构信息和所述第二语义 特征生成所述第二语义特征的残差， 并对所述第二语义特征的残差与所述第二语义特征进 行求和来得到所述增强的第二语义特征。 0019 根据本公开的一个示例， 其中， 所述第一分割模型包括第一分类器， 所述第二分割 模型包括第二分类器， 所述训练方法还包括： 利用第一分类器对所述第二语义特征进行分 类以生成第一空间结构信息； 利用第二分类器对所述第一语义特征进行分类以生成第二空 间结构信息； 以及训练第二分割模型， 将所述第一空间结构信息和所述第二空间结构信息 对齐。 00。

29、20 根据本公开的一个示例， 其中， 所述训练第二分割模型将所述第一空间结构信息 和所述第二空间结构信息对齐包括： 利用判别器对所述第二分割模型进行对抗训练， 将所 述第一空间结构信息和所述第二空间结构信息对齐。 说明书 3/22 页 7 CN 111667483 A 7 0021 根据本公开的一个示例， 其中， 所述利用第一模态的训练图像集训练第一分割模 型包括： 对于所述第一模态的训练图像集中的每个训练图像， 利用所述第一分割模型对所 述训练图像中的每个类别生成预测标签； 以及通过利用所述训练图像的第一数量的已标注 类别中的每个类别的已标注标签对所述预测标签进行监督， 来对所述第一分割模型。

30、进行有 监督训练。 0022 根据本公开的一个示例， 其中， 所述对第二分割模型进行训练包括： 对于所述第二 模态的训练图像集中的每个训练图像， 利用所述第二分割模型对所述训练图像中的每个类 别生成预测标签； 以及通过利用所述训练图像的第二数量的已标注类别中的每个类别的已 标注标签对所述预测标签进行监督， 来对所述第二分割模型进行有监督训练。 0023 根据本公开的另一方面， 提供了一种用于多模态图像的图像处理设备， 包括： 输入 单元， 被配置为输入多模态图像； 确定单元， 被配置为确定所述多模态图像是在第一模态还 是第二模态下采集得到的图像； 分割单元， 被配置为在确定所述多模态图像是在第。

31、一模态 采集得到的图像的情况下， 利用第一分割模型对所述多模态图像进行图像分割， 以及在确 定所述多模态图像是在第二模态采集得到的图像的情况下， 利用第二分割模型对所述多模 态图像进行图像分割； 以及输出单元， 被配置为输出所述多模态图像的分割结果， 其中， 所 述图像处理设备还包括训练单元， 所述训练单元被配置为： 利用第一模态的训练图像集训 练第一分割模型， 其中， 所述第一模态的训练图像集是对多个参考对象在第一模态下进行 采集得到的图像的集合， 所述第一模态的训练图像集中的每个训练图像具有第一数量的已 标注类别； 利用所训练的第一分割模型对第二模态的训练图像集中的每个训练图像进行语 义特。

32、征提取以得到第一语义特征， 并利用第二分割模型对第二模态的训练图像集中的每个 训练图像进行语义特征提取以得到第二语义特征， 其中， 所述第二模态的训练图像集是对 多个参考对象在第二模态下进行采集得到的图像的集合， 所述第二模态的训练图像集中的 每个训练图像具有第二数量的已标注类别， 并且所述第二数量小于所述第一数量； 以及通 过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特征输入到所训练的 第一分割模型， 来对第一分割模型和第二分割模型进行语义迁移， 并基于所述语义迁移对 第二分割模型进行训练。 0024 根据本公开的另一方面， 提供了一种图像处理方法， 包括： 输入第二模态的待分。

33、割 图像； 利用用于所述第二模态的第二分割模型对所述待分割图像进行图像分割， 以得到图 像分割结果； 以及输出所述图像分割结果， 其中， 用于特定模态的分割模型通过以下步骤进 行训练： 利用第一模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训练图像集 是对多个参考对象在第一模态下进行采集得到的图像的集合， 所述第一模态的训练图像集 中的每个训练图像具有第一数量的已标注类别； 利用所训练的第一分割模型对第二模态的 训练图像集中的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割模 型对第二模态的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征， 其 中， 所。

34、述第二模态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集 合， 所述第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别， 并且所述 第二数量小于所述第一数量； 以及通过将所述第一语义特征输入到所述第二分割模型并将 所述第二语义特征输入到所训练的第一分割模型， 来对第一分割模型和第二分割模型进行 语义迁移， 并基于所述语义迁移对第二分割模型进行训练。 说明书 4/22 页 8 CN 111667483 A 8 0025 根据本公开的另一方面， 提供了一种图像处理设备， 包括： 输入单元， 被配置为输 入第二模态的待分割图像； 分割单元， 被配置为利用用于所述第二模态的第。

35、二分割模型对 所述待分割图像进行图像分割， 以得到图像分割结果； 以及输出单元， 被配置为输出所述图 像分割结果， 其中， 所述图像处理设备还包括训练单元， 所述训练单元被配置为： 利用第一 模态的训练图像集训练第一分割模型， 其中， 所述第一模态的训练图像集是对多个参考对 象在第一模态下进行采集得到的图像的集合， 所述第一模态的训练图像集中的每个训练图 像具有第一数量的已标注类别； 利用所训练的第一分割模型对第二模态的训练图像集中的 每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割模型对第二模态的 训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征， 其中， 所述第。

36、二模 态的训练图像集是对多个参考对象在第二模态下进行采集得到的图像的集合， 所述第二模 态的训练图像集中的每个训练图像具有第二数量的已标注类别， 并且所述第二数量小于所 述第一数量； 以及通过将所述第一语义特征输入到所述第二分割模型并将所述第二语义特 征输入到所训练的第一分割模型， 来对第一分割模型和第二分割模型进行语义迁移， 并基 于所述语义迁移对第二分割模型进行训练。 0026 根据本公开的上述各个方面的用于多模态图像的分割模型的训练方法、 图像处理 方法、 图像处理设备、 图像处理装置以及计算机可读存储介质， 通过利用具有第一数量的已 标注类别的第一模态的训练图像集来训练第一分割模型， 。

37、并且对于具有小于第一数量的第 二数量的已标注类别的第二模态的训练图像集进行第一分割模型和第二分割模型的语义 迁移， 可以将第一分割模型从第一模态的训练图像集中学习到的知识迁移至第二分割模 型， 从而使得所训练的第二分割模型对于第二模态的图像能够识别出第一数量的类别， 具 体地， 所训练的第二分割模型不仅能够对处于第二模态的图像中的无标注类别进行分割， 而且同时保持对第二模态的图像中的已标注类别的分割的可靠性和准确性。 另外， 利用所 训练的第二分割模型对图像中的无标注类别进行预测， 可以减轻操作人员对无标注类别进 行标注的负担， 在快速获得新标签的同时， 可以利用所预测的标签进一步提高模型预测。

38、的 准确性。 附图说明 0027 通过结合附图对本公开实施例进行更详细的描述， 本公开的上述以及其它目的、 特征和优势将变得更加明显。 附图用来提供对本公开实施例的进一步理解， 并且构成说明 书的一部分， 与本公开实施例一起用于解释本公开， 并不构成对本公开的限制。 在附图中， 相同的参考标号通常代表相同部件或步骤。 0028 图1A是根据本公开实施例的一个示例的人类心脏的CT和MRI多模态图像； 0029 图1B是根据本公开实施例的另一示例的人类心脏的CT和MRI多模态图像； 0030 图2是根据本公开实施例的用于多模态图像的分割模型的训练方法200的流程图； 0031 图3示出了根据本公开。

39、实施例的一个示例的特征白化层的原理图； 0032 图4示出了根据本公开实施例的一个示例的语义迁移器的示意图； 0033 图5示出了根据本公开实施例的一个示例的空间注意力模块的示意图； 0034 图6示出了根据本公开实施例的一个示例的空间感知器的示意图； 0035 图7是根据本公开实施例的一个示例的用于多模态图像的分割模型的训练方法 说明书 5/22 页 9 CN 111667483 A 9 700； 0036 图8是根据本公开实施例的用于多模态图像的图像处理方法800的流程图； 0037 图9是根据本公开实施例的用于多模态图像的图像处理设备900的结构示意图； 0038 图10是根据本公开实施。

40、例的图像处理方法1000的流程图； 0039 图11是根据本公开实施例的图像处理设备1100的结构示意图； 以及 0040 图12是根据本公开实施例的示例性计算设备的架构的示意图。 具体实施方式 0041 下面将结合本公开实施例中的附图， 对本公开实施例中的技术方案进行清楚、 完 整地描述。 显然， 所描述的实施例仅是本公开一部分的实施例， 而不是全部的实施例。 基于 本公开中的实施例， 本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实 施例， 都属于本公开保护的范围。 0042 在本公开中， 多模态图像(multi-modality image)是指针对相同参考对象利用不 同成像。

41、原理或者不同成像设备采集得到的图像。 例如， 利用红外相机和利用光学相机对相 同参考对象进行采集得到的图像可以被称为多模态图像。 又例如， 在医学领域中， 对于相同 参考对象， 利用磁共振成像(Magnetic Resonance Imaging， MRI)采集的MRI图像、 利用计算 机断层成像(Computed Tomography， CT)采集的CT图像、 以及利用正电子发射型计算机断层 成像(Positron Emission Computed Tomography， PET)采集的PET图像等可以被称为多模 态图像。 例如， 图1A和图1B分别示出了人类心脏的多模态图像的示例， 图1。

42、A是根据本公开实 施例的一个示例的人类心脏的CT和MRI多模态图像， 图1B是根据本公开实施例的另一示例 的人类心脏的CT和MRI多模态图像。 可以看到， 在图1A或图1B中， CT图像和MRI图像中的心脏 具有类似的图像结构， 但其颜色、 形态、 纹理等则完全不同。 应当理解的是， 多模态图像不限 于以上示例， 并且可以是任意来源于不同成像设备或者基于不同成像原理的相同参考对象 的图像。 0043 下面参照图2描述根据本公开实施例的用于多模态图像的分割模型的训练方法。 图2是根据本公开实施例的用于多模态图像的分割模型的训练方法200的流程图。 0044 如图2所示， 在步骤S210中， 利用。

43、第一模态的训练图像集训练第一分割模型。 第一 模态的训练图像集是对多个参考对象在第一模态下进行采集得到的图像的集合。 第一模态 的训练图像集中的训练图像例如可以为医学图像， 例如， 第一模态可以是MRI， 多个参考对 象可以是多个人的某个器官， 例如多个人的心脏， 则在此情况下， 第一模态的训练图像集是 利用MRI对多个人的心脏进行采集得到的多个心脏MRI图像的集合。 上述以MRI为例描述了 第一模态， 以多个人的心脏为例描述了多个参考对象， 但应当理解的是， 本公开不限于此， 第一模态也可以是CT、 PET等各种其他模态， 多个参考对象也可以是多个人的肾脏、 多个人 的骨骼等各种其他参考对象。

44、。 这里的第一分割模型例如可以基于卷积神经网络， 例如第一 分割模型可以为深度卷积全连接条件随机场版本2(DeepLabV2)， 但是本公开不限于此， 第 一分割模型也可以是全卷积网络(FCN)、 深度卷积分割网络(SegNet)、 精细网络 (RefineNet)等其他语义分割模型。 0045 此外， 第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别。 通 常， 在一幅图像中可以包括一个或多个类别。 例如， 在一幅星空图像中可以包括星星、 云朵、 说明书 6/22 页 10 CN 111667483 A 10 天空背景等3个类别。 又例如， 在一幅人的心脏图像中， 可以包括升主动。

45、脉、 左心房血腔、 左 心室血腔、 左心室心肌等4个类别。 在本公开中，“标注” 是指： 针对图像的视觉内容， 给图像 添加反映其内容的文本特征信息以便计算机可以识别的过程， 例如给图像添加分类标签， 例如， 给上述星空图像的3个类别分别添加 “星星” 、“云朵” 和 “天空背景” 3个标签。 相应地， “已标注类别” 是指图像中已经具有对应标签的类别。 例如， 在第一模态的训练图像集是多 个心脏MRI图像的集合的情况下， 如果每个训练图像中的所有类别均具有对应的已标注的 标签， 则每个训练图像具有4个已标注类别， 即第一数量为4。 虽然本公开以第一数量为4进 行了示例说明， 但应当理解的是，。

46、 本公开不限于此， 第一数量可以为大于1的任何数值。 0046 根据本公开的一个示例， 步骤S210可以包括： 对于第一模态的训练图像集中的每 个训练图像， 利用第一分割模型对该训练图像中的每个类别生成预测标签； 以及通过利用 训练图像的第一数量的已标注类别中的每个类别的已标注标签对预测标签进行监督， 来对 第一分割模型进行有监督训练。 0047 有监督训练是机器学习中的一种方法， 其通过分析学习已标注的训练样本集中的 输入值和已标注标签之间的关系来推断得到模型函数， 从而可以实现对新的实例的分析处 理。 在本公开中， 第一模态的训练图像集中的每个训练图像具有第一数量的已标注类别， 该 第一数。

47、量的已标注类别可以用于对第一分割模型进行有监督训练。 具体地， 首先， 利用第一 分割模型对每个训练图像中的每个类别生成估计的标签， 即预测标签； 然后， 利用该训练图 像中的每个类别的已标注标签对该预测标签进行监督， 例如， 通过使预测标签和已标注标 签之间的损失函数最小， 来使得预测标签与已标注标签之间的误差最小， 从而使得第一分 割模型对第一模态的训练图像的各个类别的分割准确度最优。 损失函数例如可以为交叉熵 损失函数， 但是本公开不限于此， 损失函数也可以为绝对误差损失函数(Mean Absolute Error(MAE)Loss)、 平方误差损失函数(Mean Squared Err。

48、or(MSE)Loss)等。 在训练完成第 一分割模型之后， 可以固定已训练的第一分割模型， 即不再对其进行训练或其他处理。 0048 接下来， 在步骤S220中， 利用所训练的第一分割模型对第二模态的训练图像集中 的每个训练图像进行语义特征提取以得到第一语义特征， 并利用第二分割模型对第二模态 的训练图像集中的每个训练图像进行语义特征提取以得到第二语义特征。 第二模态的训练 图像集是对多个参考对象在第二模态下进行采集而得到的。 第二模态的训练图像集中的训 练图像例如可以为医学图像， 例如， 第二模态可以是CT， 多个参考对象可以是多个人的某个 器官， 例如多个人的心脏， 则在此情况下， 第二。

49、模态的训练图像集是利用CT对多个人的心脏 进行采集得到的多个心脏CT图像的集合。 上述以CT为例描述了第二模态， 以多个人的心脏 为例描述了多个参考对象， 但应当理解的是， 本公开不限于此， 第二模态也可以是MRI、 PET 等各种其他模态， 多个参考对象也可以是多个人的肾脏、 多个人的骨骼等各种其他参考对 象。 这里的第二分割模型例如可以基于卷积神经网络， 例如第二分割模型可以为 DeepLabV2， 但是本公开不限于此， 第二分割模型也可以是FCN、 SegNet、 RefineNet等其他语 义分割模型。 第二分割模型可以与第一分割模型具有相同的网络结构但具有不同的模型参 数， 或者第二。

50、分割模型也可以与第一分割模型具有不同的网络结构。 0049 此外， 第二模态的训练图像集中的每个训练图像具有第二数量的已标注类别， 并 且该第二数量小于上述第一模态的训练图像集中的每个训练图像的已标注类别的第一数 量。 例如， 在第一模态的训练图像集是多个心脏MRI图像的集合的情况下， 如果每个第一模 说明书 7/22 页 11 CN 111667483 A 11 态的训练图像中的所有类别均具有对应的已标注的标签， 则每个第一模态的训练图像具有 4个已标注类别， 即第一数量为4； 在第二模态的训练图像集是多个心脏CT图像的集合的情 况下， 如果每个第二模态的训练图像中仅有3个类别具有对应的已标。