使用神经网络识别图像分割质量.pdf

《使用神经网络识别图像分割质量.pdf》由会员分享，可在线阅读，更多相关《使用神经网络识别图像分割质量.pdf（35页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010269284.X (22)申请日 2020.04.08 (30)优先权数据 16/380,759 2019.04.10 US (71)申请人 辉达公司 地址 美国加利福尼亚州 (72)发明人 徐大光杨栋刘丰泽夏英达 (74)专利代理机构 北京市磐华律师事务所 11336 代理人 高伟 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/187(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)。

2、发明名称 使用神经网络识别图像分割质量 (57)摘要 本发明公开了使用神经网络识别图像分割 质量， 具体地， 比较逻辑至少部分地基于识别边 界来比较一个或更多个图像的特征的边界， 耦合 到该比较逻辑的指示逻辑用于指示边界是否至 少相差第一阈值。 该边界可以包括表示图像中对 象的边界(其是由分割过程确定的分割中的边 界)的第一标签掩码以及来自应用于第一标签掩 码的形状评估过程的第二标签掩码。 该指示逻辑 可以被配置为比较第一标签掩码和第二标签掩 码以确定分割的质量。 神经网络可以执行分割。 使用第一标签掩码作为输入、 第二标签掩码作为 输出的形状评估可以由变分自动编码器执行。 图 形处理单元(G。

3、PU)可用于该分割和/或自动编码 器。 权利要求书2页 说明书20页 附图12页 CN 111815642 A 2020.10.23 CN 111815642 A 1.一种处理器， 包括： 比较逻辑， 用于至少部分地基于被训练为识别一个或更多个图像的一个或更多个特征 的两个或更多个边界的一个或更多个神经网络来比较所述两个或更多个边界； 以及 指示逻辑， 耦合到所述比较逻辑， 用于指示所述两个或更多个边界是否至少相差第一 阈值。 2.根据权利要求1所述的处理器， 其中所述两个或更多个边界包括： 第一标签掩码， 其 表示图像中的对象的边界， 所述边界是从第一分割过程确定的分割中的边界， 以及第二标。

4、 签掩码， 其表示形状评估过程的输出， 其中所述第一标签掩码是所述形状评估过程的输入， 以及其中所述指示逻辑被配置为比较所述第一标签掩码和所述第二标签掩码， 以确定所述 分割的质量。 3.根据权利要求2所述的处理器， 还包括第一经训练的神经网络， 所述第一经训练的神 经网络执行所述第一分割过程， 以响应于获得所述图像的表示输出所述第一标签掩码。 4.根据权利要求3所述的处理器， 还包括第二经训练的神经网络， 所述第二经训练的神 经网络使用所述第一标签掩码作为其输入来执行所述形状评估过程， 并输出所述第二标签 掩码。 5.根据权利要求4所述的处理器， 其中所述第二经训练的神经网络是具有内部层的自。

5、 动编码器， 所述自动编码器将其输入映射到特征空间中的潜在表示， 其中所述特征空间中 的特征是形状特征。 6.根据权利要求5所述的处理器， 其中所述自动编码器是变分自动编码器。 7.根据权利要求5所述的处理器， 还包括用于使用分割数据集的训练子集合来训练所 述第二经训练的神经网络的逻辑， 其中所述分割数据集的所述训练子集合包括训练图像和 相应的训练标签掩码。 8.根据权利要求7所述的处理器， 其中用于训练所述第二经训练的神经网络的所述逻 辑进一步使用分割数据集的验证子集合。 9.根据权利要求1所述的处理器， 其中所述处理器包括图形处理单元(GPU)。 10.一种使用包含一个或更多个算术逻辑单元。

6、(ALU)的处理器处理图像的方法， 包括： 至少部分地基于被训练为识别一个或更多个图像的一个或更多个特征的两个或更多 个边界的一个或更多个神经网络， 来比较所述两个或更多个边界； 以及 指示所述两个或更多个边界是否至少相差第一阈值。 11.根据权利要求10所述的方法， 还包括： 生成所述图像的分割， 其中所述分割表示处理器确定的所述图像中描绘的对象的边界 集； 将所述分割输入到先前在训练分割的集合上训练的神经网络； 将所述分割与所述神经网络的输出进行比较； 以及 确定所述分割的分数， 其中所述分数是所述分割和所述神经网络的输出之间的差的函 数。 12.根据权利要求11所述的方法， 其中所述神经。

7、网络是以所述分割作为其输入的变分 自动编码器， 其中所述变分自动编码器将其输入的特征映射到减少的特征空间， 从中可以 从所述减少的特征空间中的特征近似地再现所述分割。 权利要求书 1/2 页 2 CN 111815642 A 2 13.根据权利要求12所述的方法， 还包括： 用所述训练分割的集合训练所述变分自动编码器， 其中所述训练分割的集合由标签掩 码表示， 所述标签掩码是图像的真值标签掩码， 因为这些标签掩码的分割先前被确定为是 对所述图像的良好分割。 14.根据权利要求12所述的方法， 还包括： 通过将分割数据集的集合应用于分割器来训练所述分割器， 以生成所述图像的分割， 其中所述分割数。

8、据集的集合的每个分割数据集包括训练图像和相应的训练标签掩码， 所述 训练标签掩码是所述训练图像的真值标签掩码， 因为所述相应的训练标签掩码中的分割先 前已被确定为是对所述训练图像的良好分割。 15.根据权利要求11所述的方法， 还包括： 使用第一经训练的神经网络执行第一分割过 程， 以响应于获得所述图像的表示输出所述第一标签掩码。 16.根据权利要求11所述的方法， 还包括： 使用第二经训练的神经网络以第一标签掩码 作为输入执行形状评估过程， 并输出第二标签掩码。 17.根据权利要求16所述的方法， 还包括： 将所述第二经训练的神经网络的输入映射到 特征空间中的潜在表示， 其中所述特征空间中的。

9、特征是形状特征。 18.根据权利要求17所述的方法， 其中所述第二经训练的神经网络是变分自动编码器。 19.一种系统， 包括存储指令的存储器， 所述指令由一个或更多个处理器执行时， 使得 所述系统： 至少部分地使用一个或更多个训练分割的集合训练一个或更多个神经网络作为变分 自动编码器(VAE)， 所述一个或更多个训练分割是图像的真值标签掩码， 因为所述一个或更 多个训练分割的集合中的训练分割的分割是先前被确定为是描绘对象的图像的良好分割 的分割； 以及 训练分割器， 以从图像生成表示处理器确定的图像的分割的标签掩码， 其中所述训练 包括将分割数据集的集合应用于所述分割器， 其中所述分割数据集的。

10、集合的每个分割数据 集包括训练图像和相应的训练标签掩码， 所述训练标签掩码是所述训练图像的真值标签掩 码， 因为所述相应的训练标签掩码中的分割先前已被确定为是所述训练图像的良好分割。 20.根据权利要求19所述的系统， 其中所述指令还使得所述系统： 生成输入图像的分割， 其中所述分割表示所述处理器确定的所述输入图像中描绘的对 象的边界集； 将所述分割作为VAE输入， 输入到所述VAE； 将所述VAE输入与所述VAE的VAE输出进行比较； 以及 确定用于所述分割的分数， 其中所述分数是所述VAE输入和所述VAE输出之间的差的函 数。 21.根据权利要求20所述的系统， 还包括： 输出所述分数； 。

11、确定所述分数是否在预定范围内； 以及 如果所述分数在所述预定范围内， 则输出报警信号。 权利要求书 2/2 页 3 CN 111815642 A 3 使用神经网络识别图像分割质量 背景技术 0001 在图像处理中， 分割是指识别图像元素的边界， 例如根据图像中描绘的对象的边 界划分图像中的区域。 分割过程可以使用经训练的神经网络进行自动边界检测。 分割在医 学图像处理和其他领域都是很有用的。 当遇到不易分割的稀有图像时， 自动分割过程可能 会失败。 有时， 使用额外的训练数据对神经网络进行额外的训练可能有助于一些自动分割 过程， 但在训练数据中可能没有对应项的罕见情况下， 它仍然可能失败。 因。

12、此， 很难完全防 止分割过程失败。 0002 一种解决方案是也有自动化的质量评估过程。 应用贝叶斯神经网络可以捕获分割 结果的不确定性， 并基于不确定性进行质量评估。 然而， 这也会受到罕见事件的影响， 因为 分割过程可能会出错， 但对某些罕见事件上的错误仍然要有信心。 附图说明 0003 参照附图来描述各种技术， 其中： 0004 图1示出了根据实施例的分割的示例； 0005 图2示出了根据实施例的用于训练神经网络以评估输入图像的分割的系统的图； 0006 图3示出了根据实施例的用于验证待验证的神经网络的系统的图； 0007 图4示出了根据实施例的要针对真值标签掩码训练的变分自动编码器(VA。

13、E)的图； 0008 图5示出了在实施例中用于针对分割图像训练分割器以获得图像的标签掩码的过 程， 以及用于针对真值标签编码训练VAE以评估分割器输出的标签掩码的质量的过程； 0009 图6示出了根据实施例的用于处理图像、 生成图像的标签掩码、 将标签掩码应用于 自动编码器、 将标签掩码与自动编码器的输出进行比较以及根据比较的结果采取动作的系 统的图； 0010 图7示出了根据实施例的将输入标签掩码编码为潜在表示并将潜在表示解码为输 出标签掩码的自动编码器； 0011 图8示出了根据实施例的并行处理单元( “PPU” )的示例； 0012 图9示出了根据一个实施例的通用处理集群( “GPC” 。

14、)的示例； 0013 图10示出了根据一个实施例的存储器分区单元的示例； 0014 图11示出了根据一个实施例的流式多处理器的示例； 0015 图12示出了根据一个实施例的可以实现各种示例的计算机系统。 具体实施方式 0016 分割是从图像中确定图像中描绘的元素的边界在何处， 也可能标记这些对象的过 程。 人类通常可以很容易地识别图像中一个对象的开始位置和其他对象的结束位置， 但是 这对于计算机系统来说是一个很难执行的过程。 此外， 在某些类型的图像中， 即使是未经训 练的人类也很难辨别对象的边界或图像中对象的存在。 例如， 计算机断层( “CT” )扫描可以 对人体的某些部分进行成像， 而专。

15、业放射科医生可能会花费大量时间观察、 识别和标记CT 说明书 1/20 页 4 CN 111815642 A 4 扫描数据中对象的边界， 因此， 拥有能够执行这些任务的自动化过程是有益的， 尽管在自动 分割过程失败的少数情况下会有一些标志、 指示或警报。 0017 图1示出了在实施例中的分割的示例， 特别示出了分割数据集102， 其包括图像104 和标签掩码106。 这些术语中的每个术语在存储器中表示为存储的计算机可读数据和/或在 传输过程中表示为计算机可读数据。 在一个实施例中， 图像104被拍摄为针对患者腹部的人 体三维CT扫描的二维切片， 以及标签掩码106经由用户界面通过专业放射科医生。

16、手动输入 确定的胰腺边界并添加标签以将边界识别为是胰腺而获得。 在更复杂的图像中， 在一个实 施例中， 存在CT扫描的多于一个有界元素和相应的标签， 并且包括具有不完整边界和其他 特征的多个对象。 0018 在一个实施例中，“分割数据集” 是指包含图像及其相关标签掩码的数据结构。 在 一个实施例中， 分割系统的一个目标是能够以计算机生成的方式在图像中至少生成对象的 边界， 以便人类不必在图像中手动输入对象的边界。 在一个实施例中， 分割数据集的集合包 括一个或更多个分割数据集， 每个分割数据集包括图像和相关标签掩码。 在特定实施例中， 标签掩码包括对象的边界、 唯一地标识标签掩码中的闭合边界的。

17、对象编号、 对图像背景的 引用以及对象的名称。 0019 在一个实施例中， 分割数据集的集合(X， Y)包括计算机可读数据形式的图像的集 合X以及相应的标签掩码的集合Y， 其中每个标签掩码指示其相应图像的部分或全部分割。 在一些实施例中， 集合包括标签掩码的分割的标签， 而在其他实施例中， 标签掩码包括没有 分割标签的分割边界。 如果图像的标签掩码是由检查图像的人或通过已知的良好过程创建 的， 则通常称为 “真值” 或 “GT” 标签掩码。 在一个实施例中， 集合(X， Y)包括训练子集合(XT， YT)和验证子集合(XV， YV)。 训练子集合具有为真值标签掩码的标签掩码， 其可以用来训练神。

18、 经网络。 在一个实施例中， 使用验证子集合来测试神经网络， 验证子集合还具有为真值标签 掩码的标签掩码； 验证子集合可用于验证神经网络的训练。 0020 在一个实施例中， 作为示例， 如果F()指的是分割过程， 则通过比较验证子集合的 各个分割数据集的F(XV)和YV来测试分割过程的质量。 在一个实施例中， 经训练的神经网络 的输入是图像X， 输出可以是F(X)。 如果不知道相应的真值标签掩码Y， 则F(X)可用作图像X 的标签掩码。 0021 在一个实施例中， 尽管经过训练， 但神经网络仍然可能输出不是图像X的良好分割 的标签掩码F(X)， 这可能是因为图像X的内容很少或出乎意料。 在一个。

19、实施例中， 通过使用 用于确定Y的评估的不同过程， 该确定可以与F(X)进行比较， 以确定分割过程F()是否作用 于图像X。 如果正确识别出图像X中对象的边界， 则单独的过程的输出将接近F(X)， F(X)是作 为经训练的分割器的一部分的神经网络的输出。 在一个实施例中， 当所识别出的边界之间 存在显著差异(该差异大于经训练的分割器的输出的可接受阈值)时， 则向系统的用户提供 报警(例如， 接口中的通知或改变)。 0022 在一个实施例中， 使用第一神经网络处理图像以确定图像的第一分割(例如， 至少 指示图像中一些对象的边界的标签掩码)。 在一个实施例中， 第一分割是神经网络以外的输 出， 但。

20、是在本文描述的许多示例中， 第一分割是神经网络的输出。 标签掩码通过第二神经网 络传递， 该第二神经网络将标签掩码有效地映射到特征空间。 然后， 在一个实施例中， 该第 二神经网络的输出被用于预测或估计该标签掩码中的分割的质量。 说明书 2/20 页 5 CN 111815642 A 5 0023 在一个实施例中， 第二神经网络包括变分自动编码器( “VAE” )， 其将标签掩码作为 其输入， 并输出输出标签掩码。 自动编码器是神经网络， 其包括编码器， 该编码器将其输入 数据编码为输入数据的压缩形式的潜在表示， 并且该神经网络还包括解码器， 该解码器将 潜在表示和原始输入数据尽可能接近地解码。

21、， 其中训练该自动编码器包含减少编码器输入 和解码器输出之间的差异。 在VAE中， 在学习过程中， VAE对潜在表示中变量的分布做出了强 假设。 在其他实施例中， 更一般地， 本文将VAE描述为正在使用的情况下， 使用了全卷积神经 网络类型。 0024 在一个实施例中， 将第一神经网络产生的第一分割与VAE产生的第二分割进行比 较。 在一个实施例中， 这是使用损失函数来完成的。 在另一实施例中， 这是使用另一方法来 完成的。 在一个实施例中， 使用已知良好的图像分割来训练第二神经网络。 如果比较表明第 一分割和第二分割很接近， 则第一神经网络很可能工作得很好。 如果它们明显不同， 那很可 能是。

22、有问题的。 在这种情况下， 如果分割是具有用户界面的系统的一部分， 则可以输出标 记、 警告、 警报等来警告用户该分割可疑。 0025 关于潜在表示中变量分布的强假设， 在一个实施例中， 一种方法是将分割结果投 影到低维特征空间， 然后在该特征空间中使用VAE学习分类器和/或回归器来预测分割结果 的质量。 在一个实施例中， 特征空间使用形状特征来预测给定不同数据集上的不同分割算 法的情况下分割结果的质量， 该形状特征具有在不同数据之间共享的强先验信息。 0026 在一个实施例中， 使用损失函数的值捕获分割结果的形状特征， 并使用仅使用真 值掩码(即为真值标签掩码的标签掩码)训练的VAE来测试分。

23、割结果。 因此， 坏的分割可能会 导致坏的形状， 这成为VAE的罕见事件， 并将导致巨大的损失值。 0027 在前面和后面的描述中描述了各种技术。 为了便于解释， 本文阐述了具体的配置 和细节， 以便全面了解实现这些技术的可能方法。 然而， 显而易见的是， 下面描述的技术可 以在没有具体细节的不同配置中实践。 此外， 可以省略或简化众所周知的特征以避免混淆 所描述的技术。 0028 图2示出了根据一个实施例的系统200的图， 在其中一个或更多个算术逻辑电路至 少部分地使得神经网络被训练以评估输入图像的分割。 在一个实施例中， 计算实体202(例 如计算机系统或计算机服务器)处理图像和标签掩码的。

24、训练集合， 并生成分割(例如以标签 掩码的形式)。 在一个实施例中， 计算实体202是或包括计算机系统或处理单元， 例如结合图 8-图12所描述的一个或更多个计算机系统或处理单元。 在一个实施例中， 计算实体202是包 含多个计算机服务器的分布式系统， 这些计算机服务器作为生成分割的计算实体一起操 作。 在一个实施例中， 计算实体202是服务器计算机系统、 服务器集群、 虚拟计算机系统、 虚 拟服务器、 虚拟运行环境、 容器环境、 无服务器执行环境或服务宿主系统。 在一个实施例中， 计算实体202是或包括为特定用途或应用而设计的应用特定的集成电路(ASIC)微芯片。 在 一个实施例中， 计算实。

25、体可以包括用于稀疏激活、 低精度计算、 低延迟操作(例如， 在实时操 作系统(RTOS)计算环境中)、 低功耗硬件以及它们的组合的专用电路。 在一个实施例中， 计 算实体202在存储器层次结构中具有相关联的存储器， 使得存在更快存储器的区域(例如， 寄存器和L1高速缓存)以及较慢存储器的区域(例如， 主存储器)。 0029 在一个实施例中， 计算实体202用于训练分割系统的分割器， 并且包括用于训练集 合204的存储器和用于训练输出标签掩码集206的存储器。 在一个实施例中， 计算实体202实 说明书 3/20 页 6 CN 111815642 A 6 现分割器210， 例如， 通过执行具有程。

26、序指令的程序代码， 所述程序代码在被执行时， 执行可 在训练集合204上训练的神经网络的角色。 在计算实体202的操作的一个实施例中， 训练集 合204包括多个图像和每个图像相应的真值标签掩码， 其中训练集合204中的图像的真值标 签掩码表示该图像的已知良好的分割， 并且可能还表示分割的某些或全部分割的标签。 在 一个实施例中， 对分割器210进行训练， 使得其用于训练图像的输出是近似于该图像的真值 标签掩码的标签掩码。 当输出的训练标签掩码与真值标签掩码匹配不好时， 可以向分割器 210提供训练反馈以改善输出。 0030 在一个实施例中， 图中的各种其它元件可以使用一个或更多个算术逻辑电路、。

27、 计 算机系统或计算机服务器或诸如结合图8-图12所描述的一个或更多个这样的处理单元来 实现。 例如， 在一个实施例中， 图3-图7的元件由具有存储器并且能够执行程序指令的计算 实体来实现， 例如包括多个计算机服务器的分布式系统， 这些计算机服务器共同作为生成 分割或执行训练的计算实体来操作， 在实施例中， 计算实体包括服务器计算机系统、 服务器 集群， 虚拟计算机系统、 虚拟服务器、 虚拟运行环境、 容器环境、 无服务器执行环境、 服务托 管系统、 为特定用途或应用而设计的应用特定集成电路(ASIC)微芯片和/或用于稀疏激活、 低精度计算、 低延迟操作(例如， 在实时操作系统(RTOS)计算。

28、环境中)、 低功耗硬件及其组合 的专用电路。 0031 图3示出了根据一个实施例的系统300的图， 其中一个或更多个算术逻辑电路至少 部分地使得经训练的神经网络被验证。 在所示的实施例中， 计算实体302实现分割数据集的 验证集合304， 其中验证集合304的图像被应用于经训练的分割器310的输入， 经训练的分割 器310输出验证集合304的图像的分割。 在一个实施例中， 比较器312将图像的输出分割与来 自验证集合304的标签掩码进行比较， 其中这些标签掩码是真值标签掩码， 并且输出对输出 分割的质量的评估314， 这些评估314可用于微调经训练的分割器。 0032 图4示出了实施例中的系统。

29、400的图， 其中一个或更多个算术逻辑电路至少部分地 使变分自动编码器(VAE)针对真值标签掩码404进行训练。 在所示的实施例中， 计算实体402 包括VAE 408， 该VAE 408将真值标签掩码404作为其输入并输出输出标签掩码406。 在一个 实施例中， 比较器412比较真值标签掩码404和输出标签掩码406， 以确定VAE 408所需的训 练反馈。 在一个实施例中， 训练导致调整VAE 408的层之间的权重和连接， 以优化或最小化 损失函数。 0033 图5示出了一个实施例中的过程502的说明性示例， 该过程502用于针对分割图像 训练分割器以得到图像的标签掩码， 以及用于针对真值。

30、标签掩码训练VAE， 以评估分割器输 出的标签掩码的质量。 在一个实施例中， 该过程从应用训练标签掩码集开始(步骤504)， 所 述训练标签掩码包括真值标签掩码或已知是分割的良好示例的其他标签掩码。 在一个实施 例中， 该训练标签掩码集被应用于自动编码器(例如本文中引用的VAE 408)， 作为自动编码 器的输入。 如本文所解释的， 在一个实施例中， 自动编码器将其输入编码为潜在表示， 然后 将潜在表示解码为自动编码器的输出。 接下来， 在步骤506， 在一个实施例中， 训练中的分割 器系统比较由自动编码器输出的输出标签掩码与输入到自动编码器的输入标签掩码。 在步 骤508， 对自动编码器进行。

31、调节， 以减小输入标签掩码和输出标签掩码之间的差异(可以通 过损失函数来测量)。 一旦完成， 在实施例中， 自动编码器接收输入标签掩码并输出输出标 签掩码。 说明书 4/20 页 7 CN 111815642 A 7 0034 然后， 在步骤510， 在实施例中将分割数据集的训练集合(图像及其相应的标签掩 码)应用于分割器。 由于标签掩码可用于这些分割数据集， 因此可以将图像的标签掩码与分 割器的输出进行比较(步骤512)。 在一个实施例中， 训练中的分割器系统然后可以检查(步 骤514)训练集合中的标签掩码与分割器的输出是否足够匹配。 如果图像不是异常图像， 则 经过良好训练的分割器可以输出。

32、与分割数据集的标签掩码类似的分割数据集中的图像的 标签掩码， 因此该比较是对分割器是否经过训练的有效测试。 0035 在一个实施例中， 如果分割器没有充分调节， 则可以提供反馈(步骤520)， 并且过 程返回到步骤510以进行附加训练。 在一个实施例中， 如果对分割器进行了充分的调节， 则 该过程可以移动到步骤516， 其中验证集合被应用于分割器， 并且如果需要(步骤518)， 可以 提供进一步的训练， 并且训练过程完成(步骤522)。 0036 图6示出了实施例中的系统600的图， 在其中一个或更多个算术逻辑电路至少部分 地处理输入图像， 生成输入图像的标签掩码， 将该标签掩码应用于自动编码。

33、器， 将该标签掩 码与自动编码器的输出进行比较， 并根据比较的结果采取动作。 在所示的实施例中， 计算实 体602， 例如计算机系统或计算机服务器， 包括经训练的分割器604、 自动编码器606、 比较器 608、 输入图像610的存储器、 标签掩码612的存储器和质量指示符614的存储器。 在一个实施 例中， 自动编码器606包括编码器620、 用于潜在表示622的存储器和解码器624。 在一个实施 例中， 自动编码器606是针对形状特征进行训练的变分自动编码器。 在一个实施例中， 计算 实体602可用于多个图像， 其中一些图像可以是三维图像， 而一些图像可以是二维图像。 在 一个实施例中，。

34、 计算实体602是或包括计算机系统或处理单元， 例如结合图8-图12所描述的 一个或更多个计算机系统或处理单元。 0037 在实施例中， 系统600按照图5中描述的用于训练的过程进行操作， 然后在操作中， 经训练的分割器604接收输入图像610， 而不需要关于输入图像610中的对象的标签或分割 的真值。 在一个实施例中， 训练分割器604输出标签掩码612， 作为系统600的输出。 在一个实 施例中， 标签掩码612通知用户输入图像610中存在的对象以及这些对象的边界。 在一个实 施例中， 标签掩码612被应用于自动编码器的输入层， 该输入层又输出标签掩码形式的自动 编码器输出630。 在一个。

35、实施例中， 比较器608将自动编码器输出630与标签掩码612进行比 较， 并输出质量指示符614。 在一个实施例中， 质量指示符614可以是作为用户界面的一部分 向用户显示的警报、 标志、 颜色和/或值， 以指示标签掩码612是否可能是输入图像610的良 好分割。 对于不好的分割， 自动编码器606的输入和输出不紧密匹配的可能性更大， 但是对 于良好的分割， 它们更可能匹配。 在一个实施例中， 当自动编码器606在形状特征上被训练 时， 自动编码器606中的潜在表示很可能表示形状特征。 0038 在一个实施例中， 比较器608包括逻辑、 通用ALU、 固定功能硬件、 FPGA等。 虽然在图 。

36、6中示出为单独的组件， 但是在一个实施例中， 比较器608可以与经训练的分割器604和自动 编码器606一起组合实现。 例如， 专用硬件组件可以处理输入图像， 以分割它们并形成标签 掩码， 通过自动编码器处理标签掩码， 并将标签掩码与自动编码器输出进行比较。 0039 图7示出了实施例中的自动编码器702的图， 在其中一个或更多个算术逻辑电路至 少部分地将输入标签掩码编码为潜在表示， 并将潜在表示解码为输出标签掩码。 在所示的 实施例中， 自动编码器702是包括若干层的神经网络， 若干层包括与第一隐藏层706耦合的 输入层704、 第一隐藏层706耦合至潜在层708、 潜在层708耦合至第二隐。

37、藏层710、 第二隐藏 说明书 5/20 页 8 CN 111815642 A 8 层710又耦合至输出层712。 在一个实施例中， 自动编码器702是或包括计算机系统或处理单 元， 例如结合图8-图12所描述的一个或更多个计算机系统或处理单元。 0040 具体示例实现 0041 在本节描述的具体示例中， 在各种实施例中描述了一种系统， 其中， 用一组已知良 好的标签掩码(标签掩码)训练变分自动编码器， 并且变分自动编码器被训练为将每个输入 标签掩码编码为潜在表示， 然后从该潜在表示解码输出标签掩码， 其中训练旨在减少来自 编码和解码的损失。 潜在表示代表形状特征。 0042 在分割对象的过程。

38、中使用形状特征通常在不同情况下提供稳定的形状， 特别是在 体图像(即与三维图像的体素值相对应的数据)中。 形状特征可以为判断分割结果的质量提 供强有力的先验(prior)信息， 即标签掩码中的不良分割结果往往具有不良形状， 反之亦 然。 如本文所使用的， 诸如 “形状先验” 之类的 “先验” 是指表示所做的一些假设的数据， 例如 机器学习的似是而非的形状的先验概念或以其他方式确定的形状的先验概念。 0043 对来自分割掩码空间的形状先验建模比在图像空间中这样做更快、 计算更简单， 并且可以在不同的数据集之间共享形状先验， 而图像强度等特征受许多因素的影响。 这意 味着形状特征不仅可以处理罕见的。

39、事件， 而且可以处理图像空间中不同的数据分布， 在传 递学习中可以提供很好的泛化和潜力。 在一个实施例中， VAE用于捕获形状特征。 在一个实 施例中， 针对真值标签掩码训练VAE， 然后当使用VAE网络进行测试时， 计算损失函数的值， 作为分割结果的形状特征。 在一个实施例中， 在VAE被训练之后， 具有不良形状的不良分割 结果对于VAE来说是罕见的事件， 因为它仅使用真值标签(已知的处于正态形状分布下的良 好标签掩码)来训练。 因此， 它们将有更大的损失值。 从这个意义上说， 分割系统利用了这样 一个事实， 即学习过程会在罕见的事件上执行糟糕。 形式上讲， 在训练过程中， 损失函数(称 为。

40、变分下界)可以被优化以近似于函数logP(Y)。 因此在训练后， 给定分割结果的情况下损 失函数的值接近因此是形状特征的良好定义。 0044 在一个实施例中， 基于VAE的质量检查系统输出到报警系统以发出不良分割的信 号。 在另一实施例中， 响应于检测到不良分割而采取其它步骤。 利用这些系统可以很好地预 测分割结果的质量。 在一个实施例中， 为了验证报警系统的有效性， 在多个分割过程上对其 进行测试。 这些分割过程可以在一个数据集上进行训练， 并在其他若干数据集上进行测试， 以模拟罕见事件发生时的情况。 0045 要定义部分过程的逻辑， 将数据集表示为(X， Y)， 其中X是图像集， Y是X的。

41、标签掩 码， 即X中图像的已知良好(真值)分割的标签掩码。 数据集(X， Y)可分为训练集(XT， YT)和验 证集合(XV， YV)。 这里， F()是指针对X训练的分割过程。 在一个实施例中， 使用YV来评估F在XV 上的性能， 但是如本文所解释的， 在一个实施例中， 分割系统可以在不需要YV的情况下评 估。 形式上， 训练系统试图找到函数L， 从而满足方程1。 0046 (F(X)， Y)L(F,X； ) (方程1) 0047 在方程1中， 是函数， 用于计算分割结果F(X)相对于真值Y的相似性， 即F(X)的质 量。 当X是罕见的事件时， 可能会发生失败。 但是由于图像空间结构的复杂性。

42、， 很难检测出图 像X是否在训练数据的分布范围内， 而这正是F被训练为所要学习的。 F的性质可以通过采样 F的参数并计算输出的不确定性来进行编码， 这种不确定性确实有助于预测质量， 但其性能 强烈依赖于F。 它要求F具有贝叶斯结构， 但良好训练的F不需要如此约束。 不确定性主要分 说明书 6/20 页 9 CN 111815642 A 9 布在分割预测的边界上。 添加该约束会将方程1更改为方程2。 0048 (F(X)， Y)L(F(X)； ) (方程2) 0049 在一个实施例中， 通过添加该约束， 使用来自F和X的信息， 但不直接使用。 特定的 过程可以使用两步方法， 其中第一步是将分割结。

43、果F(X)编码到特征空间， 第二步是从特征 空间学习以预测F(X)的质量。 形状特征可以从F(X)捕获， 这里表示为S(F(X)； )。 在这种情 况下， 方程2变成方程3。 0050 (F(X)， Y)L(S(F(X)； )； ) (方程3) 0051 采用变分自动编码器的形状特征 0052 在一个实施例中， 形状特征从用真值掩码YYT训练的VAE捕获， 分割掩码的形状 作为掩码在体形式中的分布。 假设正态标记Y服从某分布P(Y)， 对于预测掩码其质量应 与有关。 在一个实施例中， 分割系统估计函数P(Y)。 因为使用了VAE， 所以发现了估 计函数Q(z)， 它最小化了Q(z)和P(z|Y。

44、)之间的差， 其中z是Y编码到的潜在空间的变量， 如方 程4所示进行优化。 0053 KQ(z)|P(z|Y)EzQlog Q(z)-log P(z|Y) (方程4) 0054 在方程4中， K是Kullback-Leibler散度。 用Q(z|Y)代替Q(z)并重新排列项， 最后 导出为VAE的核心方程， 如方程5所示。 0055 log P(Y)-KQ(z|Y)|P(z|Y)EzQlog P(Y|z)-KQ(z|Y)|P(z) (方 程5) 0056 在方程5中， P(z)是为z选择的先验分布， 通常是高斯分布， 并且在实施例中， Q(z| Y)、 P(Y|z)分别对应于编码器和解码器。 。

45、一旦给定Y， log P(Y)就是常数。 因此， 通过优化方 程5的右边logP(Y)的变分下界， 这优化了KQ(z)|P(z|Y)。 在一个实施例中， 关注量是P (Y)。 通过将方程5左侧的第二项与方程(5)右侧的所有项进行交换， 得到方程6， 其显示了训 练过程最小化了那里的数量。 0057 0058 在方程6中， 为了简洁起见， EzQlog P(Y|z)+KQ(z|Y)|P(z)被表示为S(Y； )。 如方程6所示， 在一个实施例中， 训练过程实际上正在学习函数， 以使log P(Y)在Y的分 布上最佳拟合。 在一个实施例中， 在训练VAE之后， S(Y； )成为log P(Y)的自。

46、然近似。 因此， 在一个实施例中， S(Y； )可以用作形状特征的代表。 0059 在一个实施例中， 当训练VAE时使用Dice损失函数， 该函数对于医学分割任务有 用。 在一个实施例中， S的最终形式如方程7所示。 0060 0061 在一个实施例中， 方程7的编码器 、 和解码器g由 控制， 并且 是平衡这两个项 的系数。 第一项是Dice在Y和g(z)之间的系数， 范围从0到1， 如果Yg(z)， 则等于1。 在一个 实施例中， 代表方程7的形状特征S(Y； )指示在使用仅具有正态形状的数据训练VAE之后， 说明书 7/20 页 10 CN 111815642 A 10 如果预测掩码能够。

47、获得较小的重建误差并且更接近潜在空间中的先验分布， 则预测掩码 倾向于在正态形状分布中的可能性更大， 因为始终保持另一方面， 对于高但低的情况， 它会给目标函数带来很大的惩罚(见方程6)， 并且对于 良好训练的VAE， 发生这种情况的可能性较小。 0062 利用形状特征预测质量 0063 在一个实施例中， 形状特征通常好到足以进行可靠的质量评估。 一个原因是， 对于 分割结果F(X)， log P(F(X)越高， 形状F(X)越好， 因此L(F(X),Y)越高。 在一个实施例中， 形 式上， 利用从VAE捕获的形状特征， 分割系统可以通过根据方程8拟合函数L来预测分割的质 量。 0064 L(。

48、F(X),Y)L(S(F(X)； )； ) (方程8) 0065 在一个实施例中， 通过使用训练数据YT中的标签训练VAE,来学习方程8中的参数 ， 然后在第二步中固定。 在一个实施例中， 选择函数L作为简单的线性模型， 在这种情况下， 分割系统优化的能量函数如方程9所示。 0066 E(S(F(X)； )； a,b)|aS(F(X)； )+b-L(F(X)， Y)|2 (方程9) 0067 在一个实施例中， 使用线性回归模型， 并且在形状特征和分割结果的质量之间显 示出强线性相关性。 在方程8和9中， L是Dice的系数， 如方程10所示。 0068 0069 训练过程 0070 在一个实施。

49、例中， 在训练过程的第一步中， 仅使用训练数据中的标签来训练VAE。 然后， 在一个实施例中， 在训练过程的第二步中， 是固定的。 在一个实施例中， 为了学习a、 b， 一种方法是使用训练数据上的分割结果优化方程9的能量函数， 如方程11所示。 0071 0072 在一个实施例中， 分割系统用于学习a、 b的分割过程F在此被称为 “准备过程” 。 在 一个实施例中， 如果F在XT上训练， 则F(X)的质量被期望总是很高， 从而提供较少的信息来 回归a、 b。 为了克服这一点， 在一个实施例中， 分割系统对XT上的F使用刀切(jackknifing) 训练策略， 其中并非所有的XT都在开始时使用。

50、。 在一个实施例中， 该过程包括首先将XT划分 为XT1和XT2， 然后分别在XTXT1和XTXT2上训练F的两个版本， 例如F1和F2。 在一个实施例中， 然 后将优化函数改为方程12的优化函数。 0073 0074 在一个实施例中， 利用上述过程， 分割系统可以通过在测试集上模拟F的性能来解 决上述问题。 在一个实施例中， 准确的方法是对F进行 “留一(leave-one-out)” 训练， 但是如 果时间消耗不可接受， 则两折(two-fold)分离(XT被分成两个大小相等的子样本， 一个用于 训练， 一个用于验证)足够有效。 在一个实施例中， 当训练完成时， 可以使用分割算法F和数 据。