目标检测结果的鉴别方法、装置、设备及存储介质.pdf

《目标检测结果的鉴别方法、装置、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《目标检测结果的鉴别方法、装置、设备及存储介质.pdf（24页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911289667.7 (22)申请日 2019.12.13 (66)本国优先权数据 201910549722.5 2019.06.24 CN (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新区望江西 路666号 (72)发明人 殷保才徐亮孙梅 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 薛娇 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/136(2017.01) G06K 9/62(20。

2、06.01) (54)发明名称 一种目标检测结果的鉴别方法、 装置、 设备 及存储介质 (57)摘要 本申请提出一种目标检测结果的鉴别方法、 装置、 设备及存储介质， 其中， 该方法包括： 获取 初始目标检测结果， 所述初始目标检测结果为从 图像中检测图像目标得到的初步检测结果； 将所 述初始目标检测结果划分为图像单元序列， 并根 据所述图像单元序列提取所述初始目标检测结 果的内部结构特征； 至少根据所述内部结构特 征， 确定所述初始目标检测结果是否为图像目 标。 该方法基于初始目标检测结果的内部结构对 初始目标检测结果进行鉴别， 可以准确识别初始 目标检测结果是否为图像目标。 权利要求书3页。

3、 说明书15页 附图5页 CN 110796659 A 2020.02.14 CN 110796659 A 1.一种目标检测结果的鉴别方法， 其特征在于， 包括： 获取初始目标检测结果， 所述初始目标检测结果为从图像中检测图像目标得到的初步 检测结果； 将所述初始目标检测结果划分为图像单元序列， 并根据所述图像单元序列提取所述初 始目标检测结果的内部结构特征； 至少根据所述内部结构特征， 确定所述初始目标检测结果是否为图像目标。 2.根据权利要求1所述的方法， 其特征在于， 所述初始目标检测结果为三维立体的初始 目标检测结果； 所述将所述初始目标检测结果划分为图像单元序列， 包括： 将所述初始。

4、目标检测结果划分为二维图像序列。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述图像单元序列提取所述初始 目标检测结果的内部结构特征， 包括： 将所述二维图像序列输入预先训练好的结构关系识别模型， 提取得到所述初始目标检 测结果的内部结构特征； 其中， 所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之间的 关系特征训练得到。 4.根据权利要求3所述的方法， 其特征在于， 所述结构关系识别模型基于循环神经网络 训练得到。 5.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 提取所述初始目标检测结果的表象特征； 所述至少根据所述内部结构特征， 确定所述初始目。

5、标检测结果是否为图像目标， 包括： 根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结果是否为图像目 标。 6.根据权利要求5所述的方法， 其特征在于， 所述提取所述初始目标检测结果的表象特 征， 包括： 将所述初始目标检测结果输入预先训练好的征象识别模型， 得到所述初始目标检测结 果的表象特征； 其中， 所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征训练 得到。 7.根据权利要求6所述的方法， 其特征在于， 所述征象识别模型基于卷积神经网络训练 得到。 8.根据权利要求5所述的方法， 其特征在于， 所述根据所述表象特征和所述内部结构特 征， 确定所述初始目标检测结。

6、果是否为图像目标， 包括： 将所述表象特征和所述内部结构特征输入预先训练好的分类器， 确定所述初始目标检 测结果是否为图像目标； 其中， 所述分类器至少根据图像目标样本的表象特征和内部结构特征， 对所述图像目 标样本进行分类训练得到。 9.根据权利要求5所述的方法， 其特征在于， 所述根据所述表象特征和所述内部结构特 征， 确定所述初始目标检测结果是否为图像目标， 包括： 权利要求书 1/3 页 2 CN 110796659 A 2 对所述表象特征和所述内部结构特征进行特征融合处理， 得到表象和内部结构综合特 征； 将所述表象和内部结构综合特征输入预先训练好的分类器， 确定所述初始目标检测结 。

7、果是否为图像目标； 其中， 所述分类器至少根据图像目标样本的表象和内部结构综合特征， 对所述图像目 标样本进行分类训练得到。 10.根据权利要求9所述的方法， 其特征在于， 所述对所述表象特征和所述内部结构特 征进行特征融合处理， 得到表象和内部结构综合特征， 包括： 分别对所述表象特征和所述内部结构特征进行正则化处理； 将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特征； 对相同尺度的所述表象特征和所述内部结构特征进行拼接处理， 得到表象和内部结构 综合特征。 11.一种目标检测结果的鉴别装置， 其特征在于， 包括： 数据获取单元， 用于获取初始目标检测结果， 所述初始目标检。

8、测结果为从图像中检测 图像目标得到的初步检测结果； 第一数据处理单元， 用于将所述初始目标检测结果划分为图像单元序列， 并根据所述 图像单元序列提取所述初始目标检测结果的内部结构特征； 判断处理单元， 用于至少根据所述内部结构特征， 确定所述初始目标检测结果是否为 图像目标。 12.根据权利要求11所述的装置， 其特征在于， 所述初始目标检测结果为三维立体的初 始目标检测结果； 所述第一数据处理单元将所述初始目标检测结果划分为图像单元序列时， 具体用于： 将所述初始目标检测结果划分为二维图像序列。 13.根据权利要求12所述的装置， 其特征在于， 所述第一数据处理单元根据所述图像单 元序列提取。

9、所述初始目标检测结果的内部结构特征时， 具体用于： 将所述二维图像序列输入预先训练好的结构关系识别模型， 提取得到所述初始目标检 测结果的内部结构特征； 其中， 所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之间的 关系特征训练得到。 14.根据权利要求11所述的装置， 其特征在于， 所述装置还包括： 第二数据处理单元， 用于提取所述初始目标检测结果的表象特征； 所述判断处理单元至少根据所述内部结构特征， 确定所述初始目标检测结果是否为图 像目标时， 具体用于： 根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结果是否为图像目 标。 15.根据权利要求14所述的装置，。

10、 其特征在于， 所述第二数据处理单元提取所述初始目 标检测结果的表象特征时， 具体用于： 将所述初始目标检测结果输入预先训练好的征象识别模型， 得到所述初始目标检测结 果的表象特征； 权利要求书 2/3 页 3 CN 110796659 A 3 其中， 所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征训练 得到。 16.一种目标检测结果的鉴别设备， 其特征在于， 包括： 存储器和处理器； 其中， 所述存储器与所述处理器连接， 用于存储程序； 所述处理器， 用于通过运行所述存储器中存储的程序， 实现如权利要求1至10中任意一 项所述的目标检测结果的鉴别方法。 17.一种存储介质，。

11、 其特征在于， 所述存储介质上存储有计算机程序， 所述计算机程序 被处理器执行时， 实现如权利要求1至10中任意一项所述的目标检测结果的鉴别方法的各 个步骤。 权利要求书 3/3 页 4 CN 110796659 A 4 一种目标检测结果的鉴别方法、 装置、 设备及存储介质 0001 本申请要求于2019年6月24日提交中国专利局、 申请号为201910549722.5、 发明名 称为 “一种目标检测结果的鉴别方法、 装置、 设备及存储介质” 的中国专利申请的优先权， 其 全部内容通过引用结合在本申请中。 技术领域 0002 本申请涉及图像处理技术领域， 尤其涉及一种目标检测结果的鉴别方法、 。

12、装置、 设 备及存储介质。 背景技术 0003 目标检测即从图像中检测出图像目标， 是图像处理中的常见处理内容。 随着人们 对图像目标检测的自动化需求的不断增长， 自动化的图像图标检测方案的应用越来越普 及。 0004 另一方面， 从图像中检测出正确的图像目标是对目标检测结果进行后续处理的关 键。 而不同的目标检测方案的性能各异， 甚至同一目标检测方案应用于不同图像时的目标 检测性能表现也不同， 因此， 鉴别目标检测结果是否为图像目标， 从而保证目标检测的准确 性， 是目标检测应用中的实际需求。 发明内容 0005 基于上述需求， 本申请提出一种目标检测结果的鉴别方法、 装置、 设备及存储介 。

13、质， 可以用于鉴别目标检测结果是否为图像目标。 0006 一种目标检测结果的鉴别方法， 包括： 0007 获取初始目标检测结果， 所述初始目标检测结果为从图像中检测图像目标得到的 初步检测结果； 0008 将所述初始目标检测结果划分为图像单元序列， 并根据所述图像单元序列提取所 述初始目标检测结果的内部结构特征； 0009 至少根据所述内部结构特征， 确定所述初始目标检测结果是否为图像目标。 0010 可选的， 所述初始目标检测结果为三维立体的初始目标检测结果； 0011 所述将所述初始目标检测结果划分为图像单元序列， 包括： 0012 将所述初始目标检测结果划分为二维图像序列。 0013 可。

14、选的， 所述根据所述图像单元序列提取所述初始目标检测结果的内部结构特 征， 包括： 0014 将所述二维图像序列输入预先训练好的结构关系识别模型， 提取得到所述初始目 标检测结果的内部结构特征； 0015 其中， 所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之 间的关系特征训练得到。 0016 可选的， 所述结构关系识别模型基于循环神经网络训练得到。 说明书 1/15 页 5 CN 110796659 A 5 0017 可选的， 所述方法还包括： 0018 提取所述初始目标检测结果的表象特征； 0019 所述至少根据所述内部结构特征， 确定所述初始目标检测结果是否为图像目标，。

15、 包括： 0020 根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结果是否为图像 目标。 0021 可选的， 所述提取所述初始目标检测结果的表象特征， 包括： 0022 将所述初始目标检测结果输入预先训练好的征象识别模型， 得到所述初始目标检 测结果的表象特征； 0023 其中， 所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征 训练得到。 0024 可选的， 所述征象识别模型基于卷积神经网络训练得到。 0025 可选的， 所述根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结 果是否为图像目标， 包括： 0026 将所述表象特征和所述内部结构特征输入预先。

16、训练好的分类器， 确定所述初始目 标检测结果是否为图像目标； 0027 其中， 所述分类器至少根据图像目标样本的表象特征和内部结构特征， 对所述图 像目标样本进行分类训练得到。 0028 可选的， 所述根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结 果是否为图像目标， 包括： 0029 对所述表象特征和所述内部结构特征进行特征融合处理， 得到表象和内部结构综 合特征； 0030 将所述表象和内部结构综合特征输入预先训练好的分类器， 确定所述初始目标检 测结果是否为图像目标； 0031 其中， 所述分类器至少根据图像目标样本的表象和内部结构综合特征， 对所述图 像目标样本进行分类训。

17、练得到。 0032 可选的， 所述对所述表象特征和所述内部结构特征进行特征融合处理， 得到表象 和内部结构综合特征， 包括： 0033 分别对所述表象特征和所述内部结构特征进行正则化处理； 0034 将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特征； 0035 对相同尺度的所述表象特征和所述内部结构特征进行拼接处理， 得到表象和内部 结构综合特征。 0036 可选的， 所述获取初始目标检测结果， 包括： 0037 对待处理图像进行预处理； 0038 将预处理后的待处理图像输入预先训练好的图像目标检测模型， 得到初始目标检 测结果； 0039 其中， 所述图像目标检测模型至少通。

18、过从图像中检测图像目标训练得到。 0040 一种目标检测结果的鉴别装置， 包括： 0041 数据获取单元， 用于获取初始目标检测结果， 所述初始目标检测结果为从图像中 说明书 2/15 页 6 CN 110796659 A 6 检测图像目标得到的初步检测结果； 0042 第一数据处理单元， 用于将所述初始目标检测结果划分为图像单元序列， 并根据 所述图像单元序列提取所述初始目标检测结果的内部结构特征； 0043 判断处理单元， 用于至少根据所述内部结构特征， 确定所述初始目标检测结果是 否为图像目标。 0044 可选的， 所述初始目标检测结果为三维立体的初始目标检测结果； 0045 相应的， 。

19、所述第一数据处理单元将所述初始目标检测结果划分为图像单元序列 时， 具体用于： 0046 将所述初始目标检测结果划分为二维图像序列。 0047 可选的， 所述第一数据处理单元根据所述图像单元序列提取所述初始目标检测结 果的内部结构特征时， 具体用于： 0048 将所述二维图像序列输入预先训练好的结构关系识别模型， 提取得到所述初始目 标检测结果的内部结构特征； 0049 其中， 所述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之 间的关系特征训练得到。 0050 可选的， 所述结构关系识别模型基于循环神经网络训练得到。 0051 可选的， 所述装置还包括： 0052 第二数据处理。

20、单元， 用于提取所述初始目标检测结果的表象特征； 0053 所述判断处理单元至少根据所述内部结构特征， 确定所述初始目标检测结果是否 为图像目标时， 具体用于： 0054 根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结果是否为图像 目标。 0055 可选的， 所述第二数据处理单元提取所述初始目标检测结果的表象特征时， 具体 用于： 0056 将所述初始目标检测结果输入预先训练好的征象识别模型， 得到所述初始目标检 测结果的表象特征； 0057 其中， 所述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征 训练得到。 0058 可选的， 所述征象识别模型基于卷积神经网络。

21、训练得到。 0059 可选的， 所述判断处理单元根据所述表象特征和所述内部结构特征， 确定所述初 始目标检测结果是否为图像目标时， 具体用于： 0060 将所述表象特征和所述内部结构特征输入预先训练好的分类器， 确定所述初始目 标检测结果是否为图像目标； 0061 其中， 所述分类器至少根据图像目标样本的表象特征和内部结构特征， 对所述图 像目标样本进行分类训练得到。 0062 可选的， 所述判断处理单元， 包括： 0063 特征融合单元， 用于对所述表象特征和所述内部结构特征进行特征融合处理， 得 到表象和内部结构综合特征； 0064 特征处理单元， 用于将所述表象和内部结构综合特征输入预先。

22、训练好的分类器， 说明书 3/15 页 7 CN 110796659 A 7 确定所述初始目标检测结果是否为图像目标； 0065 其中， 所述分类器至少根据图像目标样本的表象和内部结构综合特征， 对所述图 像目标样本进行分类训练得到。 0066 可选的， 所述特征融合单元， 包括： 0067 第一处理单元， 用于分别对所述表象特征和所述内部结构特征进行正则化处理； 0068 第二处理单元， 用于将正则化处理后的所述表象特征和所述内部结构特征处理为 相同尺度的特征； 0069 第三处理单元， 用于对相同尺度的所述表象特征和所述内部结构特征进行拼接处 理， 得到表象和内部结构综合特征。 0070 。

23、可选的， 所述数据获取单元100获取初始目标检测结果时， 具体用于： 0071 对待处理图像进行预处理； 0072 将预处理后的待处理图像输入预先训练好的图像目标检测模型， 得到初始目标检 测结果； 0073 其中， 所述图像目标检测模型至少通过从图像中检测图像目标训练得到。 0074 一种初始目标检测结果的鉴别设备， 包括： 0075 存储器和处理器； 0076 其中， 所述存储器与所述处理器连接， 用于存储程序； 0077 所述处理器， 用于通过运行所述存储器中存储的程序， 实现上述的目标检测结果 的鉴别方法。 0078 一种存储介质， 所述存储介质上存储有计算机程序， 所述计算机程序被处。

24、理器执 行时， 实现上述的目标检测结果的鉴别方法的各个步骤。 0079 本申请提出的目标检测结果的鉴别方法， 将初始目标检测结果划分为图像单元序 列， 并且根据图像单元序列提取初始目标检测结果的内部结构特征， 进而根据初始目标检 测结果的内部结构特征确定初始目标检测结果是否为图像目标。 该方法基于初始目标检测 结果的内部结构对初始目标检测结果进行鉴别， 可以准确识别初始目标检测结果是否为图 像目标。 附图说明 0080 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本 申请的实施例， 对。

25、于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 提供的附图获得其他的附图。 0081 图1是本申请实施例提供的一种目标检测结果的鉴别方法的流程示意图； 0082 图2是本申请实施例提供的肺部CT图像示意图； 0083 图3是本申请实施例提供的自注意力self-attention机制的处理流程示意图； 0084 图4是本申请实施例提供的另一种目标检测结果的鉴别方法的流程示意图； 0085 图5是本申请实施例提供的又一种目标检测结果的鉴别方法的流程示意图； 0086 图6是本申请实施例提供的U-net网络结构示意图； 0087 图7是本申请实施例提供的肺结节分割示意图； 说明。

26、书 4/15 页 8 CN 110796659 A 8 0088 图8是本申请实施例提供的目标检测系统的处理过程示意图； 0089 图9是本申请实施例提供的一种目标检测结果的鉴别装置的结构示意图； 0090 图10是本申请实施例提供的另一种目标检测结果的鉴别装置的结构示意图； 0091 图11是本申请实施例提供的一种目标检测结果的鉴别设备的结构示意图。 具体实施方式 0092 本申请实施例技术方案可应用于鉴别图像目标检测结果是否为图像目标的应用 场景。 采用本申请实施例技术方案， 可以对目标检测结果进行鉴别， 确定其是否为图像目 标。 0093 作为示例性的实现方式， 本申请实施例技术方案可应。

27、用于硬件处理器等硬件设 备， 或包装成软件程序被运行， 当硬件处理器执行本申请实施例技术方案的处理过程， 或上 述软件程序被运行时， 可以实现对目标检测结果进行鉴别， 判断其是否为图像目标。 本申请 实施例只对本申请技术方案的具体处理过程进行示例性介绍， 并不对本申请技术方案的具 体实现形式进行限定， 任意的可以执行本申请技术方案处理过程的技术实现形式， 都可以 被本申请实施例所采用。 0094 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本申请一部分实施例， 而不是全部的实施例。 基于 本申请中的实施例， 本领域普通技术。

28、人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本申请保护的范围。 0095 本申请实施例提出一种目标检测结果的鉴别方法， 参见图1所示， 该方法包括： 0096 S101、 获取初始目标检测结果。 0097 其中， 所述初始目标检测结果为从图像中检测图像目标得到的初步检测结果。 由 于该初始目标检测结果来自于图像， 因此该初始目标检测结果本质上为图像中的部分图像 内容。 该初始目标检测结果的具体形式取决于从图像中检测的图像目标的形式， 当该初始 目标检测结果为从二维图像或三维图像中检测二维图像目标得到的目标检测结果时， 该初 始目标检测结果为二维图像； 当该初始目标检测结果为。

29、从三维图像中检测三维的图像目标 得到的目标检测结果时， 该初始目标检测结果为三维的目标检测结果。 0098 本申请实施例技术方案可适用于对任意形式的， 诸如二维或三维的初始目标检测 结果进行鉴别， 尤其是适用于对三维的初始目标检测结果进行鉴别， 确定其是否为图像目 标。 本申请实施例以对三维的初始目标检测结果进行鉴别为例， 介绍本申请实施例技术方 案的具体处理过程。 示例性的， 本申请实施例以对图2所示的肺部CT图像的肺结节检测结果 进行鉴别为例， 介绍本申请实施例技术方案的具体处理过程。 0099 当本申请实施例技术方案应用于对其它形式的目标检测结果进行鉴别时， 其具体 处理过程可参照本申请。

30、实施例介绍而执行， 或者对本申请实施例介绍的处理过程进行适应 性调整、 完善后执行， 本申请实施例不再一一详细介绍， 但可以理解的是， 关于本申请实施 例技术方案的各种变形或适应性调整应用， 均在本申请实施例保护范围内。 0100 上述的初始目标检测结果的获取， 可以是从数据库中读取的初始目标检测结果， 或者是接收的初始目标检测结果， 还可以是直接从图像中检测图像目标得到的图像检测结 果等。 说明书 5/15 页 9 CN 110796659 A 9 0101 S102、 将所述初始目标检测结果划分为图像单元序列， 并根据所述图像单元序列 提取所述初始目标检测结果的内部结构特征； 0102 上。

31、述的图像单元序列， 是指对图像进行单元区域划分得到图像单元， 并将图像单 元按照其在原图像中的位置排列得到的图像单元序列。 上述的内部结构特征， 是指表示图 像中的各个图像单元之间的相互结构关系的特征。 0103 可以理解， 将上述的初始目标检测结果划分为图像单元序列， 相当于划分出初始 目标检测结果的组成结构。 由于特定的初始目标检测结果内部的各个组成结构之间具有特 定的相互关系特征， 为了保留初始目标检测结果的组成结构之间原始的相互关系特征， 本 申请实施例设定在将初始目标检测结果划分为图像单元后， 一定要将图像单元按照其在原 图像中的位置关系排列成图像单元序列。 0104 在此基础上， 。

32、计算序列中的各个图像单元之间的相互关系， 即得到了初始目标检 测结果的内部结构之间的相互关系， 进一步将计算得到的相互关系特征化， 即可得到初始 目标检测结果的内部结构特征。 0105 作为一种示例性的实现方式， 当将初始目标检测结果划分为图像单元序列后， 在 根据图像单元序列提取初始目标检测结果的内部结构特征时， 可以借助模型来实现。 0106 将上述的图像单元序列输入预先训练好的特征提取模型， 得到初始目标检测结果 的内部结构特征。 其中， 该特征提取模型至少通过提取图像单元序列的各个图像单元之间 的结构关系特征训练得到， 使其能够准确地提取到输入的图像单元序列的各图像单元之间 的结构关系。

33、特征。 该特征提取模型的具体结构可采用常见的人工智能算法结构， 例如可采 用CNN、 RNN等神经网络结构。 0107 按照上述方案， 本申请实施例将获取的初始目标检测结果划分为图像单元序列， 并根据图像单元序列的各部分之间的相互关系， 计算得到初始目标检测结果的内部结构特 征。 0108 可以理解， 当上述的初始目标检测结果为二维图像时， 可以对初始目标检测结果 按照行和列进行图像区域划分得到二维图像块， 再将二维图像块按照其在原图像中的位置 进行排列， 即可得到二维图像块序列。 对二维图像块序列进行各图像块之间的结构关系特 征提取， 例如将二维图像块序列输入预先训练好的特征提取模型， 即可。

34、得到各二维图像块 之间的结构关系特征， 也就是得到了该初始目标检测结果的内部结构特征。 0109 示例性的， 当本申请实施例技术方案应用于三维立体的初始目标检测结果的鉴别 时， 例如应用于鉴别图2所示的肺部CT图像的肺结节检测结果是否为肺结节时， 此时上述的 初始目标检测结果为三维立体的初始目标检测结果， 即为从肺部CT图像中检测出的肺结节 所在的三维图像区域。 0110 此时， 将初始目标检测结果划分为图像单元序列时， 可以将初始目标检测结果划 分为二维图像序列， 即将三维立体的初始目标检测结果划分为二维平面图像序列。 0111 例如， 假设从上述的肺部CT图像中检肺结节得到肺结节所在的三维。

35、图像块(C*H* W)， 则当对该三维图像块划分图像单元时， 可将其划分成C帧H*W的二维平面图像， 将划分得 到的二维平面图像按照其在三维图像块中的位置进行排列， 即可得到二维平面图像序列。 0112 在将上述的三维立体的初始目标检测结果划分为二维图像序列后， 作为一种可选 的实现方式， 本申请实施例将上述的二维图像序列输入预先训练好的结构关系识别模型， 说明书 6/15 页 10 CN 110796659 A 10 提取得到初始目标检测结果的内部结构特征。 0113 其中， 上述结构关系识别模型至少通过提取三维图像目标样本的各二维图像帧之 间的关系特征训练得到。 0114 即， 本申请实施。

36、例预先训练结构关系识别模型， 用于提取三维的图像目标样本的 各二维图像帧之间的相互关系的特征。 0115 通过构建的结构关系识别模型不断提取三维图像目标样本的各二维图像帧之间 的关系特征对该结构关系识别模型进行训练， 直到该结构关系识别模型能够准确提取三维 图像目标样本的内部结构关系特征。 0116 此时， 将上述的二维图像序列所包含的每一帧二维平面图像作为一个时刻， 顺序 输入到该结构关系识别模型中， 由该模型对每帧二维平面图像进行特征提取， 同时对不同 帧间的关系进行建模， 从而提取得到二维图像序列的内部结构关系特征， 即得到三维立体 的初始目标检测结果的内部结构特征。 0117 作为一种。

37、示例性的实现方式， 上述的结构关系识别模型基于循环神经网络 (Recurrent Neural Network,RNN)训练得到， 即对RNN执行提取三维图像目标样本的各二 维图像帧之间的关系特征的训练过程， 使其具备提取三维图像的内部结构特征的能力， 作 为结构关系识别模型。 0118 示例性的， 本申请实施例基于双向长短期记忆网络BiLSTM训练得到上述的结构关 系识别模型。 0119 需要说明的是， 与常规序列学习的任务不同， 肺部CT图像的肺结节检测任务只有 一个输出， 因此RNN的输出模块只有一个节点， RNN中的建模单元可以是长短期记忆网络 (Long Short-Term Mem。

38、ory， LSTM)， 或者是门控循环单元(Gated Recurrent Unit， GRU)， 本 申请实施例不做严格限定。 为了对不同图像帧的特征进行整合， 本申请实施例采用如图3所 示的自注意力self-attention机制自动学习到不同图像帧的重要性， 可以大大提高整合后 特征的区分性。 0120 S103、 至少根据所述内部结构特征， 确定所述初始目标检测结果是否为图像目标。 0121 通常情况下， 不同的图像区域具有不同的内部结构特征。 例如图2所示的肺部CT图 像， 其中的肺结节图像区域的内部结构特征不同于正常图像区域的内部结构特征。 因此， 根 据初始目标检测结果的内部结构。

39、特征， 可以对初始目标检测结果进行识别， 通过识别初始 目标检测结果的内部结构特征是否符合图像目标的内部结构特征， 可以鉴别其是否为图像 目标。 0122 示例性的， 本申请实施例预先训练分类器， 通过对上述的内部结构特征进行分类， 确定初始目标检测结果是否为图像目标。 0123 其中， 上述的分类器至少根据图像目标样本的内部结构特征对图像目标样本进行 分类训练得到。 0124 该分类器可以实现对输入的内部结构特征进行分类， 当分类器将输入的初始目标 检测结果的内部结构特征分类为图像目标的内部结构特征类别时， 即可确定该初始目标检 测结果为图像目标。 0125 作为一种可选的实现方式， 本申请。

40、实施例将上述的结构关系识别模型和上述的分 类器联合设计及联合训练。 即上述的结构关系识别模型的输出层得到的初始目标检测结果 说明书 7/15 页 11 CN 110796659 A 11 的内部结构特征直接作为分类器的输入， 该结构关系识别模型和该分类器联合组成完整的 处理模型。 在该处理模型完成训练后， 即完成对上述的结构关系识别模型和分类器的联合 训练后， 将初始目标检测结果的图像单元序列输入该处理模型， 即可识别该初始目标检测 结果是否为图像目标。 0126 通过上述介绍可见， 本申请实施例提出的目标检测结果的鉴别方法， 将初始目标 检测结果划分为图像单元序列， 并且根据图像单元序列提取。

41、初始目标检测结果的内部结构 特征， 进而根据初始目标检测结果的内部结构特征确定初始目标检测结果是否为图像目 标。 该方法基于初始目标检测结果的内部结构对初始目标检测结果进行鉴别， 可以准确识 别初始目标检测结果是否为图像目标。 0127 作为一种可选的实现方式， 参见图4所示， 本申请另一实施例还公开了， 上述初始 目标检测结果的鉴别方法， 在获取初始目标检测结果后， 还包括： 0128 S402、 提取所述初始目标检测结果的表象特征。 0129 相应的， 在确定所述初始目标检测结果是否为图像目标时， 将上述的表象特征和 内部结构特征相结合使用， 共同用于确定初始目标检测结果是否为图像目标。 。

42、0130 即， 上述的至少根据所述内部结构特征， 确定所述初始目标检测结果是否为图像 目标， 具体为： 0131 S404、 根据所述表象特征和所述内部结构特征， 确定所述初始目标检测结果是否 为图像目标。 0132 上述初始目标检测结果的表象特征， 是指初始目标检测结果的外部结构特征， 例 如形状、 表面是否光滑、 是否有毛刺等。 0133 作为示例性的实现方式， 本申请实施例提取初始目标检测结果的类别特征和/或 征象特征， 作为初始目标检测结果的表象特征。 以提取肺部CT图像中的肺结节的表象特征 为例， 肺结节的类别即肺结节是良性结节或者是恶性结节等类别属性； 肺结节的征象特征 即肺结节是。

43、否具有毛刺等外部形状特征。 0134 其中， 图4所示的初始目标检测结果的鉴别方法中的步骤S401、 S403分别对应图1 所示的方法实施例中的步骤S101、 S102， 其具体内容请参见图1所示的方法实施例的内容， 此处不再赘述。 0135 作为一种示例性的实现方式， 本申请实施例在提取初始目标检测结果的表象特征 时， 将初始目标检测结果输入预先训练好的征象识别模型， 得到初始目标检测结果的表象 特征。 0136 其中， 上述征象识别模型至少通过提取图像目标样本的类别特征和/或征象特征 训练得到。 0137 示例性的， 上述征象识别模型基于卷积神经网络CNN训练得到， 即利用图像目标样 本对。

44、CNN进行单任务或多任务的学习训练， 使其提取图像目标样本的类别特征， 或者提取图 像目标样本的征象特征， 或者同时提取图像目标样本的类别特征和征象特征， 也就是同时 识别图像目标样本的类别与征象。 当卷积神经网络CNN可以准确提取得到图像目标样本的 类别特征和/或征象特征时， 结束对网络的训练， 该网络即可作为征象识别模型。 0138 将初始目标检测结果输入训练完成的征象识别模型， 由该模型提取得到初始目标 检测结果的类别特征和/或征象特征， 作为初始目标检测结果的表象特征。 说明书 8/15 页 12 CN 110796659 A 12 0139 当本申请实施例应用于对肺部CT图像的肺结节。

45、检测结果的表象特征提取时， 上述 的征象识别模型基于3D-CNN训练得到。 此时， 将标注类别和/或征象的肺结节图像样本输入 3D-CNN， 使3D-CNN识别肺结节的类别和/或征象， 当其可以准确识别肺结节的类别和/或征 象时， 即认为完成对3D-CNN的训练。 此时， 3D-CNN的输出层所输出的肺结节的类别特征和/ 或征象特征， 即为对输入的肺结节提取类别特征和/或征象特征的结果。 0140 需要说明的是， 在实际应用本申请实施例技术方案时， 上述的征象识别模型的结 构可以灵活选择， 例如当应用于对平面图像提取表象特征时， 该征象识别模型可以采用CNN 结构； 或者也可以采用RNN等模型。

46、结构实现。 0141 作为一种可选的实现方式， 上述根据所述表象特征和所述内部结构特征， 确定所 述初始目标检测结果是否为图像目标， 包括： 0142 将所述表象特征和所述内部结构特征输入预先训练好的分类器， 确定所述初始目 标检测结果是否为图像目标； 0143 其中， 所述分类器至少根据图像目标样本的表象特征和内部结构特征， 对所述图 像目标样本进行分类训练得到。 0144 本申请实施例通过初始目标检测结果的表象特征和内部结构特征鉴别初始目标 检测结果是否为图像目标时， 首先训练分类器根据图像目标样本的表象特征和内部结构特 征对图像目标样本进行分类， 使其能够准确地识别图像目标样本是否为图像。

47、目标。 0145 当通过上述的征象识别模型和结构关系识别模型分别提取到初始目标检测结果 的表象特征和内部结构特征后， 将特征输入预先训练好的分类器， 从而确定初始目标检测 结果是否为图像目标。 0146 对于上述的肺结节鉴别， 在实际场景中， 当医师人工鉴别机器从肺部CT图像中检 测出的肺结节是否为真实结节时， 会首先观察结节的表象， 例如观察结节的类别、 是否有毛 刺等征象， 然后上下翻动检测出的肺结节所在的CT图像图层， 通过观察检测出的肺结节与 周边组织的结构关系， 确定检测出的肺结节是否为真实结节。 0147 可以理解， 在人工鉴别肺结节时， 是通过识别肺结节的表象特征以及翻动图像查 。

48、看肺结节内部空间结构关系特征进行判断。 0148 在本申请实施例技术方案中， 对初始目标检测结果的鉴别是通过提取初始目标检 测结果的表象特征和内部结构特征来实现。 其中， 对应于上述的肺结节鉴别， 本申请实施例 提出的内部结构特征， 即肺结节所在CT图像区域的各二维平面图像之间的结构关系特征， 相当于人工翻动肺结节所在的CT图像图层观察肺结节与周边组织的结构关系； 而上述的表 象特征则与人工观察肺结节得到的肺结节表象特征一致。 0149 因此可以理解， 本申请实施例技术方案通过提取初始目标检测结果的表象特征和 内部结构特征来鉴别初始目标检测结果是否为图像目标， 实际上是模拟人工观察初始目标 检。

49、测结果的表象特征以及通过翻阅初始目标检测结果的各个图层确定其内部组织结构关 系， 进而判断初始目标检测结果是否为图像目标的操作过程。 因此， 本申请实施例技术方案 以最贴近人工操作的处理方式， 鉴别初始目标检测结果是否为图像目标， 具有实践基础， 并 且具有可实现性保证。 0150 可选的， 作为另一种实现方式， 本申请另一实施例公开了， 参见图5所示， 上述根据 所述表象特征和所述内部结构特征， 确定所述初始目标检测结果是否为图像目标， 包括： 说明书 9/15 页 13 CN 110796659 A 13 0151 S504、 分别对所述表象特征和所述内部结构特征进行正则化处理； 0152。

50、 以对从图2所示的肺部CT图像中检测出的肺结节为例， 假设征象识别模型的输出 层输出肺结节的表象特征F2(假设为C*H*W维， C,H,W分别表示3D-CNN的通道、 高度、 宽度)， 结构关系识别模型的输出层输出肺结节的内部结构特征F1(假设为T*HW维， T表示帧数， HW 则表示每帧2D影像特征被拉伸为一维)， 由于F1和F2可能具有不同的范围， 本申请实施例首 先对F1和F2进行L2-norm正则化处理， 然后执行步骤S505： 0153 S505、 将正则化处理后的所述表象特征和所述内部结构特征处理为相同尺度的特 征； 0154 通过对F1和F2进行尺度变换， 将两者处理为相同尺度的。