实例分割方法、装置、电子设备和存储介质.pdf

《实例分割方法、装置、电子设备和存储介质.pdf》由会员分享，可在线阅读，更多相关《实例分割方法、装置、电子设备和存储介质.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010142850.0 (22)申请日 2020.03.04 (71)申请人 北京三快在线科技有限公司 地址 100190 北京市海淀区北四环西路9号 2106-030 (72)发明人 王钰晴 (74)专利代理机构 北京市隆安律师事务所 11323 代理人 权鲜枝 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/13(2017.01) G06T 7/66(2017.01) G06K 9/46(2006.01) (54)发明名称 实例分割方法、 装。

2、置、 电子设备和存储介质 (57)摘要 本申请公开了实例分割方法、 装置、 电子设 备和存储介质。 所述方法包括： 基于一阶段网络 的主干网络， 分别生成图像的热力特征图、 尺寸 特征图、 形状特征图和全局显著性特征图； 根据 所述热力特征图确定实例的中心点； 从所述尺寸 特征图和所述形状特征图中分别提取出与所述 中心点对应的尺寸特征以及与所述中心点对应 的形状特征； 根据所述中心点以及提取出的尺寸 特征， 从所述全局显著性特征图中提取全局显著 性特征； 根据提取出的尺寸特征、 提取出的形状 特征以及提取出的全局显著性特征生成实例分 割结果。 有益效果在于， 利用中心点预测的方式 确定实例位置。

3、， 省去了无关点的计算， 提升了速 度； 并且能够在像素级别进行精细分割， 精度更 高。 权利要求书2页 说明书8页 附图3页 CN 111429463 A 2020.07.17 CN 111429463 A 1.一种计算机视觉任务中的实例分割方法， 包括： 基于一阶段网络的主干网络， 分别生成图像的热力特征图、 尺寸特征图、 形状特征图和 全局显著性特征图； 根据所述热力特征图确定实例的中心点； 从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点对应的尺寸特征以 及与所述中心点对应的形状特征； 根据所述中心点以及提取出的尺寸特征， 从所述全局显著性特征图中提取全局显著性 特征； 根据提。

4、取出的尺寸特征、 提取出的形状特征以及提取出的全局显著性特征生成实例分 割结果。 2.如权利要求1所述的方法， 其特征在于， 所述根据所述热力特征图确定实例的中心点 包括： 在所述热力特征图中提取局部最大响应点， 根据局部最大响应点的位置确定实例的中 心点位置。 3.如权利要求2所述的方法， 其特征在于， 所述根据局部最大响应点的位置确定实例的 中心点位置包括： 基于一阶段网络的主干网络， 生成所述图像的偏移特征图； 根据所述局部最大响应点的位置， 从所述偏移特征图中提取出相应的偏移特征； 根据所述局部最大响应点的位置以及所述偏移特征确定实例的中心点位置。 4.如权利要求1所述的方法， 其特征。

5、在于， 所述根据所述中心点位置以及提取出的尺寸 特征， 从所述全局显著性特征图中提取全局显著性特征包括： 根据所述中心点位置以及提取出的尺寸特征确定所述实例的占据区域； 从所述全局显著性特征图中裁剪出与所述占据区域对应的全局显著性特征。 5.如权利要求1所述的方法， 其特征在于， 所述根据提取出的尺寸特征、 提取出的形状 特征以及提取出的全局显著性特征生成实例分割结果包括： 根据提取出的尺寸特征和提取出的形状特征确定实例的轮廓特征； 根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。 6.如权利要求1-5中任一项所述的方法， 其特征在于， 所述主干网络为卷积神经网络。 7.如权利要求1-。

6、5中任一项所述的方法， 其特征在于， 各特征图具有相同的宽度和高 度。 8.一种计算机视觉任务中的实例分割装置， 包括： 特征图生成单元， 用于基于一阶段网络的主干网络， 分别生成图像的热力特征图、 尺寸 特征图、 形状特征图和全局显著性特征图； 中心点确定单元， 用于根据所述热力特征图确定实例的中心点； 特征提取单元， 用于从所述尺寸特征图和所述形状特征图中分别提取出与所述中心点 对应的尺寸特征以及与所述中心点对应的形状特征； 根据所述中心点以及提取出的尺寸特 征， 从所述全局显著性特征图中提取全局显著性特征； 实例分割单元， 用于根据提取出的尺寸特征、 提取出的形状特征以及提取出的全局显 。

7、著性特征生成实例分割结果。 权利要求书 1/2 页 2 CN 111429463 A 2 9.一种电子设备， 其中， 该电子设备包括： 处理器； 以及被安排成存储计算机可执行指 令的存储器， 所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述 的方法。 10.一种计算机可读存储介质， 其中， 所述计算机可读存储介质存储一个或多个程序， 所述一个或多个程序当被处理器执行时， 实现如权利要求1-7中任一项所述的方法。 权利要求书 2/2 页 3 CN 111429463 A 3 实例分割方法、 装置、 电子设备和存储介质 技术领域 0001 本申请涉及计算机视觉领域， 具体涉及实。

8、例分割方法、 装置、 电子设备和存储介 质。 背景技术 0002 高精地图构建过程中， 往往需要对图像进行识别， 例如区分挨在一起的不同交通 标志牌。 又例如， 自动驾驶场景下， 马路上距离较近的行人和车辆也需要进行区分。 0003 目前， 通常采用计算机视觉技术来完成上述任务。 但是仅靠语义分割无法完成此 类任务， 因此需要实例分割来区分不同的个体。 现有技术中往往采用二阶段(two-stage)类 型的神经网络来实现实例分割， 但是存在计算成本较大且速度较慢的问题。 发明内容 0004 鉴于上述问题， 提出了本申请以便提供一种克服上述问题或者至少部分地解决上 述问题的计算机视觉任务中的实例。

9、分割方法、 装置、 设备和存储介质。 0005 依据本申请的一个方面， 提供了一种计算机视觉任务中的实例分割方法， 包括： 基 于一阶段网络的主干网络， 分别生成图像的热力特征图、 尺寸特征图、 形状特征图和全局显 著性特征图； 根据所述热力特征图确定实例的中心点； 从所述尺寸特征图和所述形状特征 图中分别提取出与所述中心点对应的尺寸特征以及与所述中心点对应的形状特征； 根据所 述中心点以及提取出的尺寸特征， 从所述全局显著性特征图中提取全局显著性特征； 根据 提取出的尺寸特征、 提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。 0006 可选地， 所述根据所述热力特征图确定实例的。

10、中心点包括： 在所述热力特征图中 提取局部最大响应点， 根据局部最大响应点的位置确定实例的中心点位置。 0007 可选地， 所述根据局部最大响应点的位置确定实例的中心点位置包括： 基于一阶 段网络的主干网络， 生成所述图像的偏移特征图； 根据所述局部最大响应点的位置， 从所述 偏移特征图中提取出相应的偏移特征； 根据所述局部最大响应点的位置以及所述偏移特征 确定实例的中心点位置。 0008 可选地， 所述根据所述中心点位置以及提取出的尺寸特征， 从所述全局显著性特 征图中提取全局显著性特征包括： 根据所述中心点位置以及提取出的尺寸特征确定所述实 例的占据区域； 从所述全局显著性特征图中裁剪出与。

11、所述占据区域对应的全局显著性特 征。 0009 可选地， 所述根据提取出的尺寸特征、 提取出的形状特征以及提取出的全局显著 性特征生成实例分割结果包括： 根据提取出的尺寸特征和提取出的形状特征确定实例的轮 廓特征； 根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。 0010 可选地， 所述主干网络为卷积神经网络。 0011 可选地， 各特征图具有相同的宽度和高度。 0012 依据本申请的另一方面， 提供了一种计算机视觉任务中的实例分割装置， 包括： 特 说明书 1/8 页 4 CN 111429463 A 4 征图生成单元， 用于基于一阶段网络的主干网络， 分别生成图像的热力特征图、 。

12、尺寸特征 图、 形状特征图和全局显著性特征图； 中心点确定单元， 用于根据所述热力特征图确定实例 的中心点； 特征提取单元， 用于从所述尺寸特征图和所述形状特征图中分别提取出与所述 中心点对应的尺寸特征以及与所述中心点对应的形状特征； 根据所述中心点以及提取出的 尺寸特征， 从所述全局显著性特征图中提取全局显著性特征； 实例分割单元， 用于根据提取 出的尺寸特征、 提取出的形状特征以及提取出的全局显著性特征生成实例分割结果。 0013 可选地， 所述中心点确定单元， 用于在所述热力特征图中提取局部最大响应点， 根 据局部最大响应点的位置确定实例的中心点位置。 0014 可选地， 所述特征图生成。

13、单元， 用于基于一阶段网络的主干网络， 生成所述图像的 偏移特征图； 所述特征提取单元， 用于根据所述局部最大响应点的位置， 从所述偏移特征图 中提取出相应的偏移特征； 根据所述局部最大响应点的位置以及所述偏移特征确定实例的 中心点位置。 0015 可选地， 所述特征提取单元， 用于根据所述中心点位置以及提取出的尺寸特征确 定所述实例的占据区域； 从所述全局显著性特征图中裁剪出与所述占据区域对应的全局显 著性特征。 0016 可选地， 所述实例分割单元， 用于根据提取出的尺寸特征和提取出的形状特征确 定实例的轮廓特征； 根据所述轮廓特征与提取出的全局显著性特征生成实例的掩模。 0017 可选地。

14、， 所述主干网络为卷积神经网络。 0018 可选地， 各特征图具有相同的宽度和高度。 0019 依据本申请的又一方面， 提供了一种电子设备， 包括： 处理器； 以及被安排成存储 计算机可执行指令的存储器， 所述可执行指令在被执行时使所述处理器执行如上述任一所 述的方法。 0020 依据本申请的再一方面， 提供了一种计算机可读存储介质， 其中， 所述计算机可读 存储介质存储一个或多个程序， 所述一个或多个程序当被处理器执行时， 实现如上述任一 所述的方法。 0021 由上述可知， 本申请提出了一种基于一阶段(one-stage)的实例分割方案。 能够基 于一阶段网络的主干网络， 分别生成图像的热。

15、力特征图、 尺寸特征图、 形状特征图和全局显 著性特征图， 根据热力特征图确定实例的中心点， 从尺寸特征图和形状特征图中分别提取 出与中心点对应的尺寸特征以及与中心点对应的形状特征， 根据中心点以及提取出的尺寸 特征， 从全局显著性特征图中提取全局显著性特征， 根据提取出的尺寸特征、 提取出的形状 特征以及提取出的全局显著性特征生成实例分割结果。 有益效果在于， 利用中心点预测的 方式确定实例位置， 省去了无关点的计算， 提升了速度； 并且能够在像素级别进行精细分 割， 精度更高。 0022 上述说明仅是本申请技术方案的概述， 为了能够更清楚了解本申请的技术手段， 而可依照说明书的内容予以实施。

16、， 并且为了让本申请的上述和其它目的、 特征和优点能够 更明显易懂， 以下特举本申请的具体实施方式。 附图说明 0023 通过阅读下文优选实施方式的详细描述， 各种其他的优点和益处对于本领域普通 说明书 2/8 页 5 CN 111429463 A 5 技术人员将变得清楚明了。 附图仅用于示出优选实施方式的目的， 而并不认为是对本申请 的限制。 而且在整个附图中， 用相同的参考符号表示相同的部件。 在附图中： 0024 图1示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割方法的流 程示意图； 0025 图2示出了根据本申请一个实施例的一种实例分割方法的流程示意图； 0026 图3示出。

17、了根据本申请一个实施例的一种计算机视觉任务中的实例分割装置的结 构示意图； 0027 图4示出了根据本申请一个实施例的电子设备的结构示意图； 0028 图5示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。 具体实施方式 0029 掩模-区域卷积神经网络(Mask-RCNN)是一种有代表性的二阶段实例分割网络。 该 方案需要先进行感兴趣区域(ROI框)的预测， 产生大量无意义的框， 然后再进行分割， 计算 成本较大且速度较慢。 0030 张量-掩模(TensorMask)则是一种一阶段实例分割方案， 该方案虽然不需要提前 进行框的预测， 但由于需要在每个点上预测一个掩模(mask)，。

18、 也较为耗时。 0031 极坐标掩模(PolarMask)也是一种一阶段实例分割方案， 该方案也是不依赖提前 提取的ROI直接预测mask， 但是该方案将mask建模为从中心点出发的几条射线构成的多边 形结构， 无法精细的描述物体的轮廓。 0032 有鉴于此， 本申请的技术方案采用了一阶段网络进行实例分割， 将实例分割拆成 两个部分： 一部分是基于中心点进行较为粗糙的轮廓特征预测， 以区分不同的实例； 另一部 分则是通过全局显著性在来实现像素级别的精细分割。 0033 下面将参照附图更详细地描述本申请的示例性实施例。 虽然附图中显示了本申请 的示例性实施例， 然而应当理解， 可以以各种形式实现。

19、本申请而不应被这里阐述的实施例 所限制。 相反， 提供这些实施例是为了能够更透彻地理解本申请， 并且能够将本申请的范围 完整的传达给本领域的技术人员。 0034 图1示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割方法的流 程示意图。 如图1所示， 该方法包括： 0035 步骤S110， 基于一阶段网络的主干网络， 分别生成图像的热力特征图、 尺寸特征 图、 形状特征图和全局显著性特征图。 0036 具体地， 主干网络可以是卷积神经网络， 执行包含多个分支任务。 0037 其中， 热力特征图(heatmap)的通道数量可以是实例的类别数量。 本申请的技术方 案可以应用于各类需要计算机。

20、视觉任务作为技术支持的场景， 包括但不限于高精建图的交 通标志识别， 自动驾驶的障碍物检测、 监控的目标检测等等， 进一步可应用到快递物流、 外 卖送餐等实际业务场景中。 因此， 该方案既可以在线使用， 也可以离线使用。 0038 相对应地， 要分割的实例与场景有关， 比如自动驾驶场景下， 需要将行人及车辆分 别作为实例进行分割， 即使是同一类型的车辆也需要分割成多个实例。 0039 尺寸特征用于表征实例的大小， 尺寸通常体现为宽和高， 尺寸特征图的通道数可 以为2； 形状特征则用于表征实例的形状， 形状特征图的通道数可以与面积有关。 全局显著 说明书 3/8 页 6 CN 111429463。

21、 A 6 性特征图可以具体表现为一张单通道的灰度图像， 以灰度值表征原图像中像素点的全局显 著性。 0040 步骤S120， 根据热力特征图确定实例的中心点。 一般地， 一个实例对应一个中心 点。 这样相较于预先选出多个ROI的做法， 大大减少了对无关区域的涉及， 从而减小候选的 计算量。 0041 特征图与原图像具有对应关系， 确定了中心点也就相当于分别确定了特征图以及 原图像中指定点的位置。 0042 步骤S130， 从尺寸特征图和形状特征图中分别提取出与中心点对应的尺寸特征以 及与中心点对应的形状特征。 0043 步骤S140， 根据中心点以及提取出的尺寸特征， 从全局显著性特征图中提取。

22、全局 显著性特征。 0044 步骤S150， 根据提取出的尺寸特征、 提取出的形状特征以及提取出的全局显著性 特征生成实例分割结果。 0045 可见， 图1所示的方法， 利用中心点预测的方式确定实例位置， 省去了无关点的计 算， 提升了速度； 并且不同于PolarMask采用极坐标系建模实例Mask的方式， 本申请通过提 取更多特征， 在像素级别进行精细分割， 精度更高。 0046 在本申请的一个实施例中， 上述方法中， 根据热力特征图确定实例的中心点包括： 在热力特征图中提取局部最大响应点， 根据局部最大响应点的位置确定实例的中心点位 置。 0047 Heatmap中， 一般每个热度较高的区。

23、域对应一个实例， 但本申请在使用heatmap时 并不直接根据它来得到一个实例的占据区域， 而是仅得到一个与实例对应的点， 再通过与 其他特征相互配合来确定实例的占据区域。 0048 因此， 本申请采用计算局部响应的方式， 通过提取局部最大响应点来确定实例的 中心点位置。 0049 将局部最大响应点当作是实例中心点是一种虽可行但精度并不高的方式， 因此在 本申请的一个实施例中， 上述方法中， 根据局部最大响应点的位置确定实例的中心点位置 包括： 基于一阶段网络的主干网络， 生成图像的偏移特征图； 根据局部最大响应点的位置， 从偏移特征图中提取出相应的偏移特征； 根据局部最大响应点的位置以及偏移。

24、特征确定实 例的中心点位置。 0050 偏移特征与热力特征相互配合， 能够进一步确保中心点的精度， 偏移特征可以具 体是一个位置偏移量offset。 0051 在本申请的一个实施例中， 上述方法中， 根据中心点位置以及提取出的尺寸特征， 从全局显著性特征图中提取全局显著性特征包括： 根据中心点位置以及提取出的尺寸特征 确定实例的占据区域； 从全局显著性特征图中裁剪出与占据区域对应的全局显著性特征。 0052 例如， 确定中心点坐标为(30， 50)， 尺寸特征为1616(高宽)， 则占据区域为以 (24， 44)， (24， 56)， (36， 44)以及(36， 56)为四个顶点的矩形。 0。

25、053 在本申请的实施例中， 如果各特征图尺寸不同， 那么在根据一个特征图中的点去 另一特征图提取特征时， 还需要进行变换， 较为不便， 因此在本申请的一个实施例中， 上述 方法中， 各特征图具有相同的宽度和高度。 说明书 4/8 页 7 CN 111429463 A 7 0054 这样在确定了中心点后， 就相当于一次性确定了各特征图中的中心点， 可以方便 地进行相应特征的提取。 0055 在本申请的一个实施例中， 上述方法中， 根据提取出的尺寸特征、 提取出的形状特 征以及提取出的全局显著性特征生成实例分割结果包括： 根据提取出的尺寸特征和提取出 的形状特征确定实例的轮廓特征； 根据轮廓特征。

26、与提取出的全局显著性特征生成实例的掩 模。 0056 形状特征可以描述该点存在物体的形状， 尺寸特征可以描述该点存在物体的大 小， 因此二者结合起来就可以确定实例的轮廓特征。 然后可以选用将轮廓特征与提取出的 全局显著性特征相乘的方式， 生成实例的掩模mask。 0057 图2示出了根据本申请一个实施例的一种实例分割方法的流程示意图。 如图2所 示， 图像在输入到主干网络后， 通过五个分支分别输出全局显著性Saliency特征图、 形状 Shape特征图、 尺寸Size特征图、 热力heatmap特征图以及偏移Offset特征图。 这些特征图都 具有相同的高度和宽度， 因此位置可以一一对应， 。

27、方便运算。 0058 接下来， 先在热力特征图上提取局部最大响应， 获取其对应位置点， 结合该位置点 和偏移特征图对应位置上的点的值， 确定实例的中心点， 以进行后续特征的提取。 0059 然后， 在形状特征图中提取中心点对应位置的形状特征， 将其作为该点存在物体 (即要分割的实例)的形状。 在尺寸特征图中提取中心点对应位置的尺寸特征， 将其作为该 点存在物体的大小。 以上两个信息结合起来得到轮廓特征。 0060 再然后， 在全局显著性特征图中利用中心点的对应位置以及确定的实例大小进行 剪切， 得到全局显著性特征。 0061 最后， 将中心点的轮廓特征与全局显著性特征相乘， 作为最终预测的实例。

28、分割结 果mask。 图中的 “person(人)” 、“bench(长椅)” 代表实例的类别。 0062 图3示出了根据本申请一个实施例的一种计算机视觉任务中的实例分割装置的结 构示意图。 如图3所示， 计算机视觉任务中的实例分割装置300包括： 0063 特征图生成单元310， 用于基于一阶段网络的主干网络， 分别生成图像的热力特征 图、 尺寸特征图、 形状特征图和全局显著性特征图。 0064 具体地， 主干网络可以是卷积神经网络， 执行包含多个分支任务。 0065 其中， 热力特征图(heatmap)的通道数量可以是实例的类别数量。 本申请的技术方 案可以应用于各类需要计算机视觉任务作为。

29、技术支持的场景， 包括但不限于高精建图的交 通标志识别， 自动驾驶的障碍物检测、 监控的目标检测等等， 进一步可应用到快递物流、 外 卖送餐等实际业务场景中。 因此， 该方案既可以在线使用， 也可以离线使用。 0066 相对应地， 要分割的实例与场景有关， 比如自动驾驶场景下， 需要将行人及车辆分 别作为实例进行分割， 即使是同一类型的车辆也需要分割成多个实例。 0067 尺寸特征用于表征实例的大小， 尺寸通常体现为宽和高， 尺寸特征图的通道数可 以为2； 形状特征则用于表征实例的形状， 形状特征图的通道数可以与面积有关。 全局显著 性特征图可以具体表现为一张单通道的灰度图像， 以灰度值表征原。

30、图像中像素点的全局显 著性。 0068 中心点确定单元320， 用于根据热力特征图确定实例的中心点。 0069 一般地， 一个实例对应一个中心点。 这样相较于预先选出多个ROI的做法， 大大减 说明书 5/8 页 8 CN 111429463 A 8 少了对无关区域的涉及， 从而减小候选的计算量。 0070 特征图与原图像具有对应关系， 确定了中心点也就相当于分别确定了特征图以及 原图像中指定点的位置。 0071 特征提取单元330， 用于从尺寸特征图和形状特征图中分别提取出与中心点对应 的尺寸特征以及与中心点对应的形状特征； 根据中心点以及提取出的尺寸特征， 从全局显 著性特征图中提取全局显。

31、著性特征。 0072 实例分割单元340， 用于根据提取出的尺寸特征、 提取出的形状特征以及提取出的 全局显著性特征生成实例分割结果。 0073 可见， 图3所示的装置， 利用中心点预测的方式确定实例位置， 省去了无关点的计 算， 提升了速度； 并且不同于PolarMask采用极坐标系建模实例Mask的方式， 本申请通过提 取更多特征， 在像素级别进行精细分割， 精度更高。 0074 在本申请的一个实施例中， 上述装置中， 中心点确定单元320， 用于在热力特征图 中提取局部最大响应点， 根据局部最大响应点的位置确定实例的中心点位置。 0075 Heatmap中， 一般每个热度较高的区域对应一。

32、个实例， 但本申请在使用heatmap时 并不直接根据它来得到一个实例的占据区域， 而是仅得到一个与实例对应的点， 再通过与 其他特征相互配合来确定实例的占据区域。 0076 因此， 本申请采用计算局部响应的方式， 通过提取局部最大响应点来确定实例的 中心点位置。 0077 将局部最大响应点当作是实例中心点是一种虽可行但精度并不高的方式， 因此在 本申请的一个实施例中， 上述装置中， 中心点确定单元320， 用于基于一阶段网络的主干网 络， 生成图像的偏移特征图； 根据局部最大响应点的位置， 从偏移特征图中提取出相应的偏 移特征； 根据局部最大响应点的位置以及偏移特征确定实例的中心点位置。 0。

33、078 偏移特征与热力特征相互配合， 能够进一步确保中心点的精度， 偏移特征可以具 体是一个位置偏移量offset。 0079 在本申请的一个实施例中， 上述装置中， 特征提取单元330， 用于根据中心点位置 以及提取出的尺寸特征确定实例的占据区域； 从全局显著性特征图中裁剪出与占据区域对 应的全局显著性特征。 0080 例如， 确定中心点坐标为(30， 50)， 尺寸特征为1616(高宽)， 则占据区域为以 (24， 44)， (24， 56)， (36， 44)以及(36， 56)为四个顶点的矩形。 0081 在本申请的实施例中， 如果各特征图尺寸不同， 那么在根据一个特征图中的点去 另一。

34、特征图提取特征时， 还需要进行变换， 较为不便， 因此在本申请的一个实施例中， 上述 方法中， 各特征图具有相同的宽度和高度。 0082 这样在确定了中心点后， 就相当于一次性确定了各特征图中的中心点， 可以方便 地进行相应特征的提取。 0083 在本申请的一个实施例中， 上述装置中， 实例分割单元340， 用于根据提取出的尺 寸特征和提取出的形状特征确定实例的轮廓特征； 根据轮廓特征与提取出的全局显著性特 征生成实例的掩模。 0084 形状特征可以描述该点存在物体的形状， 尺寸特征可以描述该点存在物体的大 小， 因此二者结合起来就可以确定实例的轮廓特征。 然后可以选用将轮廓特征与提取出的 说。

35、明书 6/8 页 9 CN 111429463 A 9 全局显著性特征相乘的方式， 生成实例的掩模mask。 0085 综上所述， 本申请提出了一种基于一阶段(one-stage)的实例分割方案。 能够基于 一阶段网络的主干网络， 分别生成图像的热力特征图、 尺寸特征图、 形状特征图和全局显著 性特征图， 根据热力特征图确定实例的中心点， 从尺寸特征图和形状特征图中分别提取出 与中心点对应的尺寸特征以及与中心点对应的形状特征， 根据中心点以及提取出的尺寸特 征， 从全局显著性特征图中提取全局显著性特征， 根据提取出的尺寸特征、 提取出的形状特 征以及提取出的全局显著性特征生成实例分割结果。 有。

36、益效果在于， 利用中心点预测的方 式确定实例位置， 省去了无关点的计算， 提升了速度； 并且能够在像素级别进行精细分割， 精度更高。 0086 需要说明的是： 0087 在此提供的算法和显示不与任何特定计算机、 虚拟装置或者其它设备固有相关。 各种通用装置也可以与基于在此的示教一起使用。 根据上面的描述， 构造这类装置所要求 的结构是显而易见的。 此外， 本申请也不针对任何特定编程语言。 应当明白， 可以利用各种 编程语言实现在此描述的本申请的内容， 并且上面对特定语言所做的描述是为了披露本申 请的最佳实施方式。 0088 在此处所提供的说明书中， 说明了大量具体细节。 然而， 能够理解， 本。

37、申请的实施 例可以在没有这些具体细节的情况下实践。 在一些实例中， 并未详细示出公知的方法、 结构 和技术， 以便不模糊对本说明书的理解。 0089 类似地， 应当理解， 为了精简本申请并帮助理解各个发明方面中的一个或多个， 在 上面对本申请的示例性实施例的描述中， 本申请的各个特征有时被一起分组到单个实施 例、 图、 或者对其的描述中。 然而， 并不应将该公开的方法解释成反映如下意图： 即所要求保 护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。 更确切地说， 如下面 的权利要求书所反映的那样， 发明方面在于少于前面公开的单个实施例的所有特征。 因此， 遵循具体实施方式的权利要求。

38、书由此明确地并入该具体实施方式， 其中每个权利要求本身 都作为本申请的单独实施例。 0090 本领域那些技术人员可以理解， 可以对实施例中的设备中的模块进行自适应性地 改变并且把它们设置在与该实施例不同的一个或多个设备中。 可以把实施例中的模块或单 元或组件组合成一个模块或单元或组件， 以及此外可以把它们分成多个子模块或子单元或 子组件。 除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外， 可以采用任何 组合对本说明书(包括伴随的权利要求、 摘要和附图)中公开的所有特征以及如此公开的任 何方法或者设备的所有过程或单元进行组合。 除非另外明确陈述， 本说明书(包括伴随的权 利要求、 摘。

39、要和附图)中公开的每个特征可以由提供相同、 等同或相似目的的替代特征来代 替。 0091 此外， 本领域的技术人员能够理解， 尽管在此所述的一些实施例包括其它实施例 中所包括的某些特征而不是其它特征， 但是不同实施例的特征的组合意味着处于本申请的 范围之内并且形成不同的实施例。 例如， 在下面的权利要求书中， 所要求保护的实施例的任 意之一都可以以任意的组合方式来使用。 0092 本申请的各个部件实施例可以以硬件实现， 或者以在一个或者多个处理器上运行 的软件模块实现， 或者以它们的组合实现。 本领域的技术人员应当理解， 可以在实践中使用 说明书 7/8 页 10 CN 111429463 A。

40、 10 微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的计算机视觉任务中的实例 分割装置中的一些或者全部部件的一些或者全部功能。 本申请还可以实现为用于执行这里 所描述的方法的一部分或者全部的设备或者装置程序(例如， 计算机程序和计算机程序产 品)。 这样的实现本申请的程序可以存储在计算机可读介质上， 或者可以具有一个或者多个 信号的形式。 这样的信号可以从因特网网站上下载得到， 或者在载体信号上提供， 或者以任 何其他形式提供。 0093 例如， 图4示出了根据本申请一个实施例的电子设备的结构示意图。 具体到自动驾 驶场景， 该电子设备可以为自动驾驶设备。 该电子设备400包括处。

41、理器410和被安排成存储 计算机可执行指令(计算机可读程序代码)的存储器420。 存储器420可以是诸如闪存、 EEPROM(电可擦除可编程只读存储器)、 EPROM、 硬盘或者ROM之类的电子存储器。 存储器420 具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码431的存储空间430。 例如， 用于存储计算机可读程序代码的存储空间430可以包括分别用于实现上面的方法中 的各种步骤的各个计算机可读程序代码431。 计算机可读程序代码431可以从一个或者多个 计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。 这些计算机程序产 品包括诸如硬盘， 紧致盘(CD)、 存储卡。

42、或者软盘之类的程序代码载体。 这样的计算机程序产 品通常为例如图5所述的计算机可读存储介质。 0094 图5示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。 该 计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码 431， 可以被电子设备400的处理器410读取， 当计算机可读程序代码431由电子设备400运行 时， 导致该电子设备400执行上面所描述的方法中的各个步骤， 具体来说， 该计算机可读存 储介质存储的计算机可读程序代码431可以执行上述任一实施例中示出的方法。 计算机可 读程序代码431可以以适当形式进行压缩。 0095 应该注意的是上述。

43、实施例对本申请进行说明而不是对本申请进行限制， 并且本领 域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。 在权利要求中， 不应将位于括号之间的任何参考符号构造成对权利要求的限制。 单词 “包含” 不排除存在未 列在权利要求中的元件或步骤。 位于元件之前的单词 “一” 或 “一个” 不排除存在多个这样的 元件。 本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实 现。 在列举了若干装置的单元权利要求中， 这些装置中的若干个可以是通过同一个硬件项 来具体体现。 单词第一、 第二、 以及第三等的使用不表示任何顺序。 可将这些单词解释为名 称。 说明书 8/8 页 11 CN 111429463 A 11 图1 说明书附图 1/3 页 12 CN 111429463 A 12 图2 图3 说明书附图 2/3 页 13 CN 111429463 A 13 图4 图5 说明书附图 3/3 页 14 CN 111429463 A 14 。