图片语义分割半自动标注方法及装置.pdf

《图片语义分割半自动标注方法及装置.pdf》由会员分享，可在线阅读，更多相关《图片语义分割半自动标注方法及装置.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910430851.2 (22)申请日 2019.05.22 (71)申请人 湖北亿咖通科技有限公司 地址 430056 湖北省武汉市经济开发区神 龙大道18号太子湖文化数字产业园创 谷启动区C101号 (72)发明人 杨文龙P尼古拉斯 (74)专利代理机构 北京智汇东方知识产权代理 事务所(普通合伙) 11391 代理人 康正德关艳芬 (51)Int.Cl. G06T 7/11(2017.01) G06K 9/62(2006.01) (54)发明名称 一种图片语义分割半自。

2、动标注方法及装置 (57)摘要 本发明提供了一种图片语义分割半自动标 注方法及装置， 该方法包括获取包含多帧图片的 一组图像， 从获取到的图像中选择第一帧图片； 将第一帧图片语义分割为多个图像块， 接收标注 人员对第一帧图片中的各图像块的类别标注操 作； 将第一帧图片作为初始图片， 将多帧图片中 与初始图片相邻的下一帧图片作为被跟踪图片， 采用预设跟踪算法在被跟踪图片中跟踪与带有 标注类别的图像块对应的图像区域， 将跟踪到的 图像区域标注为相应类别； 以当前标注后的被跟 踪图片作为新的初始图片， 继续对新的初始图片 相邻的被跟踪图片采用预设跟踪算法进行跟踪 标注， 直到多帧图片均标注完成。 本。

3、发明能够有 效提升标注效率， 降低人工标注成本。 权利要求书2页 说明书9页 附图4页 CN 110189333 A 2019.08.30 CN 110189333 A 1.一种图片语义分割半自动标注方法， 包括： 获取包含多帧图片的一组图像， 从获取到的图像中选择第一帧图片； 将所述第一帧图片语义分割为多个图像块， 接收标注人员对所述第一帧图片中的各图 像块的类别标注操作； 将所述第一帧图片作为初始图片， 将所述多帧图片中与初始图片相邻的下一帧图片作 为被跟踪图片， 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应 的图像区域， 将跟踪到的图像区域标注为相应类别； 以当前标注。

4、后的被跟踪图片作为新的初始图片， 继续对新的初始图片相邻的被跟踪图 片采用预设跟踪算法进行跟踪标注， 直到所述多帧图片均标注完成。 2.根据权利要求1所述的方法， 其中， 还包括： 在任一次对所述被跟踪图片标注之后， 判断所述被跟踪图片的标注结果中是否存在标 注错误； 若是， 展示对所述被跟踪图片进行标注修改的多种修改方式选项； 接收所述标注人员选择的任一选项， 依据被选择选项对应的修改方式对所述被跟踪图 片进行标注修改。 3.根据权利要求2所述的方法， 其中， 对所述被跟踪图片进行标注修改的多种修改方式 选项， 包括： 对所述被跟踪图片进行人工标注修改的选项； 对所述被跟踪图片进行重新跟踪标。

5、注的选项。 4.根据权利要求1-3任一项所述的方法， 其中， 将所述第一帧图片语义分割为多个图像 块， 接收标注人员对所述第一帧图片中的各图像块的类别标注操作， 包括： 将所述第一帧图片语义分割为多个多边形块作为所述图像块； 接收标注人员对所述第一帧图片中任意多边形块的类别标注操作。 5.根据权利要求1-3任一项所述的方法， 其中， 将所述第一帧图片语义分割为多个图像 块， 接收标注人员对所述第一帧图片中的各图像块的类别标注操作， 包括： 将所述第一帧图片语义分割为多个超像素块作为所述图像块； 接收标注人员对所述第一帧图片中任意超像素块的类别标注操作。 6.根据权利要求5所述的方法， 其中， 。

6、还包括： 将所述第一帧图片中标注类别相同的超 像素块合并为组合块； 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区 域， 将跟踪到的图像区域标注为相应类别包括： 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的组合块对应的图像区 域， 将跟踪到的图像区域标注为相应类别。 7.根据权利要求5所述的方法， 其中， 还包括： 在所述第一帧图片中的每一标注类别的 超像素块中选择典型超像素块， 所述典型超像素块周边包含多个属于同一标注类别的超像 素块； 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图像区 域， 将跟踪到的图像区域标注为相应类别包括： 。

7、采用预设跟踪算法在所述被跟踪图片中跟踪与所述典型超像素块对应的图像区域， 将 权利要求书 1/2 页 2 CN 110189333 A 2 跟踪到的图像区域标注为相应类别； 接收标注人员以标注类别后的典型超像素块为基准的连续选取操作， 将连续选取操作 对应的超像素块标注为与典型超像素块类别相同的类别。 8.根据权利要求1-3任一项所述的方法， 其中， 还包括： 若所述被跟踪图片中还存在未跟踪到的图像区域， 按照预设聚类算法将未跟踪到的图 像区域与所述被跟踪图片中标注类别后的图像块进行聚类； 依据与所述未跟踪到的图像区域属于同一聚类的图像块的类别， 对所述未跟踪到的图 像区域进行类别标注。 9.。

8、一种图片语义分割半自动标注装置， 包括： 选取模块， 适于获取包含多帧图片的一组图像， 从获取到的图像中选择第一帧图片； 分割标注模块， 适于将所述第一帧图片语义分割为多个图像块， 接收标注人员对所述 第一帧图片中的各图像块的类别标注操作； 跟踪标注模块， 适于将所述第一帧图片作为初始图片， 将所述多帧图片中与初始图片 相邻的下一帧图片作为被跟踪图片， 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标 注类别的图像块对应的图像区域， 将跟踪到的图像区域标注为相应类别； 所述跟踪标注模块， 还适于以当前标注后的被跟踪图片作为新的初始图片， 继续对新 的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟。

9、踪标注， 直到所述多帧图片均标注 完成。 10.一种计算机存储介质， 所述计算机存储介质存储有计算机程序代码， 当所述计算机 程序代码在计算设备上运行时， 导致所述计算设备执行权利要求1-8任一项所述的图片语 义分割半自动标注方法。 权利要求书 2/2 页 3 CN 110189333 A 3 一种图片语义分割半自动标注方法及装置 技术领域 0001 本发明涉及图像处理技术领域， 特别是涉及一种图片语义分割半自动标注方法及 装置。 背景技术 0002 目前基于深度学习的目标检测和场景语义分割已经成为自动驾驶领域主要的视 觉感知方法。 其中， 语义分割可以针对输入的图片， 分割出图片中的路面、 。

10、汽车、 车道线等等 不同类别的内容， 其实质是针对图片中每一个像素点的分类。 0003 无论是基于深度学习的目标检测还是场景语义分割， 都需要涉及大量的图片和图 片标注操作， 特别是场景语义分割， 目前比较流行的分割方式是多边形分割方式， 但是这种 分割方式耗时耗力， 人工成本巨大， 而且标注的效果并不理想， 容易出现分割的物体边缘比 较粗糙等问题。 发明内容 0004 鉴于上述问题， 提出了本发明以便提供一种克服上述问题或者至少部分地解决上 述问题的图片语义分割半自动标注方法及装置。 0005 依据本发明一方面， 提供了一种图片语义分割半自动标注方法， 包括： 0006 获取包含多帧图片的一。

11、组图像， 从获取到的图像中选择第一帧图片； 0007 将所述第一帧图片语义分割为多个图像块， 接收标注人员对所述第一帧图片中的 各图像块的类别标注操作； 0008 将所述第一帧图片作为初始图片， 将所述多帧图片中与初始图片相邻的下一帧图 片作为被跟踪图片， 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块 对应的图像区域， 将跟踪到的图像区域标注为相应类别； 0009 以当前标注后的被跟踪图片作为新的初始图片， 继续对新的初始图片相邻的被跟 踪图片采用预设跟踪算法进行跟踪标注， 直到所述多帧图片均标注完成。 0010 可选地， 所述方法还包括： 0011 在任一次对所述被跟踪图片标。

12、注之后， 判断所述被跟踪图片的标注结果中是否存 在标注错误； 0012 若是， 展示对所述被跟踪图片进行标注修改的多种修改方式选项； 0013 接收所述标注人员选择的任一选项， 依据被选择选项对应的修改方式对所述被跟 踪图片进行标注修改。 0014 可选地， 对所述被跟踪图片进行标注修改的多种修改方式选项， 包括： 0015 对所述被跟踪图片进行人工标注修改的选项； 0016 对所述被跟踪图片进行重新跟踪标注的选项。 0017 可选地， 将所述第一帧图片语义分割为多个图像块， 接收标注人员对所述第一帧 图片中的各图像块的类别标注操作， 包括： 说明书 1/9 页 4 CN 110189333 。

13、A 4 0018 将所述第一帧图片语义分割为多个多边形块作为所述图像块； 0019 接收标注人员对所述第一帧图片中任意多边形块的类别标注操作。 0020 可选地， 将所述第一帧图片语义分割为多个图像块， 接收标注人员对所述第一帧 图片中的各图像块的类别标注操作， 包括： 0021 将所述第一帧图片语义分割为多个超像素块作为所述图像块； 0022 接收标注人员对所述第一帧图片中任意超像素块的类别标注操作。 0023 可选地， 所述方法还包括： 将所述第一帧图片中标注类别相同的超像素块合并为 组合块； 0024 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图 像区域， 将跟踪。

14、到的图像区域标注为相应类别包括： 0025 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的组合块对应的图 像区域， 将跟踪到的图像区域标注为相应类别。 0026 可选地， 所述方法还包括： 在所述第一帧图片中的每一标注类别的超像素块中选 择典型超像素块， 所述典型超像素块周边包含多个属于同一标注类别的超像素块； 0027 采用预设跟踪算法在所述被跟踪图片中跟踪与带有标注类别的图像块对应的图 像区域， 将跟踪到的图像区域标注为相应类别包括： 0028 采用预设跟踪算法在所述被跟踪图片中跟踪与所述典型超像素块对应的图像区 域， 将跟踪到的图像区域标注为相应类别； 0029 接收标注人员以标。

15、注类别后的典型超像素块为基准的连续选取操作， 将连续选取 操作对应的超像素块标注为与典型超像素块类别相同的类别。 0030 可选地， 将跟踪到的图像区域标注为相应类别之后， 还包括： 0031 接收标注人员以标注类别后的任意超像素块为基准的连续选取操作， 将连续选取 操作对应的超像素块标注为与基准超像素块类别相同的类别。 0032 可选地， 所述方法还包括： 0033 若所述被跟踪图片中还存在未跟踪到的图像区域， 按照预设聚类算法将未跟踪到 的图像区域与所述被跟踪图片中标注类别后的图像块进行聚类； 0034 依据与所述未跟踪到的图像区域属于同一聚类的图像块的类别， 对所述未跟踪到 的图像区域进。

16、行类别标注。 0035 依据本发明另一方面， 还提供了一种图片语义分割半自动标注装置， 包括： 0036 选取模块， 适于从预先采集的视频中按照指定图片帧数间隔依次选取多帧图片， 获取所述多帧图片中的第一帧图片； 0037 分割标注模块， 适于将所述第一帧图片语义分割为多个图像块， 接收标注人员对 所述第一帧图片中的各图像块的类别标注操作； 0038 跟踪标注模块， 适于将所述第一帧图片作为初始图片， 将所述多帧图片中与初始 图片相邻的下一帧图片作为被跟踪图片， 采用预设跟踪算法在所述被跟踪图片中跟踪与带 有标注类别的图像块对应的图像区域， 将跟踪到的图像区域标注为相应类别； 0039 所述跟。

17、踪标注模块， 还适于以当前标注后的被跟踪图片作为新的初始图片， 继续 对新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注， 直到所述多帧图片均 标注完成。 说明书 2/9 页 5 CN 110189333 A 5 0040 依据本发明另一方面， 还提供了一种计算机存储介质， 所述计算机存储介质存储 有计算机程序代码， 当所述计算机程序代码在计算设备上运行时， 导致所述计算设备执行 上文任意实施例所述的图片语义分割半自动标注方法。 0041 在本发明实施例中， 通过从获取的一组图像中选择第一帧图片， 并由标注人员对 第一帧图片中的各图像块进行类别标注之后， 将第一帧图片作为初始图片， 且。

18、将多帧图片 中与初始图片相邻的下一帧图片作为被跟踪图片， 从而采用预设跟踪算法在被跟踪图片中 跟踪与带有标注类别的图像块对应的图像区域， 将跟踪到的图像区域标注为相应类别。 进 而， 再次以当前标注后的被跟踪图片作为新的初始图片， 继续对新的初始图片相邻的被跟 踪图片采用预设跟踪算法进行跟踪标注， 直到多帧图片均标注完成。 由此， 本发明实施例对 于连续视频中的多帧图片， 可以基于已经标注类别的图片采用预设跟踪算法实现半自动的 图片语义分割标注， 不仅大大提高了对图片的标注效率， 还保证了图片标注的准确性。 特别 是对于在视频中依次采样的待标注图片中相邻的前后两张或者前后几张存在场景相似的 图。

19、片， 本发明方案极大地节省了重复或相似的人力标注成本。 0042 上述说明仅是本发明技术方案的概述， 为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施， 并且为了让本发明的上述和其它目的、 特征和优点能够 更明显易懂， 以下特举本发明的具体实施方式。 0043 根据下文结合附图对本发明具体实施例的详细描述， 本领域技术人员将会更加明 了本发明的上述以及其他目的、 优点和特征。 附图说明 0044 通过阅读下文优选实施方式的详细描述， 各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。 附图仅用于示出优选实施方式的目的， 而并不认为是对本发明 的限制。 而且在整个附图。

20、中， 用相同的参考符号表示相同的部件。 在附图中： 0045 图1示出了根据本发明一个实施例的图片语义分割半自动标注方法的流程示意 图； 0046 图2示出了根据本发明一个实施例的图片语义分割半自动标注装置的结构示意 图； 0047 图3示出了根据本发明另一个实施例的图片语义分割半自动标注装置的结构示意 图； 0048 图4示出了根据本发明再一个实施例的图片语义分割半自动标注装置的结构示意 图； 0049 图5示出了根据本发明又一个实施例的图片语义分割半自动标注装置的结构示意 图。 具体实施方式 0050 下面将参照附图更详细地描述本公开的示例性实施例。 虽然附图中显示了本公开 的示例性实施例。

21、， 然而应当理解， 可以以各种形式实现本公开而不应被这里阐述的实施例 所限制。 相反， 提供这些实施例是为了能够更透彻地理解本公开， 并且能够将本公开的范围 完整的传达给本领域的技术人员。 说明书 3/9 页 6 CN 110189333 A 6 0051 通常在对实际采集图片进行标注时， 先采集连续的视频， 然后从连续视频中间隔 一定帧数选取有一定差异的图片进行标注， 虽然对视频做了一定的间隔采样， 但通常摄像 头帧频较快， 且一般情况同一个摄像头在同一个场景下的一定时间内采集的图像不会有很 大差异， 因此同一段视频中经过间隔采样清理后的图片仍然存在很大相似性， 这无疑会给 图片标注工作带来。

22、的巨大的重复性工作。 为了有效地提高图片标注效率， 本发明实施例提 供了一种图片语义分割半自动标注方法。 图1示出了根据本发明一个实施例的图片语义分 割半自动标注方法的流程示意图。 参见图1， 该方法至少包括步骤S102至步骤S108。 0052 步骤S102， 获取包含多帧图片的一组图像， 从获取到的图像中选择第一帧图片。 0053 步骤S104， 将第一帧图片语义分割为多个图像块， 接收标注人员对第一帧图片中 的各图像块的类别标注操作。 0054 步骤S106， 将第一帧图片作为初始图片， 将多帧图片中与初始图片相邻的下一帧 图片作为被跟踪图片， 采用预设跟踪算法在被跟踪图片中跟踪与带有标。

23、注类别的图像块对 应的图像区域， 将跟踪到的图像区域标注为相应类别。 0055 步骤S108， 以当前标注后的被跟踪图片作为新的初始图片， 继续对新的初始图片 相邻的被跟踪图片采用预设跟踪算法进行跟踪标注， 直到多帧图片均标注完成。 0056 本发明实施例对于连续视频中的多帧图片， 先将其中的第一帧图片作为初始图 片， 与初始图片相邻的下一帧图片作为被跟踪图片， 通过在被跟踪图片中跟踪与带有标注 类别的图像块对应的图像区域， 以对跟踪到的图像区域进行类别标注。 然后再将刚标注完 成的被跟踪图片作为新的初始图片， 与新的初始图片相邻的下一帧图片作为新的被跟踪图 片， 通过在新的被跟踪图片中跟踪与。

24、新的初始图片中带有标注类别的图像块对应的图像区 域， 并对跟踪到的图像区域进行类别标注， 如此继续执行直到多帧图片均标注完成， 从而实 现了基于已经标注类别的图片采用预设跟踪算法进行半自动的图片语义分割标注， 不仅大 大提高了对图片的标注效率， 还保证了图片标注的准确性。 特别是对于在视频中依次采样 的图片中相邻的且存在场景相似的图片， 本发明方案可以极大地节省重复或相似的人力标 注成本。 0057 参见上文步骤S102， 在本发明一实施例中， 获取的包含多帧图片的一组图像可以 从预先采集的一段连续的视频中按照指定图片帧数间隔依次选取的多帧图片的组合。 其 中， 指定图片帧数可以是三帧、 五帧。

25、等等任意帧数， 目的是选取出视频中具有一定差异的图 片， 并进行相应的标注， 本发明实施例对指定图片帧数不做具体的限定。 另外需要说明的 是， 这里的第一帧图片不一定是完整视频的第一帧图片， 而是按照指定图片帧数间隔采样 选取的多帧图片中， 在视频时间上排列第一的图片。 0058 在本发明一实施例中， 在任一次对被跟踪图片标注之后， 还可以判断当前被标注 完成的图片的标注结果中是否存在标注错误。 若存在标注错误， 则可以展示对被跟踪图片 进行标注修改的多种修改方式选项。 继而通过接收标注人员选择的任一选项， 依据被选择 选项对应的修改方式对被跟踪图片进行标注修改。 0059 在该实施例中， 对。

26、被跟踪图片进行标注修改的多种修改方式选项可以包括对被跟 踪图片进行人工标注修改的选项、 对被跟踪图片进行重新跟踪标注的选项。 标注人员可以 根据需求进行相应的选择， 若标注结果中存在的标注错误较少， 则可以选择人工标注修改， 若标注结果中存在的标注错误较多， 则可以选择对被跟踪图片进行重新跟踪标注， 以减少 说明书 4/9 页 7 CN 110189333 A 7 标注人员标注修改的工作量。 0060 当然， 若通过判断得知标注结果中不存在标注错误， 那么如果获取的一组图像中 还存在未进行跟踪标注的图片， 那么继续对下一帧图片进行跟踪标注， 如果获取的一组图 像中的全部图片均标注过， 则可以将。

27、最终的标注结果进行展示。 0061 当对预先采集的视频中的多帧图片均标注完成之后， 还可以将标注的结果展示给 标注人员， 标注人员可以对标注结果进行检查， 如果经检测标注正确， 则标注完成， 如果存 在少量标注错误， 标注人员可以矫正错误部分， 无需重头对图片进行标注。 0062 具体的， 在对预先采集的视频中的多帧图片均标注完成之后， 展示跟踪图片的标 注结果， 并发出是否对标注结果进行修改的提示信息， 若接收到标注人员对标注结果的修 改指示， 依据修改指示对标注结果进行相应的修改操作。 0063 参见上文步骤S104， 在本发明一实施例中， 可以将第一帧图片语义分割为多个多 边形块作为图像。

28、块， 即将图片语义分割为多个多边形区域， 每个多边形区域定义为一个多 边形块， 并对应一个图像块。 进而， 可以接收标注人员对第一帧图片中任意多边形块的类别 标注操作。 0064 在本发明另一实施例中， 可以将第一帧图片语义分割为多个超像素块作为图像 块， 即将图片语义分割为多个超像素块， 每个多个超像素块作为一个图像块。 进而， 可以接 收标注人员对第一帧图片中任意超像素块的类别标注操作。 0065 当然， 本发明实施例也可以采用其他分割方式将第一帧图片分割为多个子单位以 作为图像块， 本发明实施例对此不做具体的限定。 0066 下面以超像素块作为图像块为例， 介绍对第一帧图片中的各图像块的。

29、类别标注的 过程。 0067 为了提高标注效率， 标注人员在对图片的超像素块进行标注过程中， 可以仅对图 片中的小部分超像素块进行标注， 而采用连续选取操作的方式实现对其他超像素块的统一 标注。 具体的， 首先， 接收标注人员对任意超像素块的类别标注操作， 并为任意超像素块分 配相应的标注类别。 然后， 标注人员以已标注类别的超像素块为基准的连续选取操作， 将连 续选取操作对应的超像素块标注为与基准超像素块类别相同的类别。 并且， 当监测到连续 选取操作对应的超像素块形成闭环时， 还可以将闭环以内的超像素块标注为与选取操作对 应超像素块类别相同的类别。 0068 另外， 还可以接收标注人员调整。

30、超像素块中超像素阈值大小的操作， 以使超像素 阈值符合标注人员的标注需求。 例如， 若鼠标滚轮由下至上转动， 则超像素阈值由大到小调 整， 若鼠标滚轮由上至下转动， 则超像素阈值由小到大调整。 又例如， 若鼠标滚轮由上至下 转动， 则超像素阈值由大到小调整， 若鼠标滚轮由下至上转动， 则超像素阈值由小到大调 整。 0069 在该实施例中， 当调整超像素的阈值大小时， 若一个超像素块所占区域与已标注 类别的超像素块所占区域的重叠区域大于该超像素块所占区域的1/2， 将该超像素块标注 为与重叠区域的超像素块类别相同的类别。 0070 参见上文步骤S106并结合上文实施例， 基于超像素块的标注方式，。

31、 如果选取被跟 踪图片中所有的超像素块进行跟踪， 则需要跟踪的超像素块数量较多， 从而导致算法计算 量大， 计算机运行速度慢等问题， 因此， 为了减少跟踪计算量， 节约跟踪计算时间， 在本发明 说明书 5/9 页 8 CN 110189333 A 8 实施例还可以采用如下两种方式节约跟踪计算量。 0071 方式一、 在对被跟踪图片进行跟踪标注之前， 先将第一帧图片中标注类别相同的 超像素块合并为组合块， 也就是将已标注类别的超像素块按照同一类别合并为若干个不规 则的大的组合块。 进而， 后续可以采用预设跟踪算法在被跟踪图片中跟踪与带有标注类别 的组合块对应的图像区域， 将跟踪到的图像区域标注为。

32、相应类别。 0072 方式二、 在对被跟踪图片进行跟踪标注之前， 先在第一帧图片中的每一标注类别 的超像素块中筛选出典型超像素块， 作为跟踪的对象。 进而， 后续采用预设跟踪算法在被跟 踪图片中跟踪与典型超像素块对应的图像区域， 将跟踪到的图像区域标注为相应类别。 0073 在筛选典型超像素块时， 可以采用聚类方式来选取比较典型的同一类别的像素 块， 例如， 如果某一个超像素块周围的大多数或全部超像素块都属于同类别， 那么可以选择 此超像素块作为典型超像素块。 另外， 该实施例在筛选出典型超像素块时， 可以从同类别相 连接的超像素块区域中选择出一个典型超像素块， 当然也可以选择出多个典型超像素。

33、， 本 实施例对选择出的典型超像素块的数量不做具体的限定。 0074 在该方式中， 由于仅对典型超像素块进行了跟踪， 因此， 在将跟踪到的图像区域标 注为相应类别之后， 还可以由标注人员对剩余的超像素块进行类别标注。 例如， 接收标注人 员以标注类别后的典型超像素块为基准的连续选取操作， 将连续选取操作对应的超像素块 标注为与典型超像素块类别相同的类别。 当然， 在监测到连续选取操作对应的超像素块形 成闭环时， 也可以将闭环以内的超像素块标注为与典型超像素块类别相同的类别。 0075 在本发明实施例中， 预设跟踪算法可以采用现有的跟踪算法， 本发明实施例对此 不做具体的限定。 例如， 分割得到。

34、的图像块为超像素块， 可以通过构建吸收态马尔科夫链图 (AMC graph)来实现超像素块跟踪。 又例如， 分割得到的图像块为超像素块， 还可以通过建 立判决性外貌模型(即可以表示和区分目标与背景的外貌模型)、 获得区域置信图(即根据 一帧图片中所有超像素的置信值得到的置信图)、 建立对象跟踪器观测模型等步骤来实现 超像素块跟踪。 0076 在本发明一实施例中， 若由于图片中的图像场景、 物体位置或物体大小变化较大 等原因， 在当前被跟踪图片中跟踪不到与带有标注类别的图像块对应的图像区域， 或者跟 踪失败， 则可以重新针对本帧被追踪图片进行聚类， 将与无法追踪到的图像区域最接近的 已标注图像块。

35、(跟踪成功的图像块)的类别， 直接应用到无法追踪到的图像区域中。 0077 具体的， 若被跟踪图片中还存在未跟踪到的图像区域， 则可以按照预设聚类算法 将未跟踪到的图像区域与被跟踪图片中标注类别后的图像块进行聚类， 进而， 依据与未跟 踪到的图像区域属于同一聚类的图像块的类别， 对未跟踪到的图像区域进行类别标注。 在 该实施例中， 预设聚类算法可以包括k-means方法， 当然， 也可以采用其他聚类算法， 本发明 实施例对此不做具体的限定。 0078 基于同一发明构思， 本发明实施例还提供了一种图片语义分割半自动标注装置， 图2示出了根据本发明一个实施例的图片语义分割半自动标注装置的结构示意图。

36、。 参见图 2， 图片语义分割半自动标注装置200包括选取模块210、 分割标注模块220、 跟踪标注模块 230。 0079 现介绍本发明实施例的图片语义分割半自动标注装置200的各组成或器件的功能 以及各部分间的连接关系： 说明书 6/9 页 9 CN 110189333 A 9 0080 选取模块210， 适于获取包含多帧图片的一组图像， 从获取到的图像中选择第一帧 图片； 0081 分割标注模块220， 与选取模块210耦合， 适于将第一帧图片语义分割为多个图像 块， 接收标注人员对第一帧图片中的各图像块的类别标注操作； 0082 跟踪标注模块230， 与分割标注模块220耦合， 适于。

37、将第一帧图片作为初始图片， 将 多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片， 采用预设跟踪算法在被跟踪图 片中跟踪与带有标注类别的图像块对应的图像区域， 将跟踪到的图像区域标注为相应类 别； 0083 跟踪标注模块230， 还适于以当前标注后的被跟踪图片作为新的初始图片， 继续对 新的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注， 直到多帧图片均标注完 成。 0084 在本发明一实施例中， 分割标注模块220还适于将第一帧图片语义分割为多个多 边形块作为图像块， 接收标注人员对第一帧图片中任意多边形块的类别标注操作。 0085 在本发明另一实施例中， 分割标注模块220还适于将。

38、第一帧图片语义分割为多个 超像素块作为图像块， 接收标注人员对第一帧图片中任意超像素块的类别标注操作。 0086 若分割标注模块220将第一帧图片语义分割为多个超像素块作为图像块， 在一个 实施例中， 参见图3， 图片语义分割半自动标注装置200还可以包括组合模块240， 与分割标 注模块220和跟踪标注模块230分别耦合， 组合模块240适于将第一帧图片中标注类别相同 的超像素块合并为组合块。 跟踪标注模块230还适于采用预设跟踪算法在被跟踪图片中跟 踪与带有标注类别的组合块对应的图像区域， 将跟踪到的图像区域标注为相应类别。 0087 若分割标注模块220将第一帧图片语义分割为多个超像素块。

39、作为图像块， 在另一 个实施例中， 参见图4， 图片语义分割半自动标注装置200还可以包括选择模块250， 与分割 标注模块220和跟踪标注模块230分别耦合， 选择模块250适于在第一帧图片中的每一标注 类别的超像素块中选择典型超像素块， 典型超像素块周边包含多个属于同一标注类别的超 像素块。 跟踪标注模块230还适于采用预设跟踪算法在被跟踪图片中跟踪与典型超像素块 对应的图像区域， 将跟踪到的图像区域标注为相应类别。 0088 继续参见图4， 在该实施例中， 图片语义分割半自动标注装置200还可以包括连续 选取模块260， 适于在跟踪标注模块230将跟踪到的图像区域标注为相应类别之后， 接。

40、收标 注人员以标注类别后的典型超像素块为基准的连续选取操作， 将连续选取操作对应的超像 素块标注为与典型超像素块类别相同的类别。 0089 本发明实施例还提供了另一种图片语义分割半自动标注装置， 图5示出了根据本 发明一个实施例的图片语义分割半自动标注装置的结构示意图。 参见图5， 图片语义分割半 自动标注装置200包括选取模块210、 分割标注模块220、 跟踪标注模块230、 判断模块271、 展 示模块270、 修改模块280、 聚类模块290。 其中， 关于选取模块210、 分割标注模块220、 跟踪标 注模块230的介绍请参见上文实施例。 0090 判断模块271， 与跟踪标注模块2。

41、30耦合， 适于在任一次对被跟踪图片标注之后， 判 断被跟踪图片的标注结果中是否存在标注错误。 0091 展示模块270， 与判断模块271耦合， 适于若被跟踪图片的标注结果中存在标注错 误， 则展示对被跟踪图片进行标注修改的多种修改方式选项。 说明书 7/9 页 10 CN 110189333 A 10 0092 其中， 对被跟踪图片进行标注修改的多种修改方式选项， 包括对被跟踪图片进行 人工标注修改的选项、 对被跟踪图片进行重新跟踪标注的选项。 0093 修改模块280， 与展示模块270耦合， 适于接收标注人员选择的任一选项， 并依据被 选择选项对应的修改方式对被跟踪图片进行标注修改。 。

42、0094 聚类模块290， 与跟踪标注模块230耦合， 若被跟踪图片中还存在未跟踪到的图像 区域， 按照预设聚类算法将未跟踪到的图像区域与被跟踪图片中标注类别后的图像块进行 聚类。 依据与未跟踪到的图像区域属于同一聚类的图像块的类别， 对未跟踪到的图像区域 进行类别标注。 0095 本发明还提供了一种计算机存储介质， 计算机存储介质存储有计算机程序代码， 当计算机程序代码在计算设备上运行时， 导致计算设备执行上文任意实施例的图片语义分 割半自动标注方法。 0096 根据上述任意一个优选实施例或多个优选实施例的组合， 本发明实施例能够达到 如下有益效果： 0097 在本发明实施例中， 通过从预先。

43、采集的视频中按照指定图片帧数间隔依次选取多 帧图片， 并由标注人员对第一帧图片中的各图像块进行类别标注之后， 将第一帧图片作为 初始图片， 且将多帧图片中与初始图片相邻的下一帧图片作为被跟踪图片， 从而采用预设 跟踪算法在被跟踪图片中跟踪与带有标注类别的图像块对应的图像区域， 将跟踪到的图像 区域标注为相应类别。 进而， 再次以当前标注后的被跟踪图片作为新的初始图片， 继续对新 的初始图片相邻的被跟踪图片采用预设跟踪算法进行跟踪标注， 直到多帧图片均标注完 成。 由此， 本发明实施例对于连续视频中的多帧图片， 可以基于已经标注类别的图片采用预 设跟踪算法实现半自动的图片语义分割标注， 不仅大大。

44、提高了对图片的标注效率， 还保证 了图片标注的准确性。 特别是对于在视频中依次采样的待标注图片中相邻的前后两张或者 前后几张存在场景相似的图片， 本发明方案极大地节省了重复或相似的人力标注成本。 0098 所属领域的技术人员可以清楚地了解到， 上述描述的系统、 装置和单元的具体工 作过程， 可以参考前述方法实施例中的对应过程， 为简洁起见， 在此不另赘述。 0099 另外， 在本发明各个实施例中的各功能单元可以物理上相互独立， 也可以两个或 两个以上功能单元集成在一起， 还可以全部功能单元都集成在一个处理单元中。 上述集成 的功能单元既可以采用硬件的形式实现， 也可以采用软件或者固件的形式实现。

45、。 0100 本领域普通技术人员可以理解： 集成的功能单元如果以软件的形式实现并作为独 立的产品销售或使用时， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发 明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来， 该计 算机软件产品存储在一个存储介质中， 其包括若干指令， 用以使得一台计算设备(例如个人 计算机， 服务器， 或者网络设备等)在运行指令时执行本发明各实施例方法的全部或部分步 骤。 而前述的存储介质包括： U盘、 移动硬盘、 只读存储器(ROM)、 随机存取存储器(RAM)， 磁碟 或者光盘等各种可以存储程序代码的介质。 0101 或者， 实现。

46、前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸 如个人计算机， 服务器， 或者网络设备等的计算设备)来完成， 程序指令可以存储于一计算 机可读取存储介质中， 当程序指令被计算设备的处理器执行时， 计算设备执行本发明各实 施例方法的全部或部分步骤。 说明书 8/9 页 11 CN 110189333 A 11 0102 最后应说明的是： 以上各实施例仅用以说明本发明的技术方案， 而非对其限制； 尽 管参照前述各实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解： 在本 发明的精神和原则之内， 其依然可以对前述各实施例所记载的技术方案进行修改， 或者对 其中部分或者全部技术特征进行等同替换； 而这些修改或者替换， 并不使相应技术方案脱 离本发明的保护范围。 说明书 9/9 页 12 CN 110189333 A 12 图1 说明书附图 1/4 页 13 CN 110189333 A 13 图2 图3 说明书附图 2/4 页 14 CN 110189333 A 14 图4 说明书附图 3/4 页 15 CN 110189333 A 15 图5 说明书附图 4/4 页 16 CN 110189333 A 16 。