交通信号识别方法、装置、存储介质及电子设备.pdf

《交通信号识别方法、装置、存储介质及电子设备.pdf》由会员分享，可在线阅读，更多相关《交通信号识别方法、装置、存储介质及电子设备.pdf（22页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910356683.7 (22)申请日 2019.04.29 (71)申请人 当家移动绿色互联网技术集团有限 公司 地址 100086 北京市海淀区青云里满庭芳 园小区配套公建3层307室 (72)发明人 侯涛罗立李熠 (74)专利代理机构 北京英创嘉友知识产权代理 事务所(普通合伙) 11447 代理人 曾尧 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06T 7/73(2017.01) (54)发明名称 交通信号。

2、识别方法、 装置、 存储介质及电子 设备 (57)摘要 本公开涉及一种交通信号识别方法、 装置、 存储介质及电子设备， 所述方法包括： 将通过图 像采集装置采集到的环境图像序列输入至预先 训练的卷积神经网络， 得到每一帧环境图像中的 交通信号子图像的类型和位置信息； 根据图像采 集装置在采集每一帧环境图像时的位姿信息， 以 及每一帧环境图像中的交通信号子图像的类型 和位置信息， 对得到的交通信号子图像进行匹 配， 将相匹配的交通信号子图像作为同一交通信 号在不同环境图像上的区域； 针对每一交通信 号， 根据该交通信号在不同环境图像上的区域的 位置信息以及图像采集装置在采集所述不同环 境图像时的。

3、位姿信息， 确定该交通信号的位置。 采用本公开的技术方案， 可以提高交通信号的识 别效率和准确率。 权利要求书3页 说明书12页 附图6页 CN 110795977 A 2020.02.14 CN 110795977 A 1.一种交通信号识别方法， 其特征在于， 包括： 将通过图像采集装置采集到的环境图像序列输入至预先训练的卷积神经网络， 得到每 一帧环境图像中的交通信号子图像的类型和位置信息； 根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧环境图像中 的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 将相匹配的交 通信号子图像作为同一交通信号在不同环境。

4、图像上的区域； 针对每一交通信号， 根据该交通信号在不同环境图像上的区域的位置信息以及所述图 像采集装置在采集所述不同环境图像时的位姿信息， 确定该交通信号的位置。 2.根据权利要求1所述的方法， 其特征在于， 所述位姿信息包括航向角， 所述位置信息 包括中心点坐标； 所述根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧环境图 像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 包括： 获取所述图像采集装置在采集第二环境图像时相对于在采集第一环境图像时的航向 角差值， 其中， 所述第一环境图像和所述第二环境图像为连续帧的环境图像； 针对所述第一环境图像中。

5、的每一个第一交通信号子图像， 根据所述航向角差值、 该第 一交通信号子图像的类型和中心点坐标、 以及所述第二环境图像中与该第一交通信号子图 像类型相同的第二交通信号子图像的中心点坐标， 从所述类型相同的第二交通信号子图像 中选取出候选第二交通信号子图像； 将获得的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中心点之间 的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第二交通 信号子图像。 3.根据权利要求2所述的方法， 其特征在于， 所述针对所述第一环境图像中的每一个第 一交通信号子图像， 根据所述航向角差值、 该第一交通信号子图像的类型和中心点坐标、 以。

6、 及所述第二环境图像中与该第一交通信号子图像类型相同的第二交通信号子图像的中心 点坐标， 从所述类型相同的第二交通信号子图像中选取出候选第二交通信号子图像， 包括： 针对每一个第一交通信号子图像， 若所述航向角差值位于预设航向角差值范围内， 则 从所述类型相同的第二交通信号子图像中， 选取与该第一交通信号子图像的中心点横坐标 差值小于预设横坐标差值的第二交通信号子图像， 作为所述候选第二交通信号子图像； 若所述航向角差值大于所述预设航向角差值范围的上限值， 且该第一交通信号子图像 的中心点横坐标位于第一预设横坐标范围内， 则从所述类型相同的第二交通信号子图像 中， 选取中心点横坐标位于第二预设。

7、横坐标范围内的第二交通信号子图像， 作为所述候选 第二交通信号子图像； 若所述航向角差值小于所述预设航向角差值范围的下限值， 且该第一交通信号子图像 的中心点横坐标位于所述第二预设横坐标范围内， 则从所述类型相同的第二交通信号子图 像中， 选取中心点横坐标位于所述第一预设横坐标范围内的第二交通信号子图像， 作为所 述候选第二交通信号子图像。 4.根据权利要求2或3所述的方法， 其特征在于， 所述位姿信息还包括高程信息； 所述根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧环境图 像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 还包括： 权利要求书 1。

8、/3 页 2 CN 110795977 A 2 获取所述第二环境图像时相对于所述第一环境图像的高程差值； 若所述高程差值位于预设高程范围内， 则从获得的候选第二交通信号子图像中筛除与 该第一交通信号子图像的中心点纵坐标差值大于预设纵坐标差值的候选第二交通信号子 图像， 得到新的候选第二交通信号子图像； 若所述高程差值超出所述预设高程范围， 则从获得的候选第二交通信号子图像中筛除 与该第一交通信号子图像的中心点纵坐标小于所述预设纵坐标差值的候选第二交通信号 子图像， 得到新的候选第二交通信号子图像； 所述将获得的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中心点 之间的距离最小的候。

9、选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第二 交通信号子图像， 包括： 将所述新的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中心点之 间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第二交 通信号子图像。 5.根据权利要求1所述的方法， 其特征在于， 所述位置信息包括中心点坐标； 所述针对每一交通信号， 根据该交通信号在不同环境图像上的区域的位置信息以及所 述图像采集装置在采集所述不同环境图像时的位姿信息， 确定该交通信号的位置， 包括： 针对每一交通信号， 基于三角测量算法， 根据该交通信号在连续两帧环境图像上的区 域的中心点坐标以。

10、及所述图像采集装置在分别采集所述连续相邻两帧环境图像时的位姿 信息， 确定该交通信号灯的位置。 6.一种交通信号识别装置， 其特征在于， 包括： 输入模块， 用于将通过图像采集装置采集到的环境图像序列输入至预先训练的卷积神 经网络， 得到每一帧环境图像中的交通信号子图像的类型和位置信息； 匹配模块， 用于根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每 一帧环境图像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹 配， 将相匹配的交通信号子图像作为同一交通信号在不同环境图像上的区域； 确定模块， 用于针对每一交通信号， 根据该交通信号在不同环境图像上的区域的位置。

11、 信息以及所述图像采集装置在采集所述不同环境图像时的位姿信息， 确定该交通信号的位 置。 7.根据权利要求6所述的装置， 其特征在于， 所述位姿信息包括航向角， 所述位置信息 包括中心点坐标； 所述匹配模块包括： 第一获取子模块， 用于获取所述图像采集装置在采集第二环境图像时相对于在采集第 一环境图像时的航向角差值， 其中， 所述第一环境图像和所述第二环境图像为连续帧的环 境图像； 第一选取子模块， 用于针对所述第一环境图像中的每一个第一交通信号子图像， 根据 所述航向角差值、 该第一交通信号子图像的类型和中心点坐标、 以及所述第二环境图像中 与该第一交通信号子图像类型相同的第二交通信号子图像。

12、的中心点坐标， 从所述类型相同 的第二交通信号子图像中选取出候选第二交通信号子图像； 第二选取子模块， 用于将获得的候选第二交通信号子图像中， 中心点与该第一交通信 权利要求书 2/3 页 3 CN 110795977 A 3 号子图像的中心点之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子 图像相匹配的第二交通信号子图像。 8.根据权利要求7所述的装置， 其特征在于， 所述第一选取子模块用于： 针对每一个第一交通信号子图像， 若所述航向角差值位于预设航向角差值范围内， 则 从所述类型相同的第二交通信号子图像中， 选取与该第一交通信号子图像的中心点横坐标 差值小于预设横坐标差值。

13、的第二交通信号子图像， 作为所述候选第二交通信号子图像； 若所述航向角差值大于所述预设航向角差值范围的上限值， 且该第一交通信号子图像 的中心点横坐标位于第一预设横坐标范围内， 则从所述类型相同的第二交通信号子图像 中， 选取中心点横坐标位于第二预设横坐标范围内的第二交通信号子图像， 作为所述候选 第二交通信号子图像； 若所述航向角差值小于所述预设航向角差值范围的下限值， 且该第一交通信号子图像 的中心点横坐标位于所述第二预设横坐标范围内， 则从所述类型相同的第二交通信号子图 像中， 选取中心点横坐标位于所述第一预设横坐标范围内的第二交通信号子图像， 作为所 述候选第二交通信号子图像。 9.根。

14、据权利要求7或8所述的装置， 其特征在于， 所述位姿信息还包括高程信息； 所述匹配模块还包括： 第二获取子模块， 用于获取所述第二环境图像时相对于所述第一环境图像的高程差 值； 第一筛除子模块， 用于若所述高程差值位于预设高程范围内， 则从获得的候选第二交 通信号子图像中筛除与该第一交通信号子图像的中心点纵坐标差值大于预设纵坐标差值 的候选第二交通信号子图像， 得到新的候选第二交通信号子图像； 第二筛除子模块， 用于若所述高程差值超出所述预设高程范围， 则从获得的候选第二 交通信号子图像中筛除与该第一交通信号子图像的中心点纵坐标小于所述预设纵坐标差 值的候选第二交通信号子图像， 得到新的候选第。

15、二交通信号子图像； 所述第二选取子模块用于： 将所述新的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中心点之 间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第二交 通信号子图像。 10.根据权利要求6所述的装置， 其特征在于， 所述位置信息包括中心点坐标； 所述确定模块包括： 确定子模块， 用于针对每一交通信号， 基于三角测量算法， 根据该交通信号在连续两帧 环境图像上的区域的中心点坐标以及所述图像采集装置在分别采集所述连续相邻两帧环 境图像时的位姿信息， 确定该交通信号灯的位置。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 。

16、该程序被处理器 执行时实现权利要求1-5中任一项所述方法的步骤。 12.一种电子设备， 其特征在于， 包括： 存储器， 其上存储有计算机程序； 处理器， 用于执行所述存储器中的所述计算机程序， 以实现权利要求1-5中任一项所述 方法的步骤。 权利要求书 3/3 页 4 CN 110795977 A 4 交通信号识别方法、 装置、 存储介质及电子设备 技术领域 0001 本公开涉及计算机技术领域， 具体地， 涉及一种交通信号识别方法、 装置、 存储介 质及电子设备。 背景技术 0002 高精度地图其是指高精度、 精细化定义的地图， 其相比于普通地图， 包含了更为丰 富的信息， 例如交通标志、 交。

17、通灯、 车道线的精确类型和位置等信息， 成为自动驾驶/无人驾 驶技术的重要组成部分。 0003 构建高精度地图的原始数据来源是通过专业的采集车采集， 而根据采集到的原始 数据识别行车环境中的交通标志、 交通信号灯等交通信号是构建高精度地图中的重要环 节。 0004 相关技术中的交通信号识别方法， 通常首先对采集车采集到的多帧环境图像进行 处理， 识别出交通信号子图像， 通过人工标注属于同一交通信号的交通信号子图像并计算 各个交通信号的位置， 该方式的效率和准确度较低。 发明内容 0005 为了克服现有技术中存在的问题， 本公开的主要目的是提供一种交通信号识别方 法、 装置、 存储介质及电子设备。

18、。 0006 为了实现上述目的， 本公开实施例第一方面提供一种交通信号识别方法， 包括： 0007 将通过图像采集装置采集到的环境图像序列输入至预先训练的卷积神经网络， 得 到每一帧环境图像中的交通信号子图像的类型和位置信息； 0008 根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧环境图 像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 将相匹配 的交通信号子图像作为同一交通信号在不同环境图像上的区域； 0009 针对每一交通信号， 根据该交通信号在不同环境图像上的区域的位置信息以及所 述图像采集装置在采集所述不同环境图像时的位姿信息， 确定该交通。

19、信号的位置。 0010 可选地， 所述位姿信息包括航向角， 所述位置信息包括中心点坐标； 0011 所述根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧环 境图像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 包括： 0012 获取所述图像采集装置在采集第二环境图像时相对于在采集第一环境图像时的 航向角差值， 其中， 所述第一环境图像和所述第二环境图像为连续帧的环境图像； 0013 针对所述第一环境图像中的每一个第一交通信号子图像， 根据所述航向角差值、 该第一交通信号子图像的类型和中心点坐标、 以及所述第二环境图像中与该第一交通信号 子图像类型相同的。

20、第二交通信号子图像的中心点坐标， 从所述类型相同的第二交通信号子 图像中选取出候选第二交通信号子图像； 0014 将获得的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中心点 说明书 1/12 页 5 CN 110795977 A 5 之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第二 交通信号子图像。 0015 可选地， 所述针对所述第一环境图像中的每一个第一交通信号子图像， 根据所述 航向角差值、 该第一交通信号子图像的类型和中心点坐标、 以及所述第二环境图像中与该 第一交通信号子图像类型相同的第二交通信号子图像的中心点坐标， 从所述类型相同的第 。

21、二交通信号子图像中选取出候选第二交通信号子图像， 包括： 0016 针对每一个第一交通信号子图像， 若所述航向角差值位于预设航向角差值范围 内， 则从所述类型相同的第二交通信号子图像中， 选取与该第一交通信号子图像的中心点 横坐标差值小于预设横坐标差值的第二交通信号子图像， 作为所述候选第二交通信号子图 像； 0017 若所述航向角差值大于所述预设航向角差值范围的上限值， 且该第一交通信号子 图像的中心点横坐标位于第一预设横坐标范围内， 则从所述类型相同的第二交通信号子图 像中， 选取中心点横坐标位于第二预设横坐标范围内的第二交通信号子图像， 作为所述候 选第二交通信号子图像； 0018 若所。

22、述航向角差值小于所述预设航向角差值范围的下限值， 且该第一交通信号子 图像的中心点横坐标位于所述第二预设横坐标范围内， 则从所述类型相同的第二交通信号 子图像中， 选取中心点横坐标位于所述第一预设横坐标范围内的第二交通信号子图像， 作 为所述候选第二交通信号子图像。 0019 可选地， 所述位姿信息还包括高程信息； 0020 所述根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧环 境图像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 还包 括： 0021 获取所述第二环境图像时相对于所述第一环境图像的高程差值； 0022 若所述高程差值位于预设高程范围。

23、内， 则从获得的候选第二交通信号子图像中筛 除与该第一交通信号子图像的中心点纵坐标差值大于预设纵坐标差值的候选第二交通信 号子图像， 得到新的候选第二交通信号子图像； 0023 若所述高程差值超出所述预设高程范围， 则从获得的候选第二交通信号子图像中 筛除与该第一交通信号子图像的中心点纵坐标小于所述预设纵坐标差值的候选第二交通 信号子图像， 得到新的候选第二交通信号子图像； 0024 所述将获得的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中 心点之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的 第二交通信号子图像， 包括： 0025 将所述新的候选第。

24、二交通信号子图像中， 中心点与该第一交通信号子图像的中心 点之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第 二交通信号子图像。 0026 可选地， 所述位置信息包括中心点坐标； 0027 所述针对每一交通信号， 根据该交通信号在不同环境图像上的区域的位置信息以 及所述图像采集装置在采集所述不同环境图像时的位姿信息， 确定该交通信号的位置， 包 括： 说明书 2/12 页 6 CN 110795977 A 6 0028 针对每一交通信号， 基于三角测量算法， 根据该交通信号在连续两帧环境图像上 的区域的中心点坐标以及所述图像采集装置在分别采集所述连续相邻两帧环境图。

25、像时的 位姿信息， 确定该交通信号灯的位置。 0029 本公开实施例第二方面提供一种交通信号识别装置， 包括： 0030 输入模块， 用于将通过图像采集装置采集到的环境图像序列输入至预先训练的卷 积神经网络， 得到每一帧环境图像中的交通信号子图像的类型和位置信息； 0031 匹配模块， 用于根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以 及每一帧环境图像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行 匹配， 将相匹配的交通信号子图像作为同一交通信号在不同环境图像上的区域； 0032 确定模块， 用于针对每一交通信号， 根据该交通信号在不同环境图像上的区域的 位置信。

26、息以及所述图像采集装置在采集所述不同环境图像时的位姿信息， 确定该交通信号 的位置。 0033 可选地， 所述位姿信息包括航向角， 所述位置信息包括中心点坐标； 0034 所述匹配模块包括： 0035 第一获取子模块， 用于获取所述图像采集装置在采集第二环境图像时相对于在采 集第一环境图像时的航向角差值， 其中， 所述第一环境图像和所述第二环境图像为连续帧 的环境图像； 0036 第一选取子模块， 用于针对所述第一环境图像中的每一个第一交通信号子图像， 根据所述航向角差值、 该第一交通信号子图像的类型和中心点坐标、 以及所述第二环境图 像中与该第一交通信号子图像类型相同的第二交通信号子图像的中。

27、心点坐标， 从所述类型 相同的第二交通信号子图像中选取出候选第二交通信号子图像； 0037 第二选取子模块， 用于将获得的候选第二交通信号子图像中， 中心点与该第一交 通信号子图像的中心点之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信 号子图像相匹配的第二交通信号子图像。 0038 可选地， 所述第一选取子模块用于： 0039 针对每一个第一交通信号子图像， 若所述航向角差值位于预设航向角差值范围 内， 则从所述类型相同的第二交通信号子图像中， 选取与该第一交通信号子图像的中心点 横坐标差值小于预设横坐标差值的第二交通信号子图像， 作为所述候选第二交通信号子图 像； 0040 若。

28、所述航向角差值大于所述预设航向角差值范围的上限值， 且该第一交通信号子 图像的中心点横坐标位于第一预设横坐标范围内， 则从所述类型相同的第二交通信号子图 像中， 选取中心点横坐标位于第二预设横坐标范围内的第二交通信号子图像， 作为所述候 选第二交通信号子图像； 0041 若所述航向角差值小于所述预设航向角差值范围的下限值， 且该第一交通信号子 图像的中心点横坐标位于所述第二预设横坐标范围内， 则从所述类型相同的第二交通信号 子图像中， 选取中心点横坐标位于所述第一预设横坐标范围内的第二交通信号子图像， 作 为所述候选第二交通信号子图像。 0042 可选地， 所述位姿信息还包括高程信息； 004。

29、3 所述匹配模块还包括： 说明书 3/12 页 7 CN 110795977 A 7 0044 第二获取子模块， 用于获取所述第二环境图像时相对于所述第一环境图像的高程 差值； 0045 第一筛除子模块， 用于若所述高程差值位于预设高程范围内， 则从获得的候选第 二交通信号子图像中筛除与该第一交通信号子图像的中心点纵坐标差值大于预设纵坐标 差值的候选第二交通信号子图像， 得到新的候选第二交通信号子图像； 0046 第二筛除子模块， 用于若所述高程差值超出所述预设高程范围， 则从获得的候选 第二交通信号子图像中筛除与该第一交通信号子图像的中心点纵坐标小于所述预设纵坐 标差值的候选第二交通信号子图。

30、像， 得到新的候选第二交通信号子图像； 0047 所述第二选取子模块用于： 0048 将所述新的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的中心 点之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配的第 二交通信号子图像。 0049 可选地， 所述位置信息包括中心点坐标； 0050 所述确定模块包括： 0051 确定子模块， 用于针对每一交通信号， 基于三角测量算法， 根据该交通信号在连续 两帧环境图像上的区域的中心点坐标以及所述图像采集装置在分别采集所述连续相邻两 帧环境图像时的位姿信息， 确定该交通信号灯的位置。 0052 本公开实施例第三方面提供一种。

31、计算机可读存储介质， 其上存储有计算机程序， 该程序被处理器执行时实现本公开实施例第一方面所述方法的步骤。 0053 本公开实施例第四方面提供一种电子设备， 包括： 0054 存储器， 其上存储有计算机程序； 0055 处理器， 用于执行所述存储器中的所述计算机程序， 以实现本公开实施例第一方 面所述方法的步骤。 0056 通过本公开提供的技术方案， 至少能够达到如下技术效果： 0057 通过将环境图像序列输入至预先训练的卷积神经网络模型中， 可以自动识别出每 帧环境图像中的交通信号子图像， 并根据图像采集装置的位姿信息、 各交通信号子图像的 类型及其在环境图像中的位置信息， 识别出同一交通信。

32、号在不同环境图像上对应的交通信 号子图像， 最后针对每一交通信号， 根据图像采集装置的位姿信息以及该交通信号对应的 不同环境图像上的交通信号子图像的位置信息， 确定交通信号的位置， 整个识别过程无需 人工参与， 相比于相关技术中通过人工参与识别， 提高了识别效率和准确率、 节省了人力成 本， 进而提高了整个高精度地图构建的效率。 进一步地， 通过上述交通信号识别方法识别出 交通信号后， 可将包含交通信号的类型和位置等信息的识别结果加载至预先建立的路网文 件， 以二维或三维视图格式显示该结果， 以便比较该识别结果与人工标记结果之间的差异。 另外， 基于识别出的交通信号， 可以为高精度地图语义生成。

33、提供有力的支持， 以便应用于自 动驾驶以及自动驾驶仿真测试。 0058 本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。 附图说明 0059 附图是用来提供对本公开的进一步理解， 并且构成说明书的一部分， 与下面的具 说明书 4/12 页 8 CN 110795977 A 8 体实施方式一起用于解释本公开， 但并不构成对本公开的限制。 在附图中： 0060 图1是根据本公开一示例性实施例示出的一种交通信号识别方法的流程图； 0061 图2是根据本公开一示例性实施例示出的一种交通信号子图像匹配方法的流程 图； 0062 图3是根据本公开一示例性实施例示出的另一种交通信号子图像匹配方。

34、法的流程 图； 0063 图4是根据本公开一示例性实施例示出的一种交通信号定位方法的流程图； 0064 图5是根据本公开一示例性实施例示出的一种交通信号识别装置的框图； 0065 图6是根据本公开一示例性实施例示出的另一种交通信号识别装置的框图； 0066 图7是根据本公开一示例性实施例示出的一种电子设备的结构示意图。 具体实施方式 0067 以下结合附图对本公开的具体实施方式进行详细说明。 应当理解的是， 此处所描 述的具体实施方式仅用于说明和解释本公开， 并不用于限制本公开。 0068 本公开实施例中的术语 “第一” 、“第二” 等是用于区别类似的对象， 不必理解为特 定的顺序或先后次序。。

35、 0069 本公开实施例提供一种交通信号识别方法， 该方法可以由电子设备实施。 如图1所 示， 图1是根据本公开一示例性实施例示出的一种交通信号识别方法的流程图， 该方法包 括： 0070 S101、 将通过图像采集装置采集到的环境图像序列输入至预先训练的卷积神经网 络， 得到每一帧环境图像中的交通信号子图像的类型和位置信息。 0071 其中， 该卷积神经网络可以是利用反向传播算法， 并基于训练样本对现有的卷积 神经网络结构进行训练而得到的。 该卷积神经网络可以包括多个卷积层和顶端的全连通 层、 以及关联权重和池化层。 其中， 上述训练样本可以包括大量的标注有交通信号子图像的 类型、 位置等信。

36、息的环境图像。 0072 交通信号子图像是指环境图像上用于指示交通信号的区域， 在利用预设的卷积神 经网络进行识别时， 得到的交通信号子图像可以为用于指示交通信号的矩形框， 交通信号 位于其对应的矩形框内。 相应地， 每一交通信号子图像在环境图像上都有相应的位置， 其位 置信息可以包括但不限于交通信号子图像的中心点的像素坐标(以下称为中心点坐标)以 及各顶点的像素坐标(以下称为顶点坐标)。 0073 值得说明的是， 在本公开的实施例中， 交通信号可以被广义的理解为包括交通标 志和交通灯等。 交通信号子图像的类型是指交通信号子图像所指示的交通信号的类型， 示 例地， 所述类型可以包括但不限于： 。

37、用于传递道路信息和指示车辆、 行人行进的指示标志， 用于禁止或限制车辆、 行人某种交通行为的静止标志， 用于警告车辆、 行人注意道路前方的 警告标志以及交通信号灯等多个大类。 进一步地， 所述类型还可以包括每一大类下的子类 型， 例如， 指示标志下的直行、 向左转弯、 机动车类型、 停车位等子类型， 禁止标志下的停车 让行、 减速让行、 禁止掉头等子类型， 警告标志下的注意行人、 注意儿童、 施工等子类型， 交 通信号灯下的红灯、 绿灯、 黄灯等子类型。 0074 此外， 图像采集装置采集到的环境图像可以为全景图。 说明书 5/12 页 9 CN 110795977 A 9 0075 S102。

38、、 根据所述图像采集装置在采集每一帧环境图像时的位姿信息， 以及每一帧 环境图像中的交通信号子图像的类型和位置信息， 对得到的交通信号子图像进行匹配， 将 相匹配的交通信号子图像作为同一交通信号在不同环境图像上的区域。 0076 其中， 图像采集装置的位姿信息可以包括但不限于图像采集装置在通用横轴墨卡 托投影下的坐标、 航向角、 横滚角、 俯仰角以及高程信息等。 0077 对于某些复杂路况的路段(例如交叉路况)， 采集到的同一帧环境图像可能存在多 个类型相同的交通信号(例如多个直行标志)， 为了对交通信号进行准确识别以建立高精度 地图， 就需要对环境图像序列中的所有交通信号子图像进行匹配， 以。

39、识别出表征同一个交 通信号的交通信号子图像。 0078 S103、 针对每一交通信号， 根据该交通信号在不同环境图像上的区域的位置信息 以及图像采集装置在采集不同环境图像时的位姿信息， 确定该交通信号的位置。 0079 其中， 交通信号的位置是指交通信号在世界坐标系下的坐标。 0080 进一步地， 在实施上述步骤S101后， 上述实施例所述的交通信号识别方法还可以 包括： 针对每一帧环境图像， 根据该环境图像中的各个交通信号子图像的类型为各个交通 信号子图像设置关键字， 并使用字典对各交通信号子图像及其对应的关键字进行存储。 其 中， 关键字可根据实际需要进行设置， 以区分不同类型的交通信号子。

40、图像， 例如， 对于类型 为禁止标志的交通信号子图像， 可设置其关键字为 “禁止” 或者 “pne” 。 0081 为了使本领域技术人员更容易本公开实施例提供的技术方案， 下面通过具体的实 现方式对上述实施例所述的交通信号识别方法的各步骤进行详细说明。 0082 首先说明上述步骤S102， 即根据图像采集装置在采集每一帧环境图像时的位姿信 息， 以及每一帧环境图像中的交通信号子图像的类型和位置信息， 如何对得到的交通信号 子图像进行匹配。 0083 由于图像采集装置设置在采集车上， 采集车直行时， 图像采集装置的航向角变化 较小， 进而同一交通信号在连续帧的环境图像中的交通信号子图像的横向位置。

41、变化较小； 而当采集车转弯时， 图像采集装置的航向角变化较大， 进而同一交通信号在连续帧的环境 图像中的交通信号子图像的横向位置变化较大。 基于这两点， 在一种可能的实现方式中， 可 以根据图像采集装置的航向角变化情况以及不同环境图像中的交通信号子图像的横向位 置， 对不同环境图像中的交通信号子图像进行横向位置约束， 得到可能为同一交通信号在 不同环境图像中的交通信号子图像(即候选交通信号子图像)， 进一步从候选交通信号子图 像中选取出同一交通信号在不同环境图像中的交通信号子图像。 0084 在具体实施时， 如图2所示， 上述步骤S102可以包括： 0085 S211、 获取图像采集装置在采集。

42、第二环境图像时相对于在采集第一环境图像时的 航向角差值。 0086 其中， 第一环境图像和第二环境图像为连续帧的环境图像。 0087 S212、 针对第一环境图像中的每一个第一交通信号子图像， 根据航向角差值、 该第 一交通信号子图像的类型和中心点坐标、 以及第二环境图像中与该第一交通信号子图像类 型相同的第二交通信号子图像的中心点坐标， 从类型相同的第二交通信号子图像中选取出 候选第二交通信号子图像。 0088 其中， 第一交通信号子图像是指位于第一环境图像上的交通信号子图像， 第二交 说明书 6/12 页 10 CN 110795977 A 10 通信号子图像是指位于第二环境图像上的交通信。

43、号子图像。 0089 示例地， 针对每一个第一交通信号子图像， 若所述航向角差值位于预设航向角差 值范围内， 则可认为采集车直行， 此时同一个交通信号在连续帧环境图像中的交通信号子 图像的横向位置变化较小。 因此， 可从第二环境图像中选取与该第一交通信号子图像的类 型相同的第二交通信号子图像， 从这些类型相同的第二交通信号子图像中， 选取与该第一 交通信号子图像的中心点横坐标差值小于预设横坐标差值的第二交通信号子图像， 作为候 选第二交通信号子图像。 其中， 预设航向角范围可以根据需要进行设置， 例如考虑到误差， 其上限值设置为接近于0的正数(如0.5)， 其下限值设置为接近于0的负数(如-0。

44、.5)。 0090 若航向角差值大于该预设航向角差值范围的上限值， 则可认为采集车右转， 此时， 在前一帧环境图像中位于左侧的交通信号子图像， 在后一帧环境图像中属于同一信号的交 通信号子图像则偏移到了右侧位置。 因此， 若航向角差值大于该预设航向角差值范围的上 限值， 且该第一交通信号子图像的中心点横坐标位于第一预设横坐标范围内， 则从上述类 型相同的第二交通信号子图像中， 选取中心点横坐标位于第二预设横坐标范围内的第二交 通信号子图像， 作为候选第二交通信号子图像。 0091 若航向角差值小于该预设航向角差值范围的下限值， 则可认为采集车左转， 此时， 在前一帧环境图像中位于右侧的交通信号。

45、子图像， 在后一帧环境图像中属于同一信号的交 通信号子图像则偏移到了左侧位置。 因此， 若航向角差值小于该预设杭小椒差值范围的下 限值， 且该第一交通信号子图像的中心点横坐标位于第二预设横坐标范围内， 则从上述类 型相同的第二交通信号子图像中， 选取中心点横坐标位于第一预设横坐标范围内的第二交 通信号子图像， 作为候选第二交通信号子图像。 0092 其中， 第一预设横坐标范围和第二预设横坐标范围可以根据具体的实施方式进行 设置。 可选地， 可将第一预设横坐标范围设置为大于0， 第二预设横坐标范围可设置为小于 0。 0093 可选地， 还可将第一环境图像中的同一类型的第一交通信号子图像进行升序排。

46、 序， 并将第二环境图像中的同一类型的第二交通信号子图像进行升序排序。 根据同一类型 的第一交通信号子图像和第二交通信号子图像各自的排序结果， 设置第一预设横坐标范围 和第二预设横坐标范围。 例如， 第一预设横坐标范围设置为前预设位数， 第二预设横坐标范 围设置为后预设位数。 0094 S213、 将获得的候选第二交通信号子图像中， 中心点与该第一交通信号子图像的 中心点之间的距离最小的候选第二交通信号子图像， 作为与该第一交通信号子图像相匹配 的第二交通信号子图像。 0095 在选取出候选第二交通信号子图像后， 可根据该第一交通信号子图像的中心点坐 标以及每一个候选第二交通信号子图像的中心点。

47、坐标， 计算该第一交通信号子图像的中心 点与每一个候选第二交通信号子图像的中心点之间的距离， 将从这些候选第二交通信号子 图像中， 选取出所述距离最小的候选交通信号子图像， 作为与该第一交通信号子图像相匹 配的第二交通信号子图像。 0096 在另一种可选的实现方式中， 考虑到道路起伏导致图像采集装置的高度发生变 化， 进而致使同一交通信号在连续帧的环境图像中的交通信号子图像的纵向位置发生变 化。 基于这一点， 在对不同环境图像中的交通信号子图像进行横向位置约束得到候选交通 说明书 7/12 页 11 CN 110795977 A 11 信号子图像后， 还可利用图像采集装置的高程信息， 对这些候。

48、选交通信号子图像进行纵向 位置约束， 进一步筛除纵向位置不符合要求的候选交通信号子图像， 将筛除后剩余的候选 交通信号子图像作为新的候选交通信号子图像。 进一步地， 从这些新的候选交通信号子图 像中选取出同一交通信号在不同环境图像中的交通信号子图像。 0097 在具体实施时， 如图3所示， 上述步骤S102还包括： 0098 S214、 获取第二环境图像相对于第一环境图像的高程差值。 0099 其中， 若高程差值位于预设高程范围内， 则可认为路面起伏较小， 此时， 同一交通 信号在连续帧环境图像中的中心点纵坐标的变化较小， 相应地， 执行步骤S215。 若高程差值 超出预设高程范围， 则可认为。

49、路面起伏较大， 此时， 同一交通信号在连续帧环境图像中的中 心点纵坐标的变化较大， 相应地， 执行步骤S216。 0100 S215、 从获得的候选第二交通信号子图像中筛除与该第一交通信号子图像的中心 点纵坐标差值大于预设纵坐标差值的候选第二交通信号子图像， 得到新的候选第二交通信 号子图像。 0101 S216、 从获得的候选第二交通信号子图像中筛除与该第一交通信号子图像的中心 点纵坐标差值小于该预设纵坐标差值的候选第二交通信号子图像， 得到新的候选第二交通 信号子图像。 0102 其中， 预设纵坐标差值可以根据需要进行设置。 0103 基于此， 相应地， 在执行上述步骤S103时， 则将新。

50、的第二交通信号子图像中， 中心 点与该第一交通信号子图像的中心点之间的距离最小的候选第二交通信号子图像， 作为与 该第一交通信号子图像相匹配的第二交通信号子图像。 0104 接着， 对上述步骤S103进行详细说明， 即针对每一交通信号， 根据该交通信号在不 同环境图像上的区域的位置信息以及图像采集装置在采集所述不同环境图像时的位姿信 息， 如何确定该交通信号的位置。 0105 在一种可选的实现方式中， 可选取连续帧的环境图像， 例如连续两帧环境图像， 针 对每一交通信号， 基于三角测量算法， 根据该连续两帧环境图像上的区域的中心点坐标以 及图像采集装置在分别采集所述连续两帧环境图像时的位姿信息。