基于双目视觉的环境感知方法、装置及无人飞行器.pdf

《基于双目视觉的环境感知方法、装置及无人飞行器.pdf》由会员分享，可在线阅读，更多相关《基于双目视觉的环境感知方法、装置及无人飞行器.pdf（27页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010915758.3 (22)申请日 2020.09.03 (71)申请人 深圳市道通智能航空技术有限公司 地址 518055 广东省深圳市南山区西丽街 道学苑大道1001号智园B1栋9层 (72)发明人 郑欣 (74)专利代理机构 深圳市六加知识产权代理有 限公司 44372 代理人 谭友丹 (51)Int.Cl. G06K 9/00(2006.01) G06T 7/80(2017.01) G06T 17/05(2011.01) G06T 17/20(2006.01) 。

2、B64D 47/08(2006.01) (54)发明名称 基于双目视觉的环境感知方法、 装置及无人 飞行器 (57)摘要 本发明实施例公开了一种基于双目视觉的 环境感知方法、 装置及无人飞行器。 无人飞行器 设置有五组双目相机， 五组双目相机包括第一双 目相机、 第二双目相机、 第三双目相机、 第四双目 相机以及第五双目相机， 第一双目相机设置于无 人飞行器的机身前部， 第二双目相机倾斜向上设 置于无人飞行器的机身左侧与机身上部之间， 第 三双目相机倾斜向上设置于无人飞行器的机身 右侧与机身上部之间， 第四双目相机设置于无人 飞行器的机身下部， 第五双目相机设置于无人飞 行器的机身后部。 通过。

3、上述方式， 本发明实施例 能够简化全向感知系统， 同时减小感知盲区。 权利要求书4页 说明书15页 附图7页 CN 112052788 A 2020.12.08 CN 112052788 A 1.一种基于双目视觉的环境感知方法， 其特征在于， 所述方法应用于无人飞行器， 所述 无人飞行器设置有五组双目相机， 所述五组双目相机包括第一双目相机、 第二双目相机、 第 三双目相机、 第四双目相机以及第五双目相机， 所述第一双目相机设置于所述无人飞行器 的机身前部， 所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之 间， 所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上。

4、部之间， 所述 第四双目相机设置于所述无人飞行器的机身下部， 所述第五双目相机设置于所述无人飞行 器的机身后部； 所述方法包括： 通过所述五组双目相机的每一组双目相机获取一组双目视图， 并根据所述双目视图生 成视差图； 分别根据所述视差图及其对应的双目相机的内部参数， 生成初始三维点云数据； 分别将所述初始三维点云数据的坐标系转换为世界坐标系， 以获得五组世界坐标系下 的三维点云数据； 根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。 2.根据权利要求1所述的方法， 其特征在于， 任一双目相机的光心连线平行于水平面， 且任一双目相机的两光轴相互平行。 3.根据权利要求2所述的方法。

5、， 其特征在于， 所述第二双目相机的光轴、 所述第三双目 相机的光轴与水平面的夹角均为 。 4.根据权利要求3所述的方法， 其特征在于， 所述第二双目相机的垂直视角H2、 所述第三 双目相机的垂直视角H3以及所述第四双目相机的垂直视角H4满足： H2+H3+H4360 ； 且， 所述第二双目相机的垂直视角与所述第三双目相机的垂直视角部分重叠， 所述第 三双目相机的垂直与所述第四双目相机的垂直视角部分重叠， 所述第四双目相机的垂直视 角与所述第二双目相机的垂直视角部分重叠。 5.根据权利要求4所述的方法， 其特征在于， 所述第二双目相机的垂直视角H2、 所述第三 双目相机的垂直视角H3、 所述第。

6、四双目相机的垂直视角H4还满足以下条件： H2+H4-2 180 ； H3+H4-2 180 ； H2+H3180 。 6.根据权利要求3所述的方法， 其特征在于， 所述第一双目的水平视角V1、 所述第二双目 相机的水平视角V2、 所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5满足： V1+V2+V3+V5360 ； 且， 所述第一双目相机的水平视角与所述第二双目相机的水平视角部分重叠， 所述第 二双目相机的水平视角与所述第五双目的水平视角部分重叠， 所述第五双目的水平视角与 所述第三双目相机的水平视角部分重叠， 所述第三双目相机的水平视角与所述第一双目相 机的水平视角部分重叠。。

7、 7.根据权利要求6所述的方法， 其特征在于， 所述第一双目的水平视角V1、 所述第二双目 相机的水平视角V2、 所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5还满 足以下条件： V1+V2180 ； 权利要求书 1/4 页 2 CN 112052788 A 2 V2+V5180 ； V5+V3180 ； V3+V1180 。 8.根据权利要求3所述的方法， 其特征在于， 所述第一双目的垂直视角H1、 所述第二双目 的水平视角V2、 所述第四双目的垂直视角H4、 所述第五双目的水平视角V5满足： H1+V2+H4+V5 360 ； 且， 所述第一双目的垂直视角与所述第二双目的水平。

8、视角部分重叠， 所述第二双目的 水平视角与所述第四双目的垂直视角部分重叠， 所述第四双目的垂直视角与所述第五双目 的水平视角部分重叠。 9.根据权利要求8所述的方法， 其特征在于， 所述第一双目的垂直视角H1、 所述第二双目 的水平视角V2、 所述第四双目的垂直视角H4、 所述第五双目的水平视角V5还满足以下条件： H1+V2180 ； V2+H4180 ； H4+V5180 ； V5+H1180 。 10.根据权利要求9所述的方法， 其特征在于， 所述第三双目的水平视角与所述第二双 目的水平视角相等。 11.根据权利要求1-10任一项所述的方法， 其特征在于， 在所述通过所述五组双目相机 的。

9、每一组双目相机获取一组双目视图， 并根据所述双目视图生成视差图之前， 所述方法还 包括： 在预设环境下， 通过所述五组双目相机的每一组双目相机获取一组对照双目视图； 若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡 区域， 根据所述遮挡区域分别构建左蒙版和右蒙版， 根据所述左蒙版和所述右蒙版生成与 所述双目相机对应的蒙版视图， 并存储所述蒙版视图； 则所述根据所述视差图及其对应的双目相机的内部参数， 生成初始三维点云数据， 具 体包括： 将所述视差图和所述双目相机对应的蒙版视图进行融合， 生成融合视差图； 根据所述融合视差图及所述双目相机的内部参数， 生成初始三维点云数。

10、据。 12.根据权利要求11所述的方法， 其特征在于， 所述无人飞行器的机体本体形成的遮挡 区域包括以下至少一种： 所述无人飞行器的机臂形成的遮挡区域， 所述无人飞行器的机身形成的遮挡区域， 所 述无人飞行器的动力装置形成的遮挡区域， 以及所述无人飞行器的保护装置形成的遮挡区 域。 13.一种基于双目视觉的环境感知装置， 其特征在于， 所述装置应用于无人飞行器， 所 述无人飞行器设置有五组双目相机， 所述五组双目相机包括第一双目相机、 第二双目相机、 第三双目相机、 第四双目相机以及第五双目相机， 所述第一双目相机设置于所述无人飞行 器的机身前部， 所述第二双目相机倾斜向上设置于所述无人飞行器。

11、的机身左侧与机身上部 之间， 所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间， 所 述第四双目相机设置于所述无人飞行器的机身下部， 所述第五双目相机设置于所述无人飞 权利要求书 2/4 页 3 CN 112052788 A 3 行器的机身后部， 所述装置包括： 视差图生成模块， 用于通过所述五组双目相机的每一组双目相机获取一组双目视图， 并根据所述双目视图生成视差图； 初始点云数据生成模块， 用于分别根据所述视差图及其对应的双目相机的内部参数， 生成初始三维点云数据； 点云数据生成模块， 用于分别将所述初始三维点云数据的坐标系转换为世界坐标系， 以获得五组世界坐标系下的三。

12、维点云数据； 三维地图构建模块， 用于根据所述五组世界坐标系下的三维点云数据构建目标场景的 三维地图。 14.根据权利要求13所述的装置， 其特征在于， 所述装置还包括： 对照双目视图获取模块， 用于在预设环境下， 通过所述五组双目相机的每一组双目相 机获取一组对照双目视图； 蒙版视图生成模块， 用于若确定所述对照双目视图中的左右视图上有所述无人飞行器 的机体本体形成的遮挡区域， 根据所述遮挡区域分别构建左蒙版和右蒙版， 根据所述左蒙 版和所述右蒙版生成与所述双目相机对应的蒙版视图， 并存储所述蒙版视图； 所述初始点云数据生成模块， 还用于将所述视差图和所述双目相机对应的蒙版视图进 行融合， 。

13、生成融合视差图； 根据所述融合视差图及所述双目相机的内部参数， 生成初始三维 点云数据。 15.一种无人飞行器， 其特征在于， 包括： 第一双目相机， 设置于所述无人飞行器的机身前部； 第二双目相机， 倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间； 第三双目相机， 倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间； 第四双目相机， 设置于所述无人飞行器的机身下部； 第五双目相机， 设置于所述无人飞行器的机身后部； 控制器， 分别与所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述第四 双目相机和所述第五双目相机连接， 所述控制器包括： 至少一个处理器， 以及 存储器，。

14、 所述存储器与所述至少一个处理器通信连接， 所述存储器存储有可被所述至 少一个处理器执行的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理 器能够执行如权利要求1-12任一项所述的方法。 16.一种无人飞行器， 其特征在于， 包括： 第一双目相机， 设置于所述无人飞行器的机身前部； 第二双目相机， 倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间； 第三双目相机， 倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间； 第四双目相机， 设置于所述无人飞行器的机身下部； 第五双目相机， 设置于所述无人飞行器的机身后部； 以及 控制器， 分别与所述第一双目相机、 所述第二双目相。

15、机、 所述第三双目相机、 所述第四 双目相机和所述第五双目相机连接； 其中， 所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述第四双目相机、 所述第五双目相机均用于获取一组双目视图， 并根据所述双目视图生成视差图； 根据所述 权利要求书 3/4 页 4 CN 112052788 A 4 视差图及其内部参数， 生成初始三维点云数据； 以及将所述初始三维点云数据的坐标系转 换为世界坐标系， 以获得世界坐标系下的三维点云数据； 所述控制器用于根据所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述 第四双目相机、 所述第五双目相机的三维点云数据构建目标场景的三维地图。 1。

16、7.根据权利要求16所述的无人飞行器， 其特征在于， 所述第一双目相机、 所述第二双 目相机、 所述第三双目相机、 所述第四双目相机、 所述第五双目相机还均用于在预设环境 下， 获取一组对照双目视图； 若确定所述对照双目视图中的左右视图上有所述无人飞行器 的机体本体形成的遮挡区域， 根据所述遮挡区域分别构建左蒙版和右蒙版， 根据所述左蒙 版和所述右蒙版生成与所述双目相机对应的蒙版视图， 并存储所述蒙版视图； 将所述视差 图和所述双目相机对应的蒙版视图进行融合， 生成融合视差图； 根据所述融合视差图及所 述双目相机的内部参数， 生成初始三维点云数据。 权利要求书 4/4 页 5 CN 11205。

17、2788 A 5 基于双目视觉的环境感知方法、 装置及无人飞行器 技术领域 0001 本发明实施例涉及飞行器技术领域， 特别是涉及一种基于双目视觉的环境感知方 法、 装置及无人飞行器。 背景技术 0002 随着飞行器相关技术的不断发展， 无人飞行器(Unmanned Aerial Vehicle， UAV)， 也称无人机成为诸多领域发展的热点； 例如， 近年来， 无人机在灾情调查和救援、 空中监控、 输电线路巡检、 航拍、 航测以及军事领域均得到了广泛的应用。 0003 为实现避障、 刹车、 路径规划等， 无人机配备有传感器进行环境感知， 典型的传感 器包括超声波传感器、 红外传感器、 TOF。

18、传感器以及视觉传感器。 其中， 超声波传感器、 红外 传感器、 TOF传感器无法获取飞行图像， 通常作为辅助感知手段； 单目视觉传感器(即， 单目 相机)虽然输出信息丰富并且硬件成本低， 但所获取的飞行图像是二维的， 难以满足复杂化 的应用场景； 而双目视觉传感器(即， 双目相机)基于视差原理， 因其产生的立体视觉信息可 以直接恢复被测量点的三维坐标， 成为感知传感器中的热门。 0004 然而， 受限于体积或者成本， 无人机仅部分方向上配备有双目相机， 无法实现全向 感知； 即使在无人机上配备有6组双目相机， 因部分双目视觉传感器易被机臂遮挡， 视角较 窄， 也存在一定感知盲区。 发明内容 0。

19、005 本发明实施例主要解决的技术问题是提供一种基于双目视觉的环境感知方法、 装 置及无人飞行器， 能够简化全向感知系统， 同时减小感知盲区。 0006 为实现上述目的， 本发明实施例采用的一个技术方案是： 第一方面， 提供一种基于 双目视觉的环境感知方法， 所述方法应用于无人飞行器， 所述无人飞行器设置有五组双目 相机， 所述五组双目相机包括第一双目相机、 第二双目相机、 第三双目相机、 第四双目相机 以及第五双目相机， 所述第一双目相机设置于所述无人飞行器的机身前部， 所述第二双目 相机倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间， 所述第三双目相机倾斜 向上设置于所述无人飞行器的。

20、机身右侧与机身上部之间， 所述第四双目相机设置于所述无 人飞行器的机身下部， 所述第五双目相机设置于所述无人飞行器的机身后部； 0007 所述方法包括： 0008 通过所述五组双目相机的每一组双目相机获取一组双目视图， 并根据所述双目视 图生成视差图； 0009 分别根据所述视差图及其对应的双目相机的内部参数， 生成初始三维点云数据； 0010 分别将所述初始三维点云数据的坐标系转换为世界坐标系， 以获得五组世界坐标 系下的三维点云数据； 0011 根据所述五组世界坐标系下的三维点云数据构建目标场景的三维地图。 0012 可选地， 任一双目相机的光心连线平行于水平面， 且任一双目相机的两光轴相。

21、互 说明书 1/15 页 6 CN 112052788 A 6 平行。 0013 可选地， 所述第二双目相机的光轴、 所述第三双目相机的光轴与水平面的夹角均 为 。 0014 在一些实施例中， 所述第二双目相机的垂直视角H2、 所述第三双目相机的垂直视 角H3以及所述第四双目相机的垂直视角H4满足： H2+H3+H4360 ； 0015 且， 所述第二双目相机的垂直视角与所述第三双目相机的垂直视角部分重叠， 所 述第三双目相机的垂直与所述第四双目相机的垂直视角部分重叠， 所述第四双目相机的垂 直视角与所述第二双目相机的垂直视角部分重叠。 0016 可选地， 所述第二双目相机的垂直视角H2、 所。

22、述第三双目相机的垂直视角H3、 所述 第四双目相机的垂直视角H4还满足以下条件： 0017 H2+H4-2 180 ； 0018 H3+H4-2 180 ； 0019 H2+H3180 。 0020 在一些实施例中， 所述第一双目的水平视角V1、 所述第二双目相机的水平视角V2、 所述第三双目相机的水平视角V3以及所述第五双目的水平视角V5满足： V1+V2+V3+V5360 ； 0021 且， 所述第一双目相机的水平视角与所述第二双目相机的水平视角部分重叠， 所 述第二双目相机的水平视角与所述第五双目的水平视角部分重叠， 所述第五双目的水平视 角与所述第三双目相机的水平视角部分重叠， 所述第。

23、三双目相机的水平视角与所述第一双 目相机的水平视角部分重叠。 0022 可选地， 所述第一双目的水平视角V1、 所述第二双目相机的水平视角V2、 所述第三 双目相机的水平视角V3以及所述第五双目的水平视角V5还满足以下条件： 0023 V1+V2180 ； 0024 V2+V5180 ； 0025 V5+V3180 ； 0026 V3+V1180 。 0027 在一些实施例中， 所述第一双目的垂直视角H1、 所述第二双目的水平视角V2、 所述 第四双目的垂直视角H4、 所述第五双目的水平视角V5满足： H1+V2+H4+V5360 ； 0028 且， 所述第一双目的垂直视角与所述第二双目的水平。

24、视角部分重叠， 所述第二双 目的水平视角与所述第四双目的垂直视角部分重叠， 所述第四双目的垂直视角与所述第五 双目的水平视角部分重叠。 0029 可选地， 所述第一双目的垂直视角H1、 所述第二双目的水平视角V2、 所述第四双目 的垂直视角H4、 所述第五双目的水平视角V5还满足以下条件： 0030 H1+V2180 ； 0031 V2+H4180 ； 0032 H4+V5180 ； 0033 V5+H1180 。 0034 可选地， 所述第三双目的水平视角与所述第二双目的水平视角相等。 0035 在一些实施例中， 在所述通过所述五组双目相机的每一组双目相机获取一组双目 视图， 并根据所述双目。

25、视图生成视差图之前， 所述方法还包括： 说明书 2/15 页 7 CN 112052788 A 7 0036 在预设环境下， 通过所述五组双目相机的每一组双目相机获取一组对照双目视 图； 0037 若确定所述对照双目视图中的左右视图上有所述无人飞行器的机体本体形成的 遮挡区域， 根据所述遮挡区域分别构建左蒙版和右蒙版， 根据所述左蒙版和所述右蒙版生 成与所述双目相机对应的蒙版视图， 并存储所述蒙版视图； 0038 则所述根据所述视差图及其对应的双目相机的内部参数， 生成初始三维点云数 据， 具体包括： 0039 将所述视差图和所述双目相机对应的蒙版视图进行融合， 生成融合视差图； 0040 根。

26、据所述融合视差图及所述双目相机的内部参数， 生成初始三维点云数据。 0041 可选地， 所述无人飞行器的机体本体形成的遮挡区域包括以下至少一种： 0042 所述无人飞行器的机臂形成的遮挡区域， 所述无人飞行器的机身形成的遮挡区 域， 所述无人飞行器的动力装置形成的遮挡区域， 以及所述无人飞行器的保护装置形成的 遮挡区域。 0043 第二方面， 提供一种基于双目视觉的环境感知装置， 所述装置应用于无人飞行器， 所述无人飞行器设置有五组双目相机， 所述五组双目相机包括第一双目相机、 第二双目相 机、 第三双目相机、 第四双目相机以及第五双目相机， 所述第一双目相机设置于所述无人飞 行器的机身前部，。

27、 所述第二双目相机倾斜向上设置于所述无人飞行器的机身左侧与机身上 部之间， 所述第三双目相机倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间， 所述第四双目相机设置于所述无人飞行器的机身下部， 所述第五双目相机设置于所述无人 飞行器的机身后部， 所述装置包括： 0044 视差图生成模块， 用于通过所述五组双目相机的每一组双目相机获取一组双目视 图， 并根据所述双目视图生成视差图； 0045 初始点云数据生成模块， 用于分别根据所述视差图及其对应的双目相机的内部参 数， 生成初始三维点云数据； 0046 点云数据生成模块， 用于分别将所述初始三维点云数据的坐标系转换为世界坐标 系， 以获得五。

28、组世界坐标系下的三维点云数据； 0047 三维地图构建模块， 用于根据所述五组世界坐标系下的三维点云数据构建目标场 景的三维地图。 0048 可选地， 所述装置还包括： 0049 对照双目视图获取模块， 用于在预设环境下， 通过所述五组双目相机的每一组双 目相机获取一组对照双目视图； 0050 蒙版视图生成模块， 用于若确定所述对照双目视图中的左右视图上有所述无人飞 行器的机体本体形成的遮挡区域， 根据所述遮挡区域分别构建左蒙版和右蒙版， 根据所述 左蒙版和所述右蒙版生成与所述双目相机对应的蒙版视图， 并存储所述蒙版视图； 0051 所述初始点云数据生成模块， 还用于将所述视差图和所述双目相机。

29、对应的蒙版视 图进行融合， 生成融合视差图； 根据所述融合视差图及所述双目相机的内部参数， 生成初始 三维点云数据。 0052 第三方面， 提供一种无人飞行器， 包括： 0053 第一双目相机， 设置于所述无人飞行器的机身前部； 说明书 3/15 页 8 CN 112052788 A 8 0054 第二双目相机， 倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间； 0055 第三双目相机， 倾斜向上设置于所述无人飞行器的机身右侧与机身上部之间； 0056 第四双目相机， 设置于所述无人飞行器的机身下部； 0057 第五双目相机， 设置于所述无人飞行器的机身后部； 0058 控制器， 分别与。

30、所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述 第四双目相机和所述第五双目相机连接， 所述控制器包括： 至少一个处理器， 以及 0059 存储器， 所述存储器与所述至少一个处理器通信连接， 所述存储器存储有可被所 述至少一个处理器执行的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个 处理器能够执行如上所述的方法。 0060 第四方面， 提供另一种无人飞行器， 包括： 0061 第一双目相机， 设置于所述无人飞行器的机身前部； 0062 第二双目相机， 倾斜向上设置于所述无人飞行器的机身左侧与机身上部之间； 0063 第三双目相机， 倾斜向上设置于所述无人飞行器的。

31、机身右侧与机身上部之间； 0064 第四双目相机， 设置于所述无人飞行器的机身下部； 0065 第五双目相机， 设置于所述无人飞行器的机身后部； 以及 0066 控制器， 分别与所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述 第四双目相机和所述第五双目相机连接； 0067 其中， 所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述第四双目 相机、 所述第五双目相机均用于获取一组双目视图， 并根据所述双目视图生成视差图； 根据 所述视差图及其内部参数， 生成初始三维点云数据； 以及将所述初始三维点云数据的坐标 系转换为世界坐标系， 以获得世界坐标系下的三维点云数据。

32、； 0068 所述控制器用于根据所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述第四双目相机、 所述第五双目相机的三维点云数据构建目标场景的三维地图。 0069 可选地， 所述第一双目相机、 所述第二双目相机、 所述第三双目相机、 所述第四双 目相机、 所述第五双目相机还均用于在预设环境下， 获取一组对照双目视图； 若确定所述对 照双目视图中的左右视图上有所述无人飞行器的机体本体形成的遮挡区域， 根据所述遮挡 区域分别构建左蒙版和右蒙版， 根据所述左蒙版和所述右蒙版生成与所述双目相机对应的 蒙版视图， 并存储所述蒙版视图； 将所述视差图和所述双目相机对应的蒙版视图进行融合， 生。

33、成融合视差图； 根据所述融合视差图及所述双目相机的内部参数， 生成初始三维点云数 据。 0070 第五方面， 本发明实施例提供一种非易失性计算机可读存储介质， 所述计算机可 读存储介质存储有计算机可执行指令， 所述计算机可执行指令用于被无人飞行器执行， 以 实现如上所述的方法。 0071 第六方面， 本发明实施例提供一种计算机程序产品， 计算机程序产品包括存储在 非易失性计算机可读存储介质上的计算机程序， 计算机程序包括程序指令， 程序指令用于 被无人飞行器执行， 以实现如上所述的方法。 0072 本发明实施例的有益效果是： 区别于现有技术的情况， 本发明实施例的无人飞行 器设置有五组双目相机。

34、， 五组双目相机包括第一双目相机、 第二双目相机、 第三双目相机、 第四双目相机以及第五双目相机， 第一双目相机设置于无人飞行器的机身前部， 第二双目 说明书 4/15 页 9 CN 112052788 A 9 相机倾斜向上设置于无人飞行器的机身左侧与机身上部之间， 第三双目相机倾斜向上设置 于无人飞行器的机身右侧与机身上部之间， 第四双目相机设置于无人飞行器的机身下部， 第五双目相机设置于无人飞行器的机身后部； 通过五组双目相机感知无人飞行器前、 后、 左、 右、 上、 下六方位的环境信息， 能够减少一组双目相机的设置， 简化全向感知系统， 同时， 左右两侧的双目相机倾斜设置， 还能够减小无。

35、人飞行器的机体本体的遮挡， 减小感知盲区。 附图说明 0073 一个或多个实施例通过与之对应的附图中的图片进行示例性说明， 这些示例性说 明并不构成对实施例的限定， 附图中具有相同参考数字标号的元件表示为类似的元件， 除 非有特别申明， 附图中的图不构成比例限制。 0074 图1是本发明实施例涉及的实施环境的结构示意图； 0075 图2是本发明实施例提供的双目测距原理示意图； 0076 图3是本发明实施例涉及的实施环境的硬件结构示意图； 0077 图4是本发明实施例提供的基于双目视觉的环境感知方法的流程图； 0078 图5是本发明另一实施例提供的基于双目视觉的环境感知方法的流程图； 0079 。

36、图6是本发明实施例提供的基于无人飞行器的机体本体形成的遮挡区域生成蒙版 视图的示意图； 0080 图7是本发明实施例提供的第二双目相机和第三双目相机的安装示意图； 0081 图8是本发明实施例提供的在一个视角下无人飞行器的双目感知区域的示意图； 0082 图9是本发明实施例提供的在另一个视角下无人飞行器的双目感知区域的示意 图； 0083 图10是本发明实施例提供的在又一个视角下无人飞行器的双目感知区域的示意 图； 0084 图11是本发明实施例提供的基于双目视觉的环境感知装置的示意图； 0085 图12是本发明实施例提供的无人飞行器的结构示意图； 0086 图13是本发明另一实施例提供的无人。

37、飞行器的结构示意图。 具体实施方式 0087 下面将结合附图对本发明实施例中的技术方案进行描述， 显然， 所描述的实施例 是本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人 员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 0088 需要说明的是， 当元件被表述 “固定于” 另一个元件， 它可以直接在另一个元件上、 或者其间可以存在一个或多个居中的元件。 当一个元件被表述 “连接” 另一个元件， 它可以 是直接连接到另一个元件、 或者其间可以存在一个或多个居中的元件。 本说明书所使用的 术语 “垂直的” 、“水平的” 、“左” 。

38、、“右” 以及类似的表述只是为了说明的目的。 0089 此外， 下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构 成冲突就可以相互结合。 0090 图1是本发明各个实施例涉及的一种实施环境的示意图， 如图1所示， 该实施环境 包括无人飞行器10和多组双目相机， 多组双目相机分别设置在无人飞行器10的不同方位 说明书 5/15 页 10 CN 112052788 A 10 上， 以获取无人飞行器10周边的飞行环境。 0091 无人飞行器10包括机体本体， 机体本体包括机身110、 与机身110相连的机臂120、 位于每个机臂120上的动力装置130， 动力装置130用于给无人飞行。

39、器10提供飞行的动力， 主 要包括电机(如， 无刷电机)以及与电机连接的螺旋桨。 0092 图中以四旋翼无人飞行器为例， 在其他可能的实施例中， 无人飞行器10还可以为 三旋翼无人飞行器、 六旋翼无人飞行器、 固定翼无人飞行器等。 为了便于收纳和携带， 机臂 120还可相对于机身110折叠。 0093 可选地， 该无人飞行器10还包括与机身110底部或者机臂120连接的起落架140。 0094 多组双目相机包括设置于无人飞行器10的机身前部的第一双目相机21， 倾斜向上 设置于无人飞行器10的机身左侧与机身上部之间的第二双目相机22， 倾斜向上设置于无人 飞行器10的机身右侧与机身上部之间的第。

40、三双目相机23， 设置于无人飞行器10的机身下部 的第四双目相机24(图1未示出)， 以及设置于无人飞行器10的机身后部的第五双目相机25 (图1未示出)。 0095 每一双目相机均包括左、 右两个相机和图像处理器， 通过左、 右两个相机从不同的 位置获取被测物体的两幅图像， 图像处理器基于视差原理通过计算图像对应点间的位置偏 差， 以获取物体的三维几何信息。 0096 如图2所示， 特征点P是被摄物体上的某一点， OR与OT分别是两个相机的光心， 特征 点P在两个相机感光器上的成像点分别为P和P (相机的成像平面经过旋转后放在了镜头前 方)， f为相机焦距， B(Baseline)为两相机中。

41、心距， Z为待求的深度信息， 设点P到点P 的距离 为dis， 则： 0097 disB-(XR-XT)； 0098 根据相似三角形原理： 0099 0100 可得： 0101 0102 公式中， 焦距f和两相机中心距B可通过标定得到， 因此， 只要获得了(XRXT)的值， 即， 同一个空间点在两个相机成像中对应的X坐标的差值(disparity)即可求得点P的深度 信息。 进一步地， 通过标定得到的内部参数和外部参数， 图像处理器还可以通过求出点P在 相机坐标系下和世界坐标系下的三维坐标。 0103 其中， 双目相机的内部参数反映的是相机坐标系到图像坐标系之间的投影关系， 双目相机的外部参数。

42、反映的是相机坐标系和世界坐标系之间的旋转R和平移T关系。 通过在 双目相机前放置特制的标定参照物(通常为棋盘纸)， 以使双目相机获取该物体的图像， 可 计算得出双目相机的内部参数和外部参数。 0104 具体地， 可通过以下公式求出特征点P在相机坐标系下的三维坐标： 说明书 6/15 页 11 CN 112052788 A 11 0105 0106 0107 0108 其中， cx、 cy、 fx、 fy为双目相机的内部参数； px、 py为特征点P在视差图上的像素坐 标。 0109 根据相机坐标系和世界坐标系的关系， 通过相应的外部参数矩阵即可将该双目相 机坐标系转换至无人飞行器的世界坐标系。。

43、 在实际应用中， 若px、 py采用左图像中的像素坐 标， 则以左图像为基准， 采用左相机和世界坐标的映射关系计算特征点P在世界坐标系下的 三维坐标； 如果px、 py采用右图像中的像素坐标， 则以右图像为基准， 采用右相机和世界坐 标的映射关系计算特征点P在世界坐标系下的三维坐标。 0110 如图3所示， 无人飞行器10还包括安装在机体本体上的控制器30， 第一双目相机 21、 第二双目相机22、 第三双目相机23、 第四双目相机24、 第五双目相机25均与控制器30连 接， 控制器30用于获取各双目相机25的图像处理器传输的三维点云数据， 根据上述三维点 云数据构建三维地图或三维建模， 以。

44、控制动力装置130执行避障、 刹车、 路径规划等任务。 0111 可以理解的是， 上述根据三维点云数据构建三维地图或三维建模也可以由与无人 飞行器通信连接的上位机40执行。 还可以理解的是， 各双目相机的图像处理器之间， 和图像 处理器和控制器30之间可以是或者也可以不是物理上分开的； 例如， 各双目相机的图像处 理器和控制器30可以集成在同一芯片上， 和/或各双目相机的图像处理器的功能和控制器 30的功能也可由同一控制器执行。 0112 基于上述描述， 下面结合附图对本发明实施例作进一步阐述。 0113 实施例1 0114 请参阅图4， 图4为本发明实施例提供的一种基于双目视觉的环境感知方法。

45、的流程 图， 该方法应用于无人飞行器， 无人飞行器上设置有五组双目相机， 方法包括： 0115 步骤210： 通过五组双目相机的每一组双目相机获取一组双目视图， 并根据双目视 图生成视差图。 0116 示例性地， 五组双目相机包括第一双目相机、 第二双目相机、 第三双目相机、 第四 双目相机以及第五双目相机， 五组双目相机分别设置在无人飞行器的不同方位上， 用于全 方位获取无人飞行器周边的环境信息。 0117 其中， 第一双目相机设置于无人飞行器的机身前部， 可以横向、 纵向或斜向安装在 其安装面上， 光心朝前， 用于获取无人飞行器前方的环境信息。 0118 第二双目相机倾斜向上设置于无人飞行。

46、器的机身左侧与机身上部之间， 第二双目 相机的光心朝左并向上倾斜， 用于获取无人飞行器左侧方及斜上方的环境信息； 第三双目 相机倾斜向上设置于无人飞行器的机身右侧与机身上部之间， 第三双目相机的光心朝右并 向上倾斜， 用于获取无人飞行器右侧方及斜上方的环境信息。 通过将第二双目相机和第三 说明书 7/15 页 12 CN 112052788 A 12 双目相机倾斜设置， 不仅可以减少一组设置在无人飞行器的机身上部的双目相机， 而且， 可 以减小(甚至去除)无人飞行器的机体本体， 尤其是机臂的遮挡， 减少感知盲区。 0119 第四双目相机设置于无人飞行器的机身下部， 可以横向、 纵向或斜向安装在。

47、其安 装面上， 光心朝下， 用于获取无人飞行器下方的环境信息。 0120 第五双目相机设置于无人飞行器的机身后部， 可以横向、 纵向或斜向安装在其安 装面上， 光心朝后， 用于获取无人飞行器后方的环境信息。 0121 该步骤具体包括： 通过第一双目相机获取第一组双目视图， 并根据第一组双目视 图生成第一视差图； 通过第二双目相机获取第二组双目视图， 并根据第二组双目视图生成 第二视差图； 通过第三双目相机获取第三组双目视图， 并根据第三组双目视图生成第三视 差图； 通过第四双目相机获取第四组双目视图， 并根据第四组双目视图生成第四视差图； 通 过第五双目相机获取第五组双目视图， 并根据第五组双。

48、目视图生成第五视差图。 0122 可基于双目匹配算法根据双目视图生成对应的视差图。 在一实施方式中， 在对双 目视图的两副图像立体校正后， 使用BM算法或者SGBM算法计算视差图。 0123 步骤220： 分别根据视差图及其对应的双目相机的内部参数， 生成初始三维点云数 据。 0124 在上一步骤中， 获取的第一视差图与第一双目相机对应， 第二视差图与第二双目 相机对应， 第三视差图与第三双目相机对应， 第四视差图与第四双目相机对应， 第五视差图 与第五双目相机对应； 则该步骤具体包括： 根据第一视差图及第一双目相机的内部参数， 生 成第一组初始三维点云数据， 根据第二视差图及第二双目相机的内。

49、部参数， 生成第二组初 始三维点云数据， 根据第三视差图及第三双目相机的内部参数， 生成第三组初始三维点云 数据， 根据第四视差图及第四双目相机的内部参数， 生成第四组初始三维点云数据， 根据第 五视差图及第五双目相机的内部参数， 生成第五组初始三维点云数据。 0125 可采用利用以下公式， 获取各视差图中每一特征点的三维坐标： 0126 0127 0128 0129 其中， B为基线长度， disparity为由视差图获取的视差数据， cx、 cy、 fx、 fy为对应 的双目相机的内部参数， px、 py为点P在视差图上的像素坐标， 也即点P在左图像中的像素坐 标或者右图像中的像素坐标。 。

50、0130 初始三维点云数据， 可表示为由N个特征点的三维坐标构建的矩阵Pcam， 0131 步骤230： 分别将初始三维点云数据的坐标系转换为世界坐标系， 以获得五组世界 说明书 8/15 页 13 CN 112052788 A 13 坐标系下的三维点云数据。 0132 具体包括： 根据第一双目相机的外部参数矩阵将第一初始三维点云数据的坐标系 转换为世界坐标系， 以获得世界坐标系下的第一三维点云数据； 根据第二双目相机的外部 参数矩阵将第二初始三维点云数据的坐标系转换为世界坐标系， 以获得世界坐标系下的第 二三维点云数据； 根据第三双目相机的外部参数矩阵将第三初始三维点云数据的坐标系转 换为世。