室内视觉导航方法、装置、系统及电子设备.pdf

《室内视觉导航方法、装置、系统及电子设备.pdf》由会员分享，可在线阅读，更多相关《室内视觉导航方法、装置、系统及电子设备.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010292954.X (22)申请日 2020.04.14 (71)申请人 北京迈格威科技有限公司 地址 100000 北京市海淀区科学院南路2号 融科资讯中心A座316-318 (72)发明人 王金戈谢航庹东成陈南 李正权刘诗文刘骁 (74)专利代理机构 北京超凡宏宇专利代理事务 所(特殊普通合伙) 11463 代理人 何少岩 (51)Int.Cl. G06T 19/00(2011.01) G06F 16/29(2019.01) G06Q 10/04(2012.01) 。

2、G01C 21/20(2006.01) G06T 7/70(2017.01) (54)发明名称 室内视觉导航方法、 装置、 系统及电子设备 (57)摘要 本发明提供了一种室内视觉导航方法、 装 置、 系统及电子设备， 通过移动设备将采集到的 待定位的室内图像上传至服务器， 通过服务器确 定移动设备采集室内图像时的相机位姿， 并将室 内图像对应的相机位姿下发给移动设备， 然后移 动设备基于室内图像对应的相机位姿建立与世 界坐标系对齐的AR坐标系， 并基于用户设定的目 的地信息在预先导入的室内拓扑地图中规划最 短路线， 最后将移动设备采集的当前预览图像展 示在界面上， 并基于AR坐标系和最短路线将。

3、用于 指示路线行径方向的三维标识叠加在当前预览 图像上， 本发明能够为用户提供室内导航服务， 指导用户便捷地到达目的地。 权利要求书2页 说明书10页 附图3页 CN 111627114 A 2020.09.04 CN 111627114 A 1.一种室内视觉导航方法， 其特征在于， 所述方法由移动设备执行， 所述方法包括： 如果采集到待定位的室内图像， 将所述室内图像上传至服务器， 以使所述服务器确定 所述移动设备采集所述室内图像时的相机位姿； 接收所述服务器返回的所述室内图像对应的相机位姿， 并基于所述室内图像对应的相 机位姿建立与世界坐标系对齐的AR坐标系； 基于用户设定的目的地信息在预。

4、先导入的室内拓扑地图中规划最短路线； 将所述移动设备采集的当前预览图像展示在所述移动设备的界面上， 并基于所述AR坐 标系和所述最短路线， 将用于指示路线行径方向的三维标识叠加在所述当前预览图像上。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述室内图像对应的相机位姿建 立与世界坐标系对齐的AR坐标系的步骤， 包括： 建立初始的AR坐标系； 基于所述室内图像对应的相机位姿调整所述初始的AR坐标系， 以使所述AR坐标系与世 界坐标系对齐。 3.根据权利要求1所述的方法， 其特征在于， 所述基于用户设定的目的地信息在预先导 入的室内拓扑地图中规划最短路线的步骤， 包括： 基于用户设定的。

5、目的地信息， 利用路径规划算法在预先导入的室内拓扑地图中规划最 短路线。 4.根据权利要求1所述的方法， 其特征在于， 所述将用于指示路线行径方向的三维标识 叠加在所述当前预览图像上的步骤， 包括： 检测所述当前预览图像上的地平面； 确定所述最短路线在所述AR坐标系中的三维坐标， 并基于确定的所述三维坐标生成用 于指示路线行径方向的三维标识； 将所述三维标识绘制在所述当前预览图像上的地平面。 5.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 在导航过程中如果接收到所述服务器下发的当前相机位姿， 基于所述当前相机位姿对 所述AR坐标系进行修正， 以使修正后的所述AR坐标系与所述世界。

6、坐标系保持对齐。 6.一种室内视觉导航方法， 其特征在于， 所述方法由服务器执行， 所述方法包括： 如果接收到移动设备上传的待定位的室内图像， 确定所述移动设备采集所述室内图像 时的相机位姿； 将所述室内图像对应的相机位姿下发给所述移动设备， 以使所述移动设备基于所述室 内图像对应的相机位姿建立与世界坐标系对齐的AR坐标系， 并基于所述AR坐标系和最短路 线将用于指示路线行径方向的三维标识叠加在所述移动设备采集的当前预览图像上； 其 中， 所述最短路线是所述移动设备基于用户设定的目的地信息在室内拓扑地图中规划得到 的。 7.根据权利要求6所述的方法， 其特征在于， 所述确定所述移动设备采集所述。

7、室内图像 时的相机位姿的步骤， 包括： 将所述室内图像与预先建立的视觉地图库中的视觉地图进行特征匹配， 得到所述移动 设备采集所述室内图像时的相机位姿； 其中， 所述视觉地图通过室内场景的稀疏点云模型 表征。 权利要求书 1/2 页 2 CN 111627114 A 2 8.根据权利要求7所述的方法， 其特征在于， 所述视觉地图库的建立过程包括： 获取移动设备在室内场景采集得到的多张场景图像； 基于SFM算法对所述多张场景图像进行三维重建， 得到包含所述多张场景图像对应的 稀疏点云模型的视觉地图库。 9.根据权利要求7所述的方法， 其特征在于， 所述方法还包括： 将所述视觉地图与预先导入的室内。

8、平面分布图对齐。 10.根据权利要求6所述的方法， 其特征在于， 所述方法还包括： 定时获取所述移动设备在导航过程中采集的当前预览图像， 并确定所述移动设备采集 所述当前预览图像时的当前相机位姿； 将所述当前相机位姿下发给所述移动设备， 以使所述移动设备基于所述当前相机位姿 对所述AR坐标系进行修正。 11.一种室内视觉导航装置， 其特征在于， 所述装置设置在移动设备侧， 所述装置包括： 图像上传模块， 用于如果采集到待定位的室内图像， 将所述室内图像上传至服务器， 以 使所述服务器确定所述移动设备采集所述室内图像时的相机位姿； 坐标系建立模块， 用于接收所述服务器返回的所述室内图像对应的相机。

9、位姿， 并基于 所述室内图像对应的相机位姿建立与世界坐标系对齐的AR坐标系； 路线规划模块， 用于基于用户设定的目的地信息在预先导入的室内拓扑地图中规划最 短路线； 导航展示模块， 用于将所述移动设备采集的当前预览图像展示在所述移动设备的界面 上， 并基于所述AR坐标系和所述最短路线， 将用于指示路线行径方向的三维标识叠加在所 述当前预览图像上。 12.一种室内视觉导航装置， 其特征在于， 所述装置设置在服务器侧， 所述装置包括： 位姿确定模块， 用于如果接收到移动设备上传的待定位的室内图像， 确定所述移动设 备采集所述室内图像时的相机位姿； 设备导航模块， 用于将所述室内图像对应的相机位姿下。

10、发给所述移动设备， 以使所述 移动设备基于所述室内图像对应的相机位姿建立与世界坐标系对齐的AR坐标系， 并基于所 述AR坐标系和最短路线将用于指示路线行径方向的三维标识叠加在所述移动设备采集的 当前预览图像上； 其中， 所述最短路线是所述移动设备根据用户设定的目的地信息在室内 拓扑地图中规划得到的。 13.一种室内视觉导航系统， 其特征在于， 所述系统包括通信连接的移动设备和服务 器； 其中， 所述移动设备用于执行如权利要求1至5任一项所述的方法， 所述服务器用于执行 如权利要求6至10任一项所述的方法。 14.一种电子设备， 其特征在于， 包括： 处理器和存储装置； 所述存储装置上存储有计算。

11、机程序， 所述计算机程序在被所述处理器运行时执行如权 利要求1至5任一项所述的方法， 或如权利要求6至10任一项所述的方法。 15.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处理器运行时执行上述权利要求1至5任一项所述的方法的步骤或 上述权利要求6至10任一项所述的方法的步骤。 权利要求书 2/2 页 3 CN 111627114 A 3 室内视觉导航方法、 装置、 系统及电子设备 技术领域 0001 本发明涉及图像处理技术领域， 尤其是涉及一种室内视觉导航方法、 装置、 系统及 电子设备。 背景技术 0002 电子地图导航已成为人们。

12、在外出行时主要依靠的寻路方式， 然而， 现有的导航技 术主要是结合GPS技术进行室外导航， 当用户位于诸如商场等室内时， 只能依靠商场入口处 提供的平面图获知所需店铺(目的地)的位置， 但在用户前往目的地的过程中， 随着自身位 置的变化， 往往无法清楚地获知自己从当前位置到达目的地的导航路线， 因此通常达到目 的地需要较多的时间和精力寻路。 发明内容 0003 有鉴于此， 本发明的目的在于提供一种室内视觉导航方法、 装置、 系统及电子设 备， 能够为用户提供室内导航服务， 指导用户便捷地到达目的地。 0004 为了实现上述目的， 本发明实施例采用的技术方案如下： 0005 第一方面， 本发明实。

13、施例提供了一种室内视觉导航方法， 所述方法由移动设备执 行， 所述方法包括： 如果采集到待定位的室内图像， 将所述室内图像上传至服务器， 以使所 述服务器确定所述移动设备采集所述室内图像时的相机位姿； 接收所述服务器返回的所述 室内图像对应的相机位姿， 并基于所述室内图像对应的相机位姿建立与世界坐标系对齐的 AR坐标系； 基于用户设定的目的地信息在预先导入的室内拓扑地图中规划最短路线； 将所 述移动设备采集的当前预览图像展示在所述移动设备的界面上， 并基于所述AR坐标系和所 述最短路线， 将用于指示路线行径方向的三维标识叠加在所述当前预览图像上。 0006 进一步， 所述基于所述室内图像对应的。

14、相机位姿建立与世界坐标系对齐的AR坐标 系的步骤， 包括： 建立初始的AR坐标系； 基于所述室内图像对应的相机位姿调整所述初始的 AR坐标系， 以使所述AR坐标系与世界坐标系对齐。 0007 进一步， 所述基于用户设定的目的地信息在预先导入的室内拓扑地图中规划最短 路线的步骤， 包括： 基于用户设定的目的地信息， 利用路径规划算法在预先导入的室内拓扑 地图中规划最短路线。 0008 进一步， 所述将用于指示路线行径方向的三维标识叠加在所述当前预览图像上的 步骤， 包括： 检测所述当前预览图像上的地平面； 确定所述最短路线在所述AR坐标系中的三 维坐标， 并基于确定的所述三维坐标生成用于指示路线。

15、行径方向的三维标识； 将所述三维 标识绘制在所述当前预览图像上的地平面。 0009 进一步， 所述方法还包括： 在导航过程中如果接收到所述服务器下发的当前相机 位姿， 基于所述当前相机位姿对所述AR坐标系进行修正， 以使修正后的所述AR坐标系与所 述世界坐标系保持对齐。 0010 第二方面， 本发明实施例还提供一种室内视觉导航方法， 所述方法由服务器执行， 说明书 1/10 页 4 CN 111627114 A 4 所述方法包括： 如果接收到移动设备上传的待定位的室内图像， 确定所述移动设备采集所 述室内图像时的相机位姿； 将所述室内图像对应的相机位姿下发给所述移动设备， 以使所 述移动设备基。

16、于所述室内图像对应的相机位姿建立与世界坐标系对齐的AR坐标系， 并基于 所述AR坐标系和最短路线将用于指示路线行径方向的三维标识叠加在所述移动设备采集 的当前预览图像上； 其中， 所述最短路线是所述移动设备基于用户设定的目的地信息在室 内拓扑地图中规划得到的。 0011 进一步， 所述确定所述移动设备采集所述室内图像时的相机位姿的步骤， 包括： 将 所述室内图像与预先建立的视觉地图库中的视觉地图进行特征匹配， 得到所述移动设备采 集所述室内图像时的相机位姿； 其中， 所述视觉地图通过室内场景的稀疏点云模型表征。 0012 进一步， 所述视觉地图库的建立过程包括： 获取移动设备在室内场景采集得到。

17、的 多张场景图像； 基于SFM算法对所述多张场景图像进行三维重建， 得到包含所述多张场景图 像对应的稀疏点云模型的视觉地图库。 0013 进一步， 所述方法还包括： 将所述视觉地图与预先导入的室内平面分布图对齐。 0014 进一步， 所述方法还包括： 定时获取所述移动设备在导航过程中采集的当前预览 图像， 并确定所述移动设备采集所述当前预览图像时的当前相机位姿； 将所述当前相机位 姿下发给所述移动设备， 以使所述移动设备基于所述当前相机位姿对所述AR坐标系进行修 正。 0015 第三方面， 本发明实施例提供了一种室内视觉导航装置， 所述装置设置在移动设 备侧， 所述装置包括： 图像上传模块， 。

18、用于如果采集到待定位的室内图像， 将所述室内图像 上传至服务器， 以使所述服务器确定所述移动设备采集所述室内图像时的相机位姿； 坐标 系建立模块， 用于接收所述服务器返回的所述室内图像对应的相机位姿， 并基于所述室内 图像对应的相机位姿建立与世界坐标系对齐的AR坐标系； 路线规划模块， 用于基于用户设 定的目的地信息在预先导入的室内拓扑地图中规划最短路线； 导航展示模块， 用于将所述 移动设备采集的当前预览图像展示在所述移动设备的界面上， 并基于所述AR坐标系和所述 最短路线， 将用于指示路线行径方向的三维标识叠加在所述当前预览图像上。 0016 第四方面， 本发明实施例提供了一种室内视觉导航。

19、装置， 所述装置设置在服务器 侧， 所述装置包括： 位姿确定模块， 用于如果接收到移动设备上传的待定位的室内图像， 确 定所述移动设备采集所述室内图像时的相机位姿； 设备导航模块， 用于将所述室内图像对 应的相机位姿下发给所述移动设备， 以使所述移动设备基于所述室内图像对应的相机位姿 建立与世界坐标系对齐的AR坐标系， 并基于所述AR坐标系和最短路线将用于指示路线行径 方向的三维标识叠加在所述移动设备采集的当前预览图像上； 其中， 所述最短路线是所述 移动设备根据用户设定的目的地信息在室内拓扑地图中规划得到的。 0017 第五方面， 本发明实施例提供了一种室内视觉导航系统， 所述系统包括通信连。

20、接 的移动设备和服务器； 其中， 所述移动设备用于执行如第一方面任一项所述的方法， 所述服 务器用于执行如第二方面任一项所述的方法。 0018 第六方面， 本发明实施例提供了一种电子设备， 包括： 处理器和存储装置； 所述存 储装置上存储有计算机程序， 所述计算机程序在被所述处理器运行时执行如第一方面任一 项所述的方法， 或如第二方面任一项所述的方法。 0019 第七方面， 本发明实施例提供了一种计算机可读存储介质， 所述计算机可读存储 说明书 2/10 页 5 CN 111627114 A 5 介质上存储有计算机程序， 所述计算机程序被处理器运行时执行上述第一方面任一项所述 的方法的步骤或上。

21、述第二方面任一项所述的方法的步骤。 0020 本发明实施例提供了一种室内视觉导航方法、 装置、 系统及电子设备， 通过移动设 备将采集到的待定位的室内图像上传至服务器， 通过服务器确定移动设备采集室内图像时 的相机位姿， 并将室内图像对应的相机位姿下发给移动设备， 然后移动设备基于室内图像 对应的相机位姿建立与世界坐标系对齐的AR坐标系， 并基于用户设定的目的地信息在预先 导入的室内拓扑地图中规划最短路线， 最后将移动设备采集的当前预览图像展示在界面 上， 并基于AR坐标系和最短路线将用于指示路线行径方向的三维标识叠加在当前预览图像 上， 从而实现室内视觉导航。 本实施例提供的上述方式能够在室。

22、内以AR方式指导用户按照 最短路线前往目的地， 较好地提高了用户体验。 0021 本发明实施例的其他特征和优点将在随后的说明书中阐述， 或者， 部分特征和优 点可以从说明书推知或毫无疑义地确定， 或者通过实施本发明实施例的上述技术即可得 知。 0022 为使本发明的上述目的、 特征和优点能更明显易懂， 下文特举较佳实施例， 并配合 所附附图， 作详细说明如下。 附图说明 0023 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案， 下面将对具体 实施方式或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的 附图是本发明的一些实施方式， 对于本领域普通技术人员来讲，。

23、 在不付出创造性劳动的前 提下， 还可以根据这些附图获得其他的附图。 0024 图1示出了本发明实施例所提供的一种电子设备的结构示意图； 0025 图2示出了本发明实施例所提供的一种室内视觉导航方法流程图； 0026 图3示出了本发明实施例所提供的另一种室内视觉导航方法流程图； 0027 图4示出了本发明实施例所提供的另一种室内视觉导航方法流程图； 0028 图5示出了本发明实施例所提供的一种室内视觉导航装置的结构框图； 0029 图6示出了本发明实施例所提供的另一种室内视觉导航装置的结构框图。 具体实施方式 0030 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合附图对本发明。

24、 的技术方案进行描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施 例。 0031 考虑到现有技术中存在用户无法利用诸如手机等移动终端进行室内导航的问题， 本发明实施例提供的一种室内视觉导航方法、 装置、 系统及电子设备， 该技术可应用于任何 需要进行室内导航的场合， 以下对本发明实施例进行详细介绍。 0032 实施例一： 0033 首先， 参照图1来描述用于实现本发明实施例的一种室内视觉导航方法、 装置、 系 统及电子设备的示例电子设备100。 0034 如图1所示的一种电子设备的结构示意图， 电子设备100包括一个或多个处理器 说明书 3/10 页 6 CN 11162。

25、7114 A 6 102、 一个或多个存储装置104、 输入装置106、 输出装置108以及图像采集装置110， 这些组件 通过总线系统112和/或其它形式的连接机构(未示出)互连。 应当注意， 图1所示的电子设备 100的组件和结构只是示例性的， 而非限制性的， 根据需要， 所述电子设备也可以具有其他 组件和结构。 0035 所述处理器102可以采用数字信号处理器(DSP)、 现场可编程门阵列(FPGA)、 可编 程逻辑阵列(PLA)中的至少一种硬件形式来实现， 所述处理器102可以是中央处理单元 (CPU)、 图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理 单。

26、元中的一种或几种的组合， 并且可以控制所述电子设备100中的其它组件以执行期望的 功能。 0036 所述存储装置104可以包括一个或多个计算机程序产品， 所述计算机程序产品可 以包括各种形式的计算机可读存储介质， 例如易失性存储器和/或非易失性存储器。 所述易 失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。 所述非 易失性存储器例如可以包括只读存储器(ROM)、 硬盘、 闪存等。 在所述计算机可读存储介质 上可以存储一个或多个计算机程序指令， 处理器102可以运行所述程序指令， 以实现下文所 述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望。

27、的功能。 在所述计 算机可读存储介质中还可以存储各种应用程序和各种数据， 例如所述应用程序使用和/或 产生的各种数据等。 0037 所述输入装置106可以是用户用来输入指令的装置， 并且可以包括键盘、 鼠标、 麦 克风和触摸屏等中的一个或多个。 0038 所述输出装置108可以向外部(例如， 用户)输出各种信息(例如， 图像或声音)， 并 且可以包括显示器、 扬声器等中的一个或多个。 0039 所述图像采集装置110可以拍摄用户期望的图像(例如照片、 视频等)， 并且将所拍 摄的图像存储在所述存储装置104中以供其它组件使用。 0040 示例性地， 用于实现根据本发明实施例的室内视觉导航方法、。

28、 装置、 系统及电子设 备的示例电子设备可以被实现为诸如智能手机、 平板电脑、 可穿戴电子设备、 计算机、 服务 器等智能终端。 0041 实施例二： 0042 本实施例站在移动设备侧提供了一种室内视觉导航方法， 该方法可以由诸如手 机、 平板电脑、 可穿戴电子设备等移动设备执行， 参见图2所示的室内视觉导航方法流程图， 该方法主要包括如下步骤S202步骤S208： 0043 步骤S202， 如果采集到待定位的室内图像， 将室内图像上传至服务器， 以使服务器 确定移动设备采集室内图像时的相机位姿。 0044 以下均以移动设备是手机为例进行说明， 用户置身于室内场景时可能不知道自己 当前所处的位。

29、置， 更不知道从当前所处的位置如何前往目的地， 因此可以先通过手机先拍 摄一张当前场景下的室内图像， 然后将室内图像上传给服务器， 通过服务器基于室内图像 进行视觉定位。 0045 步骤S204， 接收服务器返回的室内图像对应的相机位姿， 并基于室内图像对应的 相机位姿建立与世界坐标系对齐的AR坐标系。 0046 AR(Augmented Reality， 增强现实)技术是一种将虚拟信息与真实世界进行融合 说明书 4/10 页 7 CN 111627114 A 7 的技术， 可以将虚拟信息应用到真实世界， 通过将虚拟信息(诸如虚拟图形)与真实场景进 行叠加， 可以呈现出虚拟图形与真实场景图像在。

30、同一个画面或同一个空间的效果， 从而使 用户体验虚拟与现实结合的场景。 本实施例为了给用户提供较佳的导航体验， 采用AR导航 方式实现， 由于需要将虚拟图形显示于真实场景中， 因此需要建立AR坐标系， 并基于室内图 像对应的相机位姿对AR坐标系进行调整， 以使AR坐标系与世界坐标系对齐。 其中， AR坐标系 的建立可以利用现有的SLAM算法(SimultaneousLocalization and Mapping， 即时定位与 地图构建)实现， 在此不再赘述。 0047 步骤S206， 基于用户设定的目的地信息在预先导入的室内拓扑地图中规划最短路 线。 0048 用户可以在手机APP中输入目的。

31、地名称， 或者直接在手机APP呈现的室内平面图上 执行点选目的地的操作， 在此不进行限定。 当手机获取到用户设定的目的地信息后， 则可以 在预先导入的室内拓扑地图中进行路线规划。 在室内拓扑地图中， 可以将各店铺作为地图 中的节点， 将室内路径作为地图中的边径。 在实际应用中， 诸如商场、 图书馆、 博物馆等需要 提供室内导航服务的地区可以事先向服务器提供室内拓扑地图， 服务器也可以直接根据室 内平面图转换而来。 0049 步骤S208， 将移动设备采集的当前预览图像展示在移动设备的界面上， 并基于AR 坐标系和最短路线， 将用于指示路线行径方向的三维标识叠加在当前预览图像上。 0050 移动。

32、设备的相机开始处于拍摄状态并持续采集图像， 并将采集到的图像展示在移 动终端的屏幕上， 也可称为该移动设备的相机处于图像预览模式。 用户在手持手机进行导 航时， 手机摄像头处于预览模式， 用户可以通过手机界面看到当前叠加有用于指示路线行 径方向的三维标识标注于室内场景内(诸如将箭头标注于地面上)。 0051 通过本实施例提供的上述室内视觉导航方法， 移动设备可以在室内以AR方式指导 用户按照最短路线前往目的地， 较好地提高了用户体验。 0052 在基于室内图像对应的相机位姿建立与世界坐标系对齐的AR坐标系时， 可以首先 建立初始的AR坐标系， 然后基于室内图像对应的相机位姿调整初始的AR坐标系。

33、， 以使AR坐 标系与世界坐标系对齐。 0053 在手机内可以设置有AR系统， AR系统通常是一个包含回环检测的视觉惯性里程计 (Visual-Inertial Odometry， VIO)， 其中， AR坐标系又可称为VIO坐标系。 AR系统可以是iOS 系统中自带的ARKit， 或者Android自带的ARCore， 还可以是任意可实现移动设备导航功能 的第三方系统， 在此不进行限制。 0054 初期建立的AR坐标系通常以采集的第一帧图像为坐标原点， 为了能够使基于AR坐 标系绘制的虚拟图像能够与世界坐标系下的真实场景图像较好的融合， 因此需要利用室内 图像对应的相机位姿对初始的AR坐标系。

34、进行调整， 以便于手机能够将规划好的路径顺利转 换至世界坐标系处， 从而使得虚拟图形与真实场景图像更好的相结合。 0055 在实际应用中， 本实施例给出了基于用户设定的目的地信息在预先导入的室内拓 扑地图中规划最短路线的具体实施方式： 基于用户设定的目的地信息， 利用路径规划算法 在预先导入的室内拓扑地图中规划最短路线。 路径规划算法可以为A*算法， 当然也可以为 其它路径规划算法， 在此不进行限定。 0056 为了便于清楚地为用户提供导航方向， 本实施例在执行上述步骤S208时， 主要可 说明书 5/10 页 8 CN 111627114 A 8 以参照如下步骤实现： (1)检测当前预览图像。

35、上的地平面； (2)确定最短路线在AR坐标系中 的三维坐标， 并基于确定的三维坐标生成用于指示路线行径方向的三维标识； (3)将三维标 识绘制在当前预览图像上的地平面。 诸如， 三维标识可以为虚拟箭头、 虚线路径标识等。 用 户可以按照三维标识指示的方向进行行走， 即可最终以最短路径到达目的地。 0057 考虑到在AR导航过程中， 由于初始视觉定位位姿的误差和AR系统自身的漂移等原 因， 导航路线可能会逐渐变得不准确， 例如表现为导航路线开始与建筑物相交。 因此为了保 证全程的准确导航， 本实施例中的移动设备在导航过程中如果接收到服务器下发的当前相 机位姿， 基于当前相机位姿对AR坐标系进行修。

36、正， 以使修正后的AR坐标系与世界坐标系保 持对齐。 也即， 服务器会定时获取移动设备在导航过程中采集的当前预览图像， 并确定移动 设备采集当前预览图像时的当前相机位姿， 并将当前相机位姿下发给移动设备， 然后移动 设备可以基于当前相机位姿对AR坐标系进行修正， 从而提升导航准确性。 0058 实施例三： 0059 本实施例站在服务器侧提供了一种室内视觉导航方法， 该方法可以由诸如云服务 器执行， 参见图3所示的室内视觉导航方法流程图， 该方法主要包括如下步骤S302步骤 S304： 0060 步骤S302， 如果接收到移动设备上传的待定位的室内图像， 确定移动设备采集室 内图像时的相机位姿。。

37、 其中， 相机位姿可以包括XY坐标和相机方向朝向。 0061 步骤S304， 将室内图像对应的相机位姿下发给移动设备， 以使移动设备基于室内 图像对应的相机位姿建立与世界坐标系对齐的AR坐标系， 并基于AR坐标系和最短路线将用 于指示路线行径方向的三维标识叠加在移动设备采集的当前预览图像上； 其中， 最短路线 是移动设备基于用户设定的目的地信息在室内拓扑地图中规划得到的。 0062 通过本实施例提供的上述室内视觉导航方法， 可以由服务器承担导航过程中所需 的诸如相机位姿计算等计算量较大的步骤， 然后通过移动设备快速便捷地在室内以AR方式 指导用户按照最短路线前往目的地， 较好地提高了用户体验。。

38、 0063 在本实施例中， 可以将较为耗费时间和空间的计算过程都由服务器侧执行， 诸如 由服务器确定移动设备采集室内图像时的相机位姿， 在具体实施时， 服务器可以将室内图 像与预先建立的视觉地图库中的视觉地图进行特征匹配， 得到移动设备采集室内图像时的 相机位姿； 其中， 视觉地图通过室内场景的稀疏点云模型表征， 可以理解为场景的大量视觉 特征。 在实际应用中， 可以根据3D-2D匹配关系来求解PNP(Perspective-n-Point)问题， 也 即求解3D到2D点对的运动方法， 以便根据特征点对运动求解相机位姿。 0064 本实施例给出一种将室内图像与预先建立的视觉地图库中的视觉地图进。

39、行特征 匹配， 得到移动设备采集室内图像时的相机位姿的具体实施方式， 主要包括粗定位和细定 位两个环节， 分别介绍如下： 0065 在粗定位环节中， 利用深度哈希算法计算室内图像的全局图像描述符， 在视觉地 图库中查找与其最相似的k个关键帧图像， 得到关键帧ID， 然后根据关键帧ID查找已存储的 关键帧信息， 包括关键帧的位姿、 局部特征点、 局部描述子以及对应的地图点在世界坐标系 中的坐标。 根据关键帧的位姿对这k个关键帧聚类， 将位置相似的关键帧聚为一类。 对于每 个聚类， 其聚类中心为后续的细定位提供了初步的粗定位结果。 0066 在细定位环节中， 首先需要遍历每个聚类， 对室内图像提取。

40、局部特征点， 计算局部 说明书 6/10 页 9 CN 111627114 A 9 描述子并与聚类中的所有关键帧的局部特征匹配， 然后取出匹配成功的特征点对应的3D地 图点， 若匹配成功的3D-2D点对数大于预设个数(诸如大于5)， 则可以求解PNP问题， 得到室 内图像对应的相机位姿。 可以将PNP求得的位姿作为初始值， 进一步构建Bundle Adjustment图优化问题， 从而可以优化室内图像对应的位姿， 使得重投影误差最小。 在位姿 优化后剔除重投影误差仍然较大的边， 用其余边再次构建BundleAdjustment图优化问题， 最后得到较精确的室内图像对应的位姿。 如果该过程中出现。

41、3D-2D点对数过少， 或优化后重 投影误差过大的现象， 则认为当前聚类中的关键帧为错误匹配， 放弃该聚类。 如果优化后重 投影误差较小， 则认为位姿求解是正确的， 直接输出结果， 不再进入下个聚类的循环。 0067 服务器在经过上述由粗到细的两步定位之后， 可以得到较为精确的室内图像对应 的相机位姿。 当然， 以上仅为本实施例提供的一种位姿确定方法， 还可以采用其它任何确定 相机位姿的方式实现， 在此不进行限制。 0068 在实际应用中， 服务器还会将视觉地图与预先导入的室内平面分布图对齐， 以便 在用于室内导航的移动设备将规划的路径顺利转换至世界坐标系。 其中， 室内平面分布图 又可以理解。

42、为建筑结构图， 可以由诸如商场预先将室内平面分布图上传给服务器。 0069 服务器可以预先构建视觉地图库， 视觉地图库的建立过程包括如下步骤： (1)获取 移动设备在室内场景采集得到的多张场景图像。 在实际应用中， 可以预先采集室内各个场 景的大量图像， 以便构建较为精确的稀疏点云模型。 (2)基于SFM(Structure From Motion) 算法对多张场景图像进行三维重建， 得到包含多张场景图像对应的稀疏点云模型的视觉地 图库。 SFM建图过程可以采用诸如COLMAP、 Theia、 VisualSfM、 OpenMVG等开源算法实现， 在此 不进行限制。 在实际应用中， 为了节约服。

43、务器的磁盘存储空间， 还可以将视觉地图库中的视 觉地图进行压缩， 诸如， 可采用乘积量化等方法对视觉地图中的原始特征进行编码， 视觉地 图中只保存编码后的结果， 不保存原始特征， 从而大幅压缩地图大小。 在服务器利用视觉数 据库进行视觉定位时， 可以对编码后的视觉特征进行解码， 用解码后的特征进行匹配和位 姿估计。 0070 通过上述方式， 服务器可以承担较大计算量的视觉地图库构建以及相机位姿确定 环节， 从而降低了移动设备的硬件要求， 也使得移动设备能够更为快速地基于服务器的计 算结果为用户提供导航服务。 0071 此外， 考虑到AR导航过程中， 由于初始视觉定位位姿的误差和AR系统自身的漂。

44、移 等原因， 导航路线可能会逐渐变得不准确， 服务器还可以定时获取移动设备在导航过程中 采集的当前预览图像， 并确定移动设备采集当前预览图像时的当前相机位姿； 将当前相机 位姿下发给移动设备， 以使移动设备基于当前相机位姿对AR坐标系进行修正。 0072 实施例四： 0073 本实施例给出了一种以实施例三和实施例四为基础的室内视觉导航方法的具体 实施方式， 具体可参照如图4所示的一种室内视觉导航方法流程图， 具体包括如下步骤： 0074 步骤S410： 采集多张室内图像； 0075 步骤S412： 基于室内图像进行SFM建图， 生成视觉地图数据库。 0076 步骤S414： 将视觉地图数据库中。

45、的视觉地图与室内平面分布图对齐。 其中， 室内平 面分布图又可称为建筑结构图。 0077 步骤S420： 接收到手机上传的待定位的室内图像； 说明书 7/10 页 10 CN 111627114 A 10 0078 步骤S422： 提取待定位的室内图像的图像特征， 将提取的图像特征与视觉地图进 行匹配， 估计手机采集室内图像时的相机位姿； 0079 步骤S424： 将估计得到的相机位姿返回至手机； 0080 步骤S430： 建立AR坐标系； 0081 步骤S432： 将AR坐标系与手机采集室内图像时的相机位姿对齐； 0082 步骤S434： 接收用户设定的目的地信息， 在室内拓扑地图中规划最短。

46、路线； 0083 步骤S436： 检测地平面； 0084 步骤S438： 将最短路线转换为AR坐标系中的三维坐标， 并将路线用箭头绘制在地 平面上。 0085 上述步骤的具体实施操作可以参见实施例二和实施例三的内容， 在此不再赘述。 0086 其中， 步骤S410步骤S414可以统称为视觉地图构建操作， 步骤S420步骤S424 可以统称为云端视觉定位操作， 视觉地图构建操作和云端视觉定位操作均可由服务器执 行， 步骤S430步骤S438可以统称为移动端AR导航操作， 具体可以由手机等移动设备执行。 0087 本实施例提供的上述室内视觉导航方法， 允许用户随时随地使用手机通过拍摄周 围环境的方。

47、式确定自身的位置， 选择目的地后可以透过手机屏幕看到手机通过路径选择算 法规划的最佳路线， 沿着该路线行走即可到达目的地。 而且上述室内视觉导航方法将比较 耗费时间和空间的计算过程放在服务器端进行， 使得用户可在移动设备上实现实时的定位 和导航。 0088 实施例五： 0089 对应于前述实施例二提供的室内视觉导航方法， 本实施例进一步提供了一种设置 在移动设备侧的室内视觉导航装置， 参见图5所示的室内视觉导航装置的结构框图， 包括如 下模块： 0090 图像上传模块502， 用于如果采集到待定位的室内图像， 将室内图像上传至服务 器， 以使服务器确定移动设备采集室内图像时的相机位姿； 009。

48、1 坐标系建立模块504， 用于接收服务器返回的室内图像对应的相机位姿， 并基于室 内图像对应的相机位姿建立与世界坐标系对齐的AR坐标系； 0092 路线规划模块506， 用于基于用户设定的目的地信息在预先导入的室内拓扑地图 中规划最短路线； 0093 导航展示模块508， 用于将移动设备采集的当前预览图像展示在移动设备的界面 上， 并基于AR坐标系和最短路线， 将用于指示路线行径方向的三维标识叠加在当前预览图 像上。 0094 通过本实施例提供的上述室内视觉导航装置， 移动设备可以在室内以AR方式指导 用户按照最短路线前往目的地， 较好地提高了用户体验。 0095 在一种实施方式中， 坐标系。

49、建立模块504用于建立初始的AR坐标系； 基于室内图像 对应的相机位姿调整初始的AR坐标系， 以使AR坐标系与世界坐标系对齐。 0096 在一种实施方式中， 路线规划模块506用于基于目的地信息， 利用路径规划算法在 预先导入的室内拓扑地图中规划最短路线。 0097 在一种实施方式中， 导航展示模块508用于检测当前预览图像上的地平面； 确定最 短路线在AR坐标系中的三维坐标， 并基于确定的三维坐标生成用于指示路线行径方向的三 说明书 8/10 页 11 CN 111627114 A 11 维标识； 将三维标识绘制在当前预览图像上的地平面。 0098 在一种实施方式中， 上述装置还包括坐标系修。

50、正模块， 用于在导航过程中如果接 收到服务器下发的当前相机位姿， 基于当前相机位姿对AR坐标系进行修正， 以使修正后的 AR坐标系与世界坐标系保持对齐。 0099 本实施例所提供的装置， 其实现原理及产生的技术效果和前述实施例相同， 为简 要描述， 装置实施例部分未提及之处， 可参考前述方法实施例中相应内容。 0100 实施例六： 0101 对应于前述实施例二提供的室内视觉导航方法， 本实施例进一步提供了一种设置 在服务器侧的室内视觉导航装置， 参见图6所示的室内视觉导航装置的结构框图， 包括如下 模块： 0102 位姿确定模块602， 用于如果接收到移动设备上传的待定位的室内图像， 确定移动。