《一种基于双摄像头的实时实景匹配车载导航方法及装置.pdf》由会员分享，可在线阅读，更多相关《一种基于双摄像头的实时实景匹配车载导航方法及装置.pdf（14页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103090875 A (43)申请公布日 2013.05.08 CN 103090875 A *CN103090875A* (21)申请号 201210488065.6 (22)申请日 2012.11.26 G01C 21/30(2006.01) (71)申请人 华南理工大学 地址 510640 广东省广州市天河区五山路 381 号 (72)发明人 宁更新 樊国勇 韦岗 张军 (74)专利代理机构 广州粤高专利商标代理有限 公司 44102 代理人 何淑珍 (54) 发明名称 一种基于双摄像头的实时实景匹配车载导航 方法及装置 (57) 摘要 本发明公开一种基于双摄。
2、像头的实时实景匹 配车载导航方法及装置。所述导航方法在普通的 导航地图导航的基础上， 采用普通摄像头和红外 摄像头结合的方式， 通过普通摄像头采集实时影 像显示在导航仪屏幕， 红外摄像头采集的图像则 与原有的导航地图进行匹配， 因此就可以把导航 地图上的导航指示映射到实景图上， 完成实景导 航。所述装置包括贴片式显示器及显示器驱动单 元模块， 控制存储处理单元模块， 导航信息接收天 线模块， 彩色摄像头， 红外摄像头、 USB 输出模块 和电源模块 ； 所述彩色摄像头和红外摄像头均与 导航装置的控制处理器连接。本发明装置结构简 单， 可以避免占用大量的储存空间来储存实景地 图， 计算量少， 响。
3、应快， 成本低。 (51)Int.Cl. 权利要求书 2 页 说明书 7 页 附图 4 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书7页 附图4页 (10)申请公布号 CN 103090875 A CN 103090875 A *CN103090875A* 1/2 页 2 1. 一种基于双摄像头的实时实景匹配车载导航方法， 包括非实景地图导航模式， 其特 征是在非实景地图导航模式中还采用双摄像头进行实时实景匹配导航， 所述双摄像头包括 水平排列的用于采集当前的道路信息的彩色摄像头和红外摄像头， 两摄像头均与导航装置 的控制处理器连接， 在非实景地图模式。
4、下， 用户当前的位置通过导航装置中的 GPS 定位系 统确定， 用户需要输入目的地， 然后地图会自动计算出行驶路径并根据路径进行导航 ； 所述 实时实景匹配导航由用户启动或系统自动启动， 实时实景匹配导航过程包括 ：（1） 红外摄 像头采集当前的影像并传输到导航装置的控制储存单元模块， 控制储存单元模块接收到红 外摄像头的影像进行灰度值划分来得到道路的轮廓 ；（2） 控制储存单元模块将通过红外影 像得到的道路轮廓与预先存储的非实景地图进行匹配， 具体是通过基于灰度值重合算法实 现匹配 ； 在多层结构的道路上， 若当前实景与非实景地图当前显示地图不匹配， 则将非实景 地图切换到另一层道路， 重新。
5、将通过红外影像得到的道路轮廓与预先存储的所述另一层道 路的非实景地图进行匹配， 直到匹配成功 ； 当匹配成功时， 说明用户位于当前匹配成功的道 路层， 此时将非实景地图切换到当前匹配成功的道路层继续导航。 2. 根据权利要求 1 所述的一种基于双摄像头的实时实景匹配车载导航方法， 其特征在 于步骤 （2） 中， 若出现匹配失败的情况， 则导航装置会发出匹配失败提示， 告知用户可能存 在道路改建因素， 并记录下当前道路的相关信息， 相关信息包括坐标、 道路状况， 若此时用 户选择了非实景地图上没有显示的路径， 则导航装置会进一步记录当前用户所行驶的路径 信息 ； 用户能将匹配失败后的当前道路的相。
6、关信息和所述路径信息通过 USB 输出模块输出 到上位机上。 3. 根据权利要求 1 所述的一种基于双摄像头的实时实景匹配车载导航方法， 其特征在 于步骤 （1） 中首先选中画面中心偏下的一个设定区域， 将设定区域内所有点的灰度值作平 均， 得到灰度值 Dc， 然后根据路面与道路边缘的温差设定路面灰度值差系数 K， 对整个图像 将灰度值范围在 （Dc-K, Dc+K） 范围内与范围外的点的灰度值二极化， 得到道路的轮廓。 4. 根据权利要求 1 所述的一种基于双摄像头的实时实景匹配车载导航方法， 其特征 在于步骤 （2） 取非实景地图当前位置的 MN 范围， MN 表示选取的图像大小， 作二值。
7、化处 理， 得到基于非实景地图的道路轮廓图即基准模板 P1， 并记下当前导航指向标志的坐标位 置 Dp， Dp为一个坐标集合， 将处理后的红外图像按比例 d 伸缩成 MN 大小， 作为目标模板， 记为 P2； 通过式 （1） 计算 P1与 P2的灰度值重合度 P ： 其中 p1(i, j) 代表基准模板 P1 坐标为 (i, j) 点的灰度值， p2(i, j) 代表基准模板 P2 坐标为 (i, j) 点的灰度值 ； 式 (1) 即统计 P1 与 P2 的 MN 个点中灰度值相同的点的数量 P ； 式中的 x和 y为位移调整， 由于实景与非实景地图的观看角度不一致， 因此在匹配时 图像可能存。
8、在移位的情况， 因此需要进行位置修正， 通过搜索不同的 x和 y， 使得式 (1) 有最大值， 此时需要判断是否匹配成功， 匹配成功与否通过式 (2) 和式 (3) 判断 ： 权 利 要 求 书 CN 103090875 A 2 2/2 页 3 式(2)中， Dp(i-x, j-y)表示经过位置修正后， 导航标志Dp在P2模板中的对应位置 ； 当 P1与 P2匹配时， Dp(i-x, j-y) 应对 P2上的道路位置， 即两者对应位置的灰度值应相 等， 因此通过计算式 (3) 中 Dp(i-x, j-y) 与 P2的灰度值重合像素数占 Dp总像素数 D 的 比例 Q 来判断 P1与 P2是否匹。
9、配， 若 Q 大于某一个设定值， 则认为 P1与 P2实现匹配， 记录此 时的 x和 y。 5. 根据权利要求 4 所述的一种基于双摄像头的实时实景匹配车载导航方法， 其特征在 于所述导航方法还包括实时的实景匹配显示模式， 当切换到这种显示模式时， 所述彩色摄 像头和红外摄像头同时开启， 配合非实景导航地图进行地图匹配， 红外摄像头负责采集红 外画面用于步骤 （2） 所述匹配， 彩色摄像头负责采集彩色实景图用于实景显示。 6. 根据权利要求 5 所述的一种基于双摄像头的实时实景匹配车载导航方法， 其特征在 于所述实时的实景匹配显示模式具体包括 ： 首先， 所述的红外图像与非实景地图的匹配成功后。
10、， 把非实景地图上的导航指向标志 映射到实景彩图的相应位置， 导航指向标志在基于非实景地图的目标模板 P2的位置 Dp， 位 置修正 x、 y和伸缩比例 d， 根据这些参数就计算出导航指向标志在实景彩图的对应坐 标， 计算方法如式 (4) 所示 ： 式 (4) 表示将坐标集合 Dp在 x 轴偏移 x， y 轴偏移 y后， 再按缩放比例 d 还原， 得到 的坐标集合再整体水平移动 x得到最终的坐标集合 Dp， x为两摄像头由于位置不同所 产生的水平位置已知差距， 最后将彩色摄像头采集到的图像在坐标集合Dp上绘制出指向图 标， 并将彩色图像显示， 即实现实景导航显示模式。 7. 实现权利要求 1 。
11、6 任一项所述基于双摄像头的实时实景匹配车载导航方法的 装置， 其特征在于包括贴片式显示器及显示器驱动单元模块 （1） ， 控制存储处理单元模块 （2） ， 导航信息接收天线模块 （3） ， 彩色摄像头 （4） ， 红外摄像头 （5） 、 USB 输出模块 （6） 和电源 模块 （7） ； 其中控制处理存储单元模块 （2） 包括控制处理器、 存储器、 外部控制开关和麦克 风， 其中外部控制开关包括 “电源开关” 、 “显示信息” 开关、 “语音输入” 和 “语音设置” 开 关， 分别完成开关机、 选择是非实景地图导航显示还是实景地图导航显示、 是否用语音控制 和是否设置控制语音命令。 8. 根。
12、据权利要求 7 所述的装置， 其特征在于所述彩色摄像头 （4） 和红外摄像头 （5） 均 采用模块式封装， 位于整个装置的背部， 并且水平紧靠排列。 权 利 要 求 书 CN 103090875 A 3 1/7 页 4 一种基于双摄像头的实时实景匹配车载导航方法及装置 技术领域 0001 本发明属于车载导航技术领域， 具体涉及基于双摄像头的实时实景匹配车载导航 方法及装置。 背景技术 0002 现有便携式车载导航装置一般是通过简化的地图模型进行导航的。 导航仪中的地 图模型通常是把俯视角度的实景地图进行一系列的简化和修整， 只保留主要干道和重要的 建筑物， 忽略道路边细节， 这样就能大大减少地。
13、图的信息量， 方便导航仪存储和保证显示的 及时性。在导航的过程的， 当前位置通过 GPS 全球定位来确定， 目的地则通过用户输入， 然 后在地图上搜索出相应的地点。接着根据地图上的道路信息， 计算出当前位置到目的地的 路径， 然后开始导航， 这就是现有的导航系统的工作过程。 0003 应用简化的地图模型有一定的优势 ： 信息量相对较少， 方便储存 ； 能快速显示和 切换， 对主要道路情况显示清晰及时 ； 指向明确， 用户可轻松得到指示等。这种地图模型能 满足用户日常的需求， 在道路不太复杂的情况下指向明确， 走错的概率很低， 因此也成为了 市面上主流的导航配置。 0004 简化的地图模型对主要。
14、干道的导航能发挥很好的作用， 但在有多条分支， 路况复 杂的地段， 这种地图提供的信息非常有限， 因此用户常常不能得到准确的指示。 比如在有多 个路口的环形干道上， 用户常常会因为相邻路口靠得太近而走错道路。造成这种失误的原 因， 一种可能是简化的地图忽视了某些较小的路口， 造成地图显示信息与实际不符， 另一种 可能是因为路口之间距离太短， 定位精度不能区分出当前的转向。另外， 随着城市道路的 快速发展， 道路已经形成了立体发展的趋势， 高架桥在许多城市已经成为重要的道路方式。 然而由于 GPS 是通过经纬度来实现平面定位的， 对于同一经纬度上的海拔高度是无法区分 的， 因此常常会出现在高架桥。
15、上导航信息错乱的情况， 其原因就是导航仪无法准确判断当 前位置。另外， 一些路边的的障碍， 道路的施工改建等， 也在一定程度上影响导航的质量。 0005 因此， 用户希望一种实时的实景导航地图。 但实景地图导航实现的难度很大， 首先 地图信息量太大， 要浪费大量的空间去储存 ； 其次， 因为实景画面上信息量太多， 道路指向 不清 晰等， 在实景影像上计算导航指向难度大， 计算复杂。 综述上面的原因， 实景导航技术 还处于开发研究阶段， 要实现实景导航， 则需要想办法克服以上困能。 发明内容 0006 本发明针对现有导航系统存在的无法定位高架桥等多层道路结构的正确位置， 对 道路的改建和修整不能。
16、及时反映等问题， 提出了一种基于双摄像头的实时实景匹配车载导 航方法及装置。本发明在普通的导航地图导航的基础上， 采用普通摄像头和红外摄像头结 合的方法， 通过普通摄像头采集实时影像显示在导航仪屏幕， 红外摄像头采集的图像则与 原有的导航地图进行匹配， 因此就可以把导航地图上的导航指示映射到实景图上， 完成实 景导航。 本发明可以避免占用大量的储存空间来储存实景地图， 计算量少， 响应快， 成本低。 说 明 书 CN 103090875 A 4 2/7 页 5 本发明通过如下技术方案实现。 0007 一种基于双摄像头的实时实景匹配车载导航方法， 包括非实景地图导航模式， 改 方法在非实景地图导。
17、航模式中还采用双摄像头进行实时实景匹配导航， 所述双摄像头包括 水平排列的用于采集当前的道路信息的彩色摄像头和红外摄像头， 两摄像头均与导航装置 的控制处理器连接， 在非实景地图模式下， 用户当前的位置通过导航装置中的 GPS 定位系 统确定， 用户需要输入目的地， 然后地图会自动计算出行驶路径并根据路径进行导航 ； 所述 实时实景匹配导航由用户启动或系统自动启动， 实时实景匹配导航过程包括 ：（1） 红外摄 像头采集当前的影像并传输到导航装置的控制储存单元模块， 控制储存单元模块接收到红 外摄像头的影像进行灰度值划分来得到道路的轮廓 ；（2） 控制储存单元模块将通过红外影 像得到的道路轮廓与。
18、预先存储的非实景地图进行匹配， 具体是通过基于灰度值重合算法实 现匹配 ； 在多层结构的道路上， 若当前实景与非实景地图当前显示地图不匹配， 则将非实景 地图切换到另一层道路， 重新将通过红外影像得到的道路轮廓与预先存储的所述另一层道 路的非实景地图进行匹配， 直到匹配成功 ； 当匹配成功时， 说明用户位于当前匹配成功的道 路层， 此时将非实景地图切换到当前匹配成功的道路层继续导航。 0008 进一步改进的， 步骤 （2） 中， 若出现匹配失败的情况， 则导航装置会发出匹配失败 提示， 告知用户可能存在道路改建因素， 并记录下当前道路的相关信息， 相关信息包括坐 标、 道路状况， 若此时用户选。
19、择了非实景地图上没有显示的路径， 则导航装置会进一步记录 当前用户所行驶的路径信息 ； 用户能将匹配失败后的当前道路的相关信息和所述路径信息 通过 USB 输出模块输出到上位机上。 0009 进一步改进的， 步骤 （1） 中首先选中画面中心偏下的一个设定区域， 将设定区域内 所有 点的灰度值作平均， 得到灰度值 Dc， 然后根据路面与道路边缘的温差设定路面灰度值 差系数 K， 对整个图像将灰度值范围在 （Dc-K, Dc+K） 范围内与范围外的点的灰度值二极化， 得到道路的轮廓。 0010 进一步改进的， 步骤 （2） 取非实景地图当前位置的 MN 范围， MN 表示选取的图 像大小 （可以设。
20、定） ， 作二值化处理， 得到基于非实景地图的道路轮廓图即基准模板 P1， 并记 下当前导航指向标志的坐标位置Dp， Dp为一个坐标集合， 将处理后的红外图像按比例d伸缩 成 MN 大小， 作为目标模板， 记为 P2； 通过式 （1） 计算 P1与 P2的灰度值重合度 P ： 0011 0012 其中 p1(i, j) 代表基准模板 P1 坐标为 (i, j) 点的灰度值， p2(i, j) 代表基准模 板 P2 坐标为 (i, j) 点的灰度值 ； 式 (1) 即统计 P1 与 P2 的 MN 个点中灰度值相同的点的 数量 P ； 式中的 x和 y为位移调整， 由于实景与非实景地图的观看角度。
21、不一致， 因此在匹 配时图像可能存在移位的情况， 因此需要进行位置修正， 通过搜索不同的 x和 y， 使得式 (1) 有最大值， 此时需要判断是否匹配成功， 匹配成功与否通过式 (2) 和式 (3) 判断 ： 0013 说 明 书 CN 103090875 A 5 3/7 页 6 0014 0015 式 (2) 中， Dp(i-x, j-y) 表示经过位置修正后， 导航标志 Dp在 P2模板中的对应 位置 ； 当 P1与 P2匹配时， Dp(i-x, j-y) 应对 P2上的道路位置， 即两者对应位置的灰度值 应相等， 因此通过计算式 (3) 中 Dp(i- x, j-y) 与 P2的灰度值重。
22、合像素数占 Dp总像素数 D 的比例 Q 来判断 P1与 P 2是否匹配， 若 Q 大于某一个设定值， 则认为 P1与 P2实现匹配， 记 录此时的 x和 y。 0016 进一步改进的， 所述导航方法还包括实时的实景匹配显示模式， 当切换到这种显 示模式时， 所述彩色摄像头和红外摄像头同时开启， 配合非实景导航地图进行地图匹配， 红 外摄像头负责采集红外画面用于步骤 （2） 所述匹配， 彩色摄像头负责采集彩色实景图用于 实景显示。 0017 进一步改进的， 所述实时的实景匹配显示模式具体包括 ： 0018 首先， 所述的红外图像与非实景地图的匹配成功后， 把非实景地图上的导航指向 标志映射到实。
23、景彩图的相应位置， 导航指向标志在基于非实景地图的目标模板 P2的位置 Dp， 位置修正 x、 y和伸缩比例 d， 根据这些参数就计算出导航指向标志在实景彩图的对 应坐标， 计算方法如式 (4) 所示 ： 0019 0020 式 (4) 表示将坐标集合 Dp在 x 轴偏移 x， y 轴偏移 y后， 再按缩放比例 d 还原， 得到的坐标集合再整体水平移动 x得到最终的坐标集合 Dp， x为两摄像头由于位置不 同所产生的水平位置已知差距， 最后将彩色摄像头采集到的图像在坐标集合Dp上绘制出指 向图标， 并将彩色图像显示， 即实现实景导航显示模式。 0021 实现所述基于双摄像头的实时实景匹配车载导。
24、航方法的装置， 其包括贴片式显示 器及显示器驱动单元模块， 控制存储处理单元模块， 导航信息接收天线模块， 彩色摄像头， 红外摄像头、 USB 输出模块和电源模块 ； 其中控制处理存储单元模块包括控制处理器、 存储 器、 外部控制开关和麦克风， 其中外部控制开关包括 “电源开关” 、 “显示信息” 开关、 “语音 输入” 和 “语音设置” 开关， 分别完成开关机、 选择是非实景地图导航显示还是实景地图导航 显示、 是否用语音控制和是否设置控制语音命令。 0022 进一步改进的， 所述彩色摄像头和红外摄像头均采用模块式封装， 位于整个装置 的背部， 并且水平紧靠排列。 0023 与现有技术相比，。
25、 本发明的优点有 ： 0024 1. 装置简单， 可在现有的导航装置上扩展功能， 成本低。 0025 2. 解决高架桥等多层道路结构无法定位的问题， 实现高架桥导航的准备定位。 0026 3. 能及时反映道路的改建情况， 记录并输出新的道路信息。 说 明 书 CN 103090875 A 6 4/7 页 7 0027 4. 实景导航采用创新的匹配方法， 克服了传统实景导航存储成本高， 路径计算困 难的问题。 0028 5. 采用双摄像头设计， 既降低了匹配算法的复杂度和计算量， 保证实时性 ； 同时 采用红外摄像头， 对夜间实景导航的实现提供了保障。 0029 6. 本装置成本低， 设计简单，。
26、 可通过传统的导航装置改造而成， 降低了设计成本。 附图说明 0030 图 1 是实施方式中导航装置的主要组成框图。 0031 图 2 是实施方式中导航装置的背面示意图。 0032 图 3 是实施方式中导航装置的二维地图显示模式下的多层道路导航示意图。 0033 图 4 是实施方式中导航装置实景地图匹配和实景图显示流程图。 0034 图 5 是实施方式中导航装置实景导航具体流程图。 具体实施方式 0035 以下结合附图和实例对本发明的实施作进一步说明， 但本发明的实施和保护不限 于此。 0036 本实施方式导航装置结构如图 1 所示。本装置包括贴片式显示器及显示器驱动单 元模块1， 控制存储处。
27、理单元模块2， 导航信息接收天线模块3， 彩色摄像头4， 红外摄像头5、 USB 输出模块 6 和电源模块 7。其中控制处理存储单元模块 2 由控制处理器、 存储器、 外部 控制开关和麦克风组成。其中外部控制开关键有 “电源开关” 、 各类 “显示信息” 开关、 “语 音输入” 和 “语音设置” 等五类开关， 分别完成开机、 选择是非实景地图导航显示还是实景地 图导航显示等其它信息显示、 是否用语音控制和是否设置控制语音命令等功能。 0037 本装置中的彩色摄像头 4 和红外摄像头 5 均采用模块式封装， 减少装置的整体体 积。由于需要同时采集同一实景， 所以这两个单元必须放置在装置的背部， 。
28、并且水平排列， 这样当本发明装置在使用过程中， 显示屏是正对用户的， 而两摄像头则对着行驶方向的正 前方， 采集当前的道路信息， 并且由于两摄像头水平紧靠排列， 所以其采集到的图像只存在 水平位移的差别， 通过简单处理就能找到两图像的中心重合部分。 0038 装置中的 USB 输出模块 6 采用标准 USB2.0 接口， 负责将存储的新道路信息输出到 上位机， 方便用户查看和记录。 本装置在导航过程中， 若出现实景和原导航地图匹配不成功 的情况， 系统会自动计算并判断是否存在新路径并记录当前相关数据， 用户可通过 USB 模 块输出。 0039 本实施方式中， 装置总体形状为一个贴片式超薄长方。
29、体， 其背面示意图如图 2 所 示。正面为显示界面和控制开关组成 ； 背面由两个摄像头， 单独天线接收模块、 电路模块和 电源模块组成。整个装置超薄轻巧， 因而能够很容易安全地固定在驾驶员比较方便观看的 位置， 比如贴在方向盘前面的面板或挡风玻璃等位置上。 0040 本装置包括两种导航显示模式 ： 一是非实景地图导航， 二是实时的实景地图导航。 0041 本装置的第一个显示模式为非实景地图导航模式， 显示上与市面一般的导航仪基 本一致。非实景地图预先储存在导航仪内， 地图的更新可通过网络进行或者用户自行下载 更新包并烧录到导航仪中。目前市面上有多款非实景地图导航地图可免费使用， 所以本系 说 。
30、明 书 CN 103090875 A 7 5/7 页 8 统选择其中一款移植即可， 地图的路径计算和信息也非常成熟， 不需要进行额外的改进。 本 发明装置的非实景导航模式结合现有的导航系统和本系统独创的实景匹配模式， 解决了现 有导航系统无法定位高架桥的问题， 并能主动发现和存储新道路信息。 0042 在非实景地图模式下， 本装置工作方式流程如下 ： 用户当前的位置通过导航仪中 的 GPS 定位系统确定， 用户需要输入目的地， 然后地图会自动计算出行驶路径并根据路径 进行导航。 同时本装置会自动识别并开启实景匹配功能。实景匹配工作过程如下 ： 系统在 后台自动打开红外摄像头， 红外摄像头采集当。
31、前的影像并传输到控制储存单元模块， 控制 单元接收到红外摄像头的影像信息后进行分析。由于道路和道路旁都有明显的隔绝带， 其 温度差距较为明显， 在红外画面上就体现得非常明显， 因此可以通过简单的灰度值划分来 得到道路的轮廓。 首先选中画面中心偏下的一个小区域， 将区域内所有点的灰度值作平均， 得到灰度值 Dc， 然后设定路面灰度值差系数 K， 对整个图像将灰度值范围在 （Dc-K, Dc+K） 范 围内与范围外的点的灰度值二极化， 则可得到道路的轮廓。 由于本装置在导航时， 红外摄像 头始终是对着正前方路面， 因此其采集到的图像中心偏下的一定是道路， 因此我们可以通 过简单的选取这一范围内的部。
32、分作平均值代表道路的灰度值。至于 K 的选取与路面的温差 有关， 但由于路面温差一般较小， 因此 K 不必选太大的值 （具体可根据实际情况简单选定） 。 具体的实现流程如图 4 所示。 0043 通过红外影像提取道路轮廓后， 下一步就是与预先存储的非实景地图进行匹配。 由于非实景地图色调单一， 而经处理后的红外图像轮廓清晰， 因此可以通过简单的基于灰 度值重合算法实现匹配。取非实景地图当前位置的 MN 范围作为基准模板， 并作二值化处 理， 得到基于非实景地图的道路轮廓图 P1， 并记下当前导航指向标志的坐标位置 Dp（Dp为一 个坐标集合） 。将处理后的红外图像按比例 d 伸缩成 MN 大小。
33、， 作为目标模板， 记为 P2。通 过式 （1） 计算 P1与 P2的灰度值重合度 P ： 0044 0045 其中 p1(i, j) 代表基准模板 P1 坐标为 (i, j) 点的灰度值， p2(i, j) 代表基准模 板 P2 坐标为 (i, j) 点的灰度值。式 (1) 即统计 P1 与 P2 的 MN 个点中灰度值相同的点 的数量 P。式中的 x和 y为位移调整， 由于实景与非实景地图的观看角度不一致， 因此 在匹配时图像可能存在移位的情况， 因此需要进行位置修正。通过搜索不同的 x和 y， 使得式 (1) 有最大值， 此时需要判断是否匹配成功。匹配成功与否通过式 (2) 和式 (3)。
34、 判 断 ： 0046 0047 0048 式 (2) 中， Dp(i-x, j-y) 表示经过位置修正后， 导航标志 Dp在 P2模板中的对应 说 明 书 CN 103090875 A 8 6/7 页 9 位置。当 P1与 P2匹配时， Dp(i-x, j-y) 应对 P2上的道路位置， 即两者对应位置的灰度 值应相等。因此通过计算式 (3) 中 Dp(i- x, j-y) 与 P2的灰度值重合像素数占 Dp总像 素数 D 的比例 Q 来判断 P1与 P2是否匹配。若 Q 大于某一个特定值， 则认为 P1与 P2实现匹 配。记录此时的 x和 y。 0049 通过上述步骤后， 就可以将当前实景。
35、与非实景地图上的当前位置进行匹配。在多 层结构的道路上， 若当前实景与非实景地图当前显示地图不匹配， 则系统会将非实景地图 切换到另一层道路， 重复进行匹配， 直到匹配成功。当匹配成功时， 说明用户位于当前匹配 成功的道路层， 系统自动将非实景地图切换到正确的道路层继续导航。 0050 若出现道路匹配失败的情况， 系统会发出匹配失败提示， 告知用户可能存在道路 改建等因素， 并记录下当前道路的相关信息， 如坐标， 道路状况等。若此时用户选择了非实 景地图上没有显示的路径， 本系统会进一步记录当前用户所行驶的路径信息。这些道路更 新的信息可通过本装置自带的 USB 输出模块输出到上位机上， 方便。
36、用户查看了解。 0051 本发明装置的第二个显示模式为实景地图导航模式， 是一种实时的实景匹配显示 模式。 当切换到这种显示模式时， 装置后面的彩色摄像头和红外摄像头同时开启， 配合非实 景导航地图进行地图匹配， 红外摄像头负责采集红外画面用于匹配， 彩色摄像头负责采集 彩色实景图用于实景显示。下面具体介绍其工作过程 ： 0052 首先， 系统会进行上文所述的红外图像与非实景地图的匹配功能。 0053 匹配成功后， 由于需要显示实景画面， 因此需要把非实景地图上的导航指向标志 映射到实景彩图的相应位置。通过上述步骤， 我们得到了导航指向标志在基于非实景地图 的目标模板的位置 Dp， 位置修正 。
37、x、 y和伸缩比例 d。根据这些参数就可以计算出导航 指向标志在实景彩图的对应坐标， 计算方法如式 (4) 所示 ： 0054 0055 式 (4) 表示将坐标集合 Dp在 x 轴偏移 x， y 轴偏移 y后， 再按缩放比例 d 还原， 得到的坐标集合再整体水平移动 x得到最终的坐标集合 Dp。x为两摄像头由于位置不 同所产生的水平位置差距， 因为两摄像头的位置在设计时已确定， 因此 x可以认为是已知 的参数。最后将彩色摄像头采集到的图像在坐标集合 Dp上绘制出指向图标， 并将彩色图像 显示， 即实现实景导航显示模式。 0056 实现装置部件举例 ： 本装置中贴片式显示器采用 5 寸液晶显示器。
38、， 对应 5 寸液晶 显示器的驱动芯片。本装置中控制处理单元模块的控制处理器使用 TI 的 DSP 芯片 TMS 320C2812 实现 ； 外部控制开关使用普通按键式开关和普通微型麦克风。导航信息接收模 块， 采用通用的 GPS 接收模块， 彩色摄像头采用 BMP 输出格式的型号， 红外摄像头采用小型 的 CMOS 芯片规格。装置内部存储器采用 1 28 兆比特容量的 Flash。 0057 本装置的工作步骤举例， 如图 5 所示， 具体如下 ： 0058 步骤 1 首先开启电源开关。装置启动， 显示初始化画面， 初始画面存储在装置内 部的 Flash 中。 0059 步骤 2 读取控制开关。
39、命令， 确定导航模式。 0060 当装置开启后， 需要先设置显示模式和操作模式。 装置在确定显示模式后， 会判断 说 明 书 CN 103090875 A 9 7/7 页 10 是否需要语音控制， 如果不是， 那么直接把控制命发给处理器， 做后续处理。如果是需要语 音控制启用语音命令控制模式， 那么就读取语音信号， 然后提取语音信号 MFCC 系数特征。 将所得特征与装置内部的存储器中存贮的所有语音特征模版进行一对一的模版匹配， 匹配 上的就向处理器发送对应该特征的控制命令， 如果全部模版均匹配不上， 那么继续读取语 音信号进行新一轮查找， 直到匹配上正确的控制命令或者切换到手动方式为止。 0。
40、061 步骤 3 若用户选择二维地图模式， 则装置画面会显示二维地图， 并进行二维地图 的导航模式。此时用户可以操作的包括改变目的地， 地图的滑动伸缩， 显示模式的切换， 语 音和手动操作模式的切换等。 0062 若用户处于多层结构的路段， 装置会自动开启实景匹配功能， 通过匹配成功与否 自动识别出用户当前所在的道路层， 无需用户手动选择。 0063 若用户选择实景导航模式， 则装置会自动开启装置背部的两个摄像头， 装置画面 会显示此时的实景画面， 并进行实景导航， 此时装置同样可以识别出用户所在的道路层。 用 户可调出菜单进行更改目的地， 语音或手动操作方式的切换， 显示模式的切换等操作。 。
41、0064 步骤 4 当当前模式为实景导航显示模式时， 若出现连续不能匹配的情况， 装置会 自动发出警告， 并建议用户切回二维导航模式。 用户也可强制继续使用实景导航模式， 装置 会持续提示用户匹配失败， 直至匹配成功或者用户切换模式。 0065 步骤6 判断是否关机， 如果有关机命令则关机， 否则延时50ms， 然后运行步骤2。 0066 此外使用者还可以随时在彩色实景和红外实景画面之间切换。 在光线不充足或者 能见度较差时， 用户可通过调用红外摄像头充当实景画面采集功能。此时画面显示的是红 外摄像头采集到的画面， 并且与彩色摄像头一样， 都可进行匹配导航。 说 明 书 CN 103090875 A 10 1/4 页 11 图 1 图 2 说 明 书 附 图 CN 103090875 A 11 2/4 页 12 图 3 说 明 书 附 图 CN 103090875 A 12 3/4 页 13 图 4 说 明 书 附 图 CN 103090875 A 13 4/4 页 14 图 5 说 明 书 附 图 CN 103090875 A 14 。