车辆行驶环境检测装置 【技术领域】
本发明涉及例如对交叉路口或 T 字路等地点信息、 或者道路上的车辆行驶位置等 车辆行驶环境进行检测的车辆行驶环境检测装置。背景技术
用于车辆等的航位推测法装置， 通过使用车速传感器或 GPS(Global Positioning System)、 陀螺传感器等各种传感器， 可以检测本车位置。另外， 在对精度有需求时， 较多使 用进一步使用地图信息、 将本车位置与地图信息进行对照并校正的地图匹配技术。
根据上述的航位推测法装置所涉及的本车位置检测方法， 由于与实际的本车位置 可能产生误差， 因此有时本车位置会从地图信息的路径偏离。 特别是在复杂的路径、 交叉路 口附近、 T 字路， 其影响较大。因此， 对于装载于车辆上的导航装置而言， 为了进行更准确的 引导、 指引， 需要校正本车位置。
另外， 关于上述的航位推测法装置的本车位置校正， 以往提出了许多专利申请。 例 如， 已知一种通过从设置在车辆上的照相机的图像提取特征点、 推定车辆的当前位置来校 正本车位置的方法。具体而言， 可以检测白线或道路标识等特定的对象物来校正当前位置 ( 例如参照专利文献 1)。
专利文献 1 ： 日本专利特开 2004-45227 号公报 发明内容 根据上述的专利文献 1 所披露的技术， 在车辆行驶中， 边利用红外线照相机来识 别道路端部的白线边行驶， 在白线中断一定区间时判定为有交叉路口， 将当前位置与地图 信息的最近的交叉路口进行地图匹配。
然而， 如专利文献 1 所披露的那样， 根据检测某一特定的对象物来校正当前位置 的方法， 例如对于没有白线等、 不存在特定的对象物的区域， 无法进行检测， 此时无法校正 本车位置。
本发明是为了解决上述的问题而完成的， 其目的在于提供一种车辆行驶环境检测 装置， 其不依靠白线、 道路标识等某一特定的对象物， 可以对包含交叉路口的、 车辆行驶中 的车辆周边的行驶环境进行检测。
为了解决上述问题的本发明的车辆行驶环境检测装置包括 ： 图像信息获取部， 以 预定的采样间隔连续获取由设置在车辆上的照相机拍摄的侧方物体的图像 ； 变化量算出 部， 从由上述图像信息获取部获取的至少 2 个图像， 算出上述图像的变化量 ； 以及环境检测 部， 根据由上述变化量算出部算出的上述图像的变化量， 检测上述车辆周边的行驶环境。
根据本发明的车辆行驶环境检测装置， 不依靠白线或道路标识等某一特定的对象 物， 可以对包含交叉路口的、 车辆行驶中的车辆周边的行驶环境进行检测。
附图说明
图 1 是表示本发明的实施方式 1 所涉及的车辆行驶环境检测装置的内部结构的框图。 图 2 是为了说明本发明的实施方式 1 所涉及的车辆行驶环境检测装置的工作原理 而引用的图， 是表示车辆来到交叉路口的样子的示意图。
图 3 是为了说明本发明的实施方式 1 所涉及的车辆行驶环境检测装置的工作原理 而引用的图， 是表示由侧方照相机拍摄、 取入的图像的一个例子的图。
图 4 是为了说明本发明的实施方式 1 所涉及的车辆行驶环境检测装置的工作原理 而引用的图， 是以时间序列用曲线表示通过交叉路口时的图像上的移动速度和实际车辆速 度的变化的图。
图 5 是表示本发明的实施方式 1 所涉及的车辆行驶环境检测装置的动作的流程 图。
图 6 是为了说明本发明的实施方式 2 所涉及的车辆行驶环境检测装置的工作原理 而引用的图， 是表示车辆在道路的中央 / 左侧 / 右侧行驶的样子的示意图。
图 7 是表示本发明的实施方式 2 所涉及的车辆行驶环境检测装置的动作的流程 图。
具体实施方式
下面， 为了更详细地说明本发明， 根据附图对用于实施本发明的方式进行说明。 实施方式 1 图 1 是表示本发明的实施方式 1 所涉及的车辆行驶环境检测装置的内部结构的框图。 此处， 作为车辆行驶环境检测装置， 是利用装载在车辆上的导航装置 1， 与该导航 装置 1 连接图像处理装置 3， 例如对由设置在车辆上的前方侧面 ( 挡泥板部分 ) 的侧方照相 机 2 拍摄的沿路侧方物体的图像进行处理， 从而提供一种不依靠特定的对象物来检测车辆 行驶中的周围环境的结构。另外， 侧方照相机 2 也可以利用已经安装在车辆侧面的监视器 等来代替。
如图 1 所示， 导航装置 1 以控制部 10 为控制中枢， 由 GPS 接收机 11、 车速传感器 12、 显示部 13、 操作部 14、 储存部 15、 地图信息储存部 16、 位置校正部 17 构成。
GPS 接收机 11 从未图示的 GPS 卫星接收信号， 将车辆的当前位置测位用的信息 ( 纬度、 经度、 时间 ) 向控制部 10 输出。另外， 车速传感器 12 检测用于测定车速度的信息 ( 车速脉冲 )， 向控制部 10 输出。
显示部 13 在控制部 10 的控制下， 显示由控制部 10 生成输出的与当前位置显示、 目的地设定、 指引、 引导相关的信息， 操作部 14 取入利用安装的各种开关组的操作输入， 向 控制部 10 传递用户指令， 并且起到作为用户接口的作用。显示部 13 和操作部 14 也可以由 LCD(Liquid Crystal Display Device) 触摸屏等显示输入装置代替。另外， 在地图信息储 存部 16， 除地图信息之外还存储有设施信息等。
导航装置 1 在储存部 15 存储用于实现目的地指引、 引导等导航功能的各种程序， 控制部 10 读出这些程序， 通过与上述的 GPS 接收机 11、 车速传感器 12、 显示部 13、 操作部
14、 储存部 15、 地图信息储存部 16、 位置校正部 17 进行信息交换， 实现导航装置 1 本来具有 的功能。
另外， 位置校正部 17 具有如下功能 ： 将由 GPS 接收机 11 或车速传感器 12 等航位 推测法装置测位的车辆的当前位置、 与利用后述的图像处理装置 3 检测的例如交叉路口等 的地点信息进行比较， 在不同时校正车辆的当前位置。其细节将后述。
侧方照相机 2 是对市区的大楼、 郊外的牧场、 山河等车辆行驶中的沿路的不特定 的许多侧方物体进行拍摄的拍摄装置， 由侧方照相机 2 拍摄的图像 ( 动态图像 ) 提供给图 像处理装置 3。
图像处理装置 3 具有如下功能 ： 以预定的采样间隔连续获取由设置在车辆上的侧 方照相机 2 拍摄的沿路的侧方物体的图像， 从获取的至少 2 个图像算出变化量， 根据算出的 图像的变化量来检测车辆行驶中的周围环境， 由图像信息获取部 31、 变化量算出部 32、 环 境检测控制部 33、 环境检测部 34 构成。
图像信息获取部 31 以预定的采样间隔连续获取由侧方照相机 2 拍摄的沿路的侧 方物体的图像， 提交给变化量算出部 32 以及环境检测控制部 33。变化量算出部 32 在环境 检测控制部 33 的顺序控制下， 从由图像信息获取部 31 获取的至少 2 个图像算出图像的变 化量， 经由环境检测控制部 33 提交给环境检测部 34。
变化量算出部 32 在环境检测控制部 33 的顺序控制下， 提取由图像信息获取部 31 获取的侧方物体的图像的特征点， 基于此处提取的特征点算出连续的图像间的变化量， 经 由环境检测控制部 33 提交给环境检测部 34。 变化量算出部 32 进一步根据图像的变化量和 图像的采样间隔， 算出侧方物体的特征点的每单位时间的变化量即移动速度， 经由环境检 测控制部 33 提交给环境检测部 34。
环境检测部 34 在环境检测控制部 33 的顺序控制下， 根据由变化量算出部 32 算出 的图像的变化量来检测车辆周边的行驶环境， 并输出至导航装置 1 的控制部 10。 此处， 所谓 由环境检测部 34 检测的车辆周边的行驶环境， 是指从 “车辆的行进方向观察， 在侧方的空 间上开放的地点信息 ( 交叉路口、 T 字路、 铁路道口等 )” 。
另外， 图像处理装置 3 为了以预定的采样间隔连续获取由设置在车辆上的侧方照 相机 2 拍摄的侧方物体的图像， 从获取的至少 2 个图像算出图像的变化量， 根据算出的图像 的每单位时间的变化量来检测车辆周边的行驶环境， 环境检测控制部 33 控制上述的图像 信息获取部 31、 变化量算出部 32、 环境检测部 34 的动作顺序。
图 2 是为了说明本发明的实施方式 1 所涉及的车辆行驶环境检测装置的工作原理 而引用的图， 此处， 示出车辆 20a 向交叉路口进入之前的沿路的侧方物体 ( 大楼群 )。
在图 2 所示的例子中， 在车辆 20a 上安装有侧方照相机 2。此时的侧方照相机 2 的 视角如 θ 所示， 视角 θ 所包含的区域成为侧方照相机 2 的拍摄区域， 该拍摄区域随着时间 的经过， 向车辆的行进方向移动。示出车辆 20a 经过预定时间后进入交叉路口、 车辆 20b 通 过交叉路口时的样子。
本发明的实施方式 1 所涉及的车辆行驶环境检测装置， 是在车辆 20a 由于行驶而 移动至车辆 20b 所示的位置时， 利用图像处理算出由侧方照相机 2 拍摄的图像的变化量、 或 者每单位时间的变化量即图像的外观上的移动速度， 对交叉路口、 T 字路、 铁路道口等地点 进行检测。图 3(a)、 (b) 是为了说明本发明的实施方式 1 所涉及的车辆行驶环境检测装置的 工作原理而引用的图， 是利用安装在图 2 的车辆 20a(20b) 上的侧方照相机 2 拍摄的图像的 一个例子。
图 3(a) 示出进入交叉路口前的沿路侧方物体的拍摄图像， 图 3(b) 示出在进入交 叉路口时的沿路侧方物体的拍摄图像。
若比较图 3(a)、 (b) 所示的图像， 则在交叉路口中央附近的图像 ( 图 3(b)) 与进入 交叉路口前的图像 ( 图 3(a)) 相比， 侧方照相机 2 前方的视野成为开放的状态， 拍摄到位于 更远方的侧方物体作为图像。因此， 推定由车辆 20b 拍摄的图像的移动速度、 与由车辆 20a 拍摄的图像的移动速度相比要小。
本发明的实施方式 1 所涉及的车辆行驶环境检测装置， 是通过利用该移动速度的 变化来检测包含交叉路口的地点信息， 进一步基于检测的地点信息， 校正本车位置。
图 4 是为了说明本发明的实施方式 1 所涉及的车辆行驶环境检测装置的工作原理 而引用的图， 是用曲线表示车辆 20a 经过车辆 20b 通过交叉路口时的、 图像的移动速度的变 化的图。
图中， 在时间轴上绘制曲线表示由导航装置 1 的车速传感器 12 计测的实际的车速 度 VR、 由图像处理 ( 图像处理装置 3 的变化量算出部 32) 算出的拍摄图像的外观上的移动 速度 VV。如图 4 所示， 估计通过交叉路口地点 ( 通过交叉路口时段区域 x) 的侧方照相机 2 的拍摄图像的外观上的移动速度、 与在通过交叉路口前后拍摄的图像相比要小。
图 5 是表示本发明的实施方式 1 所涉及的车辆行驶环境检测装置的动作的流程 图。根据图 5 所示的流程图， 详细示出了从起动侧方照相机 2 起到检测交叉路口、 校正本车 位置为止的处理的流程。
下面， 参照图 5 所示的流程图， 详细说明图 1 所示的本发明的实施方式 1 所涉及的 车辆行驶环境检测装置的动作。
在图 5 的流程图中， 首先， 与发动机的起动同步， 开始利用侧方照相机 2 对侧方物 体进行拍摄 ( 步骤 ST501)。此时， 图像处理装置 3 的图像信息获取部 31 以预定的采样间隔 连续取入图像， 此处， 将取入的图像以时间序列 (n ＞ 1) 提供给变化量算出部 32、 以及环境 检测控制部 33( 步骤 ST502、 ST503“是” )。
在此时间点， 导航装置 1 的控制部 10 基于由车速传感器 12 计测的车速度信息， 算出成为判断为车辆通过地点是交叉路口的基准的阈值 a， 提交给环境检测部 34( 步骤 ST504)。
接下来， 变化量算出部 32 从图像信息获取部 31 取入的图像 n 和之前取入的图像 n-1， 算出图像的变化量 ( 步骤 ST505)。 此处， 关于图像的变化量的算出， 例如可以提取亮度 变化陡峭的特征点， 求出构成成为该特征点的图像的每个像素的亮度绝对差值的平均值、 平均平方误差或者相关值。 也可以不采用上述的方法， 只要可以用数值来表现图像间之差， 就将该数值作为图像变化量来处理。
变化量算出部 32 进一步从由上述算出的图像的变化量、 和时间序列连续的图像 n-1 的帧间隔 ( 采样时间 )， 算出图像的每单位时间的变化量即外观上的图像的移动速度， 经由环境检测控制部 33 提交给环境检测部 34( 步骤 ST506)。
接下来， 环境检测控制部 33 在判定为由变化量算出部 32 算出的图像的外观上的移动速度是阈值 a 以上时 ( 步骤 ST507“否” )， 判断为通过地点不是交叉路口， 返回步骤 ST502， 重复进行取入拍摄图像的处理。另外， 环境检测控制部 33 在判定为由变化量算出部 32 算出的图像的外观上的移动速度是阈值 a 以下时 ( 步骤 ST507“是” )， 判断为通过地点 是交叉路口， 将该结果提交给导航装置 1 的控制部 10。
接下来， 控制部 10 基于由图像处理装置 3( 环境检测部 34) 提交的地点检测结果， 起动位置校正部 17。
在由环境检测部 34 判断为车辆正在通过交叉路口中时， 位置校正部 17 将由环境 检测部 34 检测的地点信息与由包含 GPS 接收机 11、 车速传感器 12 的航位推测法装置检测 的车辆的当前位置进行比较。此处， 在判定为不同时， 位置校正部 17 通过参照储存在地图 信息储存部 16 的地图信息来决定校正值 ( 步骤 ST508)， 此处， 根据决定的校正值来校正车 辆的当前位置， 经由控制部 10 在显示部 13 显示校正的车辆的当前位置 ( 步骤 ST509)。
另外， 此处， 用于地点检测的阈值 a 是基于实测数据来决定即可， 但预想到通过交 叉路口时的外观上的图像的移动速度要比实际的车速度下降大概 60％至 70％左右， 也可 以使用其作为阈值 a。
如以上说明所示， 根据本发明的实施方式 1 所涉及的车辆行驶环境检测装置， 图 像处理装置 3 通过以预定的采样间隔连续获取由设置在车辆上的侧方照相机 2 拍摄的侧 方物体的图像， 从此处获取的至少 2 个图像算出图像的变化量， 根据该算出的图像的变化 量来检测车辆周边的地点信息， 不依靠白线、 道路标识等特定的对象物， 可以对包含交叉路 口、 T 字路、 铁路道口的从车辆行进方向观察在侧方的空间上开放的地点信息进行检测。另 外， 通过基于检测的地点信息来校正车辆的当前位置， 可以提高地图匹配的精度， 进行可靠 性较高的导航。 另外， 根据上述的本发明的实施方式 1 所涉及的车辆行驶环境检测装置， 通过将 外观上的移动速度与阈值 a 进行比较来检测地点， 但不根据移动速度， 使用拍摄的沿路的 侧方物体的变化量也可以得到同样的作用效果。 另外， 此时也与移动速度相同， 不必是拍摄 的侧方物体的实际的变化量， 也可以是图像上的变化量、 图像上的以特定位置为基准的相 对值或以变化量为基准的相对值。
实施方式 2
上述的实施方式 1 所涉及的车辆行驶环境检测装置， 作为车辆行驶中的车辆周边 的环境， 说明了检测包含交叉路口的地点信息的例子， 但在下面说明的实施方式 2 中， 是在 车辆的两个侧面 ( 例如左右的挡泥板部分 ) 分别设置侧方照相机 2a、 2b， 通过同时拍摄并取 入车辆左右的图像， 对由侧方照相机 2a、 2b 分别拍摄、 取入的侧方物体的图像的变化量的 变化同时进行追踪。
此时也与实施方式 1 相同， 由侧方照相机 2a、 2b 拍摄的侧方物体越位于远方， 图像 中的该侧方物体的变化量越小。若利用这一现象， 则可以从车辆的左右的图像中的侧方物 体的变化量之差， 推定车辆在道路内的行驶位置。
图 6(a)、 (b)、 (c) 是为了说明本发明的实施方式 2 所涉及的车辆行驶环境检测装 置的工作原理而引用的图。
图 6(a) 是车辆 20a 在道路的中央行驶时的示意图， 此时， 推定由侧方照相机 2a、 2b 分别拍摄、 取入的侧方物体的变化量之差比较小。另外， 图 6(b) 是车辆 20b 在道路左侧行
驶时的示意图， 此时， 推定左部的侧方物体的图像的变化量 ( 左侧方变化量 )、 与右部的侧 方物体的图像的变化量 ( 右侧方变化量 ) 相比较大。图 6(c) 是车辆 20c 在道路右侧行驶 时的示意图， 此时， 推定右侧方变化量与左侧方变化量相比较大。从这点可知， 可以将推定 的道路内的车辆位置用于本车位置显示以及本车位置校正。
图 7 是表示本发明的实施方式 2 所涉及的车辆行驶环境检测装置的动作的流程 图。根据图 7 所示的流程图， 示出了从起动侧方照相机 2a、 2b 起到检测、 显示道路内的本车 位置为止的处理的流程。
另外， 作为本发明的实施方式 2 所涉及的车辆行驶环境检测装置的结构， 由于除 了在车辆上设置侧方照相机 2a、 2b 以外， 与图 1 所示的实施方式 1 相同， 因此参照图 1 所示 的结构进行说明。
首先， 与发动机的起动同步， 同时开始利用侧方照相机 2a、 2b 对侧方物体进行拍 摄 ( 步骤 ST701)。
图像处理装置 3 的图像信息获取部 31 在同一定时以预定的采样间隔取入连续的 图像， 将此处取入的右侧方物体的图像 n、 以及左侧方物体的图像 m 分别以时间序列 (n ＞ 1， 且 m ＞ 1) 提供给变化量算出部 32、 以及环境检测控制部 33( 步骤 ST702、 ST703)。 变化量算出部 32 从图像信息获取部 31 取入的图像 n 和之前取入的图像 n-1 算出 右侧侧方图像的变化量， 并且从图像信息获取部 31 取入的图像 m 和之前取入的图像 m-1 算 出左侧侧方图像的变化量 ( 步骤 ST704)。
图像的变化量的算出与实施方式 1 的图像的变化量一样， 利用亮度绝对差值的平 均值、 平均平方误差、 或者相关值等， 只要能用数值来表现图像间之差， 就可以通过将该数 值作为变化量来处理而进行算出。
变化量算出部 32 进一步从由上述算出的这些图像的变化量、 时间序列连续的图 像 n(m) 和 n-1(m-1) 的帧间隔 ( 采样时间 )， 分别算出右侧方移动速度 N 和左侧方移动速度 M， 经由环境检测控制部 33 提交给环境检测部 34( 步骤 ST705)。
接下来， 环境检测部 34 算出从与车辆的行进方向垂直的直线和沿路交叉的位置 起、 到车辆的右侧方位置为止的距离 Xn， 此时， 经由导航装置 1 的控制部 10 参照储存在地图 信息储存部 16 的地图信息， 获取与当前行驶中的道路宽度相关的信息 X。
接下来， 环境检测部 34 算出距离 Xn 并提交给导航装置 1 的控制部 10， 其中， 距离 Xn 是在假定由变化量算出部 32 算出的右侧方移动速度 N 与左侧方移动速度 M 之比、 等于车 辆的右侧方距离 Xn 的倒数与左侧方距离 X-Xn 的倒数之比时的、 从与车辆的行进方向垂直 的直线和沿路交叉的位置起、 到车辆的右侧方位置为止的距离 ( 步骤 ST706)。
控制部 10 基于由图像处理装置 3( 环境检测部 34) 提交的信息 (Xn)， 起动位置校 正部 17。
位置校正部 17 基于由环境检测部 34 检测的车辆在道路上的行驶位置 ( 距离 Xn)， 通过控制部 10， 对显示部 13 详细显示包含中央行驶、 左侧行驶、 右侧行驶的映射在行驶中 的道路内的本车位置 ( 步骤 ST707)。
如以上说明所示， 根据本发明的实施方式 2 所涉及的车辆行驶环境检测装置， 图 像处理装置 3 通过同时以预定的采样间隔连续获取由设置在车辆上的侧方照相机 2a、 2b 拍 摄的左右侧方物体的图像， 从该获取的图像和之前取入的图像算出右侧方图像及左侧方图
像的变化量， 并且根据算出的这些图像的变化量、 时间序列连续的图像的采样间隔， 分别算 出右侧方移动速度和左侧方移动速度， 算出从与车辆的行进方向垂直的直线和沿路交叉的 位置起、 到车辆的侧方位置为止的距离， 从而检测车辆在道路上的行驶位置并进行显示， 可 以提高地图匹配的精度， 进行可靠性较高的导航。
另外， 根据上述的实施方式 1、 实施方式 2 所涉及的车辆行驶环境检测装置， 是对 于在车辆上已有的导航装置 1 附加图像处理装置 3 来构成车辆行驶环境检测装置， 但也可 以在导航装置 1 内装入上述图像处理装置 3 来构成车辆行驶环境检测装置。此时， 虽然控 制部 10 的负载会增加， 但可以进行紧凑的安装， 可以使可靠性提高。
另外， 图 1 所示的图像处理装置 3 具有的结构可以都由软件来实现， 或者其至少一 部分由硬件来实现。
例如， 图像信息获取部 31 以预定的采样间隔连续获取由设置在车辆上的侧方照 相机 2 拍摄的侧方物体的图像， 变化量算出部 32 从由图像信息获取部 31 获取的至少 2 个 图像算出图像的变化量， 或者环境检测部 34 根据由变化量算出部 32 算出的图像的变化量 来检测车辆周边的行驶环境， 上述的各数据处理可以利用 1 个或者多个程序在计算机上实 现， 另外也可以由硬件来实现其至少一部分。
工业上的实用性
如上所述， 本发明所涉及的车辆环境检测装置， 由于为了不依靠白线、 道路标识等 某一特定的对象物， 对包含交叉路口的车辆行驶中的车辆周边的行驶环境进行检测， 包括 ： 图像信息获取部， 以预定的采样间隔连续获取侧方物体的图像 ； 变化量算出部， 从至少 2 个 图像算出上述图像的变化量 ； 以及环境检测部， 根据上述图像的变化量来检测上述车辆周 边的行驶环境而构成， 因此适用于检测交叉路口、 T 字路等地点信息、 或者在道路上的车辆 行驶位置等车辆行驶环境的车辆行驶环境检测装置等。