物体间的碰撞预测方法和装置技术领域
本发明涉及一种物体间的碰撞预测方法和装置。
背景技术
随着汽车行业的高速发展,路面上车辆的数目明显增加,汽车碰撞事故频繁发生。
驾驶员自身操作不当是事故发生的主要原因之一。如果可以预测碰撞事故的发生并给驾驶
员适当的警告,则对于减少交通事故以及提高行驶安全具有重要意义。近年来,基于图像的
先进驾驶辅助系统(Advanced Driver Assistant System,简称ADAS)得到广泛的关注。
ADAS通常具有碰撞预警系统,该系统借助于安装于自车的摄像机来采集视频流,进而预估
自车与前车的可能碰撞时间,从而对潜在碰撞事故进行预测,减少事故的发生。
对于如何预测碰撞时间,目前已经存在一些技术解决方案。
现有技术1:申请公开号为CN105574552A、名称为“一种基于单目视觉的车辆测距
与碰撞预警方法”的发明专利申请公开了以下技术方案:在得到图像中车辆位置后,利用车
辆目标框底部边缘中点坐标以及几何测距原理,计算得到前车的距离,并除以两车的相对
速度得到碰撞时间。但是,这种方法依赖于相机的安装位置,在使用者改变相机安装高度或
角度时,其计算出来的车距将存在较大误差。不仅如此,受到环境因素的影响(例如,阴天、
雨天、大雾等),车辆目标的接地点较难得到,进而导致无法得到准确的碰撞时间。
现有技术2:授权公告号为CN103287372B、名称为“一种基于图像处理的汽车防撞
安全保护方法”的发明专利公开了以下技术方案:利用两个相机同时采集的图像计算前车
距离,并利用车速采集模块获得自车速度,进而计算得到两车的碰撞时间。这种方案需要通
过双摄像头采集图像,还要计算两车距离,之后根据自身车速进行计算才能够得到碰撞时
间。不仅如此,利用车速采集模块获得自车速度存在较大困难,不仅车速采集的准确度不
高,而且随着车辆行驶过程中车速的不断变化,进而会导致碰撞时间的确定不够准确。
现有技术3:在授权公告号CN102642510B、名称为“一种基于图像的车辆防撞预警
方法”的发明专利所公开的技术方案中,同样描述了确定碰撞时间的方法。与现有技术1不
同的是,现有技术3利用图像中车辆的宽度像素与车距的关系推导出两车的碰撞时间。虽然
根据车宽来判断能够克服摄像机安装位置受限的问题,但是在实际驾驶过程中,当前车往
往不处于自车的正前方,因此,摄像机不仅能够采集到前车尾部的图像,同时还将采集到前
车侧面的图像,这样就导致在系统很难明确地界定前车尾部的边界,无法确定出前车尾部
的实际宽度,从而导致碰撞时间的确定结果不准确。
现有技术4:授权公告号为CN100386595C、名称为“一种汽车防撞预警方法及其装
置”的发明所公开的方案仅仅能够得出两张或更多图像之中相同特征点之间距离的变化速
度,但是,特征点之间距离的变化速度无法直观表达驾驶过程中发生碰撞的风险,所以现有
技术4的方案并不能够预估发生碰撞的风险,而还需要辅以其他的运算规则或模型才能够
实现该目的。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题,本发明提出一种碰撞预测方法和装置,能够通过图像处
理的结果获得碰撞时间,能够直观地表示当前时刻的碰撞风险,具有较高的准确性,并且对
于相机的安装位置没有严格要求,也无需对车间距离和车速等进行测量。
根据本发明的一个方面,提供了一种物体间的碰撞预测方法。
根据本发明实施例的物体间的碰撞预测方法包括:
步骤1,在第一物体处先后拍摄第二物体的两个图像;
步骤2,在两个图像中第二物体所在的区域内确定相同的特征点对;
步骤3,对于每个图像,确定该图像中特征点对的两个特征点之间的距离;
步骤4,根据每个图像中特征点对的两个特征点之间的距离以及两个图像的拍摄
时间间隔,确定第一物体与第二物体发生碰撞的碰撞时间。
根据本发明的一个实施例,通过以下方式确定第一物体与第二物体发生碰撞的碰
撞时间:
其中,TTC为第一物体与第二物体发生碰撞的碰撞时间,为第一图像中特征点
对的特征点A与特征点B之间的距离,为第二图像中特征点对的特征点A与特征点B之间
的距离,Δt为第一图像与第二图像的拍摄时间间隔。
此外,在每个图像中的第二物体所在区域内确定的特征点对包括多个特征点对,
基于多个特征点对,通过以下方式确定第一物体与第二物体发生碰撞的碰撞时间:
其中,N为每个图像中特征点对的数量,n为每个图像中特征点对的序号,表示
第一图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离,表示第二
图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离。
在一个实施例中,在先后拍摄的两个图像中的第二物体数量均为多个的情况下,
对于每个第二物体,分别执行步骤2至步骤4,确定第一物体与该第二物体发生碰撞的碰撞
时间。
此外,在先后拍摄的两个图像中的第二物体上确定相同的特征点对包括:
在先拍摄的第一图像和后拍摄的第二图像中,分别通过预定的角点确定方法确定
第一图像和第二图像中第二物体所在区域内的特征点对;
对于第一图像,通过光流跟踪法确定第一图像中的特征点与第二图像中的特征点
之间是否满足第一匹配关系;并且,对于第二图像,通过逆光流跟踪法确定第二图像中的特
征点与第一图像中的特征点之间是否满足第二匹配关系;
并且,在步骤2中确定的相同的特征点对由满足第一匹配关系和第二匹配关系的
特征点组成。
可选地,上述两个图像为经过畸变校正后或未经过畸变校正的图像。
可选地,上述两个图像中不包含梯度信息的图像区域被预先去除。
此外,在一个实施例中,根据本发明的碰撞预测方法可以进一步包括:
将确定的碰撞时间与预定的时间阈值进行比较;
在确定的碰撞时间小于时间阈值的情况下,进行报警。
根据本发明的另一方面,提供了一种物体间的碰撞预测装置。
根据本发明的物体间的碰撞预测装置包括:
特征点确定模块,用于在两个图像中第二物体所在的区域内确定相同的特征点
对,其中,两个图像在第一物体处先后对第二物体拍摄得到;
距离确定模块,用于对于每个图像,确定该图像中特征点对的两个特征点之间的
距离;
时间确定模块,根据每个图像中特征点对的两个特征点之间的距离以及两个图像
的拍摄时间间隔,确定第一物体与第二物体发生碰撞的碰撞时间。
在一个实施例中,上述时间确定模块用于通过以下方式确定第一物体与第二物体
发生碰撞的碰撞时间:
其中,TTC为第一物体与第二物体发生碰撞的碰撞时间,为第一图像中特征点
对的特征点A与特征点B之间的距离,为第二图像中特征点对的特征点A与特征点B之间
的距离,Δt为第一图像与第二图像的拍摄时间间隔。
此外,上述特征点确定模块在每个图像中的第二物体所在区域内确定的特征点对
包括多个特征点对;基于多个特征点对,时间确定模块用于通过以下方式确定第一物体与
第二物体发生碰撞的碰撞时间:
其中,N为每个图像中特征点对的数量,n为每个图像中特征点对的序号,表示
第一图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离,表示第二
图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离。
此外,在先后拍摄的两个图像中的第二物体数量均为多个的情况下,时间确定模
块用于对每个第二物体,分别确定第一物体与该第二物体发生碰撞的碰撞时间。
此外,上述特征点确定模块可用于在先拍摄的第一图像和后拍摄的第二图像中,
分别通过预定的角点确定方法确定第一图像和第二图像中第二物体所在区域内的特征点
对;对于第一图像,特征点确定模块用于通过光流跟踪法确定第一图像中的特征点与第二
图像中的特征点之间是否满足第一匹配关系;并且,对于第二图像,特征点确定模块还用于
通过逆光流跟踪法确定第二图像中的特征点与第一图像中的特征点之间是否满足第二匹
配关系;
并且,由特征点确定模块确定的相同的特征点对由满足第一匹配关系和第二匹配
关系的特征点组成。
可选地,根据本发明的碰撞预测装置可以进一步包括:
校正模块,用于预先对拍摄的两个图像进行畸变校正;和/或
去除模块,用于预先将拍摄的两个图像中不包含梯度信息的图像区域去除。
可选地,根据本发明的碰撞预测装置可以进一步包括:
分析模块,用于将确定的碰撞时间与预定的时间阈值进行比较;
报警模块,用于在确定的碰撞时间小于时间阈值的情况下,进行报警。
本发明能够实现以下有益效果:
(1)本发明通过图像处理的结果获得碰撞时间,该碰撞时间能够直观地表示当前
时刻的碰撞风险,及时警示驾驶员进行相应操作;并且,即使当前环境的可见度较差(例如,
在路面行车时因为下雨或雾气导致无法判断前车尾部轮廓等特征)或前方物体的角度有一
定偏移而无法准确识别其轮廓,但由于本发明是根据图像中特征点之间的距离来确定碰撞
时间,所以只要能够获得前方物体的明显特征点(例如,在前方物体为车辆时,可以获取前
车的尾灯、牌照以及车辆品牌标识等较为明显的特征),就能够保证碰撞时间的准确预测,
具有较高的准确性和可靠性,对于相机的安装位置也没有严格要求(只要能够进行对前方
物体进行拍摄即可);此外,本发明无需通过特定设备(例如,雷达、红外传感设备等)测量物
体间距离和物体运行速度等参数,实现较为简单,具有方便使用、成本低、功耗小的优势;
(2)在一个实施例中,本发明通过简单的计算公式(公式1)即可准确地得到碰撞时
间,该公式中不包含速度、距离等参数,而仅仅包含图像中特征点之间的距离以及图像拍摄
时间,所以本发明的方案无需进行复杂的测量,无需安装测量设备,降低了成本,避免碰撞
时间的结果准确性受到其他测量设备的影响;不仅如此,本发明只要通过简单的图像处理
和运算即可得到碰撞时间,因此,本发明的方案实现非常容易,复杂度较低;
(3)在一个实施例中,本发明的方案可确定物体上的多组特征点,之后根据每组特
征点分别得到相应的碰撞时间,最后根据多个碰撞时间得到平均后的结果,这样,就能够避
免因为反光、遮挡等原因导致部分特征点无法识别而影响确定结果甚至导致方案无法执行
的问题,具有更好的稳定性;
(4)在一个实施例中,本发明的方案可以对拍摄到的多个物体分别确定碰撞时间,
由于本发明确定碰撞时间所基于的是图像处理的结果,所以只需对图像中的多个物体分别
确定特征点即可完成,无需增加其他附加设备,易于在车载设备中实现,并且能够提高驾驶
的安全性;
(5)在一个实施例中,通过预先对图像进行畸变校正,之后再确定其中的特征点,
能够提高预测的准确性,避免因为拍摄角度等原因导致预测结果不准确的问题;
(6)在一个实施例中,通过预先去除图像中不包含梯度信息的图像区域,之后再确
定其中的特征点,能够避免对图像的无用区域进行计算,减少整体计算量,保证处理的实时
性;
(7)在一个实施例中,通过对先后拍摄的两个图像分别进行光流跟踪法确定特征
点的匹配关系,既能够消除图像中噪声所带来的干扰,还能够保证图像中的特征点之间正
确对应,避免因为误匹配而导致结果不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所
需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施
例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获
得其他的附图。
图1是根据本发明实施例的物体间的碰撞预测方法的流程图;
图2是在碰撞预测过程中建立世界坐标系和像素坐标系的示意图;
图3是根据本发明实施例的物体间的碰撞预测方法在实际应用中的处理流程图;
图4是根据本发明实施例的碰撞预测装置的框图。
具体实施方式
此说明性实施方式的描述应与相应的附图相结合,附图应作为完整的说明书的一
部分。在附图中,实施例的形状或是厚度可扩大,并以简化或是方便标示。再者,附图中各结
构的部分将以分别描述进行说明,值得注意的是,图中未示出或未通过文字进行说明的元
件,为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述,有关方向和方位的任何参考,均仅是为了便于描述,而不能理
解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合,
这些特征可能独立存在或者组合存在,本发明并不特别地限定于优选的实施方式。本发明
的范围由权利要求书所界定。
根据本发明的实施例,提供了一种物体间的碰撞预测方法。
如图1所示,根据本发明实施例的物体间的碰撞预测方法包括:
步骤S101,在第一物体处先后拍摄第二物体的两个图像;
步骤S103,在两个图像中第二物体所在区域内确定相同的特征点对;这里,相同的
特征点对是指,假如第二物体为车辆,在第一图像中确定的一个特征点A为前车尾部的车辆
品牌标识,特征点B为前车尾部的排气管;那么,在第二图像中,与特征点A相同的特征点位
于第二图像中前车所在区域内前车尾部的品牌标识处,假设为特征点A’;与特征点B相同的
特征点位于第二图像中前车所在区域内前车尾部的排气管处,假设为特征点B’;这样,特征
点对A和B、与特征点A’和B’为相同的特征点对。
步骤S105,对于每个图像,确定该图像中特征点对的两个特征点之间的距离;
步骤S107,根据每个图像中特征点对的两个特征点之间的距离以及两个图像的拍
摄时间间隔,确定第一物体与第二物体发生碰撞的碰撞时间。
在一个实施例中,在确定碰撞时间后,可以将确定的碰撞时间与预定的时间阈值
进行比较;在确定的碰撞时间小于时间阈值的情况下,说明当前发生碰撞的风险较高,可以
进行报警提示,例如,当本发明的方案应用于车辆时,可以提示驾驶员及时进行减速等操
作,保证驾驶的安全性。
具体而言,在一个实施例中,可以通过以下公式确定第一物体与第二物体发生碰
撞的碰撞时间TTC:
其中,TTC为第一物体与第二物体发生碰撞的碰撞时间,为第一图像中特征点
对的特征点A与特征点B之间的距离(在像素坐标系中的距离),为第二图像中特征点
对的特征点A与特征点B之间的距离(在像素坐标系中的距离),Δt为第一图像与第二图像
的拍摄时间间隔。上述特征点A和特征点B在世界坐标系中的位置应当满足以下要求:特征
点A和特征点B在世界坐标系下的连线与世界坐标系的XY平面平行,其中,该世界坐标系的
原点位于第一物体上安装的相机镜头处,该镜头的光轴与世界坐标系的Z轴同轴,该世界坐
标系的X轴沿水平方向延伸,Y轴则在竖直方向上延伸。
由此可以看出,在第一物体与第二物体的距离不同时从第一物体对第二物体进行
拍摄,所拍摄图片上相同特征点的间距会发生变化,本发明正是利用这种变化得到碰撞时
间。
下面将说明上述公式1的推导过程。
首先,基于第一物体的相机位置建立世界坐标系,参照图2所示,该世界坐标系的
原点位于第一物体上安装的相机镜头处,该镜头的光轴与世界坐标系的Z轴同轴,该世界坐
标系的X轴沿水平方向延伸,Y轴则在竖直方向上延伸,XY平面与镜头的光轴垂直。另外,对
于从第一物体处拍摄的每个图像可以分别建立像素坐标系。
基于世界坐标系,上述碰撞时间TTC可以通过公式2表示:
其中,Zt为拍摄第一图像时(如图2所示,即,t时刻)第二物体上特征点A和特征点B
在世界坐标系中的Z轴坐标,Zt+1为拍摄第二图像时(如图2所示,即,t+1时刻)第二物体上特
征点A和特征点B在世界坐标系中的Z轴坐标(在世界坐标系中,特征点A和特征点B之间的连
线与XY平面平行),V为拍摄第一图像和第二图像的相机与第二物体之间的相对运动速度
(即,第一物体与第二物体之间的相对运动速度),Δt为第一图像与第二图像的拍摄时间间
隔,即t+1时刻与t时刻的时间差的大小。
另外,对于第一图像和第二图像中的每个特征点,该特征点在像素坐标系中的像
素坐标与第二物体上该特征点在世界坐标系中的世界坐标之间满足以下公式3所描述的关
系:
其中,x和y为图像中该特征点在像素坐标系中的像素坐标,X、Y和Z为第二物体上
该特征点在世界坐标系中的世界坐标,f为相机的焦距。也就是说,公式3描述了图像中特征
点的像素坐标(x,y)与其对应的世界坐标(X,Y,Z)之间的映射关系。
假设,t时刻拍摄的第一图像平面上的两个特征点A和B的像素坐标分别为
和两个特征点A和B对应的世界坐标系中的世界坐标分别为
和若特征点A和特征点B点之间的连线与XY平面平行,则
因此,根据公式3,第一图像中特征点对的特征点A与特征点B在像素坐标系
的距离可以通过以下公式4表示:
公式4可以被简化为公式5:
其中,和Zt为拍摄第一图像时第二物体上特征点A在世界坐标系中的坐
标,和Zt为拍摄第一图像时第二物体上特征点B在世界坐标系中的坐标,Zt为拍摄
第一图像时第二物体上特征点A和特征点B在世界坐标系中的Z轴坐标,C为第二物体上特征
点A和特征点B在世界坐标系中的距离,由于世界坐标系下的相同特征点之间的距离不随时
间而改变,所以C为定值且C等于
同理,第二图像中特征点A和特征点B在像素坐标系中的距离可以通过以下公
式6表示:
其中,为第二图像中特征点A和特征点B在像素坐标系中的距离,Zt+1为拍摄第
二图像时第二物体上特征点A和特征点B在世界坐标系中的Z轴坐标,f为相机的焦距。
根据公式5和公式6,得到以下公式7:
根据公式2和公式7,即可推导出上述的公式1。
具体而言,对于公式2,可以在分子和分母均乘以Δt,之后再除以Zt,将公式7代入
即可得到公式1。
由于公式2所表达的就是碰撞时间的计算方法,而公式7是根据公式3以及两点之
间距离的计算方法得到,所以通过公式2和公式7得到的上述公式1就能够准确地得到碰撞
时间,无需借助于测距、测速等手段,不仅实现容易、成本低、能耗小、使用方便,而且测量结
果不会受到测距、测速等设备精确度的影响。此外,本发明得到的碰撞时间能够直观地表示
当前时刻的碰撞风险,当第一物体为驾驶员所驾驶的车辆时,本发明的方法能够及时警示
驾驶员进行相应操作;并且,本发明只要能够获得前方车辆的任何特征点对,就能够完成碰
撞时间的预测,即使当前行车环境的可见度较差(甚至无法判断前车尾部轮廓等特征),但
由于本发明是根据图像中特征点之间的距离来确定碰撞时间,所以只要能够准确获得前车
尾部的其他特征点(例如,尾灯、牌照等较为明显的部位),就能够保证碰撞时间的准确预
测,具有较高的准确性和可靠性,对环境的适应性很强。本发明对于相机的安装位置也没有
严格要求(只要能够进行对前车进行拍摄即可)。尽管以上结合车辆碰撞预测描述了本发明
的技术方案,但应当注意的是,本发明的应用场景并不限于此,实际上,其他刚性物体间的
碰撞时间预测均可以采用本发明的技术方案来实现,并能够达到类似的效果。
此外,在另一实施例中,在每个图像中的第二物体上确定的特征点对可以包括多
个特征点对。在第一图像和第二图像中,对于每个特征点对,都可以根据以上公式1得到一
个碰撞时间,也就是说,如果特征点对的数量为多个,可以得到多个碰撞时间,此时,可以对
这多个碰撞时间进行平均(可以是直接计算平均值,也可以是加权平均,对于第二物体上更
加明显的特征点对,可以分配较大的权值),将得到的结果作为第一物体与第二物体发生碰
撞的碰撞时间。
具体而言,假设第一物体为驾驶员当前驾驶的车辆,第二物体为前方车辆,在本实
施例中,对于前方车辆确定的特征点对的数量为两对。第一特征点对位于第一和第二图像
中前车所在区域内的两个尾灯(第一特征点对中的一个特征点位于左尾灯,另一个特征点
位于右尾灯),第二特征点对位于第一和第二图像中前车所在区域中牌照的左右两个边缘
(第二特征点对中的一个特征点位于左边缘,另一个特征点位于右边缘)。一方面,对于第一
图像,可以确定位于前车所在区域内尾灯处的两个特征点之间的距离D1;对于第二图像,确
定同样位于前车所在区域内尾灯处的两个特征点之间的距离D2,根据这两个距离D1和D2以
及第一图像和第二图像的拍摄时间间隔(例如,代入公式1),就能够确定当前车辆与前方车
辆发生碰撞的第一碰撞时间TTC1,假设TTC1为5秒。另一方面,对于第一图像,可以确定位于
前车所在区域内车牌边缘处的两个特征点之间的距离D3;对于第二图像,确定同样位于前
车所在区域内车牌边缘处的两个特征点之间的距离D4,根据这两个距离D3和D4以及第一图
像和第二图像的拍摄时间间隔,就能够确定当前车辆与前方车辆发生碰撞的第二碰撞时间
TTC2,假设TTC2为7秒。之后,计算(TTC1+TTC2)/2,即可得到碰撞时间6秒。
实际上,在第一和第二图像中,同一物体所在区域内所确定的特征点对的数量并
不局限于两个(两组特征点),而是可以上确定三个或更多特征点对。因此,可以对上述公式
1进行变形,得到以下公式8:
其中,其中,N为每个图像中特征点对的数量,n为每个图像中特征点对的序号,
表示所述第一图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离,
表示所述第二图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离。该公
式8可以被理解为:对于两个图像中,针对同一物体所在区域内的每个特征点对分别确定相
应的碰撞时间,之后将多个特征点对所对应的碰撞时间进行平均,得到最终的碰撞时间。
通过确定同一物体上的多对特征点,能够让最终确定的碰撞时间由同一物体上的
多对特征点之间的距离来决定,从而避免因为反光、遮挡等原因导致部分特征点无法识别
而影响确定结果甚至导致方案无法执行的问题,具有更好的稳定性。
此外,在另一实施例中,在先后拍摄的两个图像中,第二物体数量可以均为多个。
在该情况下,对于每个第二物体在图像中所在的区域,分别执行上述步骤S103至步骤S107,
即可确定第一物体与该第二物体的碰撞时间。
例如,假设第一物体为当前驾驶的车辆M,该车辆M上安装有相机。在t时刻,该车辆
M上安装的相机拍摄的第一图像中包括车辆M1和车辆M2;在t+1时刻,该车辆M上安装的相机
拍摄的第二图像中同样包括车辆M1和车辆M2。根据本发明的实施例,可以确定当前驾驶的
车辆M与车辆M1的碰撞时间,同时还能够确定车辆M与车辆M2的碰撞时间。
具体而言,在第一图像中,可以在车辆M1所在区域内确定出特征点对,包括特征点
E和F;同时,对于第一图像,在车辆M2所在区域内也确定出特征点对,包括特征点G和H。
在第二图像中,可以在车辆M1所在区域内确定出特征点对,包括特征点E1和F1,其
中,特征点E1和特征点E为相同(相匹配)的特征点,特征点F1和特征点F为相同的特征点;同
时,在第二图像中,在车辆M2所在区域内也确定出特征点对,包括特征点G1和H1,其中,特征
点G1和特征点G为相同的特征点,特征点H1和特征点H为相同的特征点。
这样,根据特征点E与特征点F的距离、特征点E1与特征点F1之间的距离、以及时刻
t和t+1之间的时间间隔,即可得到当前车辆M与车辆M1发生碰撞的碰撞时间。另外,根据特
征点G与特征点H的距离、特征点G1与特征点H1之间的距离、以及时刻t和t+1之间的时间间
隔,即可得到当前车辆M与车辆M2发生碰撞的碰撞时间。
由此可以看出,在上述实例中,相当于通过两个图像预测了当前车辆与前方多个
车辆之间的碰撞时间。实际上,在其他实例中,如果先后拍摄的两个图像中包括更多的物
体,则均可以通过类似方式分别预测当前物体与图像中每个物体发生碰撞的时间。由于本
发明确定碰撞时间所基于的是图像处理的结果,所以只需对图像中的多个物体分别确定特
征点,即可获得第一物体与每个第二物体的碰撞时间,无需增加其他附加设备,易于在车载
等安装空间受限的场景中实现,能够有效提高驾驶的安全性。
此外,在另一实施例中,在第一图像和第二图像均包括车辆M1和M2时,可以在两个
图像中车辆M1所在区域内确定多个特征点对,假设包括第一特征点对A和第二特征点对B;
同时,在两个图像中的车辆M2所在区域内确定多个特征点对,假设包括第三特征点对P、第
四特征点对Q和第五特征点对R。这样,对于当前车辆M与车辆M1,根据第一图像和第二图像
中的第一特征点对A可以得到碰撞时间TTC_A,根据第一图像和第二图像中的第二特征点对
B可以得到碰撞时间TTC_B,基于(TTC_A+TTC_B)/2即可得到当前车辆M与车辆M1发生碰撞的
碰撞时间。
另一方面,对于当前车辆M与车辆M2,根据第一图像和第二图像中的第三特征点对
P可以得到碰撞时间TTC_P,根据第一图像和第二图像中的第四特征点对Q可以得到碰撞时
间TTC_Q,根据第一图像和第二图像中的第五特征点对R可以得到碰撞时间TTC_R,基于
(TTC_P+TTC_Q+TTC_R)/3即可得到当前车辆M与车辆M2发生碰撞的碰撞时间。
这样,相当于通过两个图像,获得了当前车辆与图像中多个车辆的碰撞时间,且每
个碰撞时间都由多个特征点对决定,从而为驾驶员提供可靠的、全方位的碰撞时间信息,由
于提高驾驶安全性,同时还可以保证碰撞时间确定的准确性。
此外,在先后拍摄的两个图像中的第二物体所在区域内确定相同的特征点对时,
可以采用多种方法。具体而言,在先拍摄的第一图像和后拍摄的第二图像中,分别通过预定
的角点确定方法(例如,哈里斯(Harris)角点提取算法)获取第一图像和第二图像中角点等
特征明显像素的位置,即,确定第一图像和第二图像中第二物体的特征点对;
对于第一图像,通过光流跟踪法确定第一图像中的特征点与第二图像中的特征点
之间的匹配关系。即,相当于通过正向光流跟踪方法计算上一帧图像中特征点与当前帧图
像中特征点之间是否满足第一匹配关系,;
接下来,对于第二图像,通过逆光流跟踪法确定第二图像中的特征点与第一图像
中的特征点之间的匹配关系。这里,相当于利用反向(逆向)光流的方法,计算当前帧图像中
特征点与上一帧图像中特征点之间是否满足第二匹配关系。
在步骤S103中,确定的相同的特征点对中的每个特征点满足所述第一匹配关系和
所述第二匹配关系。也就是说,在步骤S103中,会确定第一图像和第二图像之间的相同特征
点对,假设在第一图像中确定了一个特征点A,在第二图像中确定了一个特征点A’,如果特
征点A与特征点A’满足上述第一匹配关系和第二匹配关系,则确定特征点A与特征点A’为相
同的特征点。同理,对于第一图像和第二图像中的其他特征点,同样按照上述光流跟踪法和
逆光流跟踪法确定是否满足第一匹配关系和第二匹配关系。接下来,对于满足第一匹配关
系和第二匹配关系的特征点所组成的特征点对,执行后面确定距离和碰撞时间的步骤。
这样,既能够消除图像中噪声所带来的干扰,还能够保证图像中的特征点之间正
确对应,避免因为误匹配而导致结果不准确的问题。
此外,在一个实施例中,用于确定碰撞时间的两个图像为经过畸变校正后的图像。
也就是说,对于拍摄到的图像,可以首先利用畸变算法去除畸变效应,得到校正后的图像;
接下来,基于校正后的图像,再确定特征点对以及特征点对中两个特征点之间的距离,最后
确定碰撞时间。
通过预先对图像进行畸变校正,之后再确定其中的特征点,能够提高预测的准确
性,避免因为拍摄角度等原因导致预测结果不准确的问题。
在另一实施例中,也可以省去畸变校正的步骤,直接基于原始图像确定特征点。
此外,在一个实施例中,对于用于确定碰撞时间的两个图像,可以在拍摄得到这两
个图像后,去除这两个图像中不包含梯度信息的图像区域,之后再确定特征点对以及特征
点对中两个特征点之间的距离。具体地,在去除这些图像区域时,可以参照图像梯度信息来
去除不包含梯度信息的图像区域。
通过预先去除图像中不包含梯度信息的图像区域,之后再确定其中的特征点(以
及特征点之间的距离等),能够避免对图像的无用区域进行计算,减少整体计算量,保证处
理的实时性。
此外,在一个实施例中,对于用于确定碰撞时间的两个图像,可以既执行去除畸变
效应的处理,也执行去除图像中不包含梯度信息的图像区域的处理,这两个处理的先后顺
序可以根据实际需要来确定。
在具体应用中,如图3所示,本发明提出的物体间的碰撞预测方法可以按照如下步
骤执行:
首先,进行图像采集,即,通过相机拍摄前车的一系列图像;
接下来,对拍摄的图像进行预处理,例如,去除图像中的畸变,以及去除图像中不
包含梯度信息的图像区域;
然后,检测图像中前车所在的位置(区域),从前车所在区域内提取特征点对,完成
前车检测;
之后,在一系列图像中确定特征点对之间的匹配关系,从而在一系列图像中确定
相同的特征点对,即对前车进行追踪;
在得到相匹配的特征点后,就可以根据其中两个图像中特征点之间的距离以及这
两个图像的拍摄时间间隔,计算当前车辆与前车发生碰撞的碰撞时间;
最后,根据计算得到碰撞时间与预定的碰撞时间阈值进行比较,实现碰撞预警分
析。
此外,根据本发明的实施例,还提供了一种物体间的碰撞预测装置。
如图4所示,根据本发明实施例的物体间的碰撞预测装置包括:
特征点确定模块41,用于在两个图像中第二物体所在的区域内确定相同的特征点
对,其中,两个图像在第一物体处先后对第二物体拍摄得到;
距离确定模块42,用于对于每个图像,确定该图像中特征点对的两个特征点之间
的距离;
时间确定模块43,根据每个图像中特征点对的两个特征点之间的距离以及两个图
像的拍摄时间间隔,确定第一物体与第二物体发生碰撞的碰撞时间。
在一个实施例中,上述时间确定模块43用于通过以下方式确定第一物体与第二物
体发生碰撞的碰撞时间:
其中,TTC为第一物体与第二物体发生碰撞的碰撞时间,为第一图像中特征点
对的特征点A与特征点B之间的距离,为第二图像中特征点对的特征点A与特征点B之间
的距离,Δt为第一图像与第二图像的拍摄时间间隔。
由于通过简单的计算公式(公式1)即可准确地得到碰撞时间,该公式中不包含速
度、距离等参数,而仅仅包含图像中特征点之间的距离以及图像拍摄时间,所以本发明的方
案无需进行复杂的测量,无需安装测量设备,降低了成本,避免碰撞时间的结果准确性受到
其他测量设备的影响;不仅如此,本发明只要通过简单的图像处理和运算即可得到碰撞时
间,因此,本发明的方案实现非常容易,复杂度较低。
公式1的推导过程之前已经描述,这里不再赘述。
此外,在一个实施例中,特征点确定模块41在每个图像中的第二物体所在区域内
确定的特征点对可以包括多个特征点对;相应地,距离确定模块42需要确定每个特征点对
中两个特征点之间的距离;基于多个特征点对,时间确定模块43用于通过以下方式确定第
一物体与第二物体发生碰撞的碰撞时间:
其中,N为每个图像中特征点对的数量,n为每个图像中特征点对的序号,表示
第一图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离,表示第二
图像的N个特征点对中第n个特征点对的特征点i与特征点j之间的距离。
这样,就能够避免因为反光、遮挡等原因导致部分特征点无法识别而影响确定结
果甚至导致方案无法执行的问题,具有更好的稳定性。
此外,在一个实施例中,在先后拍摄的两个图像中的第二物体数量均为多个的情
况下,特征点确定模块41用于在两个图像中每个第二物体所在的区域中确定特征点;距离
确定模块42则用于确定每个特征点对之间的距离;时间确定模块43用于对每个第二物体,
分别确定第一物体与该第二物体发生碰撞的碰撞时间。
在本实施例中,可以对拍摄到的多个物体分别确定碰撞时间,由于确定碰撞时间
所基于的是图像处理的结果,所以只需对图像中的多个物体分别确定特征点即可完成,无
需增加其他附加设备,易于在车载设备中实现,并且能够提高驾驶的安全性。
此外,在一个实施例中,特征点确定模块41用于在先拍摄的第一图像和后拍摄的
第二图像中,分别通过预定的角点确定方法确定第一图像和第二图像中第二物体所在区域
内的特征点对;对于第一图像,特征点确定模块41用于通过光流跟踪法确定第一图像中的
特征点与第二图像中的特征点之间是否满足第一匹配关系;并且,对于第二图像,特征点确
定模块41还用于通过逆光流跟踪法确定第二图像中的特征点与第一图像中的特征点之间
是否满足第二匹配关系。对于满足第一匹配关系和第二匹配关系的特征点所组成的特征点
对,由距离确定模块42确定特征点之间的距离,之后由时间确定模块43确定物体间的碰撞
时间。
通过对先后拍摄的两个图像分别进行光流跟踪法确定特征点的匹配关系,既能够
消除图像中噪声所带来的干扰,还能够保证图像中的特征点之间正确对应,避免因为误匹
配而导致结果不准确的问题。
此外,在一个可选实施例中,根据本发明的物体间的碰撞预测装置可以进一步包
括:校正模块(未示出),用于预先对拍摄的两个图像进行畸变校正。这样,由特征点确定模
块41所处理的两个图像为经过畸变校正后的图像。
通过预先对图像进行畸变校正,之后再确定其中的特征点,能够提高预测的准确
性,避免因为拍摄角度等原因导致预测结果不准确的问题。
此外,在一个可选实施例中,根据本发明的物体间的碰撞预测装置可以进一步包
括:去除模块(未示出),用于预先将拍摄的两个图像中不包含梯度信息的图像区域去除。这
样,由特征点确定模块41所处理的两个图像中不包含梯度信息的图像区域被预先去除。
通过预先去除图像中不包含梯度信息的图像区域,之后再确定其中的特征点,能
够避免对图像的无用区域进行计算,减少整体计算量,保证处理的实时性。
此外,在一个可选实施例中,根据本发明的上述装置可以进一步包括:
分析模块(未示出),用于将确定的碰撞时间与预定的时间阈值进行比较;
报警模块(未示出),用于在确定的碰撞时间小于时间阈值的情况下,进行报警。
综上所述,本发明通过图像处理的结果获得碰撞时间,该碰撞时间能够直观地表
示当前时刻的碰撞风险,及时警示驾驶员进行相应操作;并且,即使当前环境的可见度较差
(例如,在路面行车时因为下雨或雾气导致无法判断前车尾部轮廓等特征)或前方物体的角
度有一定偏移而无法准确识别其轮廓,但由于本发明是根据图像中特征点之间的距离来确
定碰撞时间,所以只要能够获得前方物体的明显特征点(例如,在前方物体为车辆时,可以
获取前车的尾灯、牌照以及车辆品牌标识等较为明显的特征),就能够保证碰撞时间的准确
预测,具有较高的准确性和可靠性,对于相机的安装位置也没有严格要求(只要能够进行对
前方物体进行拍摄即可);此外,本发明无需通过特定设备(例如,雷达、红外传感设备等)测
量物体间距离和物体运行速度等参数,实现较为简单,具有方便使用、成本低、功耗小的优
势。
本发明的技术方案不仅限于在路面行车的场景中使用,而且可以用于预测其他刚
性物体之间的碰撞,例如,可用于预测船只之间的碰撞预测等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精
神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。