多视觉信息融合的车辆安全驾驶实时立体感知装置及方法 【技术领域】
本发明涉及一种多视觉信息融合的车辆安全行驶实时立体感知装置及方法，属于智能图象处理领域。
背景技术
随着经济的发展，有车的人越来越多，车位也越来越多，与此同时，车子可转动的空间却越来越少，驾驶员倒车难的问题也就越来越突出，稍有不慎很容易碰触到其它车辆或建筑物。因此，市场上出现了多种行车和倒车安全辅助装置，如倒车雷达，倒车可视系统装置等等，但是这些装置提供的是语音提醒以及图像显示后视场景，有的仅仅可以显示车尾距离车辆后面障碍物距离信息，有的只是用摄像头把车尾的视频图像拍摄下来传送到显示器上，虽然可在一定程度上帮助驾驶员完成倒车，但是，由于摄像头监视范围所限，会出现监视盲区，不够直观，针对这一问题，有的采用车身周围前后左右设置4路摄像头，将各路摄像头获取的场景视频直接输出于驾驶室的显示装置，以平面展示监视车身周围环境，能够在显示器上4分屏实时显示车身周围前后左右场景，属于2D显示方式，让驾驶员实时掌握车身周围驾驶环境状况，其缺点是：需要驾驶员通过不停扫视显示器上4副场景图像来判断车身周围状况，但驾驶员在驾驶车辆、特别是倒车的关键时刻，没有更多时间和机会依据4路实时图象判断车身周围环境，况且人工判断会有误判和误差，精度不够，同时，由于4路摄像头分别设置在车身前、后、左、右四个方向，虽然可选广角摄像头，但是4路摄像头获取车身周围环境视频图像信息时，同样存在监视盲区，因此这种方式仍不够直观，使用效率低、精度不够且存在安全隐患。
【发明内容】
本发明的目的是要解决现有车载可视监视装置对4路车身周围摄像头获取的图像视频信息不加处理地以2D输出于显示器上、使用效率低、精确度不够、存在监视盲区、不直观等问题，提供了一种多视觉信息融合的车辆安全驾驶实时立体感知装置及方法，采用智能图象处理技术，对获取的多路车身周围环境图象视频信息实时三维重建，形成实时的车辆行驶环境三维立体环境。
本发明的车辆安全驾驶实时立体感知装置采用的技术方案是：包括与硬件处理器平台的输入相连接的视频图像采集装置、输出相连的液晶显示器，视频图像采集装置上具有6个摄像头，硬件处理器平台的主处理器内包含一个DSP子系统和一个ARM子系统，SDRAM存储器单元与主处理器和FPGA控制器相连，6个视频AD单元与FPGA控制器连接，主处理器分别连接DDR存储单元、Flash存储单元、JTAG调试单元、RS232接口单元、音频接口单元、CAN总线接口单元和车载雷达接口单元。
本发明的车辆安全驾驶实时立体感知方法采用的技术方案是：首先，硬件处理器平台的FPGA控制器控制视频图像采集装置采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元中；其次，主处理器的DSP子系统从SDRAM存储器单元中读取图像，对帧图像进行匹配、拼接和三维场景的重建；再次，主处理器的ARM子系统同时从CAN总线接口单元和车载雷达接口单元读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾距离后面障碍物的距离，送至DSP子系统；最后，DSP子系统将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器进行显示，
本发明的有益效果是：驾驶员在行车或倒车的时候不用费力地向后看，可以在车内的液晶显示器上直观地看到车身后方及车身周围各个方向的立体环境信息，同时显示器上还描绘出经过计算预测出来的倒车轨迹及车尾距离后面障碍物的距离，当车辆与障碍物距离小于安全距离的时候，就会语音报警，提示驾驶员注意。因此司机可以直观、准确的将车倒入车库或车位，具有身临其境之感觉，完全避免了普通倒车装置中常出现的盲区误报等现象，适用于各类汽车，如：货车、小车辆、特种车辆等。
【附图说明】
以下结合附图和具体实施方式对本发明装置及方法进一步详细说明。
图1是本发明装置组成示意图。
图2是图1中硬件处理器平台2的组成方框图。
图3是图1中视频图像采集装置1的结构示意图。
图4是图3中视频图像采集装置1中单个摄像头的结构及光源分布结构示意图。
图5是图1中视频图像采集装置1中底板上电路原理的示意图。
图6是图2中主处理器4中的ARM子系统6的控制流程图。
图7是图2中FPGA控制器7内的控制流程图。
图8是图2中DSP子系统5内的软件流程图。
图9是图2中SDRAM存储单元11的操作示意图。
图10是图1中液晶显示器3上菜单示意图。
图11是车辆正常行驶时液晶显示器3上显示图像布局示意图。
图12是车辆倒车行驶时液晶显示器3上显示图像布局示意图。
【具体实施方式】
如图1，本发明整个装置包括硬件处理器平台2、与硬件处理器平台2的输入相连接的视频图像采集装置1、以及与硬件处理器平台2的输出相连的液晶显示器3。硬件处理器平台2是本发明的最重要的部分，完成图像的处理、车辆倒车轨迹预测、车尾安全距离的计算和整个装置的控制等工作，此部分安装在车辆内部。视频图像采集装置1安装在车辆外面的车顶位置，视频图像采集装置1上具有6个摄像头，主要完成车辆周围环境的图像信息采集工作。液晶显示器3负责在倒车档位的时候将硬件处理器平台2发来地图像显示到车载液晶显示器上，让驾驶员能直观地看到行车途中或倒车时车辆周围各个方向的立体环境信息，可以使用车载导航的液晶显示器。
如图2，硬件处理器平台2主要由主处理器4、FPGA控制器7、电源单元8、6个视频AD单元9、视频DA单元10、SDRAM存储单元11、DDR存储单元12、Flash存储单元13、JTAG调试单元14、RS232接口单元15、音频接口单元16、网络接口单元17、蓝牙接口单元18、CAN总线接口单元19、USB接口单元20和车载雷达接口单元21组成，其中，主处理器4内包含一个DSP子系统5和一个ARM子系统6。电源单元8为整个硬件系统提供电源，6个视频AD单元9与FPGA控制器7连接，SDRAM存储器单元11与主处理器4和FPGA控制器7相连，DDR存储单元12与主处理器4相连，为主处理器4提供存储器，Flash存储单元13与主处理4相连，用于存储程序代码。JTAG调试单元14、RS232接口单元15、音频接口单元16、网络接口单元17、蓝牙接口单元18、CAN总线接口单元19、USB接口单元20、车载雷达接口单元21和视频DA单元10均与主处理器4连接，在这些与主处理器4相连的接口单元中，本发明主要用到了RS232接口单元15、CAN总线接口单元19、音频接口单元16和车载雷达接口单元21，其余接口单元主要是为了方便与车载GPS导航系统等其它车载电子设备进行扩展。
如图3，视频图像采集装置1内集成了6个高精度CCD摄像头。视频图像采集装置1下部为圆台状，顶部是一个与圆台侧面相切的半球形透明罩27。视频图像采集装置1放置于车辆外面的顶部，用来采集车辆外各个方向的图像。图3上的5个摄像头22、23、24、25、28均匀嵌在装置的圆台侧面上，每相邻两个摄像头中轴线的的夹角度数为72度，在装置顶部的半球形透明罩27下部设置第6个摄像头26，此摄像头是可控制的，能够进行前后左右的运动，控制电路在此装置的底板电路上。为了使摄像头与摄像头之间的死角区域更小以方便三维图像的拼接重建，且使装置美观大方，选取圆台侧面与水平面的夹角α为60度。
如图4所示，本发明的摄像头中单个摄像头由一个高精度CCD摄像头29和若干个红外发光二极管30组成。其中高精度CCD摄像头29在中间位置，若干个红外发光二极管30均匀嵌在CCD摄像头29的周围，本发明使用了21个红外发光二极管30，这样夜间的时候，红外发光二极管30发出红外光，可使CCD摄像头29在夜间依然能够采集到车辆周围清晰的图像。因此，本发明装置可以再全天候使用，无论是白天还是黑夜，是晴天还是下雨都可使用。
如图5所示，视频图像采集装置1中底板为圆形，面积与图3所示摄像头装置底面面积相当，其上具有5个孔31、32、33、34和35，其中孔32、33、34、35为4个螺丝孔，用于固定摄像头，孔31略大，用于通过信号线。U1、U2、U3为底板上电路单元，其中U1为RS232的电路，U2为一个简单的微处理器，U3为底板上的电源电路，为底板上各个单元和摄像头供电。J1、J2是底板上的两个接插件，连接本发明的视频图像采集装置1和硬件处理器平台2。J1的第1、12脚为接地脚，第2脚为12V的电源引脚，第3、4、5、6、7、8引脚分别为6个摄像头的信号线，与硬件处理器平台2上的6个视频AD单元9相连，第9、10、11引脚与视频图像采集装置中摄像头23的控制引脚相连。J2的第1脚为TXD引脚，与硬件处理器平台2的RS232接口单元15电路中的TXD信号线相连，第2脚接地，第3脚为RXD引脚，与硬件处理器平台2的RS232接口单元15电路中的RXD信号线相连。
本发明实时立体感知装置方法是：首先，硬件处理器平台2的FPGA控制器7控制视频图像采集装置1采集车辆周围图像并做好图像的预处理，存放在SDRAM存储器单元11中；其次，主处理器4的DSP子系统5从SDRAM存储器单元11中读取图像，对帧图像进行匹配、拼接和三维场景的重建；再次，主处理器4的ARM子系统6同时从CAN总线接口单元19和车载雷达接口单元21读取相关数据，对倒车轨迹进行预测，并根据雷达数据计算出车尾距离后面障碍物的距离，送至DSP子系统5；最后，DSP子系统5将预测的倒车轨迹数据与三维重建的图像综合处理送到液晶显示器3进行显示，其具体为：
如图6所示，硬件处理器平台2上电完成初始化之后，液晶显示器显示菜单S1，用手点击如图11、12的显示器上按扭Menu菜单41之后，显示如图10所示菜单36，选智能倒车按钮43，进入智能倒车参数设置菜单37，距离信息显示按钮46如果被按下，车身周围距离障碍物距离信息39将显示在显示器3的左下角，否则不显示这些数据；语音安全报警按钮47如果被按下，当车身距离障碍物距离很近的时候将进行语言报警提示，否则不进行语言报警提示，此外如果车辆是倒车档位，这个按钮将不会起作用，倒车时将一直开启语音报警提示。当驾驶员通过这些菜单设置好后，ARM子系统6判断是否为智能倒车模式S2，如果是，ARM子系统6读取显示器信息S4，若不是，进行其它工作S3，包括对网络接口单元17、USB接口单元20和蓝牙接口单元18等其它单元进行控制，然后通过CAN总线接口单元19读取车辆行驶时的实时参数S5，包括车辆的行驶速度，方向盘转过的角度，汽车档位等，然后发送消息通知DSP子系统5的S6，车辆当前是否为倒车档位S7，若是，ARM子系统6将利用这些参数和相关知识预测车辆的倒车轨迹S8，通过车载雷达接口21获取倒车雷达的数据，经过处理，计算出车辆车尾距车后障碍物的距离S9，判断距离是否小于预先设定车尾距障碍物的安全距离S10，如果小于，系统将通过音频接口单元16进行语音报警提示S11，然后ARM子系统6等待接收DSP子系统5消息S12，ARM子系统6将把刚才预测好的倒车轨迹和车尾距障碍物距离等数据发送给DSP子系统S13，若不是将直接结束。
如图7所示，装置上电初始化完成后，FPGA控制器7开始采集视频图像S1，为了降低主处理器4中DSP子系统5的计算量，图像采集完后，FPGA控制器7对采集的图像进行图像预处理操作S2，包括图像滤波、归一化等，然后等待接收DSP子系统5发送来的消息S3，检测此时的SDRAM存储单元11是否可以进行写入操作S4，如果不可以就继续接收DSP子系统5送来的消息S3，否则将预处理完毕的图像帧存入SDRAM存储单元11中去S5，这里对SDRAM的存取操作采用乒乓操作的方式，具体见图9。图像帧存储完后发送消息给DSP子系统5，通知SDRAM存储单元11中已经存有预处理完毕的图像，可以进行下一步图像处理工作了S6。
如图8所示，主处理器4上电初始化完成后，等待接收FPGA控制器7发来的消息S1，此消息通知DSP子系统5，SDRAM存储单元11中的图像是否已经可读了S2，如果消息表明SDRAM存储单元11不可读，则继续接收FPGA控制器7发来的消息S1，否则DSP子系统5从SDRAM存储单元11中读取已经预处理过的图像数据S3，并通知FPGA控制器7可以继续向SDRAM存储单元11中写入数据S4，然后对读取的图像进行立体匹配、拼接、三维重建等图像处理S5，接下来DSP子系统5接收ARM子系统6发送来的消息S6，判断车辆当前是否是倒车档S7，如果是倒车档位，DSP子系统5将发送消息通知ARM子系统6发送汽车倒车的预测轨迹等S8，当接收了预测的倒车轨迹和车尾距离障碍物距离等信息后S9，DSP子系统5将倒车预测的轨迹等数据叠加到已处理好的图像上S 10，DSP子系统5通过读取驾驶员设置的参数，判断显示器上是否显示距离信息S11，如果驾驶员选择了显示距离信息，DSP子系统5将车身周围距离障碍物的距离也叠加到图像上S12，然后送液晶显示S16，显示效果如图12所示，如果驾驶员没有选择显示距离信息，DSP子系统5将直接把图像送液晶进行显示S12，显示效果如图12所示，但是距离信息39不能显示出来。如果不是倒车档位，而是正常前进行驶的时候，DSP子系统5将判断驾驶员是否选择了语音报警功能，如果选择了将判读车身距离周围障碍物的距离S14，如果车身距离周围障碍物距离小于预定安全距离，将进行语音报警S15，此系统中将警告等级分为三级，第一级的安全距离小于0.80m，第二级的安全距离小于0.50m，第三级的安全距离小于0.30m。报警的声音一级比一级急促，然后进入是否显示距离信息的判断S10，如果驾驶员没有选择语音报警功能，DSP子系统5将直接跳到步骤S10。
本发明的硬件系统中对SDRAM存储器11采用的是乒乓操作，如图9所示，首先在SDRAM存储器11中开辟2块存储区SDRAM A和SDRAM B，每块大小约为6MB，用来存储FPGA控制器7每次预处理的6帧图像。在第一个缓冲周期，将FPGA控制器7预处理后的图像缓存到SDRAM A中；在第2个缓冲周期，通过输入图像数据流选择单元的切换，将输入的图像流缓存到SDRAM B中，同时将SDRAM A缓存的第1个周期图像数据通过输出图像数据流选择单元的选择，送到DSP子系统5进行运算处理；在第3个缓冲周期通过输入图像数据流选择单元的再次切换，将输入的图像数据流缓存到SDRAM存储器11中，同时将SDRAM B缓存的第2个周期的数据通过输出图像数据流选择单元的切换，送到DSP子系统5进行运算处理，如此循环。这样操作可以实现数据的无缝缓冲与处理，提高系统的效率。
当驾驶员按下液晶显示器3上如图11或12中的Menu按钮41的时候，液晶显示器3上弹出如图10所示的菜单36，里边有三个按钮分别是智能倒车43、GPS导航44和DVD多媒体播放按钮45，当按下智能倒车按钮43的时候，液晶显示器3上会继续弹出本发明装置的一些参数设置菜单37，如距离信息显示46和语音安全报警按钮47。当距离信息显示按钮46被按下的时候，液晶显示器3左下角上将会显示车身周围距离障碍物的实时距离信息(见图11或12的39)，否则不显示；如果语音安全报警按钮47被按下，当车身周围距障碍物的距离小于预设的安全距离时将发出语音报警提示，若没有按下此按钮，车辆在正常前进行驶时，语音报警功能将被屏蔽，但是倒车时仍然会进行语言报警提示的，菜单36中按钮GPS导航44或DVD多媒体播放45被按下时，液晶显示器3上将会出现相应画面，而不会显示本发明装置中的相应图像。
图11所示的是车辆正常行驶的时候，如果驾驶员选择了菜单36中的智能倒车按钮43的时候，液晶显示器3上显示图像的布局示意图。液晶显示器3共分四个显示部分：包括按钮41Menu，距离信息显示区域39，语音报警状态显示区域40和三维重建图像显示区域38，其中当驾驶员在菜单37中如果没有按下距离信息显示按钮46，距离信息显示区域39将不进行显示。
图12所示的是车辆倒车的时候，液晶显示器3上显示图像的布局示意图。在倒车时，无论此时液晶显示器3上显示的是GPS导航地图还是DVD的多媒体画面，都将直接切换到智能倒车模式下进行显示，倒车结束后，返回原来的显示状态。倒车时显示器共分五个显示部分：包括按钮41Menu，距离信息显示区域39，语音报警状态显示区域40，三维重建图像显示区域38和倒车轨迹显示区域42，其中当驾驶员在菜单37中如果没有按下距离信息显示按钮46，距离信息显示区域39将不进行显示。