多雷达成像传感器的对象融合系统.pdf

本发明提供一种多雷达成像传感器的对象融合系统。一种利用多雷达传感器检测和跟踪对象的方法。根据由感测设备产生的雷达数据，来检测相对于主车辆的对象。雷达数据包括多普勒测量数据。由处理器根据雷达数据形成群。每个群代表相应对象。由处理器基于每个对象的多普勒测量数据和主车辆的车速，将每个相应对象分类为静止的或非静止的。响应于将所述对象分类为非静止对象，由处理器随着时间的推移，利用多普勒测量数据在对象上应用目标跟踪；否则响应于将所述对象分类为静止对象，而更新占据网格。

1.   一种利用多雷达传感器检测和跟踪对象的方法，包括：
根据由感测设备产生的雷达数据检测相对于主车辆的对象，所述雷达数据包括多普勒测量数据；
由处理器根据所述雷达数据形成群，每个群代表相应对象；
由所述处理器基于每个对象的多普勒测量数据和所述主车辆的车速，将每个相应对象分类为静止的或非静止的；以及
响应于将所述对象分类为非静止对象，由所述处理器随着时间的推移，利用多普勒测量数据在对象上应用目标跟踪；否则响应于将所述对象分类为静止对象，而更新占据网格。

2.   根据权利要求1所述的方法，其中形成群包括以下步骤：
识别由第一感测设备检测的每个点，每个点包括定位位置和相对于所述主车辆的相关联距离；
将每个点分配为单独的群；
比较相邻的点，并且如果所述相邻的点之间的相似度在相似性阈值内，则将所述相邻的点合并为同一群。

3.   根据权利要求2所述的方法，还包括使用k-d树检索每个点的步骤。

4.   根据权利要求3所述的方法，还包括利用散列查找树检索每个点的步骤。

5.   根据权利要求3所述的方法，其中所述相似度包括多普勒测量数据。

6.   根据权利要求1所述的方法，其中将每个相应对象分类为静止的或非静止的包括以下步骤：
识别在群内的每个点的速度；
识别在所述群内的每个点的单位矢量；
确定在所述群内的每个点的距变率残值；
如果预定百分比的所述距变率残值在残差阈值内，则确定所述群是静止群；否则确定所述群是动态群。

7.   根据权利要求6所述的方法，其中在所述群内的每个点的速度由以下等式确定：


其中v_xi是第i个点的横向速度，v_yi是第i个点的纵向速度，y_i是相对于第i个点的车辆的纵坐标，x_i是相对于第i个点的车辆的横坐标，ω_H是横摆角速度，并且v_H是速度。

8.   根据权利要求7所述的方法，其中距变率残值由以下等式确定：

其中v_i是所确定的速度，并且n_i是单位矢量。

9.   根据权利要求6所述的方法，其中所述预定百分比为大约80％。

10.   根据权利要求1所述的方法，其中应用跟踪包括以下步骤：
利用雷达数据确定在之前时间阶段的群的朝向和位置；
利用雷达数据确定在当前时间阶段的群的朝向和位置；
响应于在之前时间阶段和下一个时间阶段的群的朝向和位置确定平移速度；
利用所述平移速度更新在当前时间阶段的群的对象跟踪模型。

多雷达成像传感器的对象融合系统
技术领域
实施例涉及对象传感器融合。
背景技术
使用雷达系统来检测在行驶路面内的对象。这样的系统随着时间的推移使用连续或周期性的对象跟踪，来确定对象的各种参数。通常，利用来自雷达系统的数据计算例如对象位置、距离以及距变率等数据。然而，来自雷达的输入通常是稀疏的跟踪目标。而且，雷达系统通常以假设目标为单个点为基础，这使得更加难以评估附近目标。
发明内容
实施例的优点在于提高相对于主车辆的对象的位置和朝向的跟踪。主车辆使用多普勒测量数据确定哪部分雷达数据形成群，以及确定该群是静止的还是动态的。跟踪对象的位置和形状允许主车辆在每个时帧期间确定对象的朝向。因为对象形状在由主车辆观察时将变化，所以基于形状的变化，可以确定在每个时间阶段的朝向并且相应地跟踪。结果，相应的跟踪系统可以将远程车辆朝向、位置以及速度通知给其他车辆子系统，用于它们与车辆外部的对象一起使用。
实施例设想一种利用多普勒雷达传感器检测和跟踪对象的方法。根据由感测设备产生的雷达数据，来检测相对于主车辆的对象。雷达数据包括多普勒测量数据。由处理器根据雷达数据形成群。每个群代表相应对象。由处理器基于每个对象的多普勒测量数据和主车辆的车速，将每个相应对象分类为静止的或非静止的。响应于将所述对象分类为非静止对象，由处理器随着时间的推移，利用多普勒测量数据在对象上应用目标跟踪；否则响应于将所述对象分类为静止对象，而更新占据网格。
本发明还提供以下方案：
1. 一种利用多雷达传感器检测和跟踪对象的方法，包括：
根据由感测设备产生的雷达数据检测相对于主车辆的对象，所述雷达数据包括多普勒测量数据；
由处理器根据所述雷达数据形成群，每个群代表相应对象；
由所述处理器基于每个对象的多普勒测量数据和所述主车辆的车速，将每个相应对象分类为静止的或非静止的；以及
响应于将所述对象分类为非静止对象，由所述处理器随着时间的推移，利用多普勒测量数据在对象上应用目标跟踪；否则响应于将所述对象分类为静止对象，而更新占据网格。
2. 根据方案1所述的方法，其中形成群包括以下步骤：
识别由第一感测设备检测的每个点，每个点包括定位位置和相对于所述主车辆的相关联距离；
将每个点分配为单独的群；
比较相邻的点，并且如果所述相邻的点之间的相似度在相似性阈值内，则将所述相邻的点合并为同一群。
3. 根据方案2所述的方法，还包括使用k-d树检索每个点的步骤。
4. 根据方案3所述的方法，还包括利用散列查找树检索每个点的步骤。
5. 根据方案3所述的方法，其中所述相似度包括多普勒测量数据。
6. 根据方案1所述的方法，其中将每个相应对象分类为静止的或非静止的包括以下步骤：
识别在群内的每个点的速度；
识别在所述群内的每个点的单位矢量；
确定在所述群内的每个点的距变率残值；
如果预定百分比的所述距变率残值在残差阈值内，则确定所述群是静止群；否则确定所述群是动态群。
7. 根据方案6所述的方法，其中在所述群内的每个点的速度由以下等式确定：


其中v_xi是第i个点的横向速度，v_yi是第i个点的纵向速度，y_i是相对于第i个点的车辆的纵坐标，x_i是相对于第i个点的车辆的横坐标，ω_H是横摆角速度，并且v_H是速度。
8. 根据方案7所述的方法，其中距变率残值由以下等式确定：

其中v_i是所确定的速度，并且n_i是单位矢量。
9. 根据方案6所述的方法，其中所述预定百分比为大约80％。
10. 根据方案1所述的方法，其中应用跟踪包括以下步骤：
利用雷达数据确定在之前时间阶段的群的朝向和位置；
利用雷达数据确定在当前时间阶段的群的朝向和位置；
响应于在之前时间阶段和下一个时间阶段的群的朝向和位置确定平移速度；
利用所述平移速度更新在当前时间阶段的群的对象跟踪模型。
11. 根据方案10所述的方法，其中所述变换速度通过以下等式确定：

其中s_k是雷达点，m_j是模型点，T_v(n)是在v和△t期间操作者对点x施加的刚性运动，a_kj是雷达点s_k与模型点m_j（即，模型点m_j的测量值）相关联的概率，d_k是雷达点s_k的多普勒测量值，n_j是从雷达中心到模型点m_j的单位方向，并且v_j是模型点m_j的相关速度。
12. 根据方案11所述的方法，其中模型的相关速度由以下公式确定：

其中（v_t，ω）是v中的平移速度和角速度。
13. 根据方案12所述的方法，其中根据针对当前时间阶段确定的变换速度，来更新所述当前时间阶段的对象跟踪模型。
14. 根据方案13所述的方法，其中根据所述当前时间阶段的已更新对象跟踪模型，来确定在下一个时间阶段的群的估计运动。
15. 根据方案14所述的方法，其中应用基于贝叶斯的技术来递归地估计每个对象跟踪模型和每次估计运动。
16. 根据方案10所述的方法，其中所述群的朝向和位置由包括以下步骤的车轮轮毂检测技术确定：
确定目标车辆的前车轮轮毂与后车轮轮毂之间或同一侧之间的基线宽度；
计算目标车辆相对于所述主车辆的朝向，该朝向基于第一目标检测设备与在所述前车轮轮毂与后车轮轮毂之间的基线矢量的对准；
通过跟踪所述目标车辆相对于所述主车辆的的朝向和基线，来更新所述目标车辆的位置、朝向以及速度。
17. 根据方案1所述的方法，其中使用多个感测设备来检测对象，其中将来自所述多个感测设备的数据融合，用于更新对象模型和跟踪目标。
附图说明
图1为车辆周围传感系统的示意图。
图2为对象检测和跟踪系统的方框图。
图3为检测目标车辆的雷达的示例性视图。
图4a为检测移动目标的雷达的示例性视图。
图4b为用于确定图4a中的动态或静止目标的残差直方图。
图5a为检测静止目标的雷达的示例性视图。
图5b为用于确定图5a中的动态或静止目标的残差直方图。
图6为随着时间推移对车辆跟踪的雷达数据的示例性视图。
图7为用于更新对象模型和对象运动的流程图。
图8为贝叶斯网络跟踪技术的流程图。
图9为使用车辆的车轮轮毂的动态目标定位系统的视图。
图10为用于确定车辆速度的车轮轮毂的视图。
具体实施方式
图1示出了用于在车辆12周围360度检测对象的车辆周围传感系统10。系统10包括第一感测设备14、第二感测设备16、第三感测设备18以及第四感测设备20。每个传感器检测在车辆12周围的感测区域内的对象。来自每个传感器的数据融合来配合地跟踪车辆12外部的对象。应该理解，如图1所示的传感器的数量是示例性的，并且在不脱离本发明的范围的情况下，可以使用一个或多个传感器。
短距雷达传感器传统上是窄带的，并且当感测代表密集场景的对象或缺乏距离的附近伸长对象时，会有问题。例如，对于在主车辆的一侧具有远程车辆并且在该车辆的另一侧具有护栏的情况下驶下高速公路的主车辆，当使用来自短距雷达传感器的数据时，难以区分这些对象。也就是，两个对象的分辨率看起来相同，以致于不能确定每个对象是动态的还是静止的。这是由于在跟踪中使用的点目标假设由于在数据关联性方面的难点而是不足够的。
在图1中，每个感测设备14－20包括合成孔径雷达（SAT）成像设备，其具有高分辨率以检测和跟踪长的可伸长对象，例如护栏、混凝土防撞栏以及卡车。而且，SAR包括多普勒测量，其可以用来将静止对象与动态对象区分开。在将对象分类为静止的或动态的之后，可以通过相邻帧之间的轮廓匹配来跟踪对象，以不断地监控车辆的朝向。此外，如果对象是车辆，则可以使用车轮轮毂检测来增强对象的位置。
图2示出了群跟踪的概略的方框图。圆形表示来自前方远程运动车辆的雷达反射器，而方形表示来自静止的路旁对象的雷达反射器。因为这两组具有不同的相对雷达速度属性，因此这两组划分为两个群：车辆对比静止的路旁对象（即，护栏）。
在方框30中，由对象检测传感器获得雷达数据。如之前描述的那样，对象检测传感器优选地是SAR传感器，然而，可以使用获得相似数据的其他传感器。可以使用一个或多个SAR传感器来检测在车辆周围的对象。应该理解，与常规雷达系统不同，SAR是雷达的一种形式，其限定特征是其使用（天线与其目标区域之间）的相对运动以提供用于采用空间分辨率的特别的长期相干信号变化。
SAR安装在作为运动平台的主车辆上，并且产生单个射束形成天线。利用无线电波的脉冲反复地照射场景（例如，目标区域）。由于主车辆运动，使得在各个天线位置处连续地接收波形。相干地检测、存储并且配合地处理这样的位置，以检测目标区域的图像中的对象。应该理解，每个接收的波形对应于相对于整个对象的雷达点。因此，接收代表相对于整个对象的不同雷达点的多个波形。结果，当观察原始数据时，关于相邻的点是否代表相同对象或不同对象是不确定的。因此，在该步骤期间，认为每个点是其自身整体/群。
在方框31中，执行传感器配准。传感器配准是在一个坐标系统下使不同组数据变换的过程。配准是必要的，以便能够综合和比较从不同传感器获得的数据。
在方框32中，由处理器对在雷达数据中检测到的每个位置进行划分。位置本身不能区分两个检测到的相邻位置。例如在图3中，主车辆12发送用于检测车辆外部的对象的雷达信号。如图3所示，方形组代表护栏42，并且点状组代表远程车辆44的后端部。然而，通过整体观察雷达数据，不能确定哪个相应点是哪个对象的一部分。结果，可以使用多普勒测量数据来将群彼此区分开。多普勒雷达是专用雷达，其利用多普勒效应以产生关于在一定距离处的对象的速度数据。向期望目标发送微波信号，并且接收器倾听信号的反射，并且然后分析返回信号的频率已经由对象的运动如何改变。
在方框32中，为了确定一组点是否在同一群内，而由处理器使用下面的划分技术。首先，将来自雷达数据的所有检测点初始处理为单独的群。每个点是在空间（x，y，d）中的3维点，其中x是相对于主车辆的横坐标，y是相对于主车辆的纵坐标，以及d是多普勒数据，其提供相对于主车辆的径向速度信息。接下来，将每个点与其相邻点进行比较。如果相应点与其相邻点之间的相似度小于相似性阈值，那么将两个点合并成单个群。如果相似度大于相似性阈值，那么两个点保持为单独的群。结果，对于每个检测点形成一个或多个群。为了加快该技术，可以使用k-d树或散列查找表来检索雷达点。
在方框33中，由分类器对这些群应用分类，用于确定每个被识别群是静止对象（对地速度为零）还是动态对象（对地速度非零）。分类可以使用将雷达数据划分或者可以是单独的处理单元的处理器来执行。为了确定对象是静止的还是动态的，而使用主车辆的车辆速度和多普勒测量数据。在方框34中获得主车辆的车辆速度数据。应该理解，可以使用任何设备或处理来确定主车辆的速度（例如，这样的设备的示例包括但不限于车轮速度传感器、发动机速度传感器、GPS）。
为了在方框33中开始分类技术，首先假设正在分析的群是静止的。该群由一系列点（x_i，y_i，d_i）表示，i＝1,…,N，其中x_i，y_i，d_i是来自目标的轮廓的雷达反射器的位置和径向速度。执行检查以确定预定百分比优选地80％的预计距变率与实际多普勒测量值匹配。如果80％的残值在阈值内，那么确定该群是静止的，否则确定该群是动态的。
为了确定距变率的残值，主车辆运动学由主车辆速度v_H和主车辆横摆角速度ω_H表示。对于静止目标，检测的雷达点以速度运动。该速度可以利用下面公式来确定：


如果从雷达中心到第i个点的单位矢量用表示，那么第i个点的距变率残差可以由以下等式表示：

因此，使用80％作为示例性预定百分比值，如果80％的残值在残差阈值内，例如0.5 m/s，那么将该群识别为静止群，否则将该群识别为动态群。
图4和图5分别示出了分类动态群和静止群的示例。在图4a中，车辆50与卡车52相邻地行驶，其中两个车辆都具有大于零的对地速度。对于该示例，主车辆以30 m/s行驶，而卡车52以20 m/s行驶。主车辆50发射雷达束，其利用SAR设备在不同点从卡车52反射离开。如之前描述的那样，主车辆50最初假设所述群是静止群。在该示例中，如果卡车是静止的，对于在主车辆52前方的群中的点，预测差值例如是－19 m/s，对于在主车辆52后方的群中的点，预测差值例如是19 m/s。响应于接收被反射的雷达信号，多普勒测量数据指示该群（即，卡车52）具有－7 m/s和7 m/s的差值。
图4b示出了用于多普勒测量数据的残差直方图。要素54（例如，+/- 0.5 m/s）表示残差阈值。如图4b所示，大幅超过80％的值不在残差阈值范围内。因此，将该群（即，卡车52）识别为动态群。
图5a示出了与护栏56相邻地行驶的车辆50，其中车辆50具有大于零的对地速度，而护栏具有为零的对地速度。主车辆50最初假设相邻群是静止群。因此，如果护栏是静止的，对于在主车辆52前方的群中的点，预测差值会是－19 m/s，对于在主车辆52后方的群中的点，预测差值会是19 m/s。响应于接收被反射的雷达信号，多普勒测量数据指示该群（即，护栏56）具有－19 m/s和19 m/s的差值。这与预测速度相关。
图5b示出了用于多普勒测量数据的残差直方图。要素58（即，+/- 0.5 m/s）表示如果该群是静止的残差阈值。如图5b所示，大幅超过80％的值在阈值范围内。结果，将该群识别为静止群。
再次参考图2，在方框35中，基于在方框33中识别的分类，由处理器来确定该群是否为静止的。如果将该群确定为静止的，那么程序前进到方框36，否则程序前进到方框37。
在方框36中，由处理器产生占据网格。这样识别在车辆外部的区域内的已经由传感器检测的所有静止对象。因为对象是静止的，因此不需要对它们跟踪运动，所以相对于它们在扫描图内的位置更新它们的占有区。
在方框37中，使用贝叶斯规则来更新占据网格。
再次参考方框35，如果发现该群不是静止的，那么程序前进到方框38以跟踪该群。为了跟踪该群，当由SAR对象检测设备观察时，SAR图像雷达提供构成该群的形状的雷达位置点和多普勒测量数据，以跟踪该群的轮廓。为此在本文中，点目标假设例如车辆维持规则形状不保持为一个假设，其是传统卡尔曼滤波器或微粒过滤器在数据相关性方面存在困难的原因。
为了跟踪群，必须解决两个相邻帧之间的刚性变换，用于使用包括纵向位移、横向位移以及多普勒在内的雷达测量匹配。图6示出了针对在之前时间阶段的群检测到的一组点（M）和针对在当前时间阶段的群检测到的一组点（S）。给定基于之前雷达图的对象模型M的输入、当前雷达图S、以及从M到S的先前刚性运动确定值v，来确定当前刚性运动v。
二维刚性运动具有线性速度v_t和角速度ω两者。因此，可以使用以下公式来迭代地计算被更新刚性运动v’，直到获得收敛。

其中s_k是雷达点，m_j是模型点，T_v(x)是在v和△t期间操作者对点x施加的刚性运动，a_kj是雷达点s_k与模型点m_j（即，模型点m_j的测量值）相关联的概率，d_k是点s_k的多普勒测量值，n_j是从雷达中心到模型点m_j的单位方向，并且v_j是模型点m_j的相关速度。应该注意在上述等式中，项是多普勒项。
模型点m_j的相关速度项v_j可以如下计算：

其中（v_t，ω）是刚性运动v中的平移速度和角速度。
使用刚性变换来配合地校验在两个时间阶段之间由雷达设备检测到的对象的位置和朝向。结果，使用多个跟踪点的车辆的朝向允许精确地跟踪车辆位置和朝向。
在方框40中，输出设备包括但不限于获得跟踪数据用于跟踪与其他车辆的潜在碰撞并且因而改变驾驶的碰撞警报设备和系统。
图7和图8示出了用于融合动态群的信息的构架的概括性概要。图7示出了可以将跟踪处理为如下两个问题的方框流程图：（i）估计对象的运动；以及（ii）当接收到雷达扫描图的新帧时更新对象模型。如图7所示，对象模型以60示出，并且对象运动估计以62示出。利用对象模型递归地估计对象运动，而利用对象运动估计递归地更新对象模型。
图8示出了代表本文所描述的跟踪技术的两个步骤的动态贝叶斯网络。对于跟踪技术，程序障碍（routine lets）S0,…,St以及St＋1分别是在时间步骤0,…,t以及t+1不时地从动态群采样的雷达图。v_t和v_t＋1分别是在时间步骤t和t+1刚性变换的（待估计的）参数。M_t和M_t＋1分别是在时间步骤t和t+1的对象模型。
对于当前时间步骤（t），将对当前时间步骤（t）估计的变换参数应用到当前时间步骤（t）的对象模型，并且还应用到当前时间步骤（t）的雷达图。相似地，时间前进到下一个时间步骤（t＋1），将对下一个时间步骤（t＋1）估计的变换参数应用到下一个时间步骤（t＋1）的对象模型，并且还应用到下一个时间步骤（t＋1）的雷达图。该结果是基于贝叶斯的技术，其基于刚性变换参数递归地估计运动并且更新用于跟踪的对象模型。
图9示出了通过使用车辆的车轮轮毂来跟踪车辆的动态目标定位系统。可以使用两个车轮轮毂的位置来确定目标车辆的位置，以增强车轮的定位，用于在本文所描述的目标跟踪技术中使用。因为车轮轮毂是良好的反射器，所以从SAR系统获得的雷达数据提供更精确的数据。图10示出了车轮轮毂在车轮轮毂的不同位置处的速度。例如，在车轮轮毂的外部处的速度将具有在车轮轮毂中心处的速度两倍的速度。
再次参考图9，利用最大多普勒测量将两个雷达点60和62识别为目标车辆的车轮轮毂。计算两个轮毂之间的基线宽度（W）。确定第一点60和第二点62之间的朝向θ。使用第一轮毂60作为朝向角θ的顶点，在第一轮毂60和第二轮毂62之间画出的线段与由主车辆发射的雷达束撞击第一轮毂60的矢量建立朝向角θ。因此，通过跟踪目标车辆的朝向和基线，可以不断地确定和跟踪目标车辆的位置、朝向和速度。
虽然已经详细地描述了本发明的某些实施例，但是熟悉本发明所涉及的领域的技术人员将认识到用于实施如由所附权利要求限定的本发明的各种替代设计和实施例。