《单个相机距离估计.pdf》由会员分享，可在线阅读，更多相关《单个相机距离估计.pdf（28页完整版）》请在专利查询网上搜索。
1、10申请公布号CN104204721A43申请公布日20141210CN104204721A21申请号201380016569022申请日2013022713/208,91920120228USG01C3/0020060171申请人科格尼维公司地址加拿大魁北克省72发明人卢克马特尔杰弗里拉伦德罗伯特拉加尼尔勒74专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人余朦杨莘54发明名称单个相机距离估计57摘要用于估计到对象或特征的距离的系统和方法。距离估计跨越由单个相机拍摄到的图像追踪特征并且使用地面运动的估计来确定到追踪到的特征的距离估计。30优先权数据85PCT国际申请进入国家阶。
2、段日2014092586PCT国际申请的申请数据PCT/CA2013/0001722013022787PCT国际申请的公布数据WO2013/126989EN2013090651INTCL权利要求书3页说明书15页附图9页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书15页附图9页10申请公布号CN104204721ACN104204721A1/3页21一种用于确定从安装到车辆的相机到障碍物的距离的方法，所述方法包括跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计从所述追踪到的多个特征识别离地特征；以及对于所述多个特征。
3、中的每个离地特征，基于投影到地平面的、由所述相机拍摄到的图像中的特征的运动和所述地面运动估计计算到所述相机的距离。2如权利要求1所述的方法，还包括对于由所述相机拍摄到的每个图像，通过将拍摄到的图像投影到所述地平面来生成相应的连续图像。3如权利要求1或2所述的方法，还包括基于跨越所述两个或更多连续图像的多个追踪到的特征的运动确定所述地面运动估计。4如权利要求1或2所述的方法，还包括将所述连续图像中的一个图像识别为在确定所述地面运动估计中使用的快照。5如权利要求4所述的方法，还包括识别新的快照，所述识别新的快照包括确定所述连续图像中的下一个图像与最后识别的快照之间的、追踪到的特征的平均位移是否超过。
4、阈值；以及当所述平均位移超过阈值时，将所述连续图像中的所述下一个图像识别为所述新的快照。6如权利要求5所述的方法，其中，所述平均距离使用具有超过最小阈值的位移的、追踪到的特征来确定。7如权利要求5或6所述的方法，还包括基于跨越两个或更多连续快照的多个追踪到的特征的运动，确定所述地面运动估计。8如权利要求7所述的方法，其中，确定所述地面运动估计包括确定描述当前快照与一个或多个先前快照之间的运动的地面运动参数的估计，所述地面运动参数基于,TX,TY定义二维刚性变换，其中是所述相机的旋转；TX是所述相机在第一方向上的平移；以及TY是所述相机在与所述第一方向垂直的第二方向上的平移。9如权利要求8所述的。
5、方法，其中，确定所述地面运动参数的估计包括使用用于确定所述地面运动估计的、所述多个追踪到的特征的线性最小平方拟合将所述地面运动近似为近似仿射变换；以及使用迭代牛顿高斯方法精炼所述近似仿射变换。10如权利要求1至9所述的方法，其中，识别离地特征包括如果跨越连续图像的特征的运动大于所述地面运动估计，则将此特征识别为离地特征。11一种用于执行存储在存储器中的指令的处理器，所述处理器用于确定从安装到车辆的相机到障碍物的距离，所述指令将所述处理器配置成权利要求书CN104204721A2/3页3跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计从所述。
6、追踪到的多个特征识别离地特征；以及对于每个离地特征，基于投影到地平面的、由所述相机拍摄到的所述图像中的特征的运动和所述地面运动估计计算到所述相机的距离。12如权利要求11所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成对于由所述相机拍摄到的每个图像，通过所述图像投影到所述地平面来生成相应的连续图像。13如权利要求11或12所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成基于跨越所述两个或更多连续图像的多个追踪到的特征的运动确定所述地面运动估计。14如权利要求11或12所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成从所述连续图像。
7、中的一个或多个图像生成一个或多个快照。15如权利要求14所述的处理器，其中，生成新的快照包括确定所述连续图像中的下一个图像与最后识别的快照之间的、追踪到的特征的平均位移是否超过阈值；以及当所述平均位移超过阈值时，将所述连续图像中的所述下一个图像识别为所述新的快照。16如权利要求15所述的处理器，其中，所述平均距离使用具有超过最小阈值的位移的、追踪到的特征来确定。17如权利要求15或16所述的处理器，其中，所述指令当被所述处理器执行时，还将所述处理器配置成基于跨越两个或更多连续快照的多个追踪到的特征的运动，确定所述地面运动估计。18如权利要求17所述的处理器，其中，确定所述地面运动估计包括确定描。
8、述当前快照与一个或多个先前快照之间的运动的地面运动参数的估计，所述地面运动参数基于,TX,TY定义二维刚性变换，其中是所述相机的旋转；TX是所述相机在第一方向上的平移；以及TY是所述相机在与所述第一方向垂直的第二方向上的平移。19如权利要求18所述的处理器，其中，确定所述地面运动参数的估计包括使用用于确定所述地面运动估计的、所述多个追踪到的特征的线性最小平方拟合将所述地面运动近似为近似仿射变换；以及使用迭代牛顿高斯方法精炼所述近似仿射变换。20如权利要求11至19所述的处理器，其中识别离地特征包括如果跨越连续图像的特征的运动大于所述地面运动估计，则将所述特征识别为离地特权利要求书CN10420。
9、4721A3/3页4征。21一种用于确定到障碍物的距离的系统，所述系统包括相机，待被安装到车辆；存储器，用于存储指令；以及处理器，用于执行指令，当所述相机被安装到所述车辆时，所述处理器用于确定从所述相机至障碍物的距离，所述指令将所述系统配置成跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计从所述追踪到的多个特征识别离地特征；以及对于每个离地特征，基于投影到地平面的、由所述相机拍摄到的图像中的特征的运动和所述地面运动估计计算到所述相机的距离。权利要求书CN104204721A1/15页5单个相机距离估计技术领域0001当前的描述涉及从由单个。
10、相机拍摄到的图像确定到对象的距离，尤其是，涉及被用于车辆中以确定到障碍物的距离的系统。背景技术0002在车辆中使用相机系统变得越来越常见。相机系统可以提供来自车辆不同位置的视野。例如，相机可用于提供盲点视野或者后视野以便在倒车时辅助驾驶员。0003在没有额外传感器的情况下，难以从由单个相机拍摄到的图像确定到对象的距离。由此，如果相机系统用于提供到对象的距离信息，例如，在倒车时到停放车辆的距离，则需要额外的传感器，包括使用声呐的测距传感器、或者用于提供立体信息的额外相机。这些额外的传感器可能昂贵且增加了系统的安装耗时。0004期望的是具有能够提供到一个或多个对象的距离信息的单个相机系统。发明内容。
11、0005根据本公开，提供了用于确定从安装到车辆的相机至障碍物的距离的方法，该方法包括跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计从追踪到的多个特征中识别离地特征；以及基于投影到地平面的、由相机拍摄到的图像中的特征的运动和地面运动估计，为多个特征中的每个离地特征计算到相机的距离。0006根据本公开，还提供了用于执行存储在存储器中的指令的处理器，该处理器用于确定从安装到车辆的相机至障碍物的距离，该指令将该处理器配置成跨越两个或更多连续图像追踪多个特征；基于跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计，从追踪到的多个特征。
12、识别离地特征；以及对于每个离地特征，基于投影到地平面的、由相机拍摄到的图像中的特征的运动和地面运动估计计算到相机的距离。0007根据本公开，还提供了用于确定对于障碍物的距离的系统，该系统包括安装到车辆的相机、用于存储指令的存储器、和用于执行指令的处理器。处理器是用于在相机被安装到车辆时确定从相机至障碍物的距离。指令将系统配置成跨越两个或更多连续图像追踪多个特征；基于多个跨越两个或更多连续图像追踪到的多个特征的各自的运动和地面运动估计；以及对于每个离地特征，基于投影到地平面的、由相机拍摄到的图像中的特征的运动和地面运动估计计算到相机的距离。附图说明0008本文中参照附图对实施方式进行了描述，在附。
13、图中0009图1以示意图示出使用单个相机估计到对象的距离的环境；0010图2以线条图示出使用由单个相机拍摄到的图像估计到位于地面之上的对象的距离的表示；说明书CN104204721A2/15页60011图3以线条图示出使用由单个相机拍摄到的图像估计到位于地上的对象的距离的表示；0012图4示出用于估计到障碍物的距离的单个相机在车辆系统中的使用；0013图5以框图示出用于使用单个相机估计到对象的距离的系统的示意性实施方式；0014图6以框图示出使用单个相机估计到对象的距离的系统的另一示意性实施方式；0015图7以示意图示出不失真的拍摄图像与相应的俯视图像之间的变换；0016图8以示意图示出输入图。
14、像与俯视图像之间的关联；0017图9示出从由单个图像拍摄装置拍摄到的图像确定到障碍物的距离的方法；以及0018图10以框图示出使用单个相机估计到对象的距离的系统的又一示意性实施方式。具体实施方式0019图1示出使用单个相机估计到对象的距离的环境的示意图。如图所示，环境100包括第一车辆102，第一车辆102包括用于拍摄连续图像的相机104。车辆102被示出为沿着方向106朝第二车辆108移动。相机104被定位成指向运动的方向106。图1所示的状态可以表示倒车进入停车位的通常情况。由相机104拍摄到的图像可以被呈现给车辆102的驾驶员以辅助驾驶员停放车辆102。除了来自相机104的图像以外，还需。
15、要向驾驶员提供与到停放车辆108的距离D有关的信息。一旦距离D被估计，则其可通过多种方式被提供给驾驶员，包括在拍摄图像的顶部重叠地显示距离信息、提供距离D的语音通知或警报。附加地或可选地，估计的距离信息可被用于辅助驾驶员控制车辆102，例如，通过如果距离D小且车辆仍快速倒车则施加制动。0020如本文中进一步描述的那样，由单个相机拍摄到的图像被处理以估计到对象的距离。被估计距离的对象将位于地面之上并且对于车辆而言如同存在有障碍物。图像的处理将定位图像中的点或特征并且使用点或特征的运动来估计现实世界中相应对象的高度和到相机的距离。位于地平面上方的特征或点可以被识别并且用于估计到被认为是障碍物的相应。
16、对象的距离。0021图2以线条图示出了使用由单个相机拍摄到的图像来估计到位于地面之上的对象的距离的表示。图2A示出了在第一次拍摄到图像时相机204和对象202的位置，图2B示出了在第二次拍摄到图像时相机204和对象202的位置。0022在图2中，相机为定位在地面之上已知的高度H处。对象202被定位在距离相机水平距离D和地面之上高度Z处，并且被假设为静止的。对象202从相机的视角向地面的投影位于表观对象位置206处。表观对象位置206位于与对象202相比距离相机更远的水平距离DAP处。因相似三角形208和210，到表观对象位置的水平距离通过下式得出0023DAPSZD10024其中0025说明书。
17、CN104204721A3/15页70026因为0027通过上述，可知对象从相机视角向地面的投影的表观对象位置DAP与实际对象位置D成正比，并且比例为SZ。如图2B中所示，当相机移动距离X时，被投影到地上的表观对象位置移动X的表观距离。假设对象的高度Z保持恒定，并且取1的相对于时间的一阶导数，投影到地平面的对象的、相对于相机的表观速度VAP与对象的水平速度V成正比，并且比例为SZ。0028VAPSZV30029通过2和3，当速度V和VAP已知时，对象的实际高度Z通过下式得出00300031通过1和3，当速度V和VAP已知时，对象到相机的水平距离通过下式得出00320033通过4和5，可知从相机。
18、至对象的距离可以通过由单个相机拍摄到的连续图像确定。为了确定距离，相机的实际水平速度和对象从相机视角向地平面的投影的表观速度应是已知的。虽然相对于速度进行了描述，但是应明确，连续图像之间的时间不是关键所在。由此，只要连续图像中的对象存在足够位移如投影到地平面，即可确定到对象的距离。0034如果对象是静止的，则相机相对于对象的水平速度与相机自身的水平速度在大小上将是相等的。因为相机被安装到车辆，所以相机速度将与车辆速度相等。由此，相机的速度可以通过确定车辆速度的传感器确定。虽然能够通过传感器确定相机的速度，但是也能够通过由相机拍摄到的图像来确定速度，正如本文中将进一步描述的那样。0035图3以线。
19、条图示出了使用由单个相机拍摄到的图像估计到位于地上的对象的距离的表示。图3A示出了第一次由相机位置304拍摄到的位于地上的对象，图3B示出了第二次由相机位置304拍摄到的同一个对象302。因为对象302位于地上，所以对象向地面的投影将具有与实际对象的速度相同的速度。地面对象的速度通过下式得出00360037其中0038D1D00397。0040D2DX0041结合6和7，确定了地面点的速度与相机的速度相同00420043由此，能够通过地上的点的速度确定相机的速度，而相机的速度可用于计算位于说明书CN104204721A4/15页8地面之上的对象的实际速度。进一步通过3，假设所有的对象都位于地上。
20、或者位于地面之上，当被投影到地平面时对象的实际速度将总是小于或等于对象的表观速度，即，当对象从相机的视点被投影到地平面时，地面之上的对象将看似比地上的对象更快地移动。0044图4示出了用于估计对于障碍物的距离的单个相机在车辆系统中的使用。在图4中，示出了4个对象，即，两个地面对象402、404和两个离地对象406、408。相机拍摄对象位置的图像。图像可以被处理以将所有的点从相机的视点投影到地平面。由此产生了俯视图410，俯视图410示出了对象402、404、406、408各自的地面投影位置A、A、B、B。0045如图4B所示，当相机在连续拍摄图像之间移动距离X时，投影点A、A、B、B移动的量将。
21、取决于相应对象在地面之上的高度。也就是说，地上的点将移动相对应的量X，而地面之上的点将移动量X，其中基于对象在地面之上的高度和相机在地面之上的高度。0046通过图4，可知，如果与对象相关联的相应点跨越连续的帧或图像被追踪到，则能够确定点和相关联的对象的速度。一旦点的速度被确定，则实际速度V和表观速度VAP可以被确定。作为一个示例，实际速度可以简单地通过追踪点的最小速度确定。一旦V和VAP被确定，则可以根据等式4和5确定到与点对应的对象的水平距离以及该对象在地面之上的高度。应注意，两个等式4和5均包括速度的比率，由此，无需知道帧之间经过的实际时间。图5以框图示出了使用单个相机估计到对象的距离的系。
22、统的示意性实施方式。系统500包括相机502，相机502从地面之上已知高度拍摄连续图像。相机以已知帧速率拍摄图像以使得连续图像之间的时间是已知的。可预期的是相机502的帧速率可以有所不同。系统500还包括处理装置504，处理装置504被示出为包括用于执行存储在存储器510中的指令508的中央处理器CPU506的通用计算装置。处理装置可以包括用于将处理装置504耦接至其它部件的输入/输出I/O部件512，其中其它部件包括相机。处理装置502也可以包括用于存储信息的非易失性NV存储器514，其中信息可能包括指令508。当指令508被CPU506执行时，指令508将处理装置504配置成提供距离估计部。
23、件516，距离估计部件516通过由单个相机拍摄到的连续图像提供到对象的距离的估计。0047距离估计部件516接收连续图像，跨越图像追踪特征并且确定到与追踪到的特征相对应的对象的距离。特征可以被认为是围绕图像的能够在连续图像中定位的点的小区域。距离估计部件516包括特征追踪部件518，特征追踪部件518跨越连续图像定位并追踪特征。距离估计部件516还可以包括离地特征检测部件520，离地特征检测部件520确定追踪到的特征是否对应于离地特征。离地特征检测部件520可以使用跨越连续图像追踪到的特征中的每个的表观运动无论是速度还是距离以及相机运动522。相机运动522可以通过外部装置或传感器提供，或者可。
24、以通过连续图像估计，正如本文中将进一步描述的那样。0048确定为离地的追踪到的特征可以由到对象距离估计部件524使用，其中到对象距离估计部件524使用相机运动524以及确定的离地特征的表观速度来确定从相机至与离地特征相对应的对象的距离。到对象的距离可以根据等式4和5估计。0049一旦对于与追踪到的离地特征对应的对象的距离被确定，则信息可以多种方式被呈现或使用。例如，最近对象可以被确定并且距离信息可以被显示在拍摄图像的叠层上。虽然已就与位于地面之上的对象对应的离地特征描述了距离估计，但是可以预期的是到地上说明书CN104204721A5/15页9对象的距离也可以被估计。0050将明确，距离估计部。
25、件500可以多种方式实现。多种可能的实施方式将在下面被进一步描述，尽管其它实现方式也是可能的。0051图6示出了使用单个相机估计到对象的距离的系统的另一示意性实施方式的框图。距离估计部件600可以提供距离估计部件516的功能。虽然未在图6中示出，但是距离估计部件600可以被实现在处理装置中，例如图5的通用计算装置504。距离估计部件600包括图像变换部件602、追踪器管理器604、一个或多个追踪器606、平移估计部件608、离地点检测器610、和到对象距离确定部件612。0052与来自单个相机的视频流的连续帧对应的输入图像被提供至图像变换部件602。图像变换部件包括图像失真部件614和视图变换。
26、部件616。图像失真部件614校正接收到的图像的镜头失真。例如，广角镜头可以提供可能不失真的“鱼眼”图像。不失真图像被提供至位于地面之上已知距离处的视图变换部件616，视图变换部件616将由相机拍摄到的不失真图像变换成俯视图。俯视图与不失真的拍摄图像对应，其中不失真的拍摄图像具有从相机的视点投影到地平面的图像中的所有点。视图变换部件616可以只将不失真的拍摄图像中的一部分变换成俯视图。0053图7中示出了不失真的拍摄图像与相对应的俯视图之间的变换。图7A以线条图示出了由安装到车辆的相机拍摄到的道路702的拍摄图像700。车辆的一部分704在拍摄图像中可以是可视的。待被变换成俯视图的兴趣区域RO。
27、I被示出为虚线框706。图7B示出了与ROI706对应的俯视图710。0054通过由相对于地面倾斜的相机拍摄到的图像生成俯视图包括扭曲图像使其呈现为从上方拍摄。图7示出了不失真的拍摄图像与相对应的俯视图之间的变换。图7A以线条图示出了由安装到车辆的相机拍摄到的道路702的拍摄图像700。不失真图像校正拍摄图像中的镜头失真。车辆的一部分704在拍摄图像中可以是可视的。待被变换成俯视图的兴趣区域ROI被示出为虚线框706。图7B示出了与ROI706对应的俯视图710。0055生成俯视图意味着确定俯视图与由图像拍摄装置拍摄到的倾斜的图像之间的像素对像素映射。这种映射从概念上细分为图8中所示的四个步骤。
28、。00561俯视像素A被映射成地面B上的点；00572地面B上的点被映射成不失真图像平面C上的点；00583不失真点C被映射成理想的图像平面D上的该点失真的位置；以及00594理想的图像平面D上的失真点被映射成输入图像E中的像素。0060选择这种概念性分解是因为其针对现实世界中点与距离提供输入图像或俯视图中的点与距离之间的关系。在图8中，A和E是使用像素坐标的图像，C和D是相机坐标系中的图像平面，并B是世界坐标系中的地平面。00611将俯视图映射到地平面0062俯视图是地平面的缩放和移动的表示。从俯视图A至地平面B的映射是如下形式的单应矩阵0063说明书CN104204721A6/15页100。
29、064这种变换具有与相机矩阵相同的形式，相机矩阵反映出俯视图模仿直线向下朝向地面的虚拟相机的事实。0065从俯视图X,Y至地面的映射随后可通过下式得出0066M1X,YSXXTX,SYXTY10。00672将地平面映射到不失真的图像平面0068从地平面B至不失真的图像平面C的映射通过下式得出00690070这种单应矩阵专门取决于相机在世界坐标中的取向和位置。从地面点X,Y至不失真的图像平面C的映射随后通过下式得出0071M2X,YP1/P3,P2/P312，0072其中007300743将不失真的图像平面映射到失真的图像平面0075从不失真的图像平面C至失真的图像平面D的精确形式取决于在校准相。
30、机时使用的失真模型。例如，可以使用用于补偿径向和切向失真的失真模型。在这种失真模型中，存在有六个径向失真系数K1K6和两个切向失真系数P1,P2。从不失真的图像平面C中的点X,Y至失真的图像平面D的映射通过下式得出0076M3X,YDXX,Y,DYX,Y14，0077其中0078DXX,YKRX2P1XYP23X2Y2，0079DYX,YKRYP1X23Y22P2XY，0080和RX2Y2。00814将失真的图像平面映射到输入图像0082将失真的图像平面映射到输入图像涉及固有相机参数。设相机矩阵为如下00830084随后，失真的图像平面中的点X,Y被映射到输入图像像素，该映射可通过下式得出00。
31、85M4X,YFXXCX,FYYCY16。0086整体俯视图至输入图像的映射0087对于宽度W和高度H的俯视图而言，俯视像素至输入像素的映射通过下式得出。说明书CN104204721A107/15页110088对于X0,1,W1和Y0,1,H1，X,YM4M3M2M1X,Y17。0089也就是说，俯视图中的像素X,Y被映射成输入图像中的像素X,Y。因为俯视图很少映射到输入像素的中心，所以双线性插值法可以被用于估计任何给定的俯视图像素的值。0090下面将对用于在输入图像与俯视图之间映射的参数进行进一步描述。0091为了确定H1的元素，所观看地面的面积被定义。在不失一般性的情况下，世界地平面被设为。
32、Z0平面，并且地面ROI与X轴和Y轴对齐。地面ROI可以通过其左上角X0,Y0、其宽度W和高度H定义。0092另外，俯视图尺寸被定义。如果俯视图具有宽度W和高度H，则0093SXW/W，SYH/H，TXX0，TYY0180094一般，单应矩阵H2取决于相机相对于世界坐标系的取向和位置。因为其使地面与不失真的图像平面关联，所以无论是相机矩阵还是失真系数都不能用H2做什么。地面ROI也独立于H2。只有相机的物理定位有关系。0095如上述记载，世界地平面是Z0平面。此外，Z轴向下朝向至地面以使得直线指向地面的相机的指向将使其Z轴与世界的Z轴对齐。0096对于位于地面之上高度HC处的相机而言，相机被定。
33、位在世界坐标中的处。因为Z轴指向地面，所以Z坐标是负的。0097相机的光学轴线通过绕着X轴反转而倾斜远离世界Z轴。的倾斜角通过下面的变换获得00980099通过这种方案，0意味着相机直线指向下以使得光学轴线与世界Z轴对齐，90意味着相机指向水平线以使得光学轴线与世界负Y轴对齐，180意味着相机直线指向上以使得光学轴线与世界负Z轴对齐。0100此外，摆角可以被应用到相机以在地平线在拍摄图像中并不是水平时补偿图像。的摆角是通过在相机坐标系中绕着Z轴线旋转而获得的01010102相机的组合旋转矩阵是倾斜然后摆动01030104设PX,Y,Z,1T为点在世界中的齐次坐标，并且设Q为点在相机坐标系中的坐。
34、标。如果矢量被定义为则从世界坐标至相机坐标的变换通过下式得出说明书CN104204721A118/15页1201050106将R的第I列表示为则22可被重写成01070108因为地上的所有点具有0的Z坐标，所以刚性变换被降低至单应矩阵01090110然而，所以将地平面相关至不失真的图像平面的单应矩阵通过下式得出01110112返回图6，追踪器管理部件604管理多个追踪器606。每个追踪器可以是用于跨越连续图像追踪特征或点的特征追踪器，其中连续图像可以是如上所述地生成的俯视图。每个追踪器606包括窗618，窗618是围绕待被追踪器追踪到的特征的点或中心的兴趣区域。每个追踪器也包括待被追踪的点的速。
35、度620的估计。追踪器包括用于追踪特征的功能622以及用于估计追踪点的速度的功能624。速度估计功能624可以通过2D等速卡尔曼滤波器提供。0113每个追踪器的窗通过在当前的图像中的窗的当前中心的NXM个像素内进行详尽的模板匹配而被更新。特征追踪可以计算搜索区域的每个点处的标准化平方差。追踪器的窗618随后被移动至产生最小的标准化平方差的点。新的窗中心用于更新卡尔曼滤波器并且更新对于追踪到的点的速度估计。0114为了简单起见，对详尽的搜索进行了描述。如果有足够的处理能力可用，则可以使用更有效的方法，如均值漂移或金字塔式KLT追踪器。0115如上所述，追踪器606可以跨越连续图像追踪特征。追踪器。
36、管理器604管理多个追踪器，正如下面将描述的那样。追踪器管理器保持当前追踪器的列表626。追踪器管理器604在接收每个连续图像后进行追踪器管理，并且追踪器更新部件628更新追踪器列表626上的追踪器。0116一旦列表626上的所有追踪器被更新，则追踪器删除部件630移除任何噪音追踪器以及位于图像的边缘附近的追踪器，其中噪音追踪器是无规律地移动的追踪器。追踪器删除部件630更新追踪器图632，其中追踪器图632是指示哪里存在追踪器哪里不存在追踪器的掩模。例如，追踪器图可以是存在追踪器窗的区域为黑色而没有追踪器窗占据的区域时为白色的图像。说明书CN104204721A129/15页130117在追。
37、踪器图的追踪器删除和更新后，追踪器创建部件634处理当前图像以检测在当前图像中追踪的良好特征，或者更具体地，如追踪器图632所指示的那样在当前图像中的当前不存在追踪器的部分中进行追踪。对追踪的良好特征的检测可以通过多种方式提供。例如，开源计算机视觉OPENCV提供了功能OPENCVGOODFEATURESTOTRACK，该功能在图像中确定被视为追踪特征的强大角落。包括OPENCVGOODFEATURESTOTRACK的、用于确定特征的一些功能可以提供图像中的“最好”追踪特征。如果超过一定的阈值，则这些功能可以被修改为仅仅提供特征。在OPENCVGOODFEATURESTOTRACK的情况下，功。
38、能被修改为使得用于待被接受的角落的质量标准是绝对的，而不是相对于最佳观察角落。通过这种方式，如果追踪器图中的余下部分中不存在好的角落，则无角落被返回，而它们将不会被修改。对于每个良好追踪特征，新的追踪器被创建并且追踪器列表626和追踪器图632被相应地更新。0118非瞬时追踪器识别部件636将已存在于追踪器列表上的用于大于0的连续帧的任何追踪器添加到非瞬时追踪器列表638。非瞬时列表上的追踪器被认为是稳定的并且被用于随后的处理。0119平移估计部件608处理非瞬时列表638上的追踪器以提供相机运动的估计。假设车辆运动是严格平移，即，不存在转角。作为唯一的结果，俯视图中的竖直运动需要被考虑，从而。
39、简化了描述。应注意，该运动被称为相对于俯视图的竖直运动，因为其对应于沿着俯视图的Y轴线的运动。俯视图中的竖直运动可以对应于现实世界中的水平运动。平移估计部件608可以合并因转角导致的用于估计旋转部件的功能。进一步假设俯视图的下半部分中的大多数点属于在地上。由此，这些点的平移可以被用于确定相机的运动。0120鉴于上述假设，对于地平面的运动估计简单地是当前俯视图的下半部分中的非瞬时追踪器列表638上的所有追踪器的平均竖直速度。如果当前俯视图的下半部分中的大多数追踪到的点位于地平面上，则算法算出准确的障碍物距离。然而，如果当前俯视图的下半部分中的大多数追踪到的点位于地平面上方，则地面速度估计将是过量。
40、的，并且算出的障碍物对相机的距离也将是过量的。0121平移估计部件608进一步处理非瞬时列表638上的追踪器以确保可以通过非瞬时追踪器确定可靠的距离估计。追踪器处理部件640可以处理俯视图的下半部分中的非瞬时追踪器以基于追踪器的速度计算追踪器的平均表观竖直平移，并且为了完整性计算平均表观水平平移。处理部件640还设置用于描述地面运动、速度、估计的两个布尔标记。第一标记是ISDENED642，如果俯视图的下半部分中存在有足够的追踪器以给出可靠的地面平移估计，该标记设为真。其被设为0122ISDENEDN10。0123其中，N是位于俯视图的下半部分中的非瞬时追踪器的数量。N被设成大于10；然而，可。
41、预期的是，N可以是其它值，无论是更小或更大。0124第二标记为ISMOVING，如果在俯视图的下半部分中的非瞬时追踪器中观察到足够的地面运动以获得可靠的离地点检测，该标记设为真。其被设为0125ISMOVINGVY10。0126其中，VY为下半非瞬时追踪器的平均竖直速度。卡尔曼滤波器使用T01。由此，设VY10相当于断言竖直速度大于一个像素/帧。只有正的竖直速度被考虑并由此，检说明书CN104204721A1310/15页14测器仅在车辆倒车时被激活。应注意“竖直”是指俯视图的Y轴中的运动。0127一旦平移估计部件608已提供平均竖直地面速度以及设置标记ISMOVING和ISDENED，追踪离。
42、地对象的点的追踪器被确定。0128这种假设对于某些应用而言是可接受的；然而，另一种方案是使用随机采样一致性RANDOMSAMPLECONSENSUS；RANSAC方法寻找平移运动模型参数。RANSAC方法可以确定并且从运动模型移除异常值以仅仅包括遵循地面运动的追踪器。0129离地点检测器610处理非瞬时追踪器并且确定哪些对应于离地点。离地点检测包括确定每个非瞬时追踪器是位于地平面上还是离开地平面。如上述参照图2、3和4的描述，离地点将具有比地上点的速度大的速度。由此，在没有可靠的地面运动估计的情况下可能不能够可靠地检测离地点。由此，如果ISDENED标记未被设置，则不进行离地点检测。0130如。
43、果ISDENED被设置，则离地点被确定。设VG为通过平移估计部件608确定的被估计的平均竖直地面速度，设V为追踪器的竖直速度620。理论上，只有必要使VG0以确定离地点。然而，因噪音导致VG应比一些阈值大。如上述定义，当地面运动ISMOVING标记为真时满足这种条件。0131理论上，离地点由条件V/VG1指示。也就是说，然而，离开地面的点因近似失真模型而呈现出比地上点移动得快，并且其它噪音阈值被使用。例如，离地点的可靠检测已使用V/VG14实现，V/VG14与检测相机高度的二分之一上方的检测点对应。由此，如果如下等式成立，则追踪器被检测为“离地”01320133其中0134VG是估计的地面速度。
44、；以及0135V是进行处理的追踪器的估计速度。0136离地点检测器确定与代表障碍物的离地点对应的追踪器。通过所确定的离地追踪器，到现实世界中的相应障碍物的距离可以被确定。0137到对象距离确定部件612的距离确定到被确定离地点中的每个的相应对象的水平距离。考虑已被确定为离地点的点追踪器。其在俯视图像中具有当前竖直速度V和位置Q。竖直地面速度又是VG。设H为将俯视图坐标变换成世界坐标的单应矩阵。该单应矩阵是由图像变换部件使用的，并且是已知的。在单应世界坐标中离地点的地面投影的位置通过下式得出0138PHQ26,0139其中0140QQXQY1T27。0141地面投影的世界位置随后通过下式得出01。
45、42PP1/P3P2/P3T28。0143随后，根据上述，离地点到相机的实际距离通过下式得出01440145并且到障碍物的距离通过下式得出说明书CN104204721A1411/15页150146DY|PY|30。0147到对象距离确定部件612可以进一步从所有离地点返回到对象的最小确定距离。换言之，其将最近的障碍物返回至相机。0148上面已描述了系统和方法以估计对象离相机的距离。在上面的描述中，为了描述的清晰起见，仅考虑了相机位置的平移。应明确，地面运动估计也可以考虑旋转，从而在车辆转弯和倒车时允许系统和方法提供到对象距离的估计。另外，应明确，除了上述的具体实施方式以外，其它实施方式也可以被。
46、实现。下面可选的实施方式进一步被描述。在下面描述的实施方式中，特征点跨越“快照”被追踪。快照与来自相机的输入视频的被选择的帧对应。快照是用于对象位置的三维重建的帧或图像。通过使用快照，相对于跨越每个拍摄图像追踪图像，距离估计甚至是在车辆的速度小时也能够提供估计，因为在追踪到的点之间将存在足够距离。0149图9示出了通过由单个图像拍摄装置拍摄的图像确定到障碍物的距离的方法。方法900从图像拍摄装置接收图像902并且生成相对应的俯视图904。俯视图可以如上所述地被生成。一旦当前俯视图被生成，则特征被追踪到906。特征使用先前的俯视图908和先前的被追踪到的特征的列表而被追踪到910。被追踪到的特征。
47、在新的俯视图中被搜索以追踪特征的新位置。一旦特征在当前的俯视图中被追踪到，则被追踪到的特征的当前的特征列表被生成912。当前的特征列表可在先前特征列表的基础上移除噪音或不稳定的特征和添加适于追踪的新特征。一旦当前特征列表被生成，则快照被管理914。0150快照被管理以确定新的快照是否应通过当前的俯视图生成。关于快照是否应被生成的确定可以基于待在当前俯视图与先前的俯视图之间被追踪到的特征的运动的平均而被确定。如果特征的平均运动超过阈值，则新的快照被生成。快照被用于估计地面运动并且确定障碍物的距离估计。确定新的快照是否被生成916，或者更具体地，初始快照随后的新的快照是否被生成。如果新的快照未被生。
48、成在916处为否，则方法返回至接收另一个图像902。如果新的快照被生成在916处为是，则对于地面运动的估计被确定918。地面运动估计基于跨越快照追踪到的特征的运动而被确定。地面运动估计被用于生成运动参数列表920。运动参数列表描述快照之间的二维刚性变换的参数。一旦运动参数列表被生成，则其被用于当前待被追踪的标记当前待被追踪924的特征922。特别是，特征标记确定被标记为障碍物的离地特征。一旦离地特征被标记，则对于障碍物特征中的每个的距离被确定926，并且对于最接近障碍物的特征可以被提供928。方法900随后接收下一个图像以进行处理902。0151图10以框图示出了距离估计部件的又一示意性实施方。
49、式。距离估计部件1000与距离估计部件600相似，然而，距离估计部件1000包括快照管理器和允许地面运动的估计的地面运动估计模块，其中地面运动包括旋转。距离估计系统1000包括从图像拍摄装置接收图像并生成相对应的俯视图的图像变换部件1002。俯视图可以如上所述地被生成。俯视图被提供至在俯视图中定位并追踪特征的追踪器管理部件1004。追踪器管理器1004可以使用作用于追踪特征的多个追踪器部件1006。追踪器管理器1004将追踪到的特征提供至用于确定新的快照是否应通过当前的俯视图被生成的快照管理器部件1008。当新的快照被生成时，地面运动估计GME部件1010通过快照估计地面运动参数。地面运动参数可以被提供至障碍物识别器部件1012。障碍物识别器将每个追踪到的特征定位在三维空间中并且说明书CN104204721A1512/15页16确定特征是否为障碍物。如果特征为障碍物，则相关联的障碍物的状态可以被相应地设置。0152如图10所示，追踪器管理器部件1004管理多个追踪器1006。追踪器1006中的每个可以包括用于提供每个快照中的特征位置的快照矢量1034，从而提供了跨越快照的特征的运动的指令。追踪器1006也可以包括可。