书签 分享 收藏 举报 版权申诉 / 19

一种检测目标物尺寸的方法及装置.pdf

  • 上传人:Y948****062
  • 文档编号:5880335
  • 上传时间:2019-03-28
  • 格式:PDF
  • 页数:19
  • 大小:1.32MB
  • 摘要
    申请专利号:

    CN201510883221.2

    申请日:

    2015.12.03

    公开号:

    CN105551020A

    公开日:

    2016.05.04

    当前法律状态:

    实审

    有效性:

    审中

    法律详情:

    实质审查的生效IPC(主分类):G06T 7/00申请日:20151203|||公开

    IPC分类号:

    G06T7/00; G06T5/00; G01B11/02

    主分类号:

    G06T7/00

    申请人:

    浙江大华技术股份有限公司

    发明人:

    卢维; 李乾坤; 潘石柱

    地址:

    310053 浙江省杭州市滨江区滨安路1187号

    优先权:

    专利代理机构:

    北京同达信恒知识产权代理有限公司 11291

    代理人:

    黄志华

    PDF完整版下载: PDF下载
    内容摘要

    本发明公开了一种检测目标物尺寸的方法及装置。立体相机的基线与参考面平行,立体相机的各光轴平行且视野里包括所述参考面,该方法包括:使用预先标定得到的所述立体相机的内外参数,对所述立体相机拍摄的图像对中的第一图像和第二图像进行外极线校正;并确定所述第一图像中的目标物区域;在外极线校正后的所述目标物区域中确定目标物的边界;并确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差;根据所述视差和所述边界确定所述目标物的尺寸。本发明提出的方法解决了激光测距的检测方式安装复杂度高、硬件成本高及无法保证测量精度的问题。

    权利要求书

    1.一种检测目标物尺寸的方法,其特征在于,立体相机的基线与参考面平行,立体相机的各光轴平行且视野里包括所述参考面,该方法包括:使用预先标定得到的所述立体相机的内外参数,对所述立体相机拍摄的图像对中的第一图像和第二图像进行外极线校正;并确定所述第一图像中的目标物区域;在外极线校正后的所述目标物区域中确定目标物的边界;并确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差;根据所述视差和所述边界确定所述目标物的尺寸。2.根据权利要求1所述的方法,其特征在于,所述确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差的步骤包括:确定外极线校正后的所述目标物区域中的像素点的匹配代价空间GU-V-D,所述GU-V-D中的取值表示外极线校正后的所述目标物区域中坐标为(u,v)的像素点在外极线校正后的第二图像中视差为d的匹配代价,d为不小于0的整数;将所述GU-V-D压缩为V-D空间GVD;基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差。3.根据权利要求2所述的方法,其特征在于,所述将所述GU-V-D压缩为V-D空间GVD的步骤包括:基于外极线校正后的所述目标物区域中满足设定条件的各行像素点,将所述GU-V-D压缩为V-D空间GVD;所述设定条件为同一行像素点中的两边界像素点距离达到设定阈值;所述GVD中的取值表示外极线校正后的所述目标物区域中满足设定条件的一行像素点在外极线校正后的第二图像中视差为d的平均匹配代价。4.根据权利要求2所述的方法,其特征在于,所述基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差的步骤基于如下公式实现:其中:其中:dv*(j)表示外极线校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差,j的取值从1至所述第一图像的行数;Iv-d(d,j)表示外极线校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差为d时的匹配代价;SS(dv(j),dv(j+1))用于度量外极线校正后的目标物区域的第j行像素点与第j+1行像素点所对应的视差突变的程度;thds为设定阈值;thss为设定取值。5.根据权利要求2~4中任一项所述的方法,其特征在于,所述在外极线校正后的所述目标物区域中确定目标物的边界的步骤包括:基于所述GU-V-D,确定外极线校正后的所述目标物区域中的各个像素点为目标物像素点的置信度;根据确定的置信度,确定所述目标物在外极线校正后的所述目标物区域中的每行像素点的边界。6.一种检测目标物尺寸的装置,其特征在于,立体相机的基线与参考面平行,立体相机的各光轴平行且视野里包括所述参考面,该装置包括:外极线校正模块,用于使用预先标定得到的所述立体相机的内外参数,对所述立体相机拍摄的图像对中的第一图像和第二图像进行外极线校正;目标物区域确定模块,用于确定所述第一图像中的目标物区域;目标物边界确定模块,用于在外极线校正后的所述目标物区域中确定目标物的边界;视差确定模块,用于确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差;目标物尺寸确定模块,用于根据所述视差和所述边界确定所述目标物的尺寸。7.根据权利要求6所述的装置,其特征在于,为了确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差,所述视差确定模块用于:确定外极线校正后的所述目标物区域中的像素点的匹配代价空间GU-V-D,所述GU-V-D中的取值表示外极线校正后的所述目标物区域中坐标为(u,v)的像素点在外极线校正后的第二图像中视差为d的匹配代价,d为不小于0的整数;将所述GU-V-D压缩为V-D空间GVD;基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差。8.根据权利要求7所述的装置,其特征在于,为了将所述GU-V-D压缩为V-D空间GVD,所述视差确定模块还用于:基于外极线校正后的所述目标物区域中满足设定条件的各行像素点,将所述GU-V-D压缩为V-D空间GVD;所述设定条件为同一行像素点中的两边界像素点距离达到设定阈值;所述GVD中的取值表示外极线校正后的所述目标物区域中满足设定条件的一行像素点在外极线校正后的第二图像中视差为d的平均匹配代价。9.根据权利要求7所述的装置,其特征在于,为了基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差,所述视差确定模块基于如下公式实现:其中:其中:dv*(j)表示外极线校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差,j的取值从1至所述第一图像的行数;Iv-d(d,j)表示外极线校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差为d时的匹配代价;SS(dv(j),dv(j+1))用于度量外极线校正后的目标物区域的第j行像素点与第j+1行像素点所对应的视差突变的程度;thds为设定阈值;thss为设定取值。10.根据权利要求7~9中任一项所述的装置,其特征在于,为了在外极线校正后的所述目标物区域中确定目标物的边界,所述目标物边界确定模块用于:基于所述GU-V-D,确定外极线校正后的所述目标物区域中的各个像素点为目标物像素点的置信度;根据确定的置信度,确定所述目标物在外极线校正后的所述目标物区域中的每行像素点的边界。

    说明书

    一种检测目标物尺寸的方法及装置

    技术领域

    本发明涉及立体视觉领域,尤其涉及一种检测目标物尺寸的方法及装置。

    背景技术

    在诸多场景中,都有对目标物尺寸的检测需求。例如在道路交通场景中,
    考虑到超长、超高、超宽的车辆在行驶时会增加交通事故发生概率,对道路交
    通安全造成威胁,需要对车辆的长宽高是否超限进行检测。

    目前常见的检测目标物尺寸的手段是激光测距方式。仍以检测车辆长、宽、
    高为例,该方式需要在同一位置安装多组激光测距仪,对车辆的长、宽、高进
    行测量。

    激光测距的方式检测目标物尺寸至少存在如下问题:

    安装复杂度高且硬件成本高。

    难以对前、后车辆进行有效分割,难以保证测量精度;尤其在交通繁忙的
    情况下,测量精度将大大下降。

    发明内容

    本发明的目的是提供一种检测目标物尺寸的方法及装置,以解决激光测距
    的检测方式安装复杂度高、硬件成本高及无法保证测量精度的问题。

    本发明的目的是通过以下技术方案实现的:

    本发明实施例提供了一种检测目标物尺寸的方法,立体相机的基线与参考
    面平行,立体相机的各光轴平行且视野里包括所述参考面,该方法包括:

    使用预先标定得到的所述立体相机的内外参数,对所述立体相机拍摄的图
    像对中的第一图像和第二图像进行外极线校正;并确定所述第一图像中的目标
    物区域;

    在外极线校正后的所述目标物区域中确定目标物的边界;并确定外极线校
    正后的所述目标物区域的每行像素点在外极线校正后的第二图像中的视差;

    根据所述视差和所述边界确定所述目标物的尺寸。

    优选的,所述确定外极线校正后的所述目标物区域的每行像素点在外极线
    校正后的第二图像中的视差的步骤包括:

    确定外极线校正后的所述目标物区域中的像素点的匹配代价空间GU-V-D,
    所述GU-V-D中的取值表示外极线校正后的所述目标物区域中坐标为(u,v)的像素
    点在外极线校正后的第二图像中视差为d的匹配代价,d为不小于0的整数;

    将所述GU-V-D压缩为V-D空间GVD;

    基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线
    校正后的第二图像中的视差。

    优选的,所述将所述GU-V-D压缩为V-D空间GVD的步骤包括:

    基于外极线校正后的所述目标物区域中满足设定条件的各行像素点,将所
    述GU-V-D压缩为V-D空间GVD;所述设定条件为同一行像素点中的两边界像素
    点距离达到设定阈值;所述GVD中的取值表示外极线校正后的所述目标物区域
    中满足设定条件的一行像素点在外极线校正后的第二图像中视差为d的平均匹
    配代价。

    优选的,所述基于所述GVD确定外极线校正后的所述目标物区域的每行像
    素点在外极线校正后的第二图像中的视差的步骤基于如下公式实现:

    d v * ( j ) = arg d m i n { I v - d ( d , j ) + S S ( d v ( j ) , d v ( j + 1 ) ) } ]]>

    其中:

    S S ( d v ( j ) , d v ( j + 1 ) ) = 0 , | d v ( j ) - d v ( j + 1 ) | th d s th S s , | d v ( j ) - d v ( j + 1 ) | > th d s ]]>

    其中:dv*(j)表示外极线校正后的目标物区域的第j行像素点在外极线校正
    后的第二图像中的视差,j的取值从1至所述第一图像的行数;Iv-d(d,j)表示外
    极线校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差
    为d时的匹配代价;SS(dv(j),dv(j+1))用于度量外极线校正后的目标物区域的
    第j行像素点与第j+1行像素点所对应的视差突变的程度;thds为设定阈值;thss
    为设定取值。

    优选的,所述在外极线校正后的所述目标物区域中确定目标物的边界的步
    骤包括:

    基于所述GU-V-D,确定外极线校正后的所述目标物区域中的各个像素点为
    目标物像素点的置信度;

    根据确定的置信度,确定所述目标物在外极线校正后的所述目标物区域中的每
    行像素点的边界。

    基于同样的发明构思,本发明实施例还提供了一种检测目标物尺寸的装置,
    立体相机的基线与参考面平行,立体相机的各光轴平行且视野里包括所述参考
    面,该装置包括:

    外极线校正模块,用于使用预先标定得到的所述立体相机的内外参数,对
    所述立体相机拍摄的一个图像对中的第一图像和第二图像进行外极线校正;

    目标物区域确定模块,用于确定所述第一图像中的目标物区域;

    目标物边界确定模块,用于在外极线校正后的所述目标物区域中确定目标
    物的边界;

    视差确定模块,用于确定外极线校正后的所述目标物区域的每行像素点在
    外极线校正后的第二图像中的视差;

    目标物尺寸确定模块,用于根据所述视差和所述边界确定所述目标物的尺
    寸。

    优选的,为了确定外极线校正后的所述目标物区域的每行像素点在外极线
    校正后的第二图像中的视差,所述视差确定模块用于:

    确定外极线校正后的所述目标物区域中的像素点的匹配代价空间GU-V-D,
    所述GU-V-D中的取值表示外极线校正后的所述目标物区域中坐标为(u,v)的像素
    点在外极线校正后的第二图像中视差为d的匹配代价,d为不小于0的整数;

    将所述GU-V-D压缩为V-D空间GVD;

    基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线
    校正后的第二图像中的视差。

    优选的,为了将所述GU-V-D压缩为V-D空间GVD,所述视差确定模块还用
    于:

    基于外极线校正后的所述目标物区域中满足设定条件的各行像素点,将所
    述GU-V-D压缩为V-D空间GVD;所述设定条件为同一行像素点中的两边界像素
    点距离达到设定阈值;所述GVD中的取值表示外极线校正后的所述目标物区域
    中满足设定条件的一行像素点在外极线校正后的第二图像中视差为d的平均匹
    配代价。

    优选的,为了基于所述GVD确定外极线校正后的所述目标物区域的每行像
    素点在外极线校正后的第二图像中的视差,所述视差确定模块基于如下公式实
    现:

    d v * ( j ) = arg d m i n { I v - d ( d , j ) + S S ( d v ( j ) , d v ( j + 1 ) ) } ]]>

    其中:

    S S ( d v ( j ) , d v ( j + 1 ) ) = 0 , | d v ( j ) - d v ( j + 1 ) | th d s th S s , | d v ( j ) - d v ( j + 1 ) | > th d s ]]>

    其中:dv*(j)表示外极线校正后的目标物区域的第j行像素点在外极线校正
    后的第二图像中的视差,j的取值从1至所述第一图像的行数;Iv-d(d,j)表示外
    极线校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差
    为d时的匹配代价;SS(dv(j),dv(j+1))用于度量外极线校正后的目标物区域的
    第j行像素点与第j+1行像素点所对应的视差突变的程度;thds为设定阈值;thss
    为设定取值。

    优选的,为了在外极线校正后的所述目标物区域中确定目标物的边界,所
    述目标物边界确定模块用于:

    基于所述GU-V-D,确定外极线校正后的所述目标物区域中的各个像素点为
    目标物像素点的置信度;

    根据确定的置信度,确定所述目标物在外极线校正后的所述目标物区域中
    的每行像素点的边界。

    本发明实施例提出的方法及装置,在待检测的现场仅需要架设立体相机,
    而不需要在同一位置安装多组激光测距仪。立体相机的硬件成本低于多组激光
    测距仪的硬件成本,且其安装复杂度也低于激光测距仪的安装复杂度,因此本
    发明实施例提供的技术方案可以降低安装复杂度及硬件成本。另外,本发明实
    施例中,在立体相机采集到图像后,通过图像处理即可检测出目标物的尺寸。
    本发明实施例提供的图像处理过程中,外极线校正是为了后续准确计算出目标
    物的尺寸;确定目标物区域是为了降低后续运算量,提高处理效率,而在目标
    物区域中确定目标物的边界则是为了精确检测出目标物的尺寸。考虑到目标物
    是立体的,单张图片中确定的边界无法准确表达目标物的尺寸,因此本发明实
    施例提供的技术方案进一步确定视差,结合视差和边界准确得到目标物尺寸。
    可见,本发明实施例提供的技术方案,可以高效、精确地检测出目标物的尺寸。

    附图说明

    图1为本发明实施例提供的检测目标物尺寸的方法流程图;

    图2为本发明实施例中,立体相机所采集的图像对;

    图3为本发明实施例中,外极线校正后的图像对;

    图4为本发明实施例中,车辆区域的左右边界;

    图5为本发明实施例中,车辆区域的V-D图像Iv-d;

    图6为本发明实施例中,车辆区域对应的视差曲线与地面区域的视差直线;

    图7为本发明实施例提供的检测目标物尺寸的装置示意图。

    具体实施方式

    架设的立体相机需要满足如下条件:立体相机的基线平行于参考面,各光
    轴平行且视野里包括参考面。并进行如下立体相机内外参数的标定:立体相机
    的基线B,立体相机的焦距f,图像中心点在图像坐标系中的坐标(u0,v0),
    距地面高度hc,俯仰角θ。另外,还可以通过计算得到图像中参考面区域的
    图像纵坐标v与视差d的对应关系,记为dg(v)。

    当需要获知图像检测到的目标物在环境中的相对位置时,需要确定环境中
    的参考面,并基于确定的参考面建立相机坐标系和世界坐标系。

    下面对参考面、相机坐标系、世界坐标系、图像坐标系,以及本发明实施
    例所基于的系统架构和相机参数标定进行说明。

    参考面:需选择环境中静态的,位于立体相机的视野中,且面积较大的面
    作为参考面,例如地平面、桌面等等。

    相机坐标系:以立体相机中的某个相机(例如双目立体相机的左相机)的
    光心为原点建立的坐标系。相机坐标系的一个坐标轴(本发明实施例中称为相
    机坐标系的z轴)为该相机的光轴;另一个坐标轴(本发明实施例中称为相机
    坐标系的x轴)与参考面平行,又一个坐标轴(本发明实施例中称为相机坐标
    系的y轴)与x轴和z轴所在平面垂直。

    图像坐标系:以图像中的某个像素点(通常为左上顶点)为坐标原点,图
    像的行方向为横轴u,图像的列方向为纵轴v建立的坐标系。图像坐标系的横
    轴与相机坐标系的x轴对应,图像坐标系的纵轴与相机坐标系的y轴对应。

    世界坐标系:以参考面上的某个环境点为原点建立的坐标系。相机坐标系
    的z轴在参考面上的投影为世界坐标系的一个坐标轴(本发明实施例中称为世
    界坐标系的Z轴);世界坐标系的X轴在参考面上(本发明实施例中称为世
    界坐标系的X轴);世界坐标系的Y轴垂直于参考面。

    下面将结合附图,对本发明实施例提供的技术方案进行详细说明。

    本发明实施例提供了一种检测目标物尺寸的方法,该方法基于按照上述条
    件架设的立体相机,如图1所示,该方法包括如下操作:

    步骤100、使用预先标定得到的上述立体相机的内外参数,对该立体相机
    拍摄的图像对中的第一图像和第二图像进行外极线校正;并确定该第一图像中
    的目标物区域。

    应当指出的是,进行外极线校正与确定目标物区域之间没有时序上的限定。

    其中:如果立体相机是双目相机,则第一图像和第二图像分别是双目相机
    的两个相机同时拍摄的图像。如果立体相机是三目相机或者更多目的相机,则
    第一图像是选定相机的图像,第二图像是立体相机中的与选定相机有公共视野
    的任一相机同时拍摄的图像。经过外极线校正后,同一环境点在第一图像中对
    应的像素点的纵坐标与在第二图像中对应的像素点的纵坐标相同。此处的纵坐
    标为图像坐标系中的纵坐标。

    其中,以使用双目立体相机获取包含车辆这一目标物的双目图像为例,确
    定第一图像中的目标物区域时,具体可以是在第一图像中识别车辆的车牌坐标
    信息,再根据车牌坐标信息结合基于背景滤除的运动检测算法得到目标车辆在
    图像中的大致区域Iv(即目标物区域)。

    步骤110、在外极线校正后的上述目标物区域中确定目标物的边界;并确
    定外极线校正后的该目标物区域的每行像素点在外极线校正后的第二图像中
    的视差。

    应当指出的是,确定目标物的边界与确定视差之间不存在时序上的限定。

    其中,目标区域的一行像素点是指在图像坐标系的u方向上的一行像素点。

    其中,同一环境点在第一图像中对应的像素点的横坐标与在第二图像中对
    应的像素点的横坐标的差称为视差。

    步骤120、根据上述视差和边界确定上述目标物的尺寸。

    本发明实施例提出的方法,在待检测的现场仅需要架设立体相机,而不需
    要在同一位置安装多组激光测距仪。立体相机的硬件成本低于多组激光测距仪
    的硬件成本,且其安装复杂度也低于激光测距仪的安装复杂度,因此本发明实
    施例提供的技术方案可以降低安装复杂度及硬件成本。另外,本发明实施例中,
    在立体相机采集到图像后,通过图像处理即可检测出目标物的尺寸。本发明实
    施例提供的图像处理过程中,外极线校正是为了后续准确计算出目标物的尺寸;
    确定目标物区域是为了降低后续运算量,提高处理效率,而在目标物区域中确
    定目标物的边界则是为了精确检测出目标物的尺寸。考虑到目标物是立体的,
    单张图片中确定的边界无法准确表达目标物的尺寸,因此本发明实施例提供的
    技术方案进一步确定视差,结合视差和边界准确得到目标物尺寸。可见,本发
    明实施例提供的技术方案,可以高效、精确地检测出目标物的尺寸。

    本发明实施例中,上述步骤110中确定视差的实现方式有多种,例如,可
    以基于匹配代价空间确定视差。具体的:确定外极线校正后的上述目标物区域
    中的像素点的匹配代价空间GU-V-D,该GU-V-D中的取值表示外极线校正后的目
    标物区域中坐标为(u,v)的像素点在外极线校正后的第二图像中视差为d的匹配
    代价,d为不小于0的整数;将GU-V-D压缩为V-D空间GVD;基于该GVD确定外
    极线校正后的目标物区域的每行像素点在外极线校正后的第二图像中的视差。

    本发明实施例提供的技术方案,基于匹配代价空间确定视差,具体是V-D
    空间GVD确定视差,绕开点对点匹配,从而不需要搜索每个像素点的最佳匹配
    点,速度更快;同时避免了误匹配点对测量结果的干扰,提高了算法的准确度。

    其中,确定目标物区域的匹配代价空间的实现方式是计算目标物区域中的
    每个像素点在第二图像中视差为d时的匹配代价,从而得到匹配代价空间。由
    于极线校正后,第一图像和第二图像的中心点一般不相等,那么,如果拍摄第
    一图像的相机在拍摄第二图像的相机的左侧,第一图像中的像素点Iv(u,v)在第
    二图像中对应的像素点可以表示为Iv2((u-d+u02-u01),v),如果拍摄第一图像的
    相机在拍摄第二图像的相机的右侧,第一图像中的像素点Iv(u,v)在第二图像中
    对应的像素点可以表示为Iv2(u+d+u02-u01),v)。其中,匹配代价的衡量方式有多
    种,例如由SAD或NCC进行衡量。

    其中,将GU-V-D压缩为V-D空间GVD的实现方式有多种。例如:基于外极
    线校正后的目标物区域中满足设定条件的各行像素点,将GU-V-D压缩为V-D空
    间GVD。其中,设定条件为同一行像素点中的两边界像素点距离达到设定阈值;
    GVD中的取值表示外极线校正后的目标物区域中满足设定条件的一行像素点在
    外极线校正后的第二图像中视差为d的平均匹配代价。其中,目标物区域中满
    足设定条件的一行像素点不是指这一行的全部像素点,而是指两边界像素点及
    之间的像素点。

    其中,基于GVD确定外极线校正后的目标物区域的每行像素点在外极线校
    正后的第二图像中的视差的实现方式有多种。例如基于如下公式确定:

    d v * ( j ) = arg d m i n { I v - d ( d , j ) + S S ( d v ( j ) , d v ( j + 1 ) ) } ]]>

    其中:

    S S ( d v ( j ) , d v ( j + 1 ) ) = 0 , | d v ( j ) - d v ( j + 1 ) | th d s th S s , | d v ( j ) - d v ( j + 1 ) | > th d s ]]>

    其中:dv*(j)表示外极线校正后的目标物区域的第j行像素点在外极线校正
    后的第二图像中的视差,j的取值从1至第一图像的行数;Iv-d(d,j)表示外极线
    校正后的目标物区域的第j行像素点在外极线校正后的第二图像中的视差为d
    时的匹配代价;SS(dv(j),dv(j+1))为代价函数中的平滑项,用于度量外极线校
    正后的目标物区域的第j行像素点与第j+1行像素点所对应的视差突变的程度;
    thds为设定阈值;thss为设定取值。

    由于待测量的目标(即目标物,如汽车)的外表面一般是连续变化的,一
    般不会发生突变,所以当相邻两行(第j行与第j+1行)所对应的视差(dv(j)与
    dv(j+1))之差小于阈值thds,该平滑项(或称为惩罚项)代价为0,当视差之
    差大于阈值thds时,惩罚代价为值thSs。如将Iv-d中代价值归一化到0~255,thSs
    可取50,以鼓励算法估计得到一条平滑的曲线。

    本发明实施例中,步骤110中确定目标物的边界的实现方式有多种。例如,
    基于上述GU-V-D,确定外极线校正后的目标物区域中的各个像素点为目标物像
    素点的置信度;根据确定的置信度,确定目标物在外极线校正后的目标物区域
    中的每行像素点的边界。

    其中,确定置信度的实现方式有多种,例如可以基于如下公式计算置信度:

    B ( i , j ) = m i n { Σ k = W s i C ( k , j , d g ( j ) ) , Σ K = i W e C ( k , j , d g ( j ) ) } ]]>

    其中,B(i,j)为外极线校正后的所述目标物区域中坐标为i,j的像素点为目
    标物像素点的置信度;WI为所述目标物区域在u方向上的最大取值;C(k,j,dg(j))
    为GU-V-D空间中的匹配代价。

    其中,确定每行像素点的边界即确定每行像素点中目标物的边界像素点。
    其实现方式有多种,例如统计目标物区域中每一行像素点的左边界为该行中大
    于阈值thvB的最左侧像素位置Uvl(j),右边界为大于该阈值的最右侧像素位置
    Uvr(j):

    U v l ( j ) = arg m i n i { B ( i , j ) > th v B } ]]>

    U v r ( j ) = arg max i { B ( i , j ) > th v B } ]]>

    其中,thvB为设定阈值。

    基于上述公式可知,上述的满足设定条件的各行像素点是指所有满足
    Uvr(j)>Uvl(j)+thvw的图像行,对这些图像行计算V-D图像Iv-d并归一化至
    0~255的灰度图像,从而得到VD空间。

    基于上述任意实施例,步骤120的具体实现方式有多种。其中,既可以在
    相机坐标系中确定目标物的尺寸并作为最终的输出结果;也可以在世界坐标系
    中确定目标物的尺寸并作为最终的输出结果;还可以在相机坐标系中确定目标
    物的部分尺寸、在世界坐标系中确定目标物的另一部分尺寸,并将确定结果作
    为最终的输出结果。当然,也可以将一个坐标系中确定的尺寸转换到另一个坐
    标系中作为最终的输出结果。下面举例说明:

    对于目标物区域的每一行,计算相机坐标系下边界点的三维坐标和目标物
    宽度:

    W c j = B ( U v r ( j ) ) - U v l ( j ) ) d v * ( j ) ]]>

    y c j = B ( j - v 0 l ) d v * ( j ) ]]>

    Z c j = B f d v * ( j ) ]]>

    通过相机的高度hc和俯仰角θ,将{ycj}和{zcj}转换到世界坐标系下:

    ywj=cosθ×ycj+sinθ×zcj-hc

    zwj=-sinθ×ycj+cosθ×zcj

    则目标物的长度为:

    L v ( j ) = max j { z w j } - min j { z w j } ]]>

    目标物的宽度为:

    W v = m a x j { W c j } ]]>

    目标物的高度为:

    H v = m a x j { y w j } ]]>

    基于上述任意方法实施例,在检测到目标物的尺寸后,就可以根据检测到
    的尺寸进行后续处理。本发明不对尺寸的应用进行限定。以车辆尺寸检测为例,
    可以将测量得到的车辆长宽高信息与车辆超限标准值进行比较,判断是否超限,
    若超限,则结合车牌信息向控制台发送报警。

    下面结合具体应用场景,对本发明实施例提供的技术方案进行详细说明:

    本实施例中,选取左右两台并列安装的相机,参考面选取地平面,左右两
    台相机的基线平行于地平面,两台相机的光轴平行,且视野中包含上述参考面。
    立体相机的焦距为f=5594、图像中心点为(u0l,v0l)=(1223.814,282.181),
    (u0r,v0r)=(1223.814,282.181)、基线长度B=0.5026、距地面高度hc=7.5694、俯
    仰角θ=0.1257。通过计算得到图像中地面区域的图像纵坐标v与视差d的对应
    关系,为:

    dg(v)=0.06587×v+93.35928

    使用上述双目立体相机拍摄,得到一个图像对,该图像对包括左相机图像
    (即第一图像)和右相机图像(即第二图像),从相机系统集成的车牌识别模
    块得到车辆的车牌信息及位置,再结合基于背景滤除的运动检测算法得到目标
    车辆在图像中的大致区域Iv,本发明实施例中假设Iv在右相机图像,如图2所示。

    使用预先标定得到的双目相机内外参数,对双目图像进行外极线校正,得
    到校正后的立体图对。外极线校正后,同一三维环境点在立体图对中的投影点
    pl(ul,vl)与pr(ur,vr)满足vl=vr;如图3所示。

    计算图像片Iv(u,v)在左图中视差为d时的匹配代价,由于极线校正后,立
    体图像中左右两图中心点一般不相等,对应左图图像片可表示为
    Ivl(u+d+u0l-u0r),v),匹配代价具体由SAD或NCC进行衡量,这样得到Iv与Ivl
    的匹配代价的U-V-D空间C(u,v,d);

    对于图像片Iv中的每一个像素点p(i,j),计算p属于车辆区域的置信度:

    B ( i , j ) = m i n { Σ k = W s i C ( k , j , d g ( j ) ) , Σ K = i W e C ( k , j , d g ( j ) ) } ]]>

    统计图像片Iv中每一行车辆的左右边界,左边界为该行中大于阈值
    thvB=800的最左侧像素位置,右边界为大于该阈值的最右侧像素位置:

    U v l ( j ) = arg m i n i { B ( i , j ) > th v B } ]]>

    U v r ( j ) = arg max i { B ( i , j ) > th v B } ]]>

    如图4所示,为车辆区域的左右边界。

    对所有满足Uvr(j)>Uvl(j)+thvw的图像行,计算V-D图像Iv-d并归一化至
    0~255的灰度图像,Iv-d定义为:

    I v - d ( i , j ) = Σ k = U v l ( j ) U v r ( j ) C ( k , j , i ) ]]>

    如图5所示,为车辆区域的V-D图像Iv-d。

    基于Iv-d图像估计图像中车辆区域每一行对应的视差:

    d v * ( j ) = arg d m i n { I v - d ( d , j ) + S S ( d v ( j ) , d v ( j + 1 ) ) } ]]>

    其中:

    S S ( d v ( j ) , d v ( j + 1 ) ) = 0 , | d v ( j ) - d v ( j + 1 ) | th d s th S s , | d v ( j ) - d v ( j + 1 ) | > th d s ]]>

    如图6所示,为车辆区域对应的视差曲线(右侧)与地面区域的视差直线
    (左侧)。

    对于车辆区域的每一行,计算相机坐标系下车辆边界点的三维坐标和车辆
    宽度:

    W c j = B ( U v r ( j ) - U v l ( j ) ) d v * ( j ) ]]>

    y c j = B ( j - v 0 l ) d v * ( j ) ]]>

    Z c j = B f d v * ( j ) ]]>

    通过相机的高度hc和俯仰角θ,将{ycj}和{zcj}转换到世界坐标系下:

    ywj=cosθ×ycj+sinθ×zcj-hc

    zwj=-sinθ×ycj+cosθ×zcj

    则目标车辆的长度为:

    L v ( j ) = max j { z w j } - min j { z w j } ]]>

    目标车辆的宽度为:

    W v = m a x j { W c j } ]]>

    目标车辆的高度为:

    H v = m a x j { y w j } ]]>

    基于与方法同样的发明构思,本发明实施例还提供检测目标物尺寸的装置,
    立体相机的基线与参考面平行,立体相机的各光轴平行且视野里包括上述参考
    面,如图7所示,包括::

    外极线校正模块701,用于使用预先标定得到的所述立体相机的内外参数,
    对所述立体相机拍摄的一个图像对中的第一图像和第二图像进行外极线校正;

    目标物区域确定模块702,用于确定所述第一图像中的目标物区域;

    目标物边界确定模块703,用于在外极线校正后的所述目标物区域中确定
    目标物的边界;

    视差确定模块704,用于确定外极线校正后的所述目标物区域的每行像素
    点在外极线校正后的第二图像中的视差;

    目标物尺寸确定模块705,用于根据所述视差和所述边界确定所述目标物
    的尺寸。

    本发明实施例提出的装置,在待检测的现场仅需要架设立体相机,而不需
    要在同一位置安装多组激光测距仪。立体相机的硬件成本低于多组激光测距仪
    的硬件成本,且其安装复杂度也低于激光测距仪的安装复杂度,因此本发明实
    施例提供的技术方案可以降低安装复杂度及硬件成本。另外,本发明实施例中,
    在立体相机采集到图像后,通过图像处理即可检测出目标物的尺寸。本发明实
    施例提供的图像处理过程中,外极线校正是为了后续准确计算出目标物的尺寸;
    确定目标物区域是为了降低后续运算量,提高处理效率,而在目标物区域中确
    定目标物的边界则是为了精确检测出目标物的尺寸。考虑到目标物是立体的,
    单张图片中确定的边界无法准确表达目标物的尺寸,因此本发明实施例提供的
    技术方案进一步确定视差,结合视差和边界准确得到目标物尺寸。可见,本发
    明实施例提供的技术方案,可以高效、精确地检测出目标物的尺寸。

    可选的,基于上述任意实施例,为了确定外极线校正后的所述目标物区域
    的每行像素点在外极线校正后的第二图像中的视差,所述视差确定模块用于:

    确定外极线校正后的所述目标物区域中的像素点的匹配代价空间GU-V-D,
    所述GU-V-D中的取值表示外极线校正后的所述目标物区域中坐标为(u,v)的像素
    点在外极线校正后的第二图像中视差为d的匹配代价,d为不小于0的整数;

    将所述GU-V-D压缩为V-D空间GVD;

    基于所述GVD确定外极线校正后的所述目标物区域的每行像素点在外极线
    校正后的第二图像中的视差。

    可选的,基于上述任意实施例,为了将所述GU-V-D压缩为V-D空间GVD,
    所述视差确定模块还用于:

    基于外极线校正后的所述目标物区域中满足设定条件的各行像素点,将所
    述GU-V-D压缩为V-D空间GVD;所述设定条件为同一行像素点中的两边界像素
    点距离达到设定阈值;所述GVD中的取值表示外极线校正后的所述目标物区域
    中满足设定条件的一行像素点在外极线校正后的第二图像中视差为d的平均匹
    配代价。

    可选的,基于上述任意实施例,为了基于所述GVD确定外极线校正后的所
    述目标物区域的每行像素点在外极线校正后的第二图像中的视差,所述视差确
    定模块还用于:

    d v * ( j ) = arg d m i n { I v - d ( d , j ) + S S ( d v ( j ) , d v ( j + 1 ) ) } ]]>

    其中:

    S S ( d v ( j ) , d v ( j + 1 ) ) = 0 , | d v ( j ) - d v ( j + 1 ) | th d s th S s , | d v ( j ) - d v ( j + 1 ) | > th d s ]]>

    可选的,基于上述任意实施例,为了在外极线校正后的所述目标物区域中
    确定目标物的边界,所述目标物边界确定模块用于:

    基于所述GU-V-D,确定外极线校正后的所述目标物区域中的各个像素点为
    目标物像素点的置信度;

    根据确定的置信度,确定所述目标物在外极线校正后的所述目标物区域中
    的每行像素点的边界。

    本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计
    算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结
    合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包
    含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、
    CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

    本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产
    品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和
    /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/
    或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入
    式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算
    机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一
    个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

    这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设
    备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中
    的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个
    流程和/或方框图一个方框或多个方框中指定的功能。

    这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使
    得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处
    理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个
    流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

    尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基
    本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要
    求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

    显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发
    明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及
    其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

    关 键  词:
    一种 检测 目标 尺寸 方法 装置
      专利查询网所有文档均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
    0条评论

    还可以输入200字符

    暂无评论,赶快抢占沙发吧。

    关于本文
    本文标题:一种检测目标物尺寸的方法及装置.pdf
    链接地址:https://www.zhuanlichaxun.net/p-5880335.html
    关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

    copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
    经营许可证编号:粤ICP备2021068784号-1