车载行人检测方法及系统.pdf

本发明提出一种车载行人检测方法和系统，包括在计算机上利用行人图像正负样本库进行分类器训练；在DSP处理器上利用分类器对车载CCD摄像头获取的视频图像进行实时行人检测。本发明通过在行驶中的汽车上安装CCD摄像头获取汽车前方的视频图像，使用一个训练好的分类器对图像中的行人进行实时检测，实现了实时检测，为智能交通背景下行人安全保护提供了支持。

权利要求书
1.  一种车载行人检测方法，其特征在于，包括以下步骤：
在计算机上利用行人图像正负样本库进行分类器训练；
在数字信号处理器DSP上进行实时行人检测。

2.  如权利要求1所述的车载行人检测方法，其特征在于，所述在计算机上利用行人图像正负样本库进行分类器训练，包括以下步骤：
读入行人图像正样本集和负样本集对应的正、负样本；
对每个样本，按照从左上到右下的顺序逐个计算其所包括的预定数量小方块的特征值；
根据每个样本对应的所述预定数量的特征值大小，分别统计每个特征值在预定数值范围出现的次数，以得到对应维数的特征向量；
将每个样本对应的特征向量作为行对所有样本进行排列，得到对应的特征矩阵M；
对所述特征矩阵M，按基于Adaboost算法的方法训练得到一个级联型分类器；
将所述级联型分类器进行整型化，并以文件形式保存。

3.  如权利要求2所述的车载行人检测方法，其特征在于，所述正样本为包含单个行人的图像，所述负样本为不包含行人的城市交通背景图像。

4.  如权利要求2所述的车载行人检测方法，其特征在于，所述小方块的特征值采用j×2进制表示，并且通过以下步骤计算得到：
分别计算小方块中心点与周围j个点的差值的绝对值；
将所述j个绝对值分别与预定阈值θ比较，若小于所述阈值θ，则将对应点数值计作1，否则计作0；以及
按照预定顺序将所述j个点对应的数值连成一个j位的2进制数以得到所述小方块的特征值。

5.  如权利要求4所述的车载行人检测方法，其特征在于，所述预定数值范围与所述j位的2进制数对应的10进制数值范围对应。

6.  如权利要求2所述的车载行人检测方法，其特征在于，所述按基于Adaboost算法的方法训练一个单分类器，包括以下步骤：
读取特征矩阵M；
初始化由所述负样本子集和正样本集构成的训练集中的样本权重，其中，所述正样本的权重为所述负样本的权重为
归一化所述样本权重，所述归一化样本权重为每个样本的原权重与所有训练样本的原权重之和的比值；
对所述d维特征向量中未被选择的特征，求其最佳阈值T，形成弱分类器，计算所述弱分类器的加权错误率，选择具有最小加权错误率εmin的弱分类器加入到单分类器中并设置权重，将其对应的特征标记为已被选择；
调整所述训练集中的样本权重；
重复选择，直至所述单分类器的检测率和错误率满足指定要求；
设置所述单分类器的阈值Tc为其包含的所有所述弱分类器的权重之和的一半。

7.  如权利要求2所述的车载行人检测方法，其特征在于，所述按基于Adaboost算法的方法训练一个单分类器，包括以下步骤：
读取特征矩阵M；
初始化由所述负样本子集和正样本集构成的训练集中的样本权重，其中，所述正样本的权重为所述负样本的权重为
归一化所述样本权重，所述归一化样本权重为每个样本的原权重与所有训练样本的原权重之和的比值；
对所述d维特征向量中未被选择的特征，求其最佳阈值T，形成弱分类器，计算所述弱分类器的加权错误率，选择具有最小加权错误率εmin的弱分类器加入到单分类器中并设置权重，将其对应的特征标记为已被选择；
调整所述训练集中的样本权重；
重复选择，直至所述单分类器的检测率和错误率满足指定要求；
设置所述单分类器的阈值Tc为其包含的所有所述弱分类器的权重之和的一半。

8.  如权利要求2所述的车载行人检测方法，其特征在于，所述级联型分类器是在训练得到一个c层的级联分类器之后，将被当前串联分类器错分的负样本作为负样本集，和全部正样本组成训练集，训练得到一个新的单分类器，加入到当前级联分类器的后面形成c+1层的级联分类器。如此重复操作，直到整个级联型分类器的检测率和错误率满足指定要求。

9.  如权利要求6或7所述的车载行人检测方法，其特征在于：
所述最佳阈值T为所述训练集中所有正样本特征值Tp的加权平均值与所有负样本特征值的加权平均值Tn的算术平均值；
所述具有εmin的弱分类器加入到单分类器后的权重设置为α=logϵmin1-ϵmin;]]>
所述弱分类器的判据为其中，x为对应特征的特征值，f(x)＝1表示输入为行人图像，f(x)＝0表示输入为非行人图像。
所述单分类器的判据为其中，αi为弱分类器的权重，xi为弱分类器对应的特征的特征值，X＝(x1，x2，.....)，c(X)＝1表示输入图像包含行人，c(X)＝0表示输入图像不包含行人。

10.  如权利要求6或7所述的车载行人检测方法，其特征在于，所述调整训练集中的样本权重包括以下步骤：
利用所述弱分类器分类测试所有所述样本；
如果所述样本被正确分类，则将其权重被调整为原权重乘以

11.  如权利要求2或8所述的车载行人检测方法，其特征在于：所述级联型分类器的输出为真当且仅当每一级分类器的输出为真；
所述级联分类器的整型化操作为将各分类器的权重缩放到适当的整数范围。

12.  如权利要求2所述的车载行人检测方法，其特征在于，所述在DSP处理器上进行实时行人检测，包括以下步骤：
从车载电荷耦合器件CCD摄像头获取汽车前方的视频流的一帧，存入输入缓存冲区；
使用模拟视频解码器对视频流解码，选择其中的亮度分量构成灰度图像；
选择视频图像中心的大部分区域作为监视区域，认为行人出现在所述监视区域为不安全的；
使用大小为32×16的检测窗口对所述监视区域图像进行检测；
重复所述对监视区域图像的检测4次；
合并所述4次检测中保存的矩形区域中互相包含或大部分重叠的矩形区域；
在视频输出缓冲中写入原灰度图像，并用矩形框标识被检测出的行人。

13.  如权利要求12所述的车载行人检测方法，其特征在于，所述对监视区域图像进行检测，包括以下步骤：
计算所述监视区域的积分图像，设置所述检测窗口的左上角像素(x，y)的位置为(0，0)；
利用所述级联分类器测试当前检测窗口内的图像区域，如果输出为1，则将当前窗口对应在所述灰度图像中的窗口的大小和位置存入数组中；
将所述检测窗口的水平位置向右移动2个像素，重复所述分类器的测试，直至所述检测窗口超出所述监视区域的水平范围；
将所述检测窗口的垂直位置向下移动4个像素，同时重置所述检测窗口的水平位置为0，重复上述两个步骤，直至所述检测窗口超出所述监视区域的高度范围；
将所述监视区域的水平尺寸和高度均缩小为原来的4/5。

14.  一种车载行人检测系统，其特征在于，包括计算机、车载电荷耦合器件CCD摄像头和数字信号处理器DSP，
所述计算机，用于训练分类器；
所述车载CCD摄像头，用于安装在行驶中的汽车上，获取汽车前方的视频图像；
所述DSP处理器，用于利用所述分类器对所述CCD摄像头获取的视频图像进行实时行人检测。

15.  如权利要求14所述的车载行人检测系统，其特征在于，所述DSP处理器包括接收模块和检测模块，
所述接收模块，用于接收所述视频图像；
所述检测模块，用于利用所述分类器检测所述视频图像。

16.  如权利要求14所述的车载行人检测系统，其特征在于，所述计算机训练分类器，包括以下步骤：
读入行人图像正样本集和负样本集对应的正、负样本；
对每个样本，按照从左上到右下的顺序逐个计算其所包括的预定数量小方块的特征值；
根据每个样本对应的所述预定数量的特征值大小，分别统计每个特征值在预定数值范围出现的次数，以得到对应维数的特征向量；
将每个样本对应的特征向量作为行对所有样本进行排列，得到对应的特征矩阵M；
对所述特征矩阵M，按基于Adaboost算法的方法训练得到一个级联型分类器；
将所述级联型分类器进行整型化，并以文件形式保存。

17.  如权利要求14所述的车载行人检测系统，其特征在于，所述DSP处理器对行人进行实时检测，包括以下步骤：
从车载CCD摄像头获取汽车前方的视频流的一帧，存入输入缓存冲区；
使用模拟视频解码器对视频流解码，选择其中的亮度分量构成灰度图像；
选择视频图像中心的大部分区域作为监视区域，认为行人出现在所述监视区域为不安全的；
使用大小为32×16的检测窗口对所述监视区域图像进行检测；
重复所述对监视区域图像的检测4次；
合并所述4次检测中保存的矩形区域中互相包含或大部分重叠的矩形区域；
在视频输出缓冲中写入原灰度图像，并用矩形框标识被检测出的行人。

说明书车载行人检测方法及系统
技术领域
本发明涉及智能交通领域，特别涉及一种车载行人检测方法及系统。
背景技术
随着经济的快速发展，人们的交通方式在迅速转变，交通事故呈现增长趋势，交通安全面临着严重的挑战。因此，致力于行人安全的车载行人检测系统(Pedestrian Detection System，PDS)成为一项研究热点。
行人检测的难度主要在于交通场景复杂，行人形态丰富，且光照条件也会变化等，而PDS要求检测器随车辆一起运动，增加了行人检测的难度。
目前还缺少实用的PDS和核心技术，主要缺陷是检测速率难以满足实时性要求或检测率达不到要求。因此需要一种方法解决上述问题。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别是解决检测速率不满足实时性要求的缺陷。
为了达到上述目的，本发明一方面提出一种车载行人检测方法，包括以下步骤：在计算机上利用行人图像正负样本库进行分类器训练；在DSP处理器上进行实时行人检测。
作为本发明的一个实施例，所述在计算机上利用行人图像正负样本库进行分类器训练，包括以下步骤：读入行人图像正样本集和负样本集对应的正、负样本；对每个样本，按照从左上到右下的顺序，逐个计算其所包括的预定数量小方块的特征值；根据每个样本对应的所述预定数量的特征值大小，分别统计每个特征值在预定数值范围出现的次数，以得到对应维数的特征向量；将每个样本对应的特征向量作为行对所有样本进行排列，得到对应的特征矩阵M；对所述特征矩阵M，按基于Adaboost算法的方法训练得到一个级联型分类器；将所述级联型分类器进行整型化，并以文件形式保存。
作为本发明的一个实施例，所述在DSP处理器上进行实时行人检测，包括以下步骤：从车载CCD摄像头获取汽车前方的视频流的一帧，存入输入缓存冲区；使用模拟视频解码器对视频流解码，选择其中的亮度分量构成灰度图像；选择视频图像中心的大部分区域作为监视区域，认为行人出现在所述监视区域为不安全的；使用大小为32×16的检测窗口对所述监视区域图像进行检测；重复所述对监视区域图像的检测4次；合并所述4次检测中保存的矩形区域中互相包含或大部分重叠的矩形区域；在视频输出缓冲中写入原灰度图像，并用矩形框标识被检测出的行人。
本发明另一方面还提出一种车载行人检测系统，包括计算机、车载CCD摄像头和DSP处理器，其中，所述计算机用于训练分类器，所述车载CCD摄像头用于安装在行驶中的汽车上获取汽车前方的视频图像，所述DSP处理器用于利用所述分类器对所述CCD摄像头获取的视频图像进行实时行人检测。
作为本发明的一个实施例，所述DSP处理器，包括接收模块和检测模块，其中，所述接收模块用于接收所述视频图像，所述检测模块用于利用所述分类器检测所述视频图像。
本发明通过在行驶中的汽车上安装CCD摄像头获取汽车前方的视频图像，使用一个训练好的分类器对图像中的行人进行实时检测，实现了实时检测，为智能交通背景下行人安全保护提供了支持。
此外，为了克服DSP芯片计算能力弱，尤其是浮点运算能力弱的弊端，达到实时检测的性能，本发明专门提出了一种便于DSP计算的行人描述特征，采用了线性的级联式Adaboost分类器，并结合DSP的特征将其中的运算进行了整形化，最终实现了车载的实时行人检测。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的分类器训练方法的流程图；
图2为本发明实施例的小方块特征值获取的示意图；
图3为本发明实施例的基于Adabooost算法的单分类器训练方法的流程图；
图4为本发明实施例的行人实时检测方法的流程图；
图5为本发明实施例的对监视区域图像进行检测的方法流程图；
图6为本发明实施例的车载行人检测系统的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明主要在于通过安装在汽车上的CCD(电荷耦合器件，chargecoupled device)摄像头获取汽车前方的视频图像，同时使用一个训练好的分类器对视频流中的行人进行实时检测。
分类器的训练是在计算机上进行的，是一种离线学习的训练过程。训练需要使用行人图像的正负样本库。正负样本的数量均需要几千个以上，且负样本个数远大于正样本个数。其中，正样本为包含单个行人的图像，负样本为不包含行人的交通背景图像，如天空、道路、建筑、车辆等。所有样本均取自实际的交通场景中，并被规格化为32×16大小的灰度图像。所述规格化处理包括等比例缩放和裁剪操作，使得一副正样本图像中只包括一个行人。
如图1所示为本发明实施例的分类器训练方法的流程图，包括以下步骤：
步骤S101，读入包含m幅正样本图像的正样本集和包含n幅负样本图像的负样本集，其中正样本为包含单个行人的图像，负样本为不包含行人的城市交通背景图像。
在本发明的实施例中，样本图像可以用32×16的二维整形数组表示，数组中各元素的值等于对应像素的灰度值，范围在0到255之间。
步骤S102，对每个32×16大小的样本，按照从左上到右下的顺序，逐行计算p×p的小方块的特征值，行和列的偏移量都为1。在本实施例中可以设p＝3，这样则一共得到420个特征值。小方块的特征值可以采用j×2进制表示，在一个实施例中，j＝8。即每个特征值的是一个8位的2进制数，一共有0～255这256个取值。
结合图2的实施例，对小方块的特征值的得到步骤说明如下。如图所示，小方块被划分为9个点，包括中心点P和其周围的8个点A～H。若小方块的特征值采用8×2进制表示，则A，B，C，D，E，F，G，H，P∈{0，1，2，...254，255}。然后，分别计算小方块中心点P与周围8个点A～H的差值的绝对值。然后，将得到的8个绝对值分别与预定阈值θ比较，若小于阈值θ，则将对应点数值计作1，否则计作0，对应a～h。其中，a，b，c，d，e，f，g，h∈{0，1}。
最后，按照预定顺序，例如图2所示逆时针顺序，a到h，将上述8个点对应的数值连成一个8位的2进制数(abcdefgh)2，即得到小方块的特征值。当然，也可以按照h～a的顺序或者其他排列方式得到小方块的8位2进制值，本发明不局限于该具体实施例。
根据每个样本得到对应的预定数量(例如420个)的特征值大小，分别统计每个特征值在预定数值范围，该数值范围与上述i位2进制数对应的10进制数值范围对应。对于例如8位的2进制数，该数值范围在0～255之间。因此，对每个样本得到的420个特征值，根据特征值的大小，分别统计它们在0～255出现的个数，从而得到d＝256维的特征向量，也就是说将0～255出现的个数看作256个特征。这样的表示其实是一种等价于直方图的统计表示，但是这样的表示全部是整数，比直方图表示计算代价小，更适合浮点运算不强的数字信号处理器(DSP)芯片。
步骤S103，计算正负样本集中每一个样本的特征值，并将每个样本对应的特征向量作为行对所有样本进行排列，从而构成特征矩阵M。
步骤S104，读入特征矩阵M，使用级联Adaboost算法训练得到一个级联分类器。具体地，按照以下步骤进行：
步骤S301，对当前训练集中的每一个样本，采用步骤S103中的方法计算d维特征向量的各特征值。第一层单分类器包括全部的正负样本，而第k+1层单分类器的正样本是全体正样本，而其训练附样本是前k个单分类器组成的级联分类器错分的负样本，并且每个单分类器训练时负样本的数量不少于正样本数。
步骤S302，初始化训练集中各样本的权重。其中，每个正样本的权重设置为每个负样本的权重设置为
步骤S303，归一化样本权重，使得所有权重值和为1。
在本发明实施例中，归一化后的样本权重为原样本权重与原来所有样本权重之和的比值。
步骤S304，特征选择。本发明提出的可能的选择方案如下，当然本领域技术人员还能够根据下述方案提出其他修改或变化，这些修改或变化均应包含在本发明的包含范围之内。
首先，对d维特征向量中未被选择的特征，计算其最佳阈值T，形成弱分类器。
在本发明的实施例中，最佳阈值T为正样本特征值的加权平均值Tp与负样本特征值的加权平均值Tn的平均值，即对应于d维的特征向量，即可获得d个弱分类器。所述弱分类器的判据为其中，x为对应特征的特征值，f(x)＝1表示输入为行人图像，f(x)＝0表示输入为非行人图像。
然后，计算所有弱分类器的加权分类错误率ε，选择具有最小错误率εmin的弱分类器加入到单分类器中，并设置其权重为将对应特征标记为已被选择。
下面以一个例子说明加权分类错误率ε的计算：如果使用弱分类器对10幅行人图像进行检测，检测结果为只有6幅图像为行人图像，则加权分类错误率为40％。当然，这仅是示意性的实施例，并不限制本发明的范围。
步骤S305，使用步骤S304中选择出的弱分类器分类测试所有训练样本，如果训练样本被正确分类，则调整其样本权重为原权重乘以
步骤S306，重复上述步骤S303、S304和S305，直至单分类器的检测率和错误率满足指定的要求。
在本发明实施例中，指定单分类器检测率需大于95％，错误率小于4％。当然，这仅是示意性的实施例，并不限制本发明的范围。实际应用中，检测率越高越好，最优为接近100％；错误率越低越好，最优为接近于0。
步骤S307，设置单分类器的阈值Tc为其包含的所有弱分类器的权重之和的一半。
在本发明实施例中，单分类器的判据为其中，αi为弱分类器的权重，xi为弱分类器对应的特征的特征值，X＝(x1，x2，.....)，c(X)＝1表示输入图像包含行人，c(X)＝0表示输入图像不包含行人。
如上所述完成了一个单分类器的训练。同样地，可依次完成对整个级联分类器中n层的训练，最后将训练获得的n个单分类器组合成一个级联型组合分类器。
在本发明的实施例中，级联分类器的输入为32×16的灰度图像，当且仅当每一级单分类器的输出为1时，级联分类器的输出为1，否则，输出为0。其中，单分类器输出为1表示当前输入包含行人，为0表示不包含行人。检测时，从第一级单分类器开始测试，遇到某一级的输出为0则立即停止测试并输出0，这样有助于加快检测速度。
步骤S105，将级联型组合分类器进行整型化。
在本发明的实施例中，整型化操作为将各分类器的权重缩放到适当的整数范围(0～10000)内，并将级联分类器的信息以文件形式保存。在实施例中，为了使后面描述的DSP实时行人检测可以直接、有效地使用该分类器，再将分类器转化为程序中变量定义的形式。
获得级联组合分类器后可以被行人检测程序使用，如图4所示，为本发明实施例的实时行人检测方法的流程图，包括以下步骤：
步骤S401，使用车载CCD摄像头获取汽车前方的视频流的一帧，存入输入缓存冲区。
步骤S402，使用模拟视频解码器对视频流进行解码，选择其中的亮度分量构成灰度图像。
步骤S403，选择图像中心的大部分区域作为监视区域，认为行人出现在该区域是不安全的。
步骤S404，使用大小为32×16的检测窗口对监视区域图像进行检测，包括以下步骤：
步骤S501，设置检测窗口左上角的像素(x，y)的位置为(0，0)。
步骤S502，利用训练得到的分类器测试当前检测窗口内的图像区域，如果输出为1，则将当前窗口对应在原灰度图像中的矩形区域的大小和位置存入数组中。
步骤S503，将检测窗口的水平位置向右移动2个像素，即x＝x+2。如果检测窗口没有超出监视区域的水平范围，则执行步骤S502的测试，否则，执行步骤S504。
步骤S504，将检测窗口的垂直位置向下移动4个像素，即y＝y+4，同时重置检测窗口的水平位置为0。如果检测窗口没有超出监视区域的高度范围，则返回步骤S502，否则，执行步骤S505。
步骤S505，将监视区域的水平尺寸和高度均缩小为原来的4/5。在本发明实施例中，图像的缩放处理中采用双线性插值。
如上所述，完成对监视区域图像的一次检测。
步骤S405，重复步骤S404中的监视区域图像检测4次。
步骤S406，对步骤S502中保存的矩形区域中互相包含或大部分重叠的矩形区域进行合并。
在本发明的实施例中，认为合并后的每个矩形区域内包含一个行人。
步骤S407，在视频输出缓冲中写入原灰度图像，并用矩形框画出被检测出的行人。
完成对视频流的一帧的检测后继续对下一帧进行检测，如此完成对视频图像的检测。
如图6所示，为本发明实施例的车载行人检测系统的结构图，该系统包括：计算机100、车载CCD摄像头200和DSP处理器300。其中，计算机100，用于训练分类器；车载CCD摄像头200，用于安装在行驶中的汽车上，获取汽车前方的视频图像；DSP处理器300，用于利用计算机100训练得到的分类器对车载CCD摄像头200获取的视频图像进行实时行人检测。在本发明的实施例中，DSP处理器300包括接收模块310和检测模块320。其中，接收模块310，用于接收车载CCD摄像头200获取的视频图像；检测模块320，用于利用计算机100训练得到的分类器对接收到的视频图像进行实时行人检测。
计算机100训练分类器的原理以及DSP处理器300对行人进行实时检测的原理可以参考上述图1到图5中的对应步骤，
本发明通过在行驶中的汽车上安装CCD摄像头获取汽车前方图像，使用一个训练好的分类器对图像中的行人进行检测，实现了实时检测，为智能交通背景下行人安全保护提供了支持。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。