低照度成像车牌识别方法及装置.pdf

《低照度成像车牌识别方法及装置.pdf》由会员分享，可在线阅读，更多相关《低照度成像车牌识别方法及装置.pdf（22页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910776966.7 (22)申请日 2019.08.22 (71)申请人 长沙千视通智能科技有限公司 地址 410000 湖南省长沙市高新开发区麓 谷大道658号湖南麓谷信息港自编AB 栋4002-(C019)房 (72)发明人 张斯尧谢喜林王思远黄晋 蒋杰张诚文戎田磊 (74)专利代理机构 长沙德恒三权知识产权代理 事务所(普通合伙) 43229 代理人 徐仰贵 (51)Int.Cl. G06K 9/32(2006.01) G06K 9/34(2006.01) (54。

2、)发明名称 一种低照度成像车牌识别方法及装置 (57)摘要 本发明实施例提供了一种低照度成像车牌 识别方法及装置， 所述方法包括： 基于深度学习 与自适应时空滤波， 对低照度车牌图像的辨识度 进行增强； 通过多信息融合对增强了辨识度后的 低照度车牌图像中的车牌区域进行定位， 并对定 位后的所述车牌区域进行倾斜校正； 所述多信息 包括所述车牌区域的边缘位置处的密度比周围 区域的密度更大和所述车牌区域中的字符分布 在一条或两条直线上； 对经倾斜校正后的所述车 牌区域中的字符进行分割； 对分割后的所述车牌 区域中的字符进行识别。 通过本发明实施例能够 提高低照度成像车牌识别的准确度和效率。 权利要求。

3、书2页 说明书12页 附图7页 CN 110633705 A 2019.12.31 CN 110633705 A 1.一种低照度成像车牌识别方法， 其特征在于， 包括： 基于深度学习与自适应时空滤波， 对低照度车牌图像的辨识度进行增强； 通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定位， 并对定 位后的所述车牌区域进行倾斜校正； 所述多信息包括所述车牌区域的边缘位置处的密度比 周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上； 对经倾斜校正后的所述车牌区域中的字符进行分割； 对分割后的所述车牌区域中的字符进行识别。 2.根据权利要求1所述的低照度成像车牌识别方法。

4、， 其特征在于， 所述基于深度学习与 自适应时空滤波， 对低照度车牌图像的辨识度进行增强， 包括： 通过自适应时空滤波方式对低照度车牌图像进行去噪处理； 基于卷积神经网络的深度学习方式， 将去噪后的低照度车牌图像进行卷积自编码处 理， 提高所述去噪后的低照度车牌图像的对比度， 并保留所述去噪后的低照度车牌图像的 图像细节； 通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。 3.根据权利要求1所述的低照度成像车牌识别方法， 其特征在于， 所述通过多信息融合 对增强了辨识度后的所述低照度车牌图像中的车牌区域进行定位， 并对定位后的所述车牌 区域进行倾斜校正， 包括： 通过所述低照。

5、度车牌图像中的车牌区域的边缘位置处的密度比周围区域的密度更大 的特征， 初步定位增强了辨识度后的低照度车牌图像中的车牌区域； 通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区域进行二次定位； 所 述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上； 将经二次定位后的低照度车牌图像进行非极大值抑制处理， 并将进行非极大值抑制处 理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。 4.根据权利要求1所述的低照度成像车牌识别方法， 其特征在于， 所述对经倾斜校正后 的所述车牌区域中的字符进行分割， 包括： 去除经倾斜校正后的所述车牌区域的边框； 增强去除了边框后的车牌区域内的。

6、字符与背景的对比度； 利用车牌上的字符的投影曲线具有双缝结构及单峰结构的特征， 采用投影法对增强了 对比度后的车牌区域内的字符进行分割。 5.一种低照度成像车牌识别装置， 其特征在于， 包括： 辨识增强模块， 用于基于深度学习与自适应时空滤波， 对低照度车牌图像的辨识度进 行增强； 定位校正模块， 用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区 域进行定位， 并对定位后的所述车牌区域进行倾斜校正； 所述多信息包括所述车牌区域的 边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直 线上； 分割模块， 用于对经倾斜校正后的所述车牌区域中的字符进行分割； 识别。

7、模块， 用于对分割后的所述车牌区域中的字符进行识别。 6.根据权利要求5所述的低照度成像车牌识别装置， 其特征在于， 所述辨识增强模块包 权利要求书 1/2 页 2 CN 110633705 A 2 括： 去噪单元， 用于通过自适应时空滤波方式对低照度车牌图像进行去噪处理； 卷积单元， 用于基于卷积神经网络的深度学习方式， 将去噪后的低照度车牌图像进行 卷积自编码处理， 提高所述去噪后的低照度车牌图像的对比度， 并保留所述去噪后的低照 度车牌图像的图像细节； 伽马校正单元， 用于通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度 增强处理。 7.根据权利要求5所述的低照度成像车牌识别装置。

8、， 其特征在于， 所述定位校正模块包 括： 初步定位单元， 用于通过所述低照度车牌图像中的车牌区域的边缘位置处的密度比周 围区域的密度更大的特征， 初步定位增强了辨识度后的低照度车牌图像中的车牌区域； 二次定位单元， 用于通过车牌结构信息对经初步定为后的低照度车牌图像中的车牌区 域进行二次定位； 所述车牌结构信息包括车牌上的字符分布在一条直线或两条直线上； 倾斜校正单元， 用于将经二次定位后的低照度车牌图像进行非极大值抑制处理， 并将 进行非极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正。 8.根据权利要求5所述的低照度成像车牌识别装置， 其特征在于， 所述分割模块包括。

9、： 边框去除单元， 用于去除经倾斜校正后的所述车牌区域的边框； 对比增强单元， 用于增强去除了边框后的车牌区域内的字符与背景的对比度； 分割单元， 用于利用车牌上的字符的投影曲线具有双缝结构及单峰结构的特征， 采用 投影法对增强了对比度后的车牌区域内的字符进行分割。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1-5中 任一项所述方法的步骤。 10.一种计算机可读介质， 所述计算机可读介质存储有计算机程序， 其特征在于， 所述 计算机程序被处理执行时实现如权利要求1-5中任一项所。

10、述方法的步骤。 权利要求书 2/2 页 3 CN 110633705 A 3 一种低照度成像车牌识别方法及装置 技术领域 0001 本发明属于计算机视觉与智慧交通技术领域， 具体是涉及到一种基于深度学习与 自适应时空滤波的低照度成像车牌识别方法、 装置、 终端设备及计算机可读介质。 背景技术 0002 大多数室外视觉系统， 如视频监控、 目标识别和卫星遥感监测等， 都需要获取清晰 的图像特征。 但是在低照度条件下(如夜间等环境)， 由于场景的照度低(光信号微弱)， 导致 能见度低， 所观察的景物信号非常微弱， 图像成像质量低， 目标模糊不清， 尤其在图像经过 存储、 转换、 传输等操作后， 更。

11、进一步降低了低照度图像的质量， 使成像系统无法正常工作。 因此， 研究如何对低照度图像进行有效处理， 降低光信号弱的环境对成像系统的影响具有 重要研究价值。 0003 低照度下获取的图像灰度范围窄、 灰度变化不明显， 且相邻像素的空间关联性高， 这些特点使得图像中的细节、 背景和噪声等都包含在较窄的灰度范围之内。 因此为了改善 低照度下获取的图像的视觉效果， 将其转换为一种更适于人眼观察和计算机处理的形式， 便于提取有用信息， 需要对被拍摄物在低照度下的成像进行处理。 0004 具体的在车牌识别应用中， 当车牌图像质量不高时， 目前主要的技术思路是针对 单帧图像利用相关的数字图像处理技术(如图。

12、像滤波等)进行相应的处理， 以提高图像的质 量。 这些方法， 大都是传统的思路， 通常来说， 会存在图像细节不够清晰， 识别细节不够准 确， 处理效果往往根据环境不同而变化较大。 而近年来， 深度学习人工智能技术的发展， 无 疑为解决这些问题提供了新思路。 发明内容 0005 有鉴于此， 本发明实施例提供一种低照度成像车牌识别方法、 装置、 终端设备及计 算机可读介质， 能够提高低照度成像车牌的识别效率和准确性。 0006 本发明实施例的第一方面提供了一种低照度成像车牌识别方法， 包括： 0007 基于深度学习与自适应时空滤波， 对低照度车牌图像的辨识度进行增强； 0008 通过多信息融合对增。

13、强了辨识度后的低照度车牌图像中的车牌区域进行定位， 并 对定位后的所述车牌区域进行倾斜校正； 所述多信息包括所述车牌区域的边缘位置处的密 度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两条直线上； 0009 对经倾斜校正后的所述车牌区域中的字符进行分割； 0010 对分割后的所述车牌区域中的字符进行识别。 0011 本发明实施例的第二方面提供了一种低照度成像车牌识别装置， 包括： 0012 辨识增强模块， 用于基于深度学习与自适应时空滤波， 对低照度车牌图像的辨识 度进行增强； 0013 定位校正模块， 用于通过多信息融合对增强了辨识度后的低照度车牌图像中的车 牌区域进行定位， 并对。

14、定位后的所述车牌区域进行倾斜校正； 所述多信息包括所述车牌区 说明书 1/12 页 4 CN 110633705 A 4 域的边缘位置处的密度比周围区域的密度更大和所述车牌区域中的字符分布在一条或两 条直线上； 0014 分割模块， 用于对经倾斜校正后的所述车牌区域中的字符进行分割； 0015 识别模块， 用于对分割后的所述车牌区域中的字符进行识别。 0016 本发明实施例的第三方面提供了一种终端设备， 包括存储器、 处理器以及存储在 所述存储器中并可在所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时 实现上述低照度成像车牌识别方法的步骤。 0017 本发明实施例的第六方面提供了。

15、一种计算机可读介质， 所述计算机可读介质存储 有计算机程序， 所述计算机程序被处理执行时实现上述低照度成像车牌识别方法的步骤。 0018 本发明实施例提供的低照度成像车牌识别方法中， 可基于深度学习与自适应时空 滤波， 对低照度车牌图像的辨识度进行增强， 通过多信息融合对增强了辨识度后的低照度 车牌图像中的车牌区域进行定位， 并对定位后的所述车牌区域进行倾斜校正， 对经倾斜校 正后的所述车牌区域中的字符进行分割， 并对分割后的所述车牌区域中的字符进行识别， 从而可提高低照度成像车牌的识别效率和准确性。 附图说明 0019 为了更清楚地说明本发明实施例中的技术方案， 下面将对实施例或现有技术描述。

16、 中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些 附图获得其他的附图。 0020 图1是本发明实施例提供的一种低照度成像车牌识别方法的流程图； 0021 图2是本发明实施例提供的深度卷积神经网络的结构示意图； 0022 图3是本发明实施例提供的对低照度车辆图像做可辨识度处理前后的对比图； 0023 图4是本发明实施例提供的在对车牌区域中的字符进行分割的步骤中对车牌区域 中的字符和背景做对比度增强处理前后的车牌对比图； 0024 图5是本发明实施例提供的车牌投影曲线的滤波前。

17、后的对比效果图； 0025 图6是本发明实施例提供的低照度成像车牌识别装置的结构示意图； 0026 图7是图6中的辨识增强模块的细化结构图； 0027 图8是图6中的定位校正模块的细化结构图； 0028 图9是图6中的分割模块的细化结构图； 0029 图10是本发明实施例提供的终端设备的示意图。 具体实施方式 0030 以下描述中， 为了说明而不是为了限定， 提出了诸如特定系统结构、 技术之类的具 体细节， 以便透彻理解本发明实施例。 然而， 本领域的技术人员应当清楚， 在没有这些具体 细节的其它实施例中也可以实现本发明。 在其它情况中， 省略对众所周知的系统、 装置、 电 路以及方法的详细说。

18、明， 以免不必要的细节妨碍本发明的描述。 0031 为了说明本发明所述的技术方案， 下面通过具体实施例来进行说明。 0032 请参阅图1， 图1是本发明实施例提供的低照度成像车牌识别方法。 如图1所示， 本 说明书 2/12 页 5 CN 110633705 A 5 实施例的低照度成像车牌识别方法包括以下步骤： 0033 S101： 基于深度学习与自适应时空滤波， 对低照度车牌图像的辨识度进行增强。 0034 在本发明实施例中， 可通过自适应时空滤波方式对低照度车牌图像进行去噪处 理， 基于卷积神经网络的深度学习方式， 将去噪后的低照度车牌图像进行卷积自编码处理， 提高所述去噪后的低照度车牌图。

19、像的对比度， 并保留所述去噪后的低照度车牌图像的图像 细节， 再可通过伽马校正对经过卷积自编码处理的低照度车牌图像进行亮度增强处理。 0035 进一步地， 关于去噪处理， 通常来说， 去除噪声和亮度映射过程中均会损失图像的 细节信息， 因此本发明实施例选取保边去噪效果比较好的自适应时空滤波去除低照度车辆 图像中的噪声， 自适应时空滤波方法同现有技术， 故在此不再赘述。 经过自适应时空滤波之 后， 低照度车辆图像的噪声可以得到很大的改善。 0036 进一步地， 关于将去噪后的低照度车牌图像进行卷积自编码处理， 现行的深度神 经网络结构， 诸如AlexNet、 ResNet等基于图像分类和目标检测。

20、的研究， 并不可能被直接应 用于微光图像复原。 本发明算法采用了一种包含并行卷积、 跳跃结构和子像素卷积层的改 进的深度卷积神经网络， 其结构如图2所示。 结构图中所示结构网络主要为卷积层和子像素 卷积层， 其中， W1为并行卷积层， W2、 W4和W5为卷积层， W3为子像素卷积层， 卷积层和子像素 卷积层可采用编码-解码模式进行连接， 卷积层主要用来进行特征提取和增强， 实现去噪和 对比度提升。 网络中还包括非线性激活层， 主要结合卷积层和子像素卷积层来逼近任意函 数， 这里采用近似生物神经激活的ReLU(x)max(0， x)函数。 0037 本发明系统实施例设计的深度卷积神经网络的输入。

21、和输出的图像具有相同的尺 寸whd， 其中w， h， d分别为图像的宽度、 高度和维度， 由于微光图像为灰度图像， 因此其 维度d1。 设F0(x)x表示输入， Fl(0lL)表示卷积层或子像素卷积层的输出， Wl， bl分 别表示卷积层或子像素卷积层的卷积核的权重和偏差， *表示卷积或子像素卷积操作， W11 33128、 W1255128和W1377128分别表示第一并行卷积层包含的3种不同尺 度大小的卷积核的权重， 深度卷积神经网络的第W1、 W2、 W3层的输出F1(x)、 F2(x)、 F3(x)可表 示为： 0038 0039 F2(x)max(0， W2*F1(x)+b2) (2。

22、) 0040 F3(x)max(0， W3*F2(x)+b3) (3) 0041 其中， 0042 对于第W4层， 由于跳跃结构的引入， 涉及到求和操作， 其输出可表示为： 0043 F4(x)max(0， W4*(F2(x)+F3(x)+b4) (4) 0044 对于第W5层， 由于主要目的是进行输出地转换， 仅对前一层进行线性组合， 因此没 有使用Re-LU激活函数， 其输出可表示为： 0045 F5(x)W5*F4(x)+b5 (5) 0046 进一步地， 关于亮度增强处理， Gamma校正可包含以下三个步骤： 1)归一化： 将像素 值转换为01之间的实数； 2)求输出值： 根据预设的G。

23、amma值所绘制的符合需求的Gamma曲 线， 将归一化后的像素值代入曲线中， 求得相应的输出值； 3)反归一化： 将经过预补偿的实 说明书 3/12 页 6 CN 110633705 A 6 数值反变换为图像的整数值。 最后可得出相应的校正结果， Gamma校正主要为了提高图像的 亮度， 最后输出高质量清晰的低照度车辆图像。 图3为低照度车辆图像处理前后的对比图， 其中， 左边竖直排列的四幅为处理前的图像， 右边竖直排列的四幅为相应的处理后的图像， 可以发现本发明实施例提供的算法在增强图像对比度的同时更多的保留了场景细节信息， 且图像亮度有明显提升， 是一种高效的基于深度学习的低照度成像算法。

24、。 0047 S102： 通过多信息融合对增强了辨识度后的低照度车牌图像中的车牌区域进行定 位， 并对定位后的所述车牌区域进行倾斜校正。 0048 在本发明实施例中， 判断一个区域是否为车牌时可以借鉴人类定位物体方式。 车 牌区域的边缘密度(车牌区域的边缘位置处的密度)与其周围区域， 特别是其下方区域相比 较大， 是一项重要的环境信息。 通过环境信息， 可以排除大量非车牌区域； 对于单层车牌， 所 有字符分布在一条直线上， 对于双层车牌， 下层车牌所有字符分布在一条直线上， 这是车牌 的结构信息； 车牌除汉字外的每个字符都是字母或者数字， 这是车牌的部件信息。 通过这3 类信息的融合运用， 可。

25、以获得很好的车牌定位效果。 0049 首先可基于环境信息对车牌区域进行粗定位(或称为初步定为)， 具体可采用灰度 图像进行车牌的粗定位， 通过梯度算子-1 0 1得到车牌图像的边缘图： 1)车牌区域的边 缘密度较大， 但是如果密度值过大则不属于车牌区域； 2)车牌区域边缘密度相对其相邻区 域较大； 3)车牌区域边缘密度分布较均匀。 同时， 一般对于大多数车牌定位的场景来说， 车 牌区域在图像中的大小分布在某一已知范围内。 根据上述分析， 可设图像中车牌最小尺寸 为Wmin， Hmin， 最大尺寸为Wmax， Hmax， 其中Wmin， Hmin， Wmax， Hmax分别是图像中的最小宽度和高。

26、度以 及最大宽度和高度， 通过如下步骤可实现车牌的粗定位： 0050 1)将整幅图像分为小的单元(cell)， 并计算每个单元(cell)的边缘密度。 每个单 元的尺寸为wh， 其中whHmin/2。 对于每个小单元(cell)， 计算其边缘密度： 0051 0052 式中， Em， n表示第m行， 第n列单元(cell)的边缘密度。 ei， j表示边缘图中第i行， 第j 列的像素值。 0053 2)根据边缘密度值过滤背景区域。 车牌区域边缘密度分布在一定范围内可以根 据： 0054 0055 过滤背景区域， 其中Ai， j1表示第i行第j列的单元(cell)属于车牌的候选区域， Ai， j0。

27、表示该单元(cell)属于背景区域， t1和t2为边缘密度的低阈值和高阈值。 0056 3)根据当前单元(cell)同其下方单元(cell)的边缘密度对比过滤背景区域。 通过 观察， 车牌区域的边缘密度大于其他周围区域的边缘密度， 尤其大于其下方区域的边缘密 度。 因此， 在这一步主要通过对比每个单元(cell)同其下方单元(cell)的边缘密度来过滤 背景区域。 选择当前单元(cell)同其下方第Hmax/h个单元(cell)进行比对。 如果当前单元 (cell)同其下方第Hmax/h个单元(cell)的边缘密度对比大于给定阈值， 认为其属于车牌候 说明书 4/12 页 7 CN 11063。

28、3705 A 7 选区域， 否则将齐过滤。 0057 4)根据车牌区域边缘密度分布是否均匀过滤背景区域。 由于车牌区域边缘密度分 布比较均匀， 因此当有一个单元(cell)属于车牌区域时， 其邻域中应存在与其边缘密度比 较接近的单元(cell)。 因此， 可以计算当前单元(cell)左侧及右侧邻域中与当前单元 (cell)边缘密度接近的单元(cell)个数， 如果该个数大于给定阈值， 则判定当前单元 (cell)属于车牌候选区域， 否则当前单元(cell)属于背景区域， 并将其过滤。 0058 5)根据车牌区域的尺寸过滤背景区域。 车牌区域具有一定的尺寸， 当一个单元 (cell)所在的连通区。

29、域包含的单元(cell)个数小于(Wmin/w)(Hmin/h)， 或大于(Wmax/w) (Hmax/h)时， 则将该单元(cell)所在的连通区域过滤。 0059 经过上述几个步骤， 所述低照度车牌图像中的大部分背景区域会被过滤掉。 0060 进一步地， 在对车牌区域进行初步定位后， 可基于车牌结构信息对车牌区域做精 确定位(二次定位)。 通过粗定位过程， 大部分背景区域被过滤， 对于没有被过滤的剩余区 域， 通过车牌结构信息可进行精确定位。 所述车牌结构信息包括车牌上的字符分布在一条 直线或两条直线上， 即一个车牌由分布在一条直线或者两条直线上的字符构成， 通过车牌 字符的分布信息， 可。

30、以精确定位车牌区域。 车牌图像具有亮底暗字和暗底亮字两种类型， 仅 适用单一形态学操作无法同时成功提取出字符区域进行车牌定位。 因此， 可提出伪字符的 概念， 即将车牌字符之间的间隔部分看做是伪字符， 通过成对的形态学操作(对于暗底亮字 车牌， 高帽运算提取其字符区域， 低帽运算提取其伪字符区域； 对于亮底暗字车牌， 高帽运 算提取其伪字符区域， 低帽运算提取其字符区域)， 将字符信息和车牌背景信息(伪字符)进 行显式结合， 能够在统一的框架下检测两种类型的车牌。 这里的高帽运算(top-hat)通过原 图像和开运算图像作差， 能够提取局部较亮的区域； 而低帽变换(bot-hat)通过原图像和。

31、闭 运算图像作差， 能够提取出局部较暗的区域。 具体地， 首先通过成对的形态学操作算子(高 帽运算， 低帽运算)对车牌候选区域进行运算， 并对结果进行二值化以及连通成分分析， 获 取每个字符和伪字符的候选区域， 提取车牌字符和伪字符， 对于所有候选区域， 通过霍夫变 换进行直线检测， 进而得到车牌的精确位置。 由于大部分背景区域已经被滤除， 小范围内的 形态学操作能够很快地完成。 粗定位结合细定位的车牌定位方法可以有效的提高车牌定位 的速度， 并通过排除大部分的背景图像提高了车牌定位的准确率。 最后， 将精确定位后的车 牌图像进行截取并输出。 0061 进一步地， 在将精确定位后输出的车辆图像。

32、进行非极大值抑制处理， 并将进行非 极大值抑制处理后的低照度车牌图像中的车牌区域进行基于霍夫变换的倾斜校正， 得到最 终定位后的车牌图像。 本发明实施例使用的是现行简单高效的基于贪心策略的非极大值抑 制算法， 故在此不做多赘述。 经过非极大值抑制处理后的车牌图像可再进行基于霍夫变换 的倾斜校正。 霍夫变换是一种强有力的特征提取方法， 它利用局部图像信息有效的积累所 有可能的模型实例的依据， 这使得它既能方便的从外部数据中获得额外的信息， 又能敏锐 的从只有一部分的实例中呈现出有效信息。 霍夫变换普遍应用在计算机视觉中形状， 位置， 几何变换参数的判断中。 自霍夫变换提出以来， 其得到了广泛的应。

33、用。 近些年， 专家学者们 对霍夫变换的理论性质与应用方法又进行了进一步的探讨。 霍夫变换作为一种有效的识别 直线的算法， 具有良好的抗干扰性及鲁棒性。 霍夫变换方法包含一个从图像空间中的特征 到参数空间中点的集合的映射。 每一个参数空间中的点表征着图像空间中模型的一个实 说明书 5/12 页 8 CN 110633705 A 8 例， 图像特征利用一个函数被映射到参数空间当中去， 这个函数产生能够兼容观察到的图 像特征与假设的模型的所有的参数组合。 每一个图像特征将在多维的参数空间中产生一个 不同的平面， 但是由所有图像特征产生的属于同一个模型的实例的一切平面都会相交在描 绘共同的实例的点。。

34、 霍夫变换的根本是产生这些平面并且识别与之相交的参数点。 0062 S103： 对经倾斜校正后的所述车牌区域中的字符进行分割。 0063 在本发明实施例中， 所述低照度车牌图像经定位后形成的车牌图像中有两种车 牌， 一种是有边框的车牌， 而另一种是没有边框的车牌。 可将车牌候选区域旋转至水平后就 可以对车牌进行精确定位了， 也就是对车牌边框的去除。 对测试数据进行统计分析可以得 出： 经过定位旋转后的车牌候选区域边框有两种， 一种是车牌本身的边框， 而另一种是车牌 周围的白色背景与车牌一起被当作候选车牌区域， 此时该白色背景也可以被看作是车牌的 边框。 车牌边框的处理分为车牌上下边框的处理和车。

35、牌左右边框的处理。 车牌的上下边框 的处理比较简单， 车牌的上下边框分为两种： 一种是车牌本身的白色边框， 另一种是车牌上 下位置的白色背景。 而车牌的左右边界也可以归为这两类， 不过由于图像本身的特征， 一般 来说车牌的上下边框要宽于左右边框， 并且车牌左右边框要复杂一些。 对于车牌的上下边 框的去除， 本发明实施例采取了下面步骤一和二来处理： 0064 一、 上下边框的去除： 可用OTSU(大津算法)方法获得车牌候选区域的二值化阈值， 从而得到候选区域的二值图像， 为了排除车牌倾斜角度的影响求取该二值图像中间部分的 行和， 然后将行和处理如下： 0065 0066 0067 其中， 式子(。

36、8)为C语言的相关表达， 故在此不再赘述。 再可从中间向两端开始寻找 rowsum的上下方向上有一段距离为零的边界， 本发明实施例提供的算法中采用的该距离为 0.75height， 因为一般车牌的上下边框去除的比较准确， 故可采用图形高度来做参考距 离。 此时所得到的边界就是最后所需要的车牌上下边界。 经过上述处理后， 对于大多数图片 可以将其上下边框进行处理掉， 然后就可以对该车牌区域进行去除左右边框了。 0068 二： 左右边框的去除： 1、 用去除上下边框相同的方法来找到一个左右边框的边界： left1， right1； 2、 重新构建一个二值图像， 并用和第1步骤中相同的方法来寻找边界。

37、left2， right2。 此时构建的二值图像根据车牌区域HSI模型的h值来二值化图像。 首先对车牌区域 的中间区域来统计其h值的范围， 然后根据该范围对全部车牌区域进行二值化， 就得到了我 们需要的二值化图像。 3、 根据第1和第2步得到的两个边界信息来确定最后的边界。 最后确 定的边界可以用下面式子表示： 0069 leftmax(left1， left2) 0070 rightmin(right1， right2) (9) 0071 其中， 式子(9)为C语言的相关表达， 故在此不再赘述。 按照上述两个步骤一和二去 边框处理后， 得到的车牌区域比原来定位出来原始车牌区域精确了些， 但是。

38、并不是绝对的 精确， 我们可以将其看作是边框去除过程中引入的误差。 本发明采用的分割算法能够容忍 在车牌边框去除时存在的少许误差。 也就是说在去除车牌左右边框时， 边框没有完全去除 说明书 6/12 页 9 CN 110633705 A 9 并不影响我们队字符的正确分割。 0072 在进行分割字符前， 必须要注意一个问题， 那就是由于不同光照、 和车牌脏旧等原 因使得车牌的灰度图像中背景和字符对比度不强， 这对于后一步用投影法来进行字符分割 会带来一定的难度， 故而在分割前需要先对车牌图像进行字符的对比度增强。 0073 一个完整的车牌区域字符像素占整个车牌区域像素的20， 对于某些图片来说，。

39、 虽然由于其他原因使得车牌中字符和背景的差异不是很大， 但是总体上来说字符的像素值 也比背景像素值高一些。 故可以利用该特点来对车牌区域中前20像素进行增强而对其他 的像素进行抑制， 从而到达增强目标字符抑制背景的目的。 对此本发明采用车牌增强算法 如下： 0074 步骤1： 统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue， minvalue。 0075 步骤2： 设置需要增强的像素点数占全部像素点数的比例系数coef， 比例系数范围 在0-1之间， 根据实际需要调整， 通常原始车牌图像较清晰， 比例系数就较小， 原始车牌图像 模糊， 比例系数就大。 0076 步骤3： 统计。

40、0-255像素值上对应出现的像素点的个数， 并存储在1255的数组 count(1， i)里面。 0077 步骤4： 从count(1， i)， i255开始往下统计像素点的个数， 如果统计的像素点 pixelnumwidth*height*coef则将i-1继续统计， 否则停止统计并记下当前的像素值 index。 0078 步骤5： 车牌区域每一点按下面的方法进行增强： 0079 0080 其中， 式子(10)为C语言的相关表达， 故在此不再赘述。 经过上面的变换后， 就可以 将图像进行增强， 如果原图已有很好的对比度， 经过以上的变换也不会使图像的效果变差， 其效果图如图4所示。 0081。

41、 从图4的效果可以看出， 上面的三幅图像由RGB直接转换为灰度图像的车牌区域其 对比度一般或很差， 经过增强后的下面三幅图像的背景和字符的对比度明显好转。 这样的 对比度增强对下一步分割字符有利。 由于本发明实施例所采用的字符分割方法是基于灰度 投影的算法， 如果原本字符对比度不明显， 其灰度投影图的波峰、 波谷特征也不是很明显， 但是经过图像增强后， 其灰度投影图就能够很好的表现其波峰波谷特征， 有利用对字符的 精确分割。 0082 本发明实施例所用的灰度投影分割字符充分利用了车牌字符的特点， 与一般的投 影分割相比有很大的优越性。 普通的投影分割就是利用灰度投影曲线的波谷点来对字符进 行分。

42、割。 本发明对这种普通的投影算法进行了改进大大提高了字符分割正确率。 由车牌字 符投影曲线可以看出， 车牌圆点右边的五个字符中除了字母就是数字。 对于字母和数字来 说， 其投影曲线不是双峰结构就是单峰结构。 所以本发明在对字符进行分割充分利用该特 征改进了投影分割算法。 进行字符分割前， 对前面增强的车牌图像， 按列累加图像的像素 值， 就可以得到车牌的投影曲线(或称为灰度投影曲线)， 但是得到的投影曲线有很多噪声 使其并不平滑， 这影响系对字符的分割， 所以首先需要将投影曲线进行平滑， 在本算法中采 说明书 7/12 页 10 CN 110633705 A 10 用高斯滤波来平滑投影曲线， 。

43、用于滤波的核为0.25， 0.5， 1， 0.5， 0.25。 图5为车牌投影曲 线的滤波前后的对比效果图。 其中， 图5中的上图为滤波前的车牌投影曲线， 图5中的下图为 滤波后的车牌投影曲线。 从图中可以很明显的看出经过滤波后的投影曲线比原曲线平滑了 很多， 且滤波前的投影曲线中的一些由噪声引起的峰值也在滤波后消失了， 从而在检测波 峰波谷时就不会检测出因噪声产生的波峰波谷点。 由滤波后的车牌灰度投影图， 就可以根 据该投影曲线来进行字符分割。 本发明采用的是改进的投影法来进行字符分割。 一般的投 影法分割字符是直接利用波谷点来对字符进行分割， 而本发明实施例提供的的投影法在分 割字符时充分。

44、考虑了车牌字符的投影特征， 具体步骤如下： 0083 步骤一： 根据车牌的灰度投影曲线图可得， 车牌后面最多出现五个双峰结构， 故搜 索出前五个最大波谷点， 然后判断这些点是否为双峰结构中的波谷点， 如果是， 则将该双峰 结构的起止位置记下。 0084 步骤二： 确定车牌字符宽度characterwidth。 如果步骤一检测到了双峰结构， 则字 符宽度就取为检测到的所有双峰结构的平均值， 否则字符宽度就取前3个单峰宽度中的最 大值。 0085 步骤三： 设置字符起始点为第二字符和第三字符的分割点， 设置结束点为车牌最 后一个波谷点。 如果在步骤一中检测到了双峰结构则进行步骤四， 否则进行步骤五。

45、。 0086 步骤四： 设置字符临时分割段起始点为字符起始点， 字符临时分割段终点为一个 双峰结构起始位置， 然后在字符临时分割段里进行检测， 如果该段里有一个峰结构， 则该峰 就单独为一个字符， 如果该段里有两个峰结构， 则先判断这两个峰是一个双峰字符还是两 个单峰字符， 具体判断规则就利用这两个峰的宽度， 以及该宽度和字符宽度进行比较。 如果 这两个峰宽度之和小于字符宽度的1.2倍且这两个峰宽度相差很小， 则这两个峰结构为一 个双峰字符的投影； 否则这两个峰结构就不是一个双峰字符的投影， 且可以肯定前面一个 峰结构就是一个字符， 所以可以将其前面的一个峰结构分割出来， 然后更新字符临时分割。

46、 段如下： 将字符临时分割段的起点更新到被分割出来的峰后面， 字符临时分割段终点不变， 但是如果此时字符临时分割段的起点等于终点时。 则将其起点更新到先前的双峰结构的终 止位置， 并将临时分割段的终点更新到下一个双峰结构的起点， 如果后面没有双峰结构了 则将临时分割段的终点更新为字符结束点， 然后重复步骤四直到分割到字符结束点为止。 0087 步骤五： 进行到该步骤说明在步骤一中并未检测到双峰结构， 但是并不代表该车 牌内不存在双峰结构的字符， 即并不能排除存在有双峰结构的字符。 此时分割就直接从字 符起始点开始分割直到分割出5个字符。 在分割中需要检测的就是相邻的两个峰结构是不 是一个字符的。

47、双峰曲线。 检测所利用的方法和步骤四中相同， 利用两个峰的宽度和该宽度 与字符宽度之间的关系进行判断。 0088 步骤六： 根据分割出的后面五个字符来分割前面两个字符(例如， 湘A)。 首先将分 割出来的后面五个字符中的最大宽度作为前面两个字符的宽度。 前面两个字符为字母或者 汉字(例如， 湘A)， 且前面两个字符也为双峰结构， 所以用后面五个字符中的最大宽度作为 前面字符的宽度是合理的。 分割前面两个字符的方法为： 从第二字符和第三字符的分割点 向前移动字符宽度个像素， 然后将离该点的最近一个波谷值作为车牌第一字符和第二字符 的分割点。 利用同样方法也可以确定第一个字符的开始位置。 0089。

48、 步骤七： 对分割出来的字符序列进行检测， 看该序列是否符合车牌字符序列的特 说明书 8/12 页 11 CN 110633705 A 11 征。 该特征可以用下面表达式来表示， 假设dis1为前面两个字符的宽度向量， dis2为后面五 个字符看宽度向量， width为车牌宽度， height为车牌高度， 则一个合理的车牌字符序列必 须满足下面的表达式： 0090 min(min(dis1)， min(dis2)width/10 0091 max(dis2)width/5 0092 height/min(dis1)3 (11) 0093 其中， 式子(11)为C语言的相关表达， 故在此不再赘述。

49、。 这样就可以从车牌区域中 分割出字符序列， 从上面的算法步骤中可以看出， 对于还有部分左右边框的车牌， 本发明的 分割算法对其具有很高的鲁棒性。 0094 S104： 对分割后的所述车牌区域中的字符进行识别。 0095 在本发明实施例中， 关于已经分割好的所述车牌区域中的字符的识别， 本发明实 施例采用基于深度学习的卷积神经网络(CNN)进行车牌字符识别的数据库训练， 训练好数 据库后， 输入任意分割后的车牌字符， 能准确快速的输出相关车牌的具体字符信息。 0096 在图1提供的低照度成像车牌识别方法中， 可基于深度学习与自适应时空滤波， 对 低照度车牌图像的辨识度进行增强， 通过多信息融合。

50、对增强了辨识度后的低照度车牌图像 中的车牌区域进行定位， 并对定位后的所述车牌区域进行倾斜校正， 对经倾斜校正后的所 述车牌区域中的字符进行分割， 最后可对分割后的所述车牌区域中的字符进行识别， 从而 可增强低照度成像车牌的识别效率和准确性。 0097 请参阅图6， 图6是本发明实施例提供的一种低照度成像车牌识别装置的结构框 图。 如图6所示， 本实施例的低照度成像车牌识别60包括辨识增强模块601、 定位校正模块 602、 分割模块603和识别模块604。 辨识增强模块601、 定位校正模块602、 分割模块603和识 别模块604分别用于执行图1中的S101、 S102、 S103和S10。