基于数值预测回归模型的证件票据定位检测方法.pdf

《基于数值预测回归模型的证件票据定位检测方法.pdf》由会员分享，可在线阅读，更多相关《基于数值预测回归模型的证件票据定位检测方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911287230.X (22)申请日 2019.12.14 (71)申请人 上海交通大学 地址 200240 上海市闵行区东川路800号 (72)发明人 王刚严骏驰 (74)专利代理机构 上海科盛知识产权代理有限 公司 31225 代理人 丁云 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/32(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于数值预测回归模型的证件票据定 位检测方法 (57)摘要 本发明涉及。

2、一种基于数值预测回归模型的 证件票据定位检测方法， 该方法包括如下步骤： (1)获取训练样本； (2)构建数值预测回归模型， 所述的数值预测回归模型包括串联的轻量神经 网络和空间变换网络， 所述的轻量神经网络输入 为待定位图像， 输出为特征卷积图， 所述的空间 变换网络输入为所述的特征卷积图， 输出为待检 测图像中证件票据四个关键点的坐标； (3)设计 损失函数； (4)利用步骤(1)的训练样本训练数值 预测回归模型； (5)将待定位图像输入至训练好 的数值预测回归模型， 获取待检测图像中证件票 据四个关键点的坐标； (6)根据证件票据四个关 键点的坐标圈选出证件票据图像。 与现有技术相 比，。

3、 本发明结果准确可靠。 权利要求书2页 说明书5页 附图1页 CN 111160142 A 2020.05.15 CN 111160142 A 1.一种基于数值预测回归模型的证件票据定位检测方法， 其特征在于， 该方法包括如 下步骤： (1)获取训练样本； (2)构建数值预测回归模型， 所述的数值预测回归模型包括串联的轻量神经网络和空 间变换网络， 所述的轻量神经网络输入为待定位图像， 输出为特征卷积图， 所述的空间变换 网络输入为所述的特征卷积图， 输出为待检测图像中证件票据四个关键点的坐标； (3)设计损失函数； (4)利用步骤(1)的训练样本训练数值预测回归模型； (5)将待定位图像输入。

4、至训练好的数值预测回归模型， 获取待检测图像中证件票据四 个关键点的坐标； (6)根据证件票据四个关键点的坐标圈选出证件票据图像。 2.根据权利要求1所述的一种基于数值预测回归模型的证件票据定位检测方法， 其特 征在于， 步骤(1)具体包括： (11)采集一些仅含单张证件票据的图像作为原始数据； (12)标注能定位证件票据的四个关键点并获取其坐标并存储作为训练样本； (13)训练样本扩增： 对原始数据进行处理获取新的样本图像并重复步骤(12)。 3.根据权利要求1或2所述的一种基于数值预测回归模型的证件票据定位检测方法， 其 特征在于， 所述的四个关键点包括左上角、 右上角、 左下角和右下角四。

5、个点。 4.根据权利要求1所述的一种基于数值预测回归模型的证件票据定位检测方法， 其特 征在于， 轻量神经网络输出的特征卷积图包括待检测图像中证件票据四个关键点的特征卷 积图。 5.根据权利要求4所述的一种基于数值预测回归模型的证件票据定位检测方法， 其特 征在于， 空间变换网络通过如下方式获得待检测图像中证件票据四个关键点的坐标： (21)对特征卷积图进行归一化处理获取高斯热图矩阵Z， Zij为高斯热图第i行第j个像 素点对应的数值， 且满足： 其中， m为高斯热图纵向像素点个数， n为高斯热图横向像素点个数； (22)获取与Z矩阵相同维数的转换矩阵X、 Y， 矩阵X、 Y中第i行第j个像素。

6、点的数值为Xij、 Yij： Xij2j-(n+1)/n， Yij2j-(m+1)/m； (23)基于Z、 X和Y矩阵求取关键点的坐标。 6.根据权利要求5所述的一种基于数值预测回归模型的证件票据定位检测方法， 其特 征在于， 步骤(23)求取关键点的坐标(x， y)的计算公式为： 权利要求书 1/2 页 2 CN 111160142 A 2 7.根据权利要求5所述的一种基于数值预测回归模型的证件票据定位检测方法， 其特 征在于， 所述的损失函数为： L(d)JS(Pr|Pf)， 其中， L(d)为损失函数， d为高斯热图中像素点对应的数值， Pr为真实高斯热图下d的概 率分布， Pf为步骤(。

7、21)获取的高斯热图下d的概率分布， KL是指KL散度， JS是指JS散度， |表 示数据差异运算符，表示服从Pr的数学期望。 8.根据权利要求1所述的一种基于数值预测回归模型的证件票据定位检测方法， 其特 征在于， 步骤(6)还包括对圈选出的图像采用仿射变换方式获得与证件票据原尺寸大小相 同的证件票据图像。 权利要求书 2/2 页 3 CN 111160142 A 3 一种基于数值预测回归模型的证件票据定位检测方法 技术领域 0001 本发明涉及一种证件票据定位检测方法， 尤其是涉及一种基于数值预测回归模型 的证件票据定位检测方法。 背景技术 0002 对于复杂场景下证件票据位置的检测经过了。

8、如下发展： 0003 传统图像处理技术， 通常指2010年之前对于证件或汽车车牌识别的方法： 霍夫检 测。 霍夫检测是图像处理中从图像中识别几何形状的基本方法之一， 应用很广泛， 也有很多 改进算法。 主要用来从图像中分离出具有某种相同特征的几何形状(如， 直线， 圆等)。 最基 本的霍夫检测是从黑白图像中检测直线(线段)通常以图像物体本身的特征入手， 由于我们 的证件票据原本是基本的矩形图案， 因此我们可以这个先验信息为基础， 识别出其边缘信 息， 然后再通过投射变换还原图像。 其具体做法为： 首先对图像采取预处理， 对图像进行二 值化处理(Image Binarization)， 就是将图。

9、像上的像素点的灰度值设置为0或255， 也就是 将整个图像呈现出明显的黑白效果的过程。 在图像二值化后， 采用边缘检测算法， 这里以 Canny算法为例， Canny方法不容易受噪声干扰， 能够检测到真正的弱边缘。 优点在于， 使用 两种不同的阈值分别检测强边缘和弱边缘， 并且当弱边缘和强边缘相连时， 才将弱边缘包 含在输出图像中。 经过一系列处理后， 通过霍夫检测(Hough)得到卡片的边缘直线， 它是图 像处理中的一种特征提取技术， 它通过一种投票算法检测具有特定形状的物体。 该过程在 一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍 夫变换结果。 霍夫变换于1。

10、962年由Paul Hough首次提出， 后于1972年由Richard Duda和 Peter Hart推广使用， 经典霍夫变换用来检测图像中的直线。 最后， 得到证件票据边缘直线 后， 由于证件票据在平面黑白图像中是由四条线段组成， 我们可以通过检测出的直线以及 其交点， 来检测出我们的证件票据所在的位置。 0004 当深度学习技术蓬勃发展后， 出现了一系列优秀的目标检测算法， 如RCNN系列算 法、 Yolo系列算法， 在此， 以Yolo算法为例： Yolo算法基于深度学习， 并以Google的 Inception为启发， 设计自己的检测网络架构。 Yolo的就按测网络架构有24个卷积层。

11、， 其次 是2个全连接层。 交替1x1卷积层减少了前面层的特征空间。 它在ImageNet分类任务上以一 半的分辨率(224x224的输入图像)预训练卷积层， 然后将分辨率加倍来进行检测， 网络的最 终输出是7x7x30的预测张量。 0005 采用传统图像算法霍夫检测来识别证件票据的定位问题， 计算量少， 但同时也带 来了鲁棒性差， 需要人工干预过多的问题。 基于深度学习的Yolo等目标检测算法通过数据 集标注学习解决了需人工干预和鲁棒差的问题， 但所检测出来的区域， 包含无效背景过多， 且不包含角度等信息。 发明内容 0006 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于数值。

12、预测 说明书 1/5 页 4 CN 111160142 A 4 回归模型的证件票据定位方法。 0007 本发明的目的可以通过以下技术方案来实现： 0008 一种基于数值预测回归模型的证件票据定位检测方法， 该方法包括如下步骤： 0009 (1)获取训练样本； 0010 (2)构建数值预测回归模型， 所述的数值预测回归模型包括串联的轻量神经网络 和空间变换网络， 所述的轻量神经网络输入为待定位图像， 输出为特征卷积图， 所述的空间 变换网络输入为所述的特征卷积图， 输出为待检测图像中证件票据四个关键点的坐标； 0011 (3)设计损失函数； 0012 (4)利用步骤(1)的训练样本训练数值预测回。

13、归模型； 0013 (5)将待定位图像输入至训练好的数值预测回归模型， 获取待检测图像中证件票 据四个关键点的坐标； 0014 (6)根据证件票据四个关键点的坐标圈选出证件票据图像。 0015 步骤(1)具体包括： 0016 (11)采集一些仅含单张证件票据的图像作为原始数据； 0017 (12)标注能定位证件票据的四个关键点并获取其坐标并存储作为训练样本； 0018 (13)训练样本扩增： 对原始数据进行处理获取新的样本图像并重复步骤(12)。 0019 所述的四个关键点包括左上角、 右上角、 左下角和右下角四个点。 0020 轻量神经网络输出的特征卷积图包括待检测图像中证件票据四个关键点的。

14、特征 卷积图。 0021 空间变换网络通过如下方式获得待检测图像中证件票据四个关键点的坐标： 0022 (21)对特征卷积图进行归一化处理获取高斯热图矩阵Z， Zij为高斯热图第i行第j 个像素点对应的数值， 且满足： 0023 0024 其中， m为高斯热图纵向像素点个数， n为高斯热图横向像素点个数； 0025 (22)获取与Z矩阵相同维数的转换矩阵X、 Y， 矩阵X、 Y中第i行第j个像素点的数值 为Xij、 Yij： 0026 Xij2j-(n+1)/n， 0027 Yij2j-(m+1)/m； 0028 (23)基于Z、 X和Y矩阵求取关键点的坐标。 0029 步骤(23)求取关键点。

15、的坐标(x， y)的计算公式为： 0030 0031 0032 所述的损失函数为： 0033 说明书 2/5 页 5 CN 111160142 A 5 0034 0035 L(d)JS(Pr|Pf)， 0036 其中， L(d)为损失函数， d为高斯热图中像素点对应的数值， Pr为真实高斯热图下d 的概率分布， Pf为步骤(21)获取的高斯热图下d的概率分布， KL是指KL散度， JS是指JS散度， |表示数据差异运算符，表示服从Pr的数学期望。 0037 步骤(6)还包括对圈选出的图像采用仿射变换方式获得与证件票据原尺寸大小相 同的证件票据图像。 0038 与现有技术相比， 本发明具有如下优。

16、点： 0039 (1)本发明能够基于标注的数据集自动学习预测证件票据的位置信息， 几乎不包 含无效背景， 同时能够根据预测出的关键点得出证件票据图像， 定位准确可靠； 0040 (2)本发明数值预测回归模型为全微分的结构， 实现了模型的端到端训练， 结构简 单清晰， 搭建模型速度高效； 0041 (3)本发明内存占用减少、 推理和训练速度快。 附图说明 0042 图1为本发明数值预测回归模型的结构框图； 0043 图2为证件票据定位检测方法的流程框图。 具体实施方式 0044 下面结合附图和具体实施例对本发明进行详细说明。 注意， 以下的实施方式的说 明只是实质上的例示， 本发明并不意在对其适。

17、用物或其用途进行限定， 且本发明并不限定 于以下的实施方式。 0045 实施例 0046 一种基于数值预测回归模型的证件票据定位检测方法， 该方法包括如下步骤： 0047 步骤1： 获取训练样本， 具体包括： 0048 (11)采集一些仅含单张证件票据的图像作为原始数据； 0049 (12)标注能定位证件票据的四个关键点并获取其坐标并存储作为训练样本； 0050 (13)训练样本扩增： 对原始数据进行处理获取新的样本图像并重复步骤(12)。 0051 其中， 四个关键点包括左上角、 右上角、 左下角和右下角四个点， 在获取训练样本 过程中始终标注证件票据的左上角为第一个关键点， 右上角为第二个。

18、关键点， 左下角为第 三个关键点， 右下角为第四个关键点。 0052 步骤2： 构建数值预测回归模型， 如图1所示， 数值预测回归模型包括串联的轻量神 经网络和空间变换网络， 所述的轻量神经网络输入为待定位图像， 输出为特征卷积图， 所述 的空间变换网络输入为所述的特征卷积图， 输出为待检测图像中证件票据四个关键点的坐 标。 其中， 轻量神经网络输出的特征卷积图包括待检测图像中证件票据四个关键点的特征 卷积图。 0053 空间变换网络通过如下方式获得待检测图像中证件票据四个关键点的坐标： 说明书 3/5 页 6 CN 111160142 A 6 0054 (21)对特征卷积图进行归一化处理获取。

19、高斯热图矩阵Z， Zij为高斯热图第i行第j 个像素点对应的数值， 且满足： 0055 0056 其中， m为高斯热图纵向像素点个数， n为高斯热图横向像素点个数； 0057 (22)获取与Z矩阵相同维数的转换矩阵X、 Y， 矩阵X、 Y中第i行第j个像素点的数值 为Xij、 Yij： 0058 Xij2j-(n+1)/n， 0059 Yij2j-(m+1)/m； 0060 (23)基于Z、 X和Y矩阵求取关键点的坐标。 0061 步骤(23)求取关键点的坐标(x， y)的计算公式为： 0062 0063 0064 步骤3： 设计损失函数： 0065 0066 0067 L(d)JS(Pr|P。

20、f)， 0068 其中， L(d)为损失函数， d为高斯热图中像素点对应的数值， Pr为真实高斯热图下d 的概率分布， Pf为步骤(21)获取的高斯热图下d的概率分布， KL是指KL散度(Kullbakc- Leibler divergence)， JS是指JS散度， |表示数据差异运算符，表示服从Pr的数学期 望。 训练过程中尽可能最小化损失函数L(d)， 也就是尽可能减少步骤(21)获取的高斯热图 和真实高斯热图之间差异， 达到预测结果。 0069 步骤4： 利用步骤1的训练样本训练数值预测回归模型， 具体地： 0070 (41)将数据集和标签放入指定文件夹中； 0071 (42)依据我们。

21、构建好的模型， 分批选择图像进行训练 0072 (43)可以选择多个参数样本进行训练， 然后选择其中训练结果较好的一个模型作 为我们的结果模型 0073 步骤5： 将待定位图像输入至训练好的数值预测回归模型， 获取待检测图像中证件 票据四个关键点的坐标； 0074 步骤6： 根据证件票据四个关键点的坐标圈选出证件票据图像， 最后对圈选出的图 像采用仿射变换方式获得与证件票据原尺寸大小相同的证件票据图像， 仿射变换是一种图 像二维坐标到二维坐标之间的线性变换， 变换后直线还是直线不会打弯， 圆弧还是圆弧。 我 们根据该变换可以将检测得到的证件票据图像还原到合适的尺寸。 说明书 4/5 页 7 C。

22、N 111160142 A 7 0075 综上， 如图2所示， 给出一张待定位图像， 经过如下步骤S1S5获得定位的证件票 据图像： 0076 S1： 获取待定位图像； 0077 S2： 待定位图像经轻量神经网络处理后获得四个关键点的特征卷积图； 0078 S3： 分别对四个关键点的特征卷积图进行归一化处理获取四个关键点对应的高斯 热图； 0079 S4： 分别对高斯热图变换获取四个关键点的坐标； 0080 S5： 根据四个关键点的坐标圈选出证件票据图像， 并进行仿射变换处理得到与证 件票据原尺寸大小相同的证件票据图像。 0081 上述实施方式仅为例举， 不表示对本发明范围的限定。 这些实施方式还能以其它 各种方式来实施， 且能在不脱离本发明技术思想的范围内作各种省略、 置换、 变更。 说明书 5/5 页 8 CN 111160142 A 8 图1 图2 说明书附图 1/1 页 9 CN 111160142 A 9 。