低分辨热力图的人脸额头区域检测与定位方法及其系统.pdf

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010298912.7 (22)申请日 2020.04.16 (71)申请人 成都东方天呈智能科技有限公司 地址 610000 四川省成都市高新区天府三 街199号B区16层05、 06室 (72)发明人 卢丽闫超 (74)专利代理机构 成都佳划信知识产权代理有 限公司 51266 代理人 史姣姣 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 一种低分辨热力图的人脸

2、额头区域检测与 定位方法及其系统 (57)摘要 本发明公开了一种低分辨热力图的人脸额 头区域检测与定位方法， 包括以下步骤： 清除红 外摄像仪采集到热力图像中的无人脸和模糊图 像， 得到有效的热力图像集， 将所述热力图像集 分为训练集和测试集， 并标记相应的标签； 对带 标签的训练集和测试集进行数据增强处理； 利用 双向多尺度特征和快速归一化融合方法联合为 多尺度特征融合网络TwFPN； 并基于带权重的多 尺度特征融合网络TwFPN和联合缩放算法， 求得 DEfficientNet人脸额头检测模型； 将带标签的 训练集输入至DEfficientNet人脸额头检测模型 中， 提取最优的额头区域特

3、征， 并获得最优的人 脸额头检测模型； 将带标签的测试集输入至最优 的人脸额头检测模型中， 以获得人脸的额头区 域， 并在额头区域附加检测框。 权利要求书3页 说明书11页 附图3页 CN 111507248 A 2020.08.07 CN 111507248 A 1.一种低分辨热力图的人脸额头区域检测与定位方法， 其特征在于， 包括以下步骤： 清除红外摄像仪采集到热力图像中的无人脸和模糊图像， 得到有效的热力图像集， 将 所述热力图像集分为训练集和测试集， 并标记相应的标签； 对带标签的训练集和测试集进行数据增强处理； 利用双向多尺度特征和快速归一化融合联合为多尺度特征融合网络TwFPN；

4、并基于带 权重的多尺度特征融合网络和联合缩放算法， 求得DEfficientNet人脸额头检测模型； 将带标签的训练集输入至DEfficientNet人脸额头检测模型中， 提取最优的额头区域 特征， 并获得最优的人脸额头检测模型； 将带标签的测试集输入至最优的人脸额头检测模型中， 以获得人脸的额头区域， 并在 额头区域附加检测框。 2.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 所述对带标签的训练集和测试集进行数据增强处理， 包括对带标签的训练集和测试 集进行图片混合、 人脸额头区域框做数据抖动、 水平和垂直翻转。 3.根据权利要求1所述的一种低分辨热力

5、图的人脸额头区域检测与定位方法， 其特征 在于， 所述DEfficientNet人脸额头检测模型的构建过程如下： 利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构； 向带标签的训练集的图像加入特征权重， 融合得到带权重的双向多尺度特征网络 TwFPN； 基于带权重的多尺度特征融合网络和联合缩放算法， 求得DEfficientNet人脸额头检 测模型。 4.根据权利要求3所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 所述利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构， 包括以 下步骤： 移除PANet网络中单一输入的节点； 在同一

6、级的PANet网络中的输入和输出之间新增一条边； 并将PANet网络中任一自上而下和自下而上的路径作为特征网络层， 以得到双向跨尺 度连接的网络结构。 5.根据权利要求3所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 所述将双向多尺度特征和快速归一化融合联合为多尺度特征融合网络TwFPN， 包括以 下步骤： 对带标签的训练集的图像加入特征权重， 采用快速归一化算法进行特征融合， 其表达 式为： 其中， i表示热力图像的张数， wi表示特征权重， 表示常数， 其取值为0.001； 采用多尺度特征融合网络TwFPN的第p3至p7级融合得到多尺度特征融合， 且第六级采 用两个融

7、合特征， 其表达式为： 权利要求书 1/3 页 2 CN 111507248 A 2 其中， p6in表示第六级的图像输入特征， p6td表示第六级的中间特征， p5out表示第五级的 图像输出特征， 且p7in表示第七级的图像输入特征。 6.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 所述DEfficientNet人脸额头检测模型采用ImageNet网络作为主干网络， 以TwFPN网 络作为特征网络， 且以class/box网络作为预测网络。 7.根据权利要求6所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 所述联合缩放算法， 包

8、括以下步骤： 优化求得双向多尺度特征网络TwFPN的宽度WtwFPN和深度DtwFPN， 其表达是为： Wtwfpn64(1.35) Dtwfpn3+ 其中， 表示TwFPN网络宽度和深度的缩放系数； 设置双向多尺度特征网络TwFPN的宽度WtwFPN和深度DtwFPN相等， 求得双向多尺度特征网 络TwFPN的网络深度Dbox线性增加量， 其表达式为： 输入带标签的训练集的热力图像的分辨率， 以实现联合缩放； 所述分辨率的表达式为： Rinput512+128。 8.根据权利要求6所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 所述将带标签的训练集输入至DEfficie

9、ntNet人脸额头检测模型中， 提取最优的额头 区域特征， 并获得最优的人脸额头检测模型， 包括以下步骤： 初始化DEfficientNet人脸额头检测模型的网络参数； 将带标签的训练集的热力图像输入至DEfficientNet人脸额头检测模型的主干网络、 特征网络和预测网络； 采用SGD梯度下降算法优化主干网络、 特征网络和预测网络， 提取最优的额头区域特 征， 并获得最优的人脸额头检测模型。 9.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法， 其特征 在于， 还包括将有效的热力图像集的热力图像设置成大小为32*32， 并按7:3划分为训练集 和测试集。 10.一种低分辨

10、热力图的人脸额头区域检测与定位系统， 其特征在于， 包括： 数据预处理模块， 用于清除红外摄像仪采集到热力图像中的无人脸和模糊图像， 并将 有效的热力图像集划分为训练集和测试集， 标记相应的标签； 特征提取模块， 对带标签的训练集和测试集进行数据增强处理； 利用双向多尺度特征 和快速归一化融合联合为多尺度特征网络TwFPN， 并基于带权重的多尺度特征融合网络和 联合缩放算法， 求得DEfficientNet人脸额头检测模型； 提取最优的额头区域特征， 并获得 权利要求书 2/3 页 3 CN 111507248 A 3 最优的人脸额头检测模型； 人脸额头目标检测模块， 利用最优的人脸额头检测模

11、型获取测试集中的额头区域； 人脸额头定位模块， 根据人脸的额头区域， 并在额头区域附加检测框。 权利要求书 3/3 页 4 CN 111507248 A 4 一种低分辨热力图的人脸额头区域检测与定位方法及其系统 技术领域 0001 本发明涉及人脸目标检测技术领域， 尤其是一种低分辨热力图的人脸额头区域检 测与定位方法及其系统。 背景技术 0002 随着社会的进步和发展， 人脸目标检测技术在公共安全领域起着非常关键的作 用， 例如， 人脸检测算法可以检测视频中发高烧的人员； 另外， 人脸识别技术可以在视频监 控中实时检测可疑的犯罪嫌疑人员， 来帮助相关人员及时报警和预警。 因此， 许多科研人员

12、花费了大量的时间和成本来开发一种实时、 高效的人脸检测算法， 以满足不同的功能需要。 目前， 在实际的场景中， 人脸检测主要有如下的难点导致人脸检测的识别率较低： 0003 第一， 摄像头安装的位置一般比较高， 与行人之间有一定的角度， 很难采集到正面 的人脸图像； 0004 第二， 随着人数的增多， 行人之间的相互遮挡或阻塞， 不能得到清晰完整的五官区 域(眼睛、 鼻子、 嘴巴等)的图像； 0005 第三， 行人的分辨率与摄像机位置有关， 距离摄像头越远行人的分辨率小； 0006 第四， 可见光对光照变化、 夜间可视性及其他恶劣环境的影响较大， 人脸图片与真 实图片的视差较大， 从而无法获得

13、真实场景中的信息， 尤其在低分辨率的情况下， 更难分辨 人脸图像。 而红外成像热力图有非接触、 易判别， 即使在深夜也能够采集清晰的图片。 另外， 热力图在低分辨率情形下， 通过显著区域能够检测人脸， 有效地避免了可见光的许多缺点。 0007 例如， 专利申请号为 “201811040656.0” 、 名称为 “一种基于深度多特征融合级联回 归的人脸关键点定位方法” 的中国发明申请专利， 其首先将深度网络的多层特征进行融合 通过回归的方式来进行人脸关键点的初步定位， 其次根据定位结果将其对应的人脸图像进 行校正， 同时计算初步定位结果的热力图， 然后将校正后的图像和计算出的热力图再次输 入到深

14、度网络中进行人脸关键点修正， 最后根据实际预测精度决定是否再次进行人脸关键 点修正。 但是， 其存在以下问题： 0008 第一， 该技术的人脸关键点定位的精度严重依赖所用的 “两眼间的瞳孔距离” ， 但 在复杂的场景中， 人与人之间的相互遮挡或阻塞， 不能得到清晰完整五官区域(眼睛、 鼻子、 嘴巴等)的图像， 使人脸关键点的检测精度大大降低； 0009 第二， 该技术将深度网络的多层特征进行融合， 并使用回归的方法来初步定位人 脸的关键点， 然后根据定位结果来校正人脸图像， 接着将校正后的图像和热力图重复不断 地输入深度网络中， 以修正人脸关键点。 此过程太复杂， 增加了模型的复杂度使算法的效

15、率 不高； 0010 第三， 由于不同图像的分辨率对人脸关键点检测结果的影响不同， 该技术将这些 不同人脸图像的分辨率统一调整为相同大小， 不能很好地区分人脸图像的关键点不均等地 影响特征融合。 0011 不仅如此， 基于以上人脸检测的难点分析， 许多研究人员使用基于肤色的方法来 说明书 1/11 页 5 CN 111507248 A 5 检测人脸， 此方法不受人脸面部细节的限制， 算法稳定能够很好的区分背景信息， 主要通过 肤色模型(高斯概率统计)来统计像素的空间分布， 从而通过肤色模型来判断是否属于人脸 区域。 但是此方法没有统计额头区域的发色和肤色， 导致人脸检测的效果差。 为了弥补以上

16、 缺点， 许多研究人员基于低分辨热力图来检测和定位人脸的额头区域， 以便对人脸的额头 区域进行定位分析。 最近几年， 一些检测算法大大提高了人脸额头区域的精确度， 但是检测 模型的开发成本也越来越贵。 例如， 最新的AmoebaNet算法模型复杂度高， 需要更大的参数 量才能达到比较好的精度， 这些复杂度高的模型和高额的成本阻碍了人脸检测模型的发 展。 因此， 急需要提出一种实时、 高效的人脸额头检测模型， 以便在有限的资源条件下(带口 罩或夜间等)， 能够找到每个人的额头区域， 以精确地测量人的体温。 0012 然而， 目前额头检测模型还存在以下的缺点： 0013 第一， 许多人脸额头检测模

17、型的实时性较差， 例如， 人脸图像通过Softmax 函数来 融合不同的特征， 降低了GPU的运行时间， 从而增加了算法的运行时间； 0014 第二， FPN人脸检测模型单向网络的限制， 具有比较低的精确度， 模型复杂度高并 且需要较大的参数量。 另外， 许多目标检测网络模型(PANet和 NAS-FPN)跨尺度融合了不同 的人脸图像特征， 但只是简单地将这些不同分辨率的输入特征相加， 没有考虑这些不同分 辨率的输入特征对网络模型的影响。 0015 第三， 为了增加检测模型的精确度， 许多研究将人脸图像输入更大的主干网络或 者扩大输入图像的分辨率， 但这些模型的复杂度大大增加， 不能实时地检测

18、人脸额头区域。 0016 因此， 急需要提出一种高效、 准确的低分辨热力图的人脸额头区域检测与定位方 法及其系统， 以实时检测和定位人脸额头区域。 发明内容 0017 针对上述问题， 本发明的目的在于提供一种低分辨热力图的人脸额头区域检测与 定位方法及其系统， 本发明采用的技术方案如下： 0018 一种低分辨热力图的人脸额头区域检测与定位方法， 包括以下步骤： 0019 清除红外摄像仪采集到热力图像中的无人脸和模糊图像， 得到有效的热力图像 集， 将所述热力图像集分为训练集和测试集， 并标记相应的标签； 0020 对带标签的训练集和测试集进行数据增强处理； 0021 利用双向多尺度特征和快速归

19、一化融合联合为多尺度特征融合网络 TwFPN； 并基 于带权重的多尺度特征融合网络和联合缩放算法， 求得 DEfficientNet人脸额头检测模 型； 0022 将带标签的训练集输入至DEfficientNet人脸额头检测模型中， 提取最优的额头 区域特征， 并获得最优的人脸额头检测模型； 0023 将带标签的测试集输入至最优的人脸额头检测模型中， 以获得人脸的额头区域， 并在额头区域附加检测框。 0024 进一步地， 所述对带标签的训练集和测试集进行数据增强处理， 包括对带标签的 训练集和测试集进行图片混合、 人脸额头区域框做数据抖动、 水平和垂直翻转。 0025 进一步地， 所述DEff

20、icientNet人脸额头检测模型的构建过程如下： 0026 利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构； 说明书 2/11 页 6 CN 111507248 A 6 0027 向带标签的训练集的图像加入特征权重， 融合得到带权重的双向多尺度特征网络 TwFPN； 0028 基于带权重的多尺度特征融合网络和联合缩放算法， 求得DEfficientNet人脸额 头检测模型。 0029 更进一步地， 所述利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网 络结构， 包括以下步骤： 0030 移除PANet网络中单一输入的节点； 0031 在同一级的PANet网

21、络中的输入和输出之间新增一条边； 0032 并将PANet网络中任一自上而下和自下而上的路径作为特征网络层， 以得到双向 跨尺度连接的网络结构。 0033 更进一步地， 所述将双向多尺度特征和快速归一化融合联合为多尺度特征融合网 络TwFPN， 包括以下步骤： 0034 对带标签的训练集的图像加入特征权重， 采用快速归一化算法进行特征融合， 其 表达式为： 0035 0036 其中， i和j表示热力图像的张数， wi表示特征权重， 表示常数， 其取值为0.001， Ii 表示热力图像。 0037 采用多尺度特征融合网络TwFPN的第p3至p7级融合得到多尺度特征融合， 且第六 级采用两个融合特

22、征， 其表达式为： 0038 0039 0040 其中， p6in表示第六级的图像输入特征， p6td表示第六级的中间特征， p5out表示第五 级的图像输出特征， 且p7in表示第七级的图像输入特征。 0041 优选地， 所述DEfficientNet人脸额头检测模型采用ImageNet网络作为主干网络， 以TwFPN网络作为特征网络， 且以class/box网络作为预测网络。 0042 进一步地， 所述联合缩放算法， 包括以下步骤： 0043 优化求得双向多尺度特征网络TwFPN的宽度WtwFPN和深度DtwFPN， 其表达是为： 0044 Wtwfpn64(1.35) 0045 Dtwf

23、pn3+ 0046 其中， 表示TwFPN网络宽度和深度的缩放系数。 0047 设置双向多尺度特征网络TwFPN的宽度WtwFPN和深度DtwFPN相等， 求得双向多尺度特 征网络TwFPN的网络深度Dbox线性增加量， 其表达式为： 0048 说明书 3/11 页 7 CN 111507248 A 7 0049 输入带标签的训练集的热力图像的分辨率， 以实现联合缩放； 所述分辨率的表达 式为： 0050 Rinput512+128。 0051 更进一步地， 所述将带标签的训练集输入至DEfficientNet人脸额头检测模型中， 提取最优的额头区域特征， 并获得最优的人脸额头检测模型， 包括

24、以下步骤： 0052 初始化DEfficientNet人脸额头检测模型的网络参数； 0053 将带标签的训练集的热力图像输入至DEfficientNet人脸额头检测模型的主干网 络、 特征网络和预测网络； 0054 采用SGD梯度下降算法优化主干网络、 特征网络和预测网络， 提取最优的额头区域 特征， 并获得最优的人脸额头检测模型。 0055 进一步地， 所述人脸额头区域检测与定位方法， 还包括将有效的热力图像集的热 力图像设置成大小为32*32， 并按7:3划分为训练集和测试集。 0056 一种低分辨热力图的人脸额头区域检测与定位系统， 包括： 0057 数据预处理模块， 用于清除红外摄像仪

25、采集到热力图像中的无人脸和模糊图像， 并将有效的热力图像集划分为训练集和测试集， 标记相应的标签； 0058 特征提取模块， 对带标签的训练集和测试集进行数据增强处理； 利用双向多尺度 特征和快速归一化融合联合为多尺度特征网络TwFPN， 并基于带权重的多尺度特征融合网 络和联合缩放算法， 求得DEfficientNet人脸额头检测模型； 提取最优的额头区域特征， 并 获得最优的人脸额头检测模型； 0059 人脸额头目标检测模块， 利用最优的人脸额头检测模型获取测试集中的额头区 域； 0060 人脸额头定位模块， 根据人脸的额头区域， 并在额头区域附加检测框。 0061 与现有技术相比， 本发

26、明具有以下有益效果： 0062 (1)本发明巧妙地用预处理方法清除红外摄像仪采集到热力图像中的无人脸和模 糊图像的数据集， 其有利于提高人脸识别的准确度， 并提高网络模型的计算速度， 从而提升 整体算法的性能； 0063 (2)本发明采用对训练集和测试集进行图片混合、 人脸额头区域框做数据抖动、 水 平和垂直翻转等预处理， 有效地防止了图像拟合； 0064 (3)本发明巧妙地设置了一个带权重的双向多尺度特征网络(TwFPN)， 解决了FPN 网络单向流的限制， 节省了大量的开发时间， 并且提高了检测算法的准确度； 0065 (4)本发明采用快速归一化融合处理， 一方面有效地限制了权重的范围，

27、能够更稳 定的训练人脸数据集； 另一方面有效防止了Softmax融合函数使GPU 硬件的速度显著下降， 从而提升了检测算法的效率； 0066 (5)本发明巧妙地构建了以ImageNet网络作为主干网络、 TwFPN网络作为特征网 络、 且以class/box网络作为预测网络的DEfficientNet人脸额头检测模型， 其目标检测算 法的准确度高， 还提高了目标检测上的性能， 降低了模型的复杂度； 0067 (6)本发明采用了联合缩放算法， 以解决单一的或有限维度上的缩放， 优化了 DEfficientNet的总体网络的准确性和效率。 联合缩放算法比其他单一缩放方法的精确度 高， 提升了检测模

28、型的准确性； 说明书 4/11 页 8 CN 111507248 A 8 0068 (7)本发明采用SGD随机梯度下降算法， 不仅加快了训练的速度， 还减少了算法检 测的时间。 另外， 此模型能够在大规模数据集下， 实时检测人脸的额头区域， 能够有效地应 用在真实的场景中。 0069 综上所述， 本发明具有高效准确、 计算工作量少、 模型简单等优点， 在人脸目标检 测技术领域具有很高的实用价值和推广价值。 附图说明 0070 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需使用的附图 作简单介绍， 应当理解， 以下附图仅示出了本发明的某些实施例， 因此不应被看作是对保护 范围的限

29、定， 对于本领域技术人员来说， 在不付出创造性劳动的前提下， 还可以根据这些附 图获得其他相关的附图。 0071 图1为本发明的系统原理图。 0072 图2为本发明的双向多尺度特征融合网络TwFPN的结构框架图。 0073 图3为本发明的三种特征节点在训练时采用softmax和快速归一化融合函数对权 重影响测试图。 0074 图4为本发明的网络架构图。 0075 图5为联合缩放和单一缩放算法的对比图。 具体实施方式 0076 为使本申请的目的、 技术方案和优点更为清楚， 下面结合附图和实施例对本发明 作进一步说明， 本发明的实施方式包括但不限于下列实施例。 基于本申请中的实施例， 本领 域普通

30、技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例， 都属于本申请 保护的范围。 0077 实施例 0078 如图1至图5所示， 本实施例提供了一种低分辨热力图的人脸额头区域检测与定位 系统， 包括数据预处理模块、 特征提取模块、 人脸额头目标检测模块和人脸额头定位模块； 0079 其中， 数据预处理模块， 通过红外摄像仪采集到热力图像后， 清除非人脸和模糊的 无用图片， 设置人脸图片相同(低分辨)的大小为3232， 然后按7： 3划分训练集和测试集， 并将这些数据集标记相应的标签(1为额头区域， 0为非额头区域)， 最后将带标签的数据集 (训练和测试)转化为相应的tfrecord格式

31、文件， 以多线程并行化读取人脸数据； 0080 特征提取模块， 将带标签的数据通过数据增强方法(图片混合mixup， 人脸额头区 域框做数据抖动， 水平和垂直翻转等)来防止过拟合。 本发明将双向多尺度特征和快速归一 化融合方法联合为多尺度特征融合网络TwFPN， 基于带权重的多尺度特征融合网络和联合 缩放方法， 提出DEfficientNet的总体网络架构， 从而提出了DEfficientNet人脸额头检测 模型。 将增强后的训练集输入 DEfficientNet网络模型中训练， 以提取人脸中最好的额头 区域特征， 从而得到最优的人脸额头检测模型； 0081 人脸额头目标检测， 测试集数据通过

32、训练好的最优模型来检测人脸的额头区域； 0082 人脸额头定位， 根据检测的额头区域， 在相应的区域标上矩形框。 0083 下面详细阐述一种低分辨热力图的人脸额头区域检测与定位方法， 本实施例提出 说明书 5/11 页 9 CN 111507248 A 9 了带权重的双向多尺度特征融合网络(TwFPN)和DEfficientNet检测模型， 先介绍TwFPN的 详细步骤： 0084 第一步， 如图2(a)所示， 由于传统的FPN受到网络单向流的限制， 使人脸额头的准 确度不高。 为了解决上述问题， 在图2(b)PANet的右侧新添加一个自底向上的网络结构。 另 外， 不同图像的分辨率对额头检测

33、结果的影响不同， 而很多研究人员只是将这些不同输入 图像的分辨率统一调整为相同大小， 然后再简单相加。 最近， NAS-FPN(如图2(c)所示)使用 神经体系结构搜索来查找更好的跨尺度特征网络的拓扑结构， 由于网络结构是无规律的， 在搜索过程中消耗了大量的时间， 并且此网络结构复杂， 很难修改网络的结构。 因此， 本实 施例提出了有效的双向TwFPN多尺度特征融合网络(如图2(f)所示)， 在以下两方面进行了 改进： 0085 1)有效的双向(自上而下和自下而上)跨尺度连接； 0086 2)特征权重快速归一化融合。 0087 输入不同分辨率的图像， 使用多尺度方法来融合不同分辨率的图像， 例

34、如， 一系列 输入特征pin(pl1in， pl2in， ， pliin)通过f函数融合为一系列新的输出特征pout。 其中， pliin 表示li级别上的特征。 多尺度特征融合公式为： 0088 poutf(pin) 0089 则级别在3到7层的一系列输入特征为： 0090 pin(p3in,.,p7in) 0091 其中piin表示分辨率为输入图像的1/2i倍； FPN自顶向下融合多尺度输入图像特征 的公式为： 0092 0093 0094 0095 其中， Resize为调整图像的大小(上采样或下采样操作)， Conv为网络层的卷积操 作。 0096 第二步， 由于FPN网络单向流的限制

35、， 使人脸额头的精确度不高。 为了提高检测算 法的准确度， 使用以下3个步骤改进网络结构。 0097 (1)如图2(e)所示， PANet网络的输入只有一个节点， 没有与其他结点特征融合， 则 精确度不高， 因此移除网络中只有一个输入的节点。 0098 (2)如图2(e)所示， 在同一级别的输入和输出节点中添加一条额外的边， 以在同一 级别上融合更多的特征。 0099 (3)将每个双向(自上而下和自下而上)PANet路径看作一个特征网络层， 连接多个 PANet来融合更多的特征。 0100 第三步， 不同输入图像的分辨率对额头检测结果的影响不同， 而很多研究人员只 是将这些不同输入图像的分辨率

36、统一调整为相同大小， 然后再简单相加。 为了提高算法的 精确度， 本实施例在每个输入图像中加入特征权重， 并让神经网络学习每个输入特征的权 重。 说明书 6/11 页 10 CN 111507248 A 10 0101 有以下三种加权特征融合的方法： 0102 (1)Unbounded fusion 0103 0104 wi是学习的权重， wi可以在最小的计算成本下实现较好的精度。 但是权重 wi没有 边界， 会导致训练不稳定； Ii表示第i张人脸的特征值。 因此， 输入图像使用权以下公式来限 制每个权重的范围。 0105 0106 其中， wj表示学习的权重； Ii表示第i张人脸的特征值。

37、0107 (2)Softmax-based fusion 0108 0109 Softmax融合函数通过每个权重来表示每个输入的重要性， 将所有权重归一化的 范围限定为0到1。 然而， Softmax融合函数会导致GPU硬件的速度显著下降， 为了最小化时间 成本， 提出了一种快速融合(Fast normalized fusion)方法。 0110 (3)Fast normalized fusion 0111 0112 其中， wi0， 0.001以防止分母为零。 由于没有Softmax函数操作延迟GPU 运行 的时间， 快速融合方法节省了大量的时间。 0113 第四步， 本发明将双向多尺度特征

38、和快速归一化融合方法联合为双向多尺度特征 融合网络TwFPN。 本实施例采用TwFPN网络的第p3至p7级融合得到多尺度特征融合， 则第6级 的两个融合特征分别为： 0114 0115 0116 其中， p6td是第6级的中间特征， p6out是第6级的输出特征。 0117 第五步， 为了验证快速归一化融合方法的可行性和有效性， 实验设置三个不同的 模型(Model1， Model2和Model3)， 分别使用Softmax和快速归一化融合进行比较， 结果如表1 所示。 快速归一化融合方法在三个模型的精确度与 Softmax类似， 但是快速归一化融合方 法克服了Softmax额外的时间消耗，

39、速度提高了1.27到1.3倍。 0118 表1 Softmax和快速归一化融合算法的比较 说明书 7/11 页 11 CN 111507248 A 11 0119 0120 第六步， 为了进一步了解三个特征节点在训练时， 特征权重对结果的影响。 本实验 将三个特征节点分别使用两种算法(softmax和快速归一融合)来测试特征权重的影响， 这 些特征节点是从TwFPN网络层中随机选取的。 如图3所示， 在训练时节点的特征权重发生了 极大的改变， 表明不同的特征节点不均等地影响特征融合。 尽管三个特征节点的权重变化 得很快， 经Fast normalized fusion与 softmax训练后具

40、有非常相似的特征权重曲线。 0121 表2显示不同网络模型的精确度和模型复杂度的比较。 由于FPN单向网络固有的限 制， 具有最低的精确度， 模型复杂度高并且需要较大的参数量。 PANet 新添加了自下而上的 网络流向， 精确度比单向FPN提高了2mps。 另外， PANet 的精确度比NAS-FPN高， 但模型更复 杂导致需要更多的参数量。 TwFPN与 PANet的精确度相似， 但是TwFPN模型更简单， 需要较少 的参数量。 另外， 带有权重融合的TwFPN精确度最高， 模型最简单并且需要的参数量最少。 0122 表2 比较不同特征网络的精确度 0123 0124 下面详细阐述联合缩放人

41、脸额头检测模型， 其具体网络结构如下： 0125 DEfficientNet的总体主干网络架构， 图4显示了DEfficientNet的总体架构， 此网 络架构使用ImageNet作为EfficientNet的主干网络。 TwFPN作为特征网络， 它从主干网络中 获取3到7级p3， p4， p5， p6， p7， 反复地应用自上而下和自下而上的双向特征融合， 以融合更 多的特征。 这些融合的特征输入class和box 网络中分别检测额头和定位人脸额头区域。 0126 (1)联合缩放(Compound Scaling) 0127 最初本领域的技术人员在各种受限资源的情况下使用更大的主干网络， 或

42、者输入 更大的图像或堆叠更多的网络结构来优化人脸额头检测模型， 这些方法局限于单一的或有 限的维度上缩放， 模型的精确度和效率都比较低。 为了优化检测网络的准确性， 目前， 本领 域的技术人员使用单一的缩放技术(网络的宽度、 深度和图像大小)， 提高了目标检测的精 确度。 基于以上研究， 本发明提出了一种全新的人脸额头检测网络DEfficientNet， 该网络 扩展了基准的 EfficientNet主干网络， 使用简单的联合系数来缩放主干网络、 TwFPN特 征网络和class/box预测网络的宽度、 高度和图像分辨率， 具体结构如下： 0128 主干网络(Backbone network)

43、， 设置EfficientNet的宽度和深度使用相同的缩放 说明书 8/11 页 12 CN 111507248 A 12 系数， 因此可以复用ImageNet模型的checkpoints文件， 以继续上一阶段的训练过程。 0129 特征网络(TwFPN network)， 本发明TwFPN的深度DTwFPN， 通过一系列参数(1.2， 1.25， 1.3， 1.35， 1.4， 1.45)网格搜索得到最优的值(1.35)。 最优的1.35作为宽度比例系数， 以线性增加TwFPN的深度， 则TwFPN的宽度 (WtwFPN)和深度(DtwFPN)使用以下公式进行缩放： 0130 Wtwfpn6

44、4(1.35) 0131 Dtwfpn3+ 0132 预测网络(Box/class prediction network)， 本发明设置与TwFPN相同的宽度 (WpredWtwFPN)， 网络深度(Dbox)线性增加的公式如下： 0133 0134 输入图像的分辨率(Input image resolution)， 由于在TwFPN中使用了3至 7层的 特征层， 输入图像的分辨率需要除以128(27128)， 因此输入图像的分辨率Rinput使用以下 公式来线性增加： 0135 Rinput512+128 0136 实验1， 表3显示DEfficientNet从D0到D6的参数配置， 为缩放

45、系数， 用来联合扩 展主干网络、 TwFPN特征网络和box/class预测网络的深度、 宽度和图像分辨率大小。 0137 表3 DEfficientNet从D0到D6的参数配置 0138 0139 如图5所示， 比较了联合缩放和其他单一缩放方法的深度、 宽度和图像大小。 尽管 这些缩放算法的精确度从相同起点开始， 联合缩放方法比其他单一缩放方法的精确度高， 表明了联合缩放比单一缩放的效果好， 能够提升模型的准确性。 0140 实验2， 为了验证DEfficientNet在人脸数据集ORL(12000个人的500000 张图片) 的准确性和效率， 实验比较了DEfficientNet和其他目标

46、检测算法。 实验采用SGD随机梯度 下降法来优化DEfficientNet网络结构， 动量为0.9， 权重衰减为0.00004， 学习率为0.16， 然 后使用cosine衰减规则来降低学习率， 批处理为128。 实验结果如表4可知， DEfficientNet 的准确度和性能比他目标检测算法高， DEfficientNet-D0与YOLOv3的精确度相似， 但模型 复杂度(FLOPs)更低。 DEfficientNet-D1与其他目标检测模型(RetinaNet和Mask-RCNN)的 说明书 9/11 页 13 CN 111507248 A 13 精确度相似， 但模型复杂度(FLOPs)更

47、低并且所需的参数量更少。 同样， DEfficientNet-D6 的精确度优于NAS-FPN， 模型复杂度(FLOPs)更低。 由此可知， 基于DEfficientNet人脸额头 检测模型比其他检测算法的准确度高并且性能更好， 同时模型的复杂度更低。 从表可知， DEfficientNet网络模型在GPU上的速度加快了3.2倍， 在CPU上的速度快了8.1倍。 0141 表4 DEfficientNet与其他检测算法的比较 0142 0143 实验3， 为了验证主干网络和TwFPN对DEfficientNet网络的影响， 实验用 ResNet50网络结合自上而下的FPN网络结构， 然后用DE

48、fficientNet-B3代替 ResNet-50网 络。 实验结果如表5所示， 替换后网络模型提高了3.3mAP的精确度， 降低了模型的复杂度的 同时， 也减少了参数量。 接着用TwFPN代替FPN， 模型的精确度提高了4mAP， 降低了模型的复 杂度的同时， 也减少了模型所需要的参数量。 实验结果表明DEfficientNet和TwFPN的结合 (DEfficientNet)能提高模型精确度和减少模型的复杂度， 并且减少了所需的参数量。 0144 表5 主干网络和TwFPN网络的比较 说明书 10/11 页 14 CN 111507248 A 14 0145 0146 在本发明中， 通过

49、以上实验系统地研究了各种网络结构设计来检测人脸的额头区 域的准确度和性能。 基于不同图像的分辨率对检测结果的影响， 提出了带权重的双向特征 网络TwFPN和一种新的联合缩放方法(联合缩放主干网络， 特征网络和box/class预测网络 的深度、 宽度和分辨率)， 以提高人脸额头检测的准确性。 基于这些优化的TwFPN和联合缩放 方法， 设计了一个新的 DEfficientNet检测器， 该检测器在有限的资源条件下比之前的检 测方法有更高的准确性和性能。 特别是DEfficientNet比现有的人脸额头检测方法的精确 度高， 模型复杂度低并且参数量少。 综上所述， 本发明具有较高的准确度和性能， 在目标检 测技术领域有非常高的实用价值和推广价值。 0147 上述实施例仅为本发明的优选实施例， 并非对本发明保护范围的限制， 但凡采用 本发明的设计原理， 以及在此基础上进行非创造性劳动而作出的变化， 均应属于本发明的 保护范围之内。 说明书 11/11 页 15 CN 111507248 A 15 图1 说明书附图 1/3 页 16 CN 111507248 A 16 图2 图3 说明书附图 2/3 页 17 CN 111507248 A 17 图4 图5 说明书附图 3/3 页 18 CN 111507248 A 18