图像处理方法、装置、电子设备及存储介质.pdf

《图像处理方法、装置、电子设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《图像处理方法、装置、电子设备及存储介质.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010415459.3 (22)申请日 2020.05.15 (71)申请人 北京迈格威科技有限公司 地址 100086 北京市海淀区科学院南路2号 融科资讯中心A座316-318 (72)发明人 刘佳军 (74)专利代理机构 北京润泽恒知识产权代理有 限公司 11319 代理人 王婷婷 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 装置、 电子设备。

2、及存储介质 (57)摘要 本申请实施例提供了图像处理方法、 装置、 电子设备， 该方法包括： 将包含目标物的待处理 图像输入到特征提取网络， 以得到待处理图像中 的目标特征点对应的特征， 其中， 特征提取网络 被配置为： 确定待处理图像中的多个目标特征 点； 对于每一个目标特征点， 基于该目标特征点 的位置， 确定该目标特征点对应的特征提取区 域； 利用该目标特征点对应的卷积核从该目标特 征点对应的特征提取区域提取特征， 得到该目标 特征点对应的特征。 节省在对图像进行特征提取 的过程中耗费的计算资源和节省存储所有用于 特征提取的卷积核的权重耗费的存储资源。 权利要求书2页 说明书13页 附图。

3、2页 CN 111783519 A 2020.10.16 CN 111783519 A 1.一种图像处理方法， 其特征在于， 所述方法包括： 获取包含目标物的待处理图像； 将包含目标物的待处理图像输入到特征提取网络， 以得到待处理图像中的目标特征点 对应的特征， 其中， 特征提取网络被配置为： 确定所述待处理图像中的多个目标特征点； 对于每一个目标特征点， 基于所述目标特征点的位置， 确定所述目标特征点对应的特 征提取区域； 利用所述目标特征点对应的卷积核从所述目标特征点对应的特征提取区域提 取特征， 得到所述目标特征点对应的特征， 其中， 对于特征提取网络中的每一个包括目标特 征点对应的卷积。

4、核的卷积层， 所述卷积层包括至少一个权重与所述卷积层中的其他的卷积 核的权重不同的卷积核。 2.根据权利要求1所述的方法， 其特征在于， 所述对于每一个目标特征点， 基于所述目 标特征点的位置， 确定所述目标特征点对应的特征提取区域包括： 对于每一个目标特征点， 基于所述目标特征点的位置和径向基函数， 确定所述目标特 征点对应的特征提取区域。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述目标特征点的位置和径向基 函数， 确定所述目标特征点对应的特征提取区域包括： 基于所述目标特征点的位置， 确定所述目标特征点对应的候选特征提取区域； 基于径向基函数和所述目标特征点对应的候选特征提。

5、取区域， 确定所述目标特征点对 应的特征提取区域。 4.根据权利要求2或3所述的方法， 其特征在于， 在将包含目标物的待处理图像输入到 特征提取网络之前， 所述方法还包括： 对特征提取网络进行训练， 对特征提取网络进行训练包括： 将用于训练特征提取网络的样本图像输入到特征提取网络， 得到预测结果， 所述预测 结果包括： 所述用于训练特征提取网络的样本图像中的多个样本特征点中的每一个样本特 征点对应的预测特征； 利用预设损失函数基于所述预测结果和所述用于训练特征提取网络的图像的标注信 息， 计算损失函数值； 基于所述损失函数值， 更新所述每一个目标特征点对应的卷积核的权重和所述径向基 函数中的与。

6、所述损失函数值相关的参数的参数值。 5.根据权利要求1所述的方法， 其特征在于， 对于所述每一个目标特征点， 所述目标特 征点为所述目标特征点对应的特征提取区域的中心点。 6.根据权利要求1所述的方法， 其特征在于， 对于所述每一个目标特征点， 所述目标特 征点的位置基于多个用于训练特征提取网络的样本图像中的与所述目标特征点属于同一 类型的样本特征点的位置确定。 7.根据权利要求1-6之一所述的方法， 其特征在于， 所述待处理图像为人脸图像。 8.根据权利要求7所述的方法， 其特征在于， 所述待处理图像为人脸图像， 所述多个目 标特征点为多个人脸特征点， 目标特征点对应的特征为人脸特征点对应的。

7、人脸特征； 以及 所述方法还包括： 基于所述多个人脸特征点中的每一个人脸特征点对应的人脸特征和多个参考人脸图 权利要求书 1/2 页 2 CN 111783519 A 2 像的预设人脸特征信息， 对所述人脸图像所属的用户进行人脸识别。 9.一种图像处理装置， 其特征在于， 所述装置包括： 获取单元， 被配置为获取包含目标物的待处理图像； 处理单元， 被配置为将包含目标物的待处理图像输入到特征提取网络， 以得到待处理 图像中的目标特征点对应的特征， 其中， 特征提取网络被配置为： 确定所述待处理图像中的 多个目标特征点； 对于每一个目标特征点， 基于所述目标特征点的位置， 确定所述目标特征 点对。

8、应的特征提取区域； 利用所述目标特征点对应的卷积核从所述目标特征点对应的特征 提取区域提取特征， 得到所述目标特征点对应的特征， 其中， 对于特征提取网络中的每一个 包括目标特征点对应的卷积核的卷积层， 所述卷积层包括至少一个权重与所述卷积层中的 其他的卷积核的权重不同的卷积核。 10.一种电子设备， 包括： 处理器； 用于存储所述处理器可执行指令的存储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至8中任一项所述的方 法。 11.一种存储介质， 当所述存储介质中的指令由电子设备的处理器执行时， 使得电子设 备能够执行如权利要求1至8中任一项所述的方法。 权利要求书 2/2。

9、 页 3 CN 111783519 A 3 图像处理方法、 装置、 电子设备及存储介质 技术领域 0001 本申请涉及计算机视觉领域， 具体涉及图像处理方法、 装置、 电子设备及存储介 质。 背景技术 0002 对图像进行特征提取是进行与图像相关的任务的基础， 例如， 对人脸图像进行特 征提取是人脸识别的基础。 目前， 通常是采用诸如残差连接网络(ResNet)、 MobileNet的卷 积神经网络完成对诸如人脸图像的图像的特征提取。 目前采用的对图像进行特征提取的卷 积神经网络， 在对图像进行特征提取时， 每一个卷积核均需要针对整个图像进行卷积， 每一 个卷积层中的所有用于提取特征的卷积核共。

10、享权重。 0003 一方面， 每一个卷积核负责提取的特征仅位于整个图像的某一个区域， 但每一个 卷积核均针对整个图像进行卷积， 造成在对图像进行特征提取的过程中， 耗费的计算资源 较多。 另一方面， 由于每一个卷积层中的所有卷积核共享权重， 导致对于每一个卷积层中的 每一个卷积核， 与该卷积核负责提取的特征无关的权重也需要进行存储， 存储所有卷积核 的权重耗费的存储资源较多。 发明内容 0004 本申请实施例提供一种图像处理方法、 装置、 电子设备及存储介质。 0005 本申请实施例提供一种图像处理方法， 包括： 0006 获取包含目标物的待处理图像； 0007 将包含目标物的待处理图像输入到。

11、特征提取网络， 以得到待处理图像中的目标特 征点对应的特征， 其中， 特征提取网络被配置为： 0008 确定所述待处理图像中的多个目标特征点； 0009 对于每一个目标特征点， 基于所述目标特征点的位置， 确定所述目标特征点对应 的特征提取区域； 利用所述目标特征点对应的卷积核从所述目标特征点对应的特征提取区 域提取特征， 得到所述目标特征点对应的特征， 对于特征提取网络中的每一个包括目标特 征点对应的卷积核的卷积层， 所述卷积层包括至少一个权重与所述卷积层中的其他的卷积 核的权重不同的卷积核。 0010 本申请实施例提供一种图像处理装置， 包括： 0011 获取单元， 被配置为获取包含目标物。

12、的待处理图像； 0012 处理单元， 被配置为将包含目标物的待处理图像输入到特征提取网络， 以得到待 处理图像中的目标特征点对应的特征， 其中， 特征提取网络被配置为： 确定所述待处理图像 中的多个目标特征点； 对于每一个目标特征点， 基于所述目标特征点的位置， 确定所述目标 特征点对应的特征提取区域； 利用所述目标特征点对应的卷积核从所述目标特征点对应的 特征提取区域提取特征， 得到所述目标特征点对应的特征， 其中， 对于特征提取网络中的每 一个包括目标特征点对应的卷积核的卷积层， 所述卷积层包括至少一个权重与所述卷积层 说明书 1/13 页 4 CN 111783519 A 4 中的其他的。

13、卷积核的权重不同的卷积核。 0013 本申请实施例提供的图像处理方法、 装置， 一方面， 对于待处理图像中的多个目标 特征点中的每一个目标特征点， 仅从目标特征点对应的特征提取区域提取特征， 节省在对 待处理图像进行特征提取的过程中耗费的计算资源。 另一方面， 针对不同的目标特征点， 采 用不同的对应于目标特征点的卷积核从特征点对应的特征提取区域提取特征， 在每一个包 括目标特征点对应的卷积核的卷积层， 该卷积层中的每一个目标特征点对应的卷积核不共 享权重， 对于该卷积层中的每一个目标特征点对应的卷积核， 均仅需存储与该目标特征点 对应的卷积核负责提取的特征相关的权重， 从而， 节省存储所有用。

14、于特征提取的卷积核的 权重耗费的存储资源。 附图说明 0014 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本申请的实施 例， 并与说明书一起用于解释本申请的原理。 0015 图1示出了本申请实施例提供的图像处理方法的流程图； 0016 图2示出了本申请实施例提供的图像处理装置的结构框图； 0017 图3示出了本申请实施例提供的电子设备的结构框图。 具体实施方式 0018 下面结合附图和实施例对本申请作进一步的详细说明。 可以理解的是， 此处所描 述的具体实施例仅仅用于解释相关发明， 而非对该发明的限定。 另外还需要说明的是， 为了 便于描述， 附图中仅示出了与有关发明相关的部。

15、分。 0019 需要说明的是， 在不冲突的情况下， 本申请中的实施例及实施例中的特征可以相 互组合。 下面将参考附图并结合实施例来详细说明本申请。 0020 图1示出了本申请实施例提供的图像处理方法的流程图， 该方法包括： 0021 步骤101， 获取包含目标物的待处理图像。 0022 例如， 待处理图像为在进行人脸识别时采集到的人脸图像， 待处理图像中包括一 个用户的人脸， 目标物为人脸。 例如， 待处理图像为在进行行人再识别时从监控图像中获取 的一个行人的图像， 目标物为该行人。 0023 步骤102， 将包含目标物的待处理图像输入到特征提取网络， 以得到待处理图像中 的目标特征点对应的特。

16、征。 0024 多个目标特征点为与待处理图像中的目标物相关联的特征点。 例如， 待处理图像 为人脸图像， 多个目标特征点为人脸图像中的人脸的多个人脸特征点。 步骤102针对的人脸 图像中的多个人脸特征点可以是指人脸图像中的所有人脸特征点中的一部分用于相关的 任务例如人脸识别的人脸特征点。 例如， 待处理图像为行人图像， 多个目标特征点为行人图 像中的一个行人的多个骨架关键点。 步骤102针对的行人图像中的一个行人的多个骨架关 键点可以是指行人图像中的行人的一部分用于相关的任务例如行人再识别的骨架关键点。 0025 以待处理图像为人脸图像为例， 人脸图像中的多个人脸特征点参与人脸识别， 人 脸图。

17、像中的所有特征点中的除了该多个人脸特征点之外的人脸特征点不参与人脸识别。 0026 可以预先设置多个人脸特征点类型， 人脸图像中的多个人脸特征点包括多个属于 说明书 2/13 页 5 CN 111783519 A 5 预先设置的人脸特征点类型的人脸特征点。 人脸图像中的所有特征点中的属于预先设置的 人脸特征点类型的人脸特征点参与人脸识别。 0027 例如， 预先设置的多个人脸特征点类型包括鼻尖人脸特征点类型、 嘴角人脸特征 点类型等人脸特征点类型。 人脸图像中的多个人脸特征点包括： 人脸图像中的鼻尖人脸特 征点、 嘴角人脸特征点等属于预先设置的人脸特征点类型的人脸特征点。 人脸图像中的所 有人。

18、脸特征点中的鼻尖人脸特征点、 嘴角人脸特征点等属于预先设置的人脸特征点类型的 人脸特征点参与人脸识别， 人脸图像中的所有人脸特征点中的不属于预先设置的人脸特征 点类型的人脸特征点不参与人脸识别。 0028 在本申请中， 特征提取网络可以包括用于确定目标特征点的位置的单元。 例如， 待 处理图像为人脸图像， 目标特征点为人脸特征点， 用于确定目标特征点的位置的单元为用 于确定人脸特征点的位置的卷积神经网络。 人脸图像中的多个人脸特征点中的每一个人脸 特征点的位置可以由特征提取网络中的用于确定人脸特征点的位置的单元确定。 0029 特征提取网络被配置为： 确定待处理图像中的多个目标特征点； 对于多。

19、个目标特 征点中的每一个目标特征点， 基于该目标特征点的位置， 确定该目标特征点对应的特征提 取区域； 利用该目标特征点对应的卷积核从该目标特征点对应的特征提取区域提取特征， 得到该目标特征点对应的特征。 0030 例如， 待处理图像为人脸图像， 目标特征点为人脸特征点， 特征提取网络被配置 为： 对于人脸图像中的多个人脸特征点中的每一个人脸特征点， 基于该人脸特征点的位置， 确定该人脸特征点对应的特征提取区域； 利用该人脸特征点对应的卷积核从该人脸特征点 对应的特征提取区域提取人脸特征， 得到该人脸特征点对应的人脸特征。 0031 对于每一个人脸特征点， 该人脸特征点的位置位于该人脸特征点对。

20、应的特征提取 区域中， 该人脸特征点对应的特征提取区域包括该人脸特征点所在的像素。 0032 对于每一个人脸特征点， 可以预先设置该人脸特征点对应的特征提取区域属性信 息， 该人脸特征点对应特征提取区域属性信息包括： 该人脸特征点对应的特征提取区域的 形状、 该人脸特征点对应的特征提取区域的面积、 该人脸特征点对应的特征提取区域的中 心点的位置与该人脸特征点的位置之间的距离。 0033 对于每一个人脸特征点， 当基于该人脸特征点的位置， 确定该人脸特征点对应的 特征提取区域时， 特征提取网络可以读取该人脸特征点对应特征提取区域属性信息， 根据 该人脸特征点的位置和该人脸特征点对应的特征提取区域。

21、的中心点的位置与该人脸特征 点的位置之间的距离， 确定该人脸特征点对应的特征提取区域的中心点的位置， 然后， 根据 该人脸特征点对应的特征提取区域的中心点的位置、 该人脸特征点对应的特征提取区域的 形状、 该人脸特征点对应的特征提取区域的面积， 可以确定该人脸特征点对应的特征提取 区域。 0034 在一些实施例中， 对于待处理图像中的多个特征点中的每一个目标特征点， 该目 标特征点为该目标特征点对应的特征提取区域的中心点。 0035 以待处理图像为人脸图像为例， 预先设置的多个人脸特征点类型包括鼻尖人脸特 征点类型、 嘴角人脸特征点类型等人脸特征点类型。 0036 人脸图像中的多个人脸特征点包。

22、括人脸图像中的鼻尖人脸特征点、 嘴角人脸特征 点等属于预先设置的人脸特征点类型的人脸特征点。 对于人脸图像中的鼻尖人脸特征点， 说明书 3/13 页 6 CN 111783519 A 6 该鼻尖人脸特征点为该鼻尖人脸特征点对应的特征提取区域的中心点。 对于人脸图像中的 嘴角人脸特征点， 该嘴角人脸特征点为该嘴角人脸特征点对应的特征提取区域的中心点。 0037 在本申请中， 特征提取网络包括用于提取特征点对应的特征的卷积神经网络。 0038 特征提取网络中的每一个包括目标特征点对应的卷积核的卷积层可以是指用于 提取特征点对应的特征的卷积神经网络中的每一个卷积层。 0039 对于用于提取特征点对应。

23、的特征的卷积神经网络中的每一个卷积层， 该卷积层中 的每一个卷积核各自对应一个目标特征点， 该卷积层中的每一个卷积核对应的目标特征点 不同。 例如， 待处理图像为人脸图像， 特征提取网络包括用于提取人脸特征点对应的人脸特 征的卷积神经网络。 对于用于提取人脸特征点对应的人脸特征的卷积神经网络中的每一个 卷积层， 该卷积层中的每一个卷积核各自对应一个人脸特征点， 该卷积层中的每一个卷积 核对应的人脸特征点不同。 0040 对于待处理图像中的多个目标特征点中的每一个目标特征点， 该目标特征点对应 的卷积核用于从该目标特征点对应的特征提取区域提取特征。 0041 例如， 待处理图像为人脸图像， 对于。

24、人脸图像中的多个人脸特征点中的每一个人 脸特征点， 该人脸特征点对应的卷积核用于从该人脸特征点对应的特征提取区域提取该人 脸特征点对应的人脸特征。 0042 在本申请中， 对于待处理图像中的多个目标特征点中的每一个目标特征点， 该目 标特征点对应的卷积核并不特指用于提取目标特征点对应的特征的卷积神经网络中的某 一个卷积层中的、 用于提取目标特征点对应的卷积核。 用于提取目标特征点对应的特征的 卷积神经网络中的每一个卷积层中的、 用于提取与该目标特征点对应的特征的卷积核均可 以称之为该目标特征点对应的卷积核。 0043 以待处理图像为人脸图像为例， 对于人脸图像中的多个人脸特征点中的每一个人 脸。

25、特征点， 该人脸特征点对应的卷积核并不特指用于提取人脸特征点对应的人脸特征的卷 积神经网络中的某一个卷积层中的、 用于提取人脸特征点对应的人脸特征的卷积核。 用于 提取人脸特征点对应的人脸特征的卷积神经网络中的每一个卷积层中的、 用于提取与该人 脸特征点对应的人脸特征的卷积核均可以称之为该人脸特征点对应的卷积核。 0044 在用于提取目标特征点对应的特征的卷积神经网络中的每一个卷积层中， 该卷积 层中的每一个卷积核不共享权重。 由于在同一卷积层中的每一个卷积核不共享权重， 因此， 对于用于提取目标特征点对应的特征的卷积神经网络中的每一个卷积层， 该卷积层可以包 括至少一个权重与该卷积层中的其他。

26、的卷积核的权重不同的卷积核。 0045 换言之， 对于特征提取网络中的每一个包括目标特征点对应的卷积核的卷积层， 该卷积层可以包括至少一个权重与该卷积层中的其他的卷积核的权重不同的卷积核。 0046 在本申请中， 对于用于提取目标特征点对应的特征的卷积神经网络中的每一个卷 积层， 不同的人脸图像中的属于同一类型的人脸特征点对应于该卷积层中的同一卷积核。 0047 以待处理图像为人脸图像为例， 对于用于提取人脸特征点对应的人脸特征的卷积 神经网络中的每一个卷积层， 不同的人脸图像中的属于同一类型的人脸特征点对应于该卷 积层中的同一卷积核。 0048 例如， 任意一个人脸图像中的鼻尖人脸特征点的类。

27、型均为鼻尖人脸特征点类型， 对于用于提取人脸特征点对应的人脸特征的卷积神经网络中的每一个卷积层， 任意一个人 说明书 4/13 页 7 CN 111783519 A 7 脸图像中的鼻尖人脸特征点均对应于该卷积层中的同一卷积核， 鼻尖人脸特征点对应的卷 积核用于从鼻尖人脸特征点对应的特征提取区域提取人脸特征。 任意一个人脸图像中的嘴 角人脸特征点的类型均为嘴角人脸特征点类型， 对于用于提取人脸特征点对应的人脸特征 的卷积神经网络中的每一个卷积层， 任意一个人脸图像中的嘴角人脸特征点均对应于该卷 积层中的同一卷积核， 嘴角人脸特征点对应的卷积核用于从嘴角人脸特征点对应的特征提 取区域提取人脸特征。。

28、 0049 在本申请中， 特征提取网络被预先训练多次。 0050 以待处理图像为人脸图像为例， 说明训练特征提取网络的过程： 0051 每一次对特征提取网络进行训练时， 以有监督学习方式， 采用一个用于训练特征 提取网络的人脸图像和用于训练特征提取网络的人脸图像的标注信息对特征提取网络进 行训练。 0052 对于每一个训练的人脸图像， 该用于训练特征提取网络的人脸图像的标注信息包 括： 该用于训练特征提取网络的人脸图像中的多个人脸特征点中的每一个人脸特征点对应 的标注人脸特征。 0053 每一次对特征提取网络进行训练时， 将用于训练特征提取网络的人脸图像输入到 特征提取网络， 得到预测结果， 。

29、该预测结果包括： 该用于训练特征提取网络的人脸图像中的 多个人脸特征点中的每一个人脸特征点对应的预测人脸特征。 0054 每一次对特征提取网络进行训练时， 特征提取网络提取用于训练特征提取网络的 人脸图像中的多个人脸特征点中的每一个人脸特征点对应的预测人脸特征的过程可以参 考上述特征提取网络提取人脸图像中的多个人脸特征点中的每一个人脸特征点对应的人 脸特征的过程。 0055 用于训练特征提取网络的人脸图像中的多个人脸特征点可以为用于训练特征提 取网络的人脸图像的所有人脸特征点中的一部分特征点。 0056 用于训练特征提取网络的人脸图像中的多个人脸特征点参与训练， 用于训练特征 提取网络的人脸图。

30、像中的所有特征点中的除了该多个人脸特征点之外的特征点不参与训 练。 0057 在本申请中， 可以预先设置多个人脸特征点类型， 用于训练特征提取网络的人脸 图像中的多个人脸特征点包括多个属于预先设置的人脸特征点类型的人脸特征点， 用于训 练特征提取网络的人脸图像中的所有人脸特征点中的属于预先设置的人脸特征点类型的 人脸特征点参与训练， 用于训练特征提取网络的人脸图像中的所有人脸特征点中的不属于 预先设置的人脸特征点类型的人脸特征点不参与训练。 0058 例如， 预先设置的多个人脸特征点类型包括鼻尖人脸特征点类型、 嘴角人脸特征 点类型等人脸特征点类型。 用于训练特征提取网络的人脸图像中的多个人脸。

31、特征点包括用 于训练特征提取网络的人脸图像中的鼻尖人脸特征点、 嘴角人脸特征点等属于预先设置的 人脸特征点类型的人脸特征点。 0059 在本申请中， 对于作为待处理图像的人脸图像中的多个人脸特征点中的每一个人 脸特征点， 用于训练特征提取网络的人脸图像中的多个人脸特征点包括属于该人脸特征点 所属的人脸特征点类型的人脸特征点。 0060 例如， 作为待处理图像的人脸图像中的多个人脸特征点包括该人脸图像中的鼻尖 说明书 5/13 页 8 CN 111783519 A 8 人脸特征点、 嘴角人脸特征点等属于预先设置的人脸特征点类型的人脸特征点。 0061 对于每一个用于训练特征提取网络的人脸图像， 。

32、该用于训练特征提取网络的人脸 图像中的多个人脸特征点包括用于训练特征提取网络的人脸图像中的鼻尖人脸特征点、 嘴 角人脸特征点等属于预先设置的人脸特征点类型的人脸特征点。 0062 每一次对特征提取网络进行训练时， 在得到用于训练特征提取网络的人脸图像中 的每一个人脸特征点对应的预测人脸特征之后， 可以利用预设损失函数基于该预测结果和 该用于训练特征提取网络的人脸图像的标注信息， 计算损失函数值， 该损失函数值指示该 预测结果与该标注信息之间的差异程度。 标注信息包括： 用于训练特征提取网络的图像中 的多个目标特征点中的每一个目标特征点对应的标注特征。 0063 预设损失函数可以为对现有的卷积神。

33、经网络进行训练时采用的损失函数， 例如交 叉熵损失函数。 0064 对于用于训练特征提取网络的人脸图像中的多个人脸特征点中的每一个人脸特 征点， 预设损失函数包括表示该人脸特征点对应的预测人脸特征与该人脸特征点对应的标 注人脸特征之间的差异的项。 0065 每一次对特征提取网络进行训练时， 对于用于训练特征提取网络的人脸图像中的 多个人脸特征点中的每一个人脸特征点， 计算该人脸特征点对应的预测人脸特征与该人脸 特征点对应的标注人脸特征之间的差异。 根据计算出的多个差异， 计算出损失函数值。 0066 每一次对特征提取网络进行训练时， 在计算出损失函数值之后， 可以基于损失函 数值， 进行反向传。

34、播， 更新特征提取网络中的与损失函数值相关的参数的参数值。 与损失函 数值相关的参数包括： 用于训练特征提取网络的人脸图像中的多个人脸特征点中的每一个 人脸特征点对应的卷积核的权重。 0067 每一次对特征提取网络进行训练时， 更新特征提取网络中的与损失函数值相关的 参数的参数值， 以使得计算出的损失函数值越来越小。 0068 通过多次对特征提取网络进行训练， 不断地调整每一个人脸特征点对应的卷积核 的权重。 0069 在一些实施例中， 对于任意一个待处理图像中的多个目标特征点中的每一个目标 特征点， 该目标特征点的位置可以基于多个用于训练特征提取网络的样本图像中的与该目 标特征点属于同一类型。

35、的样本特征点的位置被预先确定。 0070 以待处理图像为人脸图像为例， 用于训练特征提取网络的样本图像为用于训练特 征提取网络的人脸图像， 用于训练特征提取网络的样本图像中的样本特征点为用于训练特 征提取网络的人脸图像中的人脸特征点。 对于任意一个作为待处理图像的人脸图像中的多 个人脸特征点中的每一个人脸特征点， 可以预先根据多个用于训练特征提取网络的人脸图 像中的与该人脸特征点属于同一类型的人脸特征点的位置， 计算出一个该人脸特征点对应 的平均位置， 将计算出的该人脸特征点对应的平均位置作为该人脸特征点的位置。 0071 人脸特征点的位置可以采用在基于人脸图像建立的图像坐标系中的横坐标值和 。

36、纵坐标值表示。 0072 对于任意一个作为待处理图像的人脸图像中的多个人脸特征点中的每一个人脸 特征点， 该人脸特征点对应的平均位置的横坐标值为多个用于训练特征提取网络的人脸图 像中的与该人脸特征点属于同一类型的人脸特征点的位置的横坐标值的平均值， 该人脸特 说明书 6/13 页 9 CN 111783519 A 9 征点对应的平均位置的纵坐标值为多个用于训练特征提取网络的人脸图像中的与该人脸 特征点属于同一类型的人脸特征点的位置的纵坐标值的平均值。 0073 例如， 作为待处理图像的人脸图像中的多个人脸特征点包括鼻尖人脸特征点、 嘴 角人脸特征点等人脸特征点。 0074 对于该人脸图像中的鼻。

37、尖人脸特征点， 预先根据多个用于训练特征提取网络的人 脸图像中的鼻尖人脸特征点的位置， 计算出该鼻尖人脸特征点对应的平均位置， 该鼻尖人 脸特征点对应的平均位置的横坐标值为所有用于训练特征提取网络的人脸图像中的鼻尖 人脸特征点的位置的横坐标值的平均值， 该鼻尖人脸特征点对应的平均位置的纵坐标值为 多个用于训练特征提取网络的人脸图像中的鼻尖人脸特征点的位置的纵坐标值的平均值， 将计算出的该鼻尖人脸特征点对应的平均位置作为该鼻尖人脸特征点的位置。 0075 对于该人脸图像中的嘴角人脸特征点， 预先根据多个用于训练特征提取网络的人 脸图像中的嘴角人脸特征点的位置， 计算出该嘴角人脸特征点对应的平均位。

38、置， 该嘴角人 脸特征点对应的平均位置的横坐标值为多个用于训练特征提取网络的人脸图像中的嘴角 人脸特征点的位置的横坐标值的平均值， 该嘴角人脸特征点对应的平均位置的纵坐标值为 多个用于训练特征提取网络的人脸图像中的嘴角人脸特征点的位置的纵坐标值的平均值， 将计算出的该嘴角人脸特征点对应的平均位置作为该嘴角人脸特征点的位置。 0076 在一些实施例中， 对于每一个目标特征点， 基于该目标特征点的位置， 确定该目标 特征点对应的特征提取区域包括： 对于每一个目标特征点， 基于该目标特征点的位置和径 向基函数， 确定该目标特征点对应的特征提取区域。 0077 在本申请中， 径向基函数可以表示为e-(。

39、 r. r)。 0078 其中， e为数学常数， r表示目标特征点所在的像素与其他像素之间的距离， 为与 其他像素的权重相关的参数。 可以预先设置 的参数值， 的参数值也可以通过预先训练得 到。 0079 以待处理图像为人脸图像， 目标特征点为人脸特征点为例， 说明确定目标特征点 对应的特征提取区域的过程： 0080 对于人脸图像中的多个人脸特征点中的每一个人脸特征点， 特征提取网络基于该 人脸特征点的位置和径向基函数， 确定人脸特征点对应的特征提取区域。 对于人脸图像中 的多个人脸特征点中的每一个人脸特征点， 该人脸特征点对应的特征提取区域包括该人脸 特征点所在的像素。 0081 例如， 人。

40、脸图像中的多个人脸特征点包括鼻尖人脸特征点、 嘴角人脸特征点等人 脸特征点。 对于该鼻尖人脸特征点， 基于该鼻尖人脸特征点的位置和径向基函数， 确定该鼻 尖人脸特征点对应的特征提取区域， 该鼻尖人脸特征点对应的特征提取区域包括该鼻尖人 脸特征点所在的像素。 对于该嘴角人脸特征点， 基于该嘴角人脸特征点的位置和径向基函 数， 确定该嘴角人脸特征点对应的特征提取区域， 该嘴角人脸特征点对应的特征提取区域 包括该嘴角人脸特征点所在的像素。 0082 对于人脸图像中的多个人脸特征点中的每一个人脸特征点， 可以通过人脸特征点 的位置， 确定人脸特征点所在的像素， 确定人脸图像中的每一个其他像素与该人脸特。

41、征点 所在的像素之间的距离。 对于每一个其他像素， 该其他像素与该人脸特征点所在的像素之 间的距离为径向基函数e-( r. r)中的r的取值， 可以计算出径向基函数e-( r. r)的函数值， 将 说明书 7/13 页 10 CN 111783519 A 10 计算出的函数值作为该其他像素的权重。 可以将每一个其他像素的权重与权重阈值比较， 将权重大于权重阈值的其他像素确定为属于该人脸特征点对应的特征提取区域的其他像 素。 在确定所有属于该人脸特征点对应的特征提取区域的其他像素之后， 可以确定该人脸 特征点对应的特征提取区域。 0083 例如， 人脸图像中的多个人脸特征点包括鼻尖人脸特征点、 。

42、嘴角人脸特征点等人 脸特征点。 0084 对于人脸图像中的多个人脸特征点中的鼻尖人脸特征点， 确定每一个其他像素与 该鼻尖人脸特征点所在的像素之间的距离， 通过径向基函数， 计算每一个其他像素的权重。 可以将每一个其他像素的权重与权重阈值比较， 将权重大于权重阈值的其他像素确定为属 于该鼻尖人脸特征点对应的特征提取区域的其他像素。 在确定所有属于该鼻尖人脸特征点 对应的特征提取区域的其他像素之后， 可以确定该鼻尖人脸特征点对应的特征提取区域。 0085 对于人脸图像中的多个人脸特征点中的嘴角人脸特征点， 确定每一个其他像素与 该嘴角人脸特征点所在的像素之间的距离， 通过径向基函数， 计算每一个。

43、其他像素的权重。 可以将每一个其他像素的权重与权重阈值比较， 将权重大于权重阈值的其他像素确定为属 于该嘴角人脸特征点对应的特征提取区域的其他像素。 在确定所有属于该嘴角人脸特征点 对应的特征提取区域的其他像素之后， 可以确定该嘴角人脸特征点对应的特征提取区域。 0086 在一些实施例中， 对于每一个目标特征点， 基于该目标特征点的位置和径向基函 数， 确定该目标特征点对应的特征提取区域包括： 基于该目标特征点的位置， 确定该目标特 征点对应的候选特征提取区域； 基于径向基函数和该目标特征点对应的候选特征提取区 域， 确定该目标特征点对应的特征提取区域。 0087 以待处理图像为人脸图像， 目。

44、标特征点为人脸特征点为例， 说明确定目标特征点 对应的特征提取区域的过程： 0088 对于人脸图像中的多个人脸特征点中的每一个人脸特征点， 当基于该人脸特征点 的位置， 确定该人脸特征点对应的候选特征提取区域时， 可以首先读取预先设置的该人脸 特征点对应的候选特征提取区域属性信息。 该人脸特征点对应的候选特征提取区域属性信 息包括： 该人脸特征点对应的候选特征提取区域的形状、 该人脸特征点对应的候选特征提 取区域的面积、 该人脸特征点对应的候选特征提取区域的中心点的位置与该人脸特征点的 位置之间的距离。 0089 根据该人脸特征点的位置和该人脸特征点对应的候选特征提取区域的中心点的 位置与该人。

45、脸特征点的位置之间的距离， 可以确定该人脸特征点对应的候选特征提取区域 的中心点的位置。 然后， 根据该人脸特征点对应的候选特征提取区域的中心点的位置、 该人 脸特征点对应的候选特征提取区域的形状、 该人脸特征点对应的候选特征提取区域的面 积， 可以确定该人脸特征点对应的候选特征提取区域。 0090 不同的人脸图像中的属于同一类型的人脸特征点对应于同一候选特征提取区域 属性信息。 0091 例如， 任意一个人脸图像中的鼻尖人脸特征点的类型均为鼻尖人脸特征点类型， 任意一个人脸图像中的鼻尖人脸特征点均对应于同一候选特征提取区域属性信息。 任意一 个人脸图像中的嘴角人脸特征点的类型均为嘴角人脸特征。

46、点类型， 任意一个人脸图像中的 嘴角人脸特征点均对应于同一候选特征提取区域属性信息。 说明书 8/13 页 11 CN 111783519 A 11 0092 对于人脸图像中的多个人脸特征点中的每一个人脸特征点， 当基于径向基函数和 该人脸特征点对应的候选特征提取区域， 确定该人脸特征点对应的特征提取区域时， 可以 首先确定该人脸特征点对应的候选特征提取区域中的每一个其他像素与该人脸特征点所 在的像素之间的距离。 对于该人脸特征点对应的候选特征提取区域中的每一个其他像素， 该其他像素与该人脸特征点所在的像素之间的距离为径向基函数e-( r. r)中的r的取值， 计 算出径向基函数e-( r. 。

47、r)的函数值， 将计算出的函数值作为该其他像素的权重。 可以将该人 脸特征点对应的候选特征提取区域中的每一个其他像素的权重与权重阈值比较， 将权重大 于权重阈值的其他像素确定为属于该人脸特征点对应的特征提取区域的其他像素。 在确定 所有属于该人脸特征点对应的特征提取区域的其他像素之后， 可以确定该人脸特征点对应 的特征提取区域。 0093 在一些实施例中， 每一次对特征提取网络进行训练， 将用于训练特征提取网络的 样本图像输入到特征提取网络， 得到预测结果， 预测结果包括： 该用于训练特征提取网络的 样本图像中的多个样本特征点中的每一个样本特征点对应的预测特征； 利用预设损失函数 基于该预测结。

48、果和该用于训练特征提取网络的样本图像的标注信息， 计算损失函数值； 基 于该损失函数值， 更新用于训练特征提取网络的图像中的多个目标特征点中的每一个目标 特征点对应的卷积核的权重和该径向基函数中的与该损失函数值相关的参数的参数值。 0094 每一次对特征提取网络进行训练， 该次对特征提取网络进行训练所利用的样本图 像中的、 多个样本特征点中的每一个样本特征点各自对应待处理图像中的一个目标特征 点， 对于该多个样本特征点中的每一个样本特征点， 该样本特征点的类型与该样本特征点 对应的目标特征点的类型相同。 0095 对于每一个用于训练特征提取网络的样本图像， 该样本图像的标注信息包括： 该 样本。

49、图像中的多个样本特征点中的每一个样本特征点对应的标注特征。 0096 每一次对特征提取网络进行训练， 计算出的损失函数值可以指示该次对特征提取 网络进行训练的过程中计算出的预测结果与该次对特征提取网络进行训练所利用的样本 图像的标注信息之间的差异程度。 0097 以待处理图像为人脸图像为例， 说明对特征提取网络进行训练的过程： 0098 每一次对特征提取网络进行训练采用的样本图像为用于训练特征提取网络的人 脸图像。 用于训练特征提取网络的样本图像中的多个样本特征点为用于训练特征提取网络 的人脸图像中的多个人脸特征点。 每一次对特征提取网络进行训练时， 以有监督学习方式， 采用一个用于训练特征提。

50、取网络的人脸图像和用于训练特征提取网络的人脸图像的标注 信息对特征提取网络进行训练。 0099 对于每一个训练的人脸图像， 该用于训练特征提取网络的人脸图像的标注信息： 包括该用于训练特征提取网络的人脸图像中的多个人脸特征点中的每一个人脸特征点对 应的标注人脸特征。 0100 每一次对特征提取网络进行训练时， 将用于训练特征提取网络的人脸图像输入到 特征提取网络， 得到预测结果， 该预测结果包括： 该用于训练特征提取网络的人脸图像中的 多个人脸特征点中的每一个人脸特征点对应的预测人脸特征。 0101 每一次对特征提取网络进行训练时， 在将用于训练特征提取网络的人脸图像输入 到特征提取网络之后，。