图像数据处理方法及相关装置.pdf

《图像数据处理方法及相关装置.pdf》由会员分享，可在线阅读，更多相关《图像数据处理方法及相关装置.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911252585.5 (22)申请日 2019.12.09 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞市长安镇乌沙海 滨路18号 (72)发明人 方攀陈岩 (74)专利代理机构 深圳市慧实专利代理有限公 司 44480 代理人 孙东杰 (51)Int.Cl. G06K 9/00(2006.01) G06T 3/00(2006.01) (54)发明名称 图像数据处理方法及相关装置 (57)摘要 本申请实施例公开了一种图像数据处理方 法及相关。

2、装置， 方法包括： 第三方应用向硬件抽 象模块发送脸部特征检测请求； 所述硬件抽象模 块接收所述第三方应用发送的脸部特征检测请 求， 调用底层驱动以获取第一脸部数据帧， 并将 所述第一脸部数据帧发送给所述媒体策略模块； 所述媒体策略模块接收所述第一脸部数据帧， 调 用用于实现目标功能的算法模块并通过预设硬 件对所述第一脸部数据帧进行脸部特征检测， 所 述目标功能的算法模块是所述第三方应用通过 所述媒体服务模块请求所述操作系统对所述第 三方应用开放的； 所述媒体策略模块向所述第三 方应用发送所述脸部特征点检测的检测结果。 本 申请实施例有利于利用底层硬件算力， 加速脸部 特征点检测时算法的运算。。

3、 权利要求书2页 说明书10页 附图4页 CN 110991369 A 2020.04.10 CN 110991369 A 1.一种图像数据处理方法， 其特征在于， 应用于电子设备， 所述电子设备包括媒体服务 模块和操作系统， 所述操作系统的应用层设置有第三方应用， 所述操作系统的硬件抽象层 设置有硬件抽象模块、 媒体策略模块； 所述方法包括： 所述第三方应用向所述硬件抽象模块发送脸部特征检测请求； 所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调用底层驱动以获 取第一脸部数据帧， 并将所述第一脸部数据帧发送给所述媒体策略模块； 所述媒体策略模块接收所述第一脸部数据帧， 调用用于。

4、实现目标功能的算法模块并通 过预设硬件对所述第一脸部数据帧进行脸部特征检测， 所述目标功能的算法模块是所述第 三方应用通过所述媒体服务模块请求所述操作系统对所述第三方应用开放的； 所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述预设硬件包括以下至少一种： 网络处 理器； 图像处理器； 数字信号处理器。 3.根据权利要求1所述的方法， 其特征在于， 所述第一脸部数据帧包括： 未经加工图像 域第一脸部数据帧。 4.根据权利要求1-3任一项所述的方法， 其特征在于， 所述媒体策略模块调用用于实现 目标功能的算法模块并通过预设硬件对。

5、所述第一脸部数据帧进行脸部特征检测， 包括： 所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸 部数据帧进行脸部检测； 若检测到脸部， 则继续对所述脸部区域的第二脸部数据帧进行特征点检测。 5.根据权利要求4所述的方法， 其特征在于， 所述媒体策略模块调用用于实现目标功能 的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测， 包括： 所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采 用人脸检测算法对所述第一脸部数据帧进行处理， 检测出人脸区域； 所述继续对所述脸部区域的第二脸部数据帧进行特征点检测包括： 将所述人脸区域的第二脸部数据帧输入预。

6、先训练好的人脸特征点识别模型中进行处 理， 检测出所述人脸区域中的人脸特征点， 其中， 所述人脸特征点识别模型是预先经过人脸 图像和人脸特征点样本数据训练得到。 6.根据权利要求1-5任一项所述的方法， 其特征在于， 所述操作系统的硬件抽象层还设 置有算法管理模块， 所述第三方应用向所述硬件抽象模块发送脸部特征检测请求之前， 所 述方法还包括： 所述第三方应用向所述媒体服务模块发送请求所述操作系统开放的目标功能； 所述媒体服务模块接收所述请求所述操作系统开放的目标功能， 通过所述媒体策略模 块向所述算法管理模块发送所述请求所述操作系统开放的目标功能； 所述算法管理模块使能用于实现所述目标功能的。

7、算法模块。 7.一种图像处理装置， 其特征在于， 应用于电子设备， 所述电子设备包括媒体服务模块 和操作系统， 所述操作系统的应用层设置有第三方应用， 所述操作系统的硬件抽象层设置 有硬件抽象模块、 媒体策略模块； 所述装置包括处理单元和通信单元， 其中， 所述处理单元用于， 控制所述第三方应用向所述硬件抽象模块发送脸部特征检测请 求； 权利要求书 1/2 页 2 CN 110991369 A 2 以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调用底层 驱动以获取第一脸部数据帧， 并将所述第一脸部数据帧发送给所述媒体策略模块； 以及控制所述媒体策略模块接收所述第一脸部数据。

8、帧， 调用用于实现目标功能的算法 模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测， 所述目标功能的算法模块 是所述第三方应用通过所述媒体服务模块请求所述操作系统对所述第三方应用开放的； 以及控制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。 8.一种电子设备， 其特征在于， 包括处理器、 存储器、 通信接口， 以及一个或多个程序， 所述一个或多个程序被存储在所述存储器中， 并且被配置由所述处理器执行， 所述程序包 括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。 9.一种芯片， 其特征在于， 包括： 处理器， 用于从存储器中调用并运行计算机程序， 使得 安。

9、装有所述芯片的设备执行如权利要求1-6中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 存储用于电子数据交换的计算机程序， 其 中， 所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。 权利要求书 2/2 页 3 CN 110991369 A 3 图像数据处理方法及相关装置 技术领域 0001 本申请涉及电子设备技术领域， 具体涉及一种图像数据处理方法及相关装置。 背景技术 0002 目前， 脸部特征点识别提取已经广泛的应用于美颜算法、 人脸表情识别等场景中。 通过对各个脸部的特征点做针对性的处理， 从细节上进行优化， 这在主流的手机相机应用 软件， 以及相机娱乐。

10、应用软件中的使用率很高。 发明内容 0003 本申请实施例提供了一种图像数据处理方法及相关装置， 以期利用底层硬件算 力， 加速脸部特征点检测时算法的运算。 0004 第一方面， 本申请实施例提供一种图像数据处理方法， 应用于电子设备， 所述电子 设备包括媒体服务模块和操作系统， 所述操作系统的应用层设置有第三方应用， 所述操作 系统的硬件抽象层设置有硬件抽象模块、 媒体策略模块； 所述方法包括： 0005 所述第三方应用向所述硬件抽象模块发送脸部特征检测请求； 0006 所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调用底层驱动 以获取第一脸部数据帧， 并将所述第一脸部数据帧发。

11、送给所述媒体策略模块； 0007 所述媒体策略模块接收所述第一脸部数据帧， 调用用于实现目标功能的算法模块 并通过预设硬件对所述第一脸部数据帧进行脸部特征检测， 所述目标功能的算法模块是所 述第三方应用通过所述媒体服务模块请求所述操作系统对所述第三方应用开放的； 0008 所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。 0009 第二方面， 本申请实施例提供一种图像数据处理装置， 应用于电子设备， 所述电子 设备包括媒体服务模块和操作系统， 所述操作系统的应用层设置有第三方应用， 所述操作 系统的硬件抽象层设置有硬件抽象模块、 媒体策略模块； 所述装置包括处理单元和通信单 。

12、元， 其中， 0010 所述处理单元用于， 控制所述第三方应用向所述硬件抽象模块发送脸部特征检测 请求； 0011 以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调用 底层驱动以获取第一脸部数据帧， 并将所述第一脸部数据帧发送给所述媒体策略模块； 0012 以及控制所述媒体策略模块接收所述第一脸部数据帧， 调用用于实现目标功能的 算法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测， 所述目标功能的算法 模块是所述第三方应用通过所述媒体服务模块请求所述操作系统对所述第三方应用开放 的； 0013 以及控制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测 。

13、结果。 0014 第三方面， 本申请实施例提供一种电子设备， 包括处理器、 存储器、 通信接口以及 说明书 1/10 页 4 CN 110991369 A 4 一个或多个程序， 其中， 上述一个或多个程序被存储在上述存储器中， 并且被配置由上述处 理器执行， 上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。 0015 第四方面， 本申请实施例提供了一种芯片， 包括： 处理器， 用于从存储器中调用并 运行计算机程序， 使得安装有所述芯片的设备执行如本申请实施例第一方面任一方法中所 描述的部分或全部步骤。 0016 第五方面， 本申请实施例提供了一种计算机可读存储介质， 其中， 上。

14、述计算机可读 存储介质存储用于电子数据交换的计算机程序， 其中， 上述计算机程序使得计算机执行如 本申请实施例第一方面任一方法中所描述的部分或全部步骤。 0017 第六方面， 本申请实施例提供了一种计算机程序产品， 其中， 上述计算机程序产品 包括存储了计算机程序的非瞬时性计算机可读存储介质， 上述计算机程序可操作来使计算 机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。 该计算机程序产品 可以为一个软件安装包。 0018 可以看出， 本申请实施例中， 电子设备中第三方应用向硬件抽象模块发送脸部特 征检测请求， 硬件抽象模块接收该第三方应用发送的脸部特征检测请求之后， 调用底层驱。

15、 动以获取第一脸部数据帧， 并将该第一脸部数据帧发送给该媒体策略模块， 然后该媒体策 略模块调用用于实现目标功能的算法模块并通过预设硬件对该第一脸部数据帧进行脸部 特征检测， 最后将该脸部特征点检测的检测结果返回给该第三方应用。 可见， 由于硬件抽象 模块接收到第三方应用的脸部检测请求后， 通过底层驱动获取脸部数据帧， 并将其发送给 媒体策略模块， 之后媒体策略模块调用算法模块进行脸部特征点检测时， 还使用了预设的 硬件对算法的运算进行加速， 能应用底层硬件的算力加速算法的运算， 之后再将结果返回 给该第三方应用， 有利于利用底层硬件的算力， 加速脸部特征点检测时算法的运算。 附图说明 001。

16、9 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附 图获得其他的附图。 0020 图1是本申请实施例提供的电子设备的软件系统结构示意图； 0021 图2是本申请实施例提供的一种图像数据处理方法的流程示意图； 0022 图3是本申请实施例提供的另一种图像数据处理方法的流程示意图； 0023 图4是本申请实施例提供的一种电子设备的结构示意图； 0024 图5是本申请实施例提供的一种图像数据处理装置的功能。

17、单元组成框图。 具体实施方式 0025 为了使本技术领域的人员更好地理解本申请方案， 下面将结合本申请实施例中的 附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是 本申请一部分实施例， 而不是全部的实施例。 基于本申请中的实施例， 本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。 0026 本申请的说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等是用于区别 说明书 2/10 页 5 CN 110991369 A 5 不同对象， 而不是用于描述特定顺序。 此外， 术语 “包括” 和 “具有” 以。

18、及它们任何变形， 意图 在于覆盖不排他的包含。 例如包含了一系列步骤或单元的过程、 方法、 系统、 产品或设备没 有限定于已列出的步骤或单元， 而是可选地还包括没有列出的步骤或单元， 或可选地还包 括对于这些过程、 方法、 产品或设备固有的其他步骤或单元。 0027 在本文中提及 “实施例” 意味着， 结合实施例描述的特定特征、 结构或特性可以包 含在本申请的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相同 的实施例， 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和 隐式地理解的是， 本文所描述的实施例可以与其它实施例相结合。 0028 本申请实施例。

19、所涉及到的电子设备可以是具备通信能力的电子设备， 该电子设备 可以包括各种具有无线通信功能的手持设备、 车载设备、 可穿戴设备、 计算设备或连接到无 线调制解调器的其他处理设备， 以及各种形式的用户设备(User Equipment， UE)， 移动台 (Mobile Station， MS)， 终端设备(terminal device)等等。 0029 目前， 人脸检测中传统特征点提取算法校准复杂， 抗干扰能力差； 基于深度学习的 特征点检测算法网络复杂， 运算量大； 从手机应用上看， 人脸特征点检测需求高， 但是面临 运算量大， 对于普通开发者门槛高等问题， 由于第三方应用虽有大量人脸特征。

20、点的检测需 求， 但是难以对底层的算力充分利用， 导致人脸特征点检测中， 检测出特征点后做其他的特 性时存在延时， 预览帧率低的问题。 0030 针对上述问题， 本申请实施例提供一种图像数据处理方法及相关装置， 下面结合 附图对本申请实施例进行详细介绍。 0031 如图1所示， 本申请实施例所涉及的电子设备包括媒体服务Omedia Service模块 和操作系统(例如安卓操作系统， 此处不做唯一限定)， 所述操作系统的应用层设置有第三 方应用和媒体管理Omedia Manager模块(又称为媒体接口模块)， 所述操作系统的硬件抽象 层设置有硬件抽象模块(此为安卓原生模块， 如原生相机硬件抽象模。

21、块CameraHAL)、 媒体策 略Omedia Strategy模块和算法管理Algo Manager模块， 此外， 操作系统原生架构还包括框 架层、 驱动层与硬件层， 框架层包括各种原生应用的应用接口(如原生相机应用程序接口)、 应用服务(如原生相机服务)、 框架层接口(如Google HAL3interface)， 硬件抽象层包括硬 件抽象层接口(例如： HAL3.0)、 各种原生应用的硬件抽象模块(如相机硬件抽象模块)， 驱动 层包括各种驱动(例如屏幕Display驱动、 音频Audio驱动等)， 该于驱动层用于使能电子设 备的各种硬件， 例如图像信号处理器ISP+前端图像传感器sen。

22、sors等， 硬件层包括各种硬件 (例如中央处理器CPU； 网络处理器NPU； 图像处理器GPU； 数字信号处理器DSP等)。 0032 其中， 媒体服务模块独立于操作系统设置， 第三方应用可以通过媒体管理模块与 媒体服务模块进行通信， 媒体服务模块可以通过由应用接口、 应用服务、 框架层接口、 硬件 抽象层接口以及硬件抽象模块组成的安卓原生信息链路与媒体策略模块通信， 媒体策略模 块与算法管理模块通信， 算法管理模块维护安卓原生的算法库， 算法库包括各种原生应用 所支持的增强功能， 如针对原生相机应用， 支持其实现双目拍照、 美颜、 锐化、 夜景等各类增 强功能。 此外， 媒体服务模块也可以。

23、与媒体策略模块或者算法管理模块直连通信。 0033 基于上述架构， 所述媒体服务模块可以通过安卓原生信息链路、 媒体策略模块、 算 法管理模块使能算法库中的算法模块， 或者， 直接通过媒体策略模块和算法管理模块使能 算法库中的算法模块， 或者， 直接通过算法管理模块使能算法库中的算法模块， 从而实现针 说明书 3/10 页 6 CN 110991369 A 6 对第三方应用开放原生应用关联的增强功能。 0034 基于上述架构， 所述媒体服务模块可以通过安卓原生信息链路， 或者， 通过由媒体 策略模块和硬件抽象模块组成的第一信息链路， 或者， 通过由媒体策略模块、 算法管理模块 和硬件抽象模块组。

24、成的第二信息链路， 调用应用的驱动以使能某些硬件， 从而实现针对第 三方应用开放原生应用关联的硬件。 0035 请参阅图2， 图2是本申请实施例提供了一种图像数据处理方法的流程示意图， 该 图像数据处理方法可以应用于如图1所示的电子设备。 0036 如图所示， 本图像数据处理方法包括以下操作。 0037 S201， 第三方应用向硬件抽象模块发送脸部特征检测请求； 0038 S202， 所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调用底 层驱动以获取第一脸部数据帧， 并将所述第一脸部数据帧发送给所述媒体策略模块； 0039 具体实现中， 硬件抽象模块接收到第三方应用发送的请求之后。

25、， 可以对请求做初 步分析， 确定该请求是脸部特征检测请求时， 再通过底层驱动获取第一脸部数据帧。 第一脸 部数据帧可以是底层驱动读取的相机预览帧数据， 例如， 硬件抽象模块接收到脸部检测请 求之后， 可以调用底层驱动读取硬件层中相机硬件中预览帧数据， 并将该预览帧数据作为 脸部特征点检测的脸部数据帧发送给媒体策略模块做进一步处理。 0040 S203， 所述媒体策略模块接收所述第一脸部数据帧， 调用用于实现目标功能的算 法模块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测， 所述目标功能的算法模 块是所述第三方应用通过所述媒体服务模块请求所述操作系统对所述第三方应用开放的； 0041 S。

26、204， 所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结 果。 0042 具体实现中， 媒体策略模块接收到底层驱动发送的第一脸部数据帧之后， 可以调 用用于实现目标功能的算法对该数据帧进行处理， 这里的实现目标功能的算法可以是脸部 特征点检测相关的算法， 在使用算法进行运算的时候， 调用硬件加速算法的运算， 进行脸部 特征点检测之后， 会实时的将脸部特征点检测结果回传给发出脸部检测请求的第三方应 用， 后续第三方应用根据脸部特征点检测的结果， 就可以做进一步的特效处理、 美颜、 美妆、 饰品贴图、 人脸表情识别等， 或者直接应用到人脸识别考勤等场景中， 由于使用硬件算力加 速了。

27、算法的运算， 能够使用更大更优的算法进行处理获得更好的处理效果， 同时可以减少 处理时间长造成后续做其他处理时存在的延时， 预览帧率低的问题。 0043 可以看出， 本申请实施例中， 电子设备中第三方应用向硬件抽象模块发送脸部特 征检测请求， 硬件抽象模块接收该第三方应用发送的脸部特征检测请求之后， 调用底层驱 动以获取第一脸部数据帧， 并将该第一脸部数据帧发送给该媒体策略模块， 然后该媒体策 略模块调用用于实现目标功能的算法模块并通过预设硬件对该第一脸部数据帧进行脸部 特征检测， 最后将该脸部特征点检测的检测结果返回给该第三方应用。 可见， 由于硬件抽象 模块接收到第三方应用的脸部检测请求后。

28、， 通过底层驱动获取脸部数据帧， 并将其发送给 媒体策略模块， 之后媒体策略模块调用算法模块进行脸部特征点检测时， 还使用了预设的 硬件对算法的运算进行加速， 能应用底层硬件的算力加速算法的运算， 之后再将结果返回 给该第三方应用， 有利于利用底层硬件的算力， 加速脸部特征点检测时算法的运算。 0044 在一个可能的示例中， 所述硬件包括以下至少一种： 网络处理器； 图像处理器； 数 说明书 4/10 页 7 CN 110991369 A 7 字信号处理器。 0045 其中， 嵌入式神经网络处理器(Neural-network Processing Unit， NPU)采用 “数 据驱动并行计。

29、算” 的架构， 擅长处理视频、 图像类的大量多媒体数据； 图像处理器(Graphics Processing Unit， GPU)， 又称显示核心、 视觉处理器、 显示芯片， 是一种做图像和图形相关 运算工作的微处理器； 数字信号处理器(digital signal processing， DSP)是以数字信号 来处理大量信息的器件； 中央处理器(CPU， central processing unit)作为计算机系统的 运算和控制核心， 是信息处理、 程序运行的最终执行单元， 对于图像的处理， 还可以调用除 CPU之外其他的硬件例如上述的NPU、 GPU、 DSP等进行运算， 可以充分利用底。

30、层硬件的算力。 0046 可见， 本示例中， 在使用预设算法进行脸部特征点检测时， 通过调用硬件， 使用硬 件的算力加速算法的运算， 有利于加速脸部特征点检测时算法的运算， 提高特征点检测的 实时性。 0047 在一个可能的示例中， 所述第一脸部数据帧包括： 未经加工图像域第一脸部数据 帧。 0048 其中， 未经加工图像raw域中raw的原意就是 “未经加工” 。 可以理解为： raw图像就 是图像感应器将捕捉到的光源信号转化为数字信号的原始数据。 raw文件是一种记录了数 码相机传感器的原始信息的文件。 raw是未经处理、 也未经压缩的格式， 可以把raw概念化为 “原始图像编码数据” 或。

31、更形象的称为 “数字底片” 。 0049 可见， 本示例中， 使用raw域的第一脸部数据帧， 基于raw域做人脸特征点检测， 原 始信息保留更好， 更加精准， 有利于提高检测结果的精确性。 0050 在一个可能的示例中， 所述媒体策略模块调用用于实现目标功能的算法模块并通 过预设硬件对所述第一脸部数据帧进行脸部特征检测， 包括： 所述媒体策略模块调用用于 实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸部检测； 若检测到 脸部， 则继续对所述脸部区域的第二脸部数据帧进行特征点检测。 0051 其中， 在进行脸部检测时， 可以采用基于深度学习的脸部特征点， 先检测出脸部的 区域， 。

32、再针对该脸部区域做进一步的特征点检测， 提取脸部特征点， 若对底层驱动上传的脸 部数据帧进行处理时， 没有检测到脸部， 那么直接结束本次的脸部特征点检测， 不再进行后 续的处理。 0052 可见， 本示例中， 进行脸部特征点检测时， 先检测出脸部， 再针对脸部区域进行特 征点检测， 有利于提高检测结果的准确性， 提高检测效率。 0053 在一个可能的示例中， 所述媒体策略模块调用用于实现目标功能的算法模块并通 过预设硬件对所述第一脸部数据帧进行脸部检测， 包括： 所述媒体策略模块调用用于实现 人脸特征点检测功能的算法模块并通过预设硬件采用人脸检测算法对所述第一脸部数据 帧进行处理， 检测出人脸。

33、区域； 所述继续对所述脸部区域的第二脸部数据帧进行特征点检 测包括： 将所述人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行 处理， 检测出所述人脸区域中的人脸特征点， 其中， 所述人脸特征点识别模型是预先经过人 脸图像和人脸特征点样本数据训练得到。 0054 其中， 针对于人脸特征点检测， 在检测时， 可以采用基于深度学习的人脸特征点检 测算法， 先通过人脸检测算法检测出人脸区域， 这里也可以通过人脸检测器实现， 之后针对 检测出的人脸区域， 将人脸区域的第二脸部数据帧作为神经网络的输入， 送入预先训练好 说明书 5/10 页 8 CN 110991369 A 8 的人脸特征。

34、点识别模型中进行处理， 该人脸特征点识别模型是预先根据大量的人脸图像数 据和人脸特征点数据进行训练得到的， 能快速准确的进行人脸特征点检测。 0055 具体实现中， 处理进行人脸识别之外， 也可以采用动物脸部检测相关的算法， 调用 相关的算法模块进行处理， 并通过硬件对算法进行加速， 完成动物脸部特征点的检测。 0056 可见， 本示例中， 媒体策略模块先调用用于实现人脸特征点检测功能的算法模块 并通过预设硬件采用人脸检测算法对第一脸部数据帧进行处理， 检测出人脸区域， 之后再 将该人脸区域的第二脸部数据帧输入预先训练好的人脸特征点识别模型中进行处理， 检测 出该人脸区域中的人脸特征点， 先检。

35、测出人脸区域， 再具有针对性的进行特征点检测， 并且 该人脸特征点识别模型是预先根据大量的人脸图像数据和人脸特征点数据进行训练得到 的， 有利于提高人脸特征点检测的准确性。 0057 在一个可能的示例中， 所述操作系统的硬件抽象层还设置有算法管理模块， 所述 第三方应用向所述硬件抽象模块发送脸部特征检测请求之前， 所述方法还包括： 所述第三 方应用向所述媒体服务模块发送请求所述操作系统开放的目标功能； 所述媒体服务模块接 收所述请求所述操作系统开放的目标功能， 通过所述媒体策略模块向所述算法管理模块发 送所述请求所述操作系统开放的目标功能； 所述算法管理模块使能用于实现所述目标功能 的算法模块。

36、。 0058 具体实现中， 第三方应用在向硬件抽象模块发送脸部特征检测请求之前， 可以先 向媒体服务模块发送请求操作系统对其开放的目标功能， 媒体服务模块接收到该目标功能 之后， 可以先将该目标功能的配置信息转换成算法管理模块能识别的配置信息， 之后再通 过媒体策略模块将该算法管理模块能识别的配置信息发送给算法管理模块， 进而该算法管 理模块可以根据该配置信息使能用于实现该目标功能的算法模块。 第三方应用可以通过使 能后的算法模块进行数据处理， 或者使用使能后算法模块处理得到的数据。 未经使能的算 法模块不能使用。 0059 媒体服务模块和第三方应用可以通过媒体管理模块进行通信， 在使能用于实。

37、现目 标功能的算法模块之前， 可以对第三方应用进行鉴权， 鉴权通过后在向该第三方应用开放 功能， 媒体服务模块和第三方应用可以通过媒体管理模块实现信息交互， 完成鉴权和授权。 0060 可见， 本示例中， 第三方应用向媒体服务模块发送请求系统开放的目标功能， 并通 过媒体策略模块向算法管理模块发送该目标功能， 最后使得算法管理模块使能用于实现该 目标功能的算法模块， 第三方应用可以使用底层算法模块处理后的数据， 但并不是直接向 其开放底层的功能， 有利于安全的开放底层能力。 0061 请参阅图3， 图3是本申请实施例提供的另一种图像数据处理方法的流程示意图， 该图像数据处理方法可以应用于如图1。

38、所示的电子设备中。 0062 如图所示， 本图像数据处理方法包括以下操作： 0063 S301， 第三方应用向硬件抽象模块发送脸部特征检测请求； 0064 S302， 所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调用底 层驱动以获取第一脸部数据帧， 并将所述第一脸部数据帧发送给所述媒体策略模块； 0065 S303， 所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预 设硬件采用人脸检测算法对所述第一脸部数据帧进行处理， 检测出人脸区域； 0066 S304， 若检测到人脸， 则将所述人脸区域的第二脸部数据帧输入预先训练好的人 说明书 6/10 页 9 CN 11。

39、0991369 A 9 脸特征点识别模型中进行处理， 检测出所述人脸区域中的人脸特征点； 0067 其中， 所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练 得到。 0068 S305， 所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结 果。 0069 其中， 所述人脸特征点识别模型是预先经过人脸图像和人脸特征点样本数据训练 得到， 媒体策略模块调用硬件加速算法的处理， 能使用更大更优的模型进行运算， 实时将检 测结果发回给第三方应用， 第三方应用可以快捷的使用人脸特征点信息， 充分应用底层硬 件算力， 降低了基于人脸特征点的图像处理应用软件的技术门槛。 0070。

40、 可以看出， 本申请实施例中， 电子设备中硬件抽象模块接收来自第三方应用的脸 部检测请求之后， 调用底层驱动获取第一脸部数据帧， 并向媒体策略模块发送该第一脸部 数据帧， 之后该媒体策略模块再调用用于实现人脸特征点检测功能的算法模块并通过预设 硬件采用人脸检测算法对所述第一脸部数据帧进行处理， 检测出人脸区域， 再将人脸区域 的第二脸部数据帧输入预先训练的神经网络中进行处理， 检测出人脸特征点， 最后再将脸 部特征点检测的检测结果发送给所述第三方应用， 可见， 由于硬件抽象模块接收来自第三 方应用的脸部检测请求之后并调用底层驱动获取第一脸部数据帧之后， 媒体策略模块再调 用用于实现人脸特征点检。

41、测功能的算法模块进行人脸特征点检测时， 调用了底层硬件， 能 应用底层硬件的算力加速算法的运算， 之后再将结果实时返回给该第三方应用， 有利于利 用底层硬件的算力， 加速脸部特征点检测时算法的运算， 采用人脸检测算法和人脸特征点 识别模型进行人脸特征点检测， 有利于提高检测结果的准确性。 0071 与上述图2、 图3所示的实施例一致的， 请参阅图4， 图4是本申请实施例提供的一种 电子设备400的结构示意图， 如图所示， 所述电子设备400包括应用处理器410、 存储器420、 通信接口430以及一个或多个程序421， 其中， 所述一个或多个程序421被存储在上述存储器 420中， 并且被配置。

42、由上述应用处理器410执行， 所述一个或多个程序421包括用于执行上述 方法实施例中任一步骤的指令。 0072 在一个可能的示例中， 所述程序421中包括用于执行以下步骤的指令： 控制所述第 三方应用向所述硬件抽象模块发送脸部特征检测请求； 以及控制所述硬件抽象模块接收所 述第三方应用发送的脸部特征检测请求， 调用底层驱动以获取第一脸部数据帧， 并将所述 第一脸部数据帧发送给所述媒体策略模块； 以及控制所述媒体策略模块接收所述第一脸部 数据帧， 调用用于实现目标功能的算法模块并通过预设硬件对所述第一脸部数据帧进行脸 部特征检测， 所述目标功能的算法模块是所述第三方应用通过所述媒体服务模块请求所。

43、述 操作系统对所述第三方应用开放的； 以及控制所述媒体策略模块向所述第三方应用发送所 述脸部特征点检测的检测结果。 0073 在一个可能的示例中， 所述硬件包括以下至少一种： 网络处理器； 图像处理器； 数 字信号处理器。 0074 在一个可能的示例中， 所述第一脸部数据帧包括： 未经加工图像域第一脸部数据 帧。 0075 在一个可能的示例中， 在控制所述媒体策略模块调用用于实现目标功能的算法模 块并通过预设硬件对所述第一脸部数据帧进行脸部特征检测方面， 所述程序421中的指令 说明书 7/10 页 10 CN 110991369 A 10 具体用于执行以下操作： 控制所述媒体策略模块调用用于。

44、实现目标功能的算法模块并通过 预设硬件对所述第一脸部数据帧进行脸部检测； 若检测到脸部， 则继续对所述脸部区域的 第二脸部数据帧进行特征点检测。 0076 在一个可能的示例中， 在所述媒体策略模块调用用于实现目标功能的算法模块并 通过预设硬件对所述第一脸部数据帧进行脸部检测方面， 所述程序421中的指令具体用于 执行以下操作： 控制所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通 过预设硬件采用人脸检测算法对所述第一脸部数据帧进行处理， 检测出人脸区域； 在所述 继续对所述脸部区域的第二脸部数据帧进行特征点检测方面， 所述程序421中的指令具体 用于执行以下操作： 将所述人脸区域的。

45、第二脸部数据帧输入预先训练好的人脸特征点识别 模型中进行处理， 检测出所述人脸区域中的人脸特征点， 其中， 所述人脸特征点识别模型是 预先经过人脸图像和人脸特征点样本数据训练得到。 0077 在一个可能的示例中， 所述操作系统的硬件抽象层还设置有算法管理模块， 在控 制所述第三方应用向所述硬件抽象模块发送脸部特征检测请求之前， 所述程序421中还包 括用于执行以下操作的指令： 控制所述第三方应用向所述媒体服务模块发送请求所述操作 系统开放的目标功能； 以及控制所述媒体服务模块接收所述请求所述操作系统开放的目标 功能， 通过所述媒体策略模块向所述算法管理模块发送所述请求所述操作系统开放的目标 功。

46、能； 以及控制所述算法管理模块使能用于实现所述目标功能的算法模块。 0078 上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。 可以理解 的是， 电子设备为了实现上述功能， 其包含了执行各个功能相应的硬件结构和/或软件模 块。 本领域技术人员应该很容易意识到， 结合本文中所提供的实施例描述的各示例的单元 及算法步骤， 本申请能够以硬件或硬件和计算机软件的结合形式来实现。 某个功能究竟以 硬件还是计算机软件驱动硬件的方式来执行， 取决于技术方案的特定应用和设计约束条 件。 专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能， 但是这种实 现不应认为超出本申请的范围。 0。

47、079 本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分， 例如， 可 以对应各个功能划分各个功能单元， 也可以将两个或两个以上的功能集成在一个处理单元 中。 上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。 需 要说明的是， 本申请实施例中对单元的划分是示意性的， 仅仅为一种逻辑功能划分， 实际实 现时可以有另外的划分方式。 0080 图5是本申请实施例中所涉及的图像数据处理装置500的功能单元组成框图。 该图 像数据处理装置500应用于电子设备， 所述电子设备包括媒体服务模块和操作系统， 所述操 作系统的应用层设置有第三方应用， 所述操作系统的硬件抽。

48、象层设置有硬件抽象模块、 媒 体策略模块； 所述图像数据处理装置包括处理单元501和通信单元502， 其中， 所述处理单元 501， 用于执行如上述方法实施例中的任一步骤， 且在执行诸如发送等数据传输时， 可选择 的调用所述通信单元502来完成相应操作。 下面进行详细说明。 0081 所述处理单元501用于， 控制所述第三方应用向所述硬件抽象模块发送脸部特征 检测请求； 以及控制所述硬件抽象模块接收所述第三方应用发送的脸部特征检测请求， 调 用底层驱动以获取第一脸部数据帧， 并将所述第一脸部数据帧发送给所述媒体策略模块； 以及控制所述媒体策略模块接收所述第一脸部数据帧， 调用用于实现目标功能的。

49、算法模块 说明书 8/10 页 11 CN 110991369 A 11 并通过预设硬件对所述第一脸部数据帧进行脸部特征检测， 所述目标功能的算法模块是所 述第三方应用通过所述媒体服务模块请求所述操作系统对所述第三方应用开放的； 以及控 制所述媒体策略模块向所述第三方应用发送所述脸部特征点检测的检测结果。 0082 在一个可能的示例中， 所述硬件包括以下至少一种： 网络处理器； 图像处理器； 数 字信号处理器。 0083 在一个可能的示例中， 所述第一脸部数据帧包括： 未经加工图像域第一脸部数据 帧。 0084 在一个可能的示例中， 在控制所述媒体策略模块调用用于实现目标功能的算法模 块并通过。

50、预设硬件对所述第一脸部数据帧进行脸部特征检测方面， 所述处理单元501具体 用于， 控制所述媒体策略模块调用用于实现目标功能的算法模块并通过预设硬件对所述第 一脸部数据帧进行脸部检测； 若检测到脸部， 则继续对所述脸部区域的第二脸部数据帧进 行特征点检测。 0085 在一个可能的示例中， 在所述媒体策略模块调用用于实现目标功能的算法模块并 通过预设硬件对所述第一脸部数据帧进行脸部检测方面， 所述处理单元501具体用于， 控制 所述媒体策略模块调用用于实现人脸特征点检测功能的算法模块并通过预设硬件采用人 脸检测算法对所述第一脸部数据帧进行处理， 检测出人脸区域； 在所述继续对所述脸部区 域的第二。