人脸检测方法及相关产品.pdf

《人脸检测方法及相关产品.pdf》由会员分享，可在线阅读，更多相关《人脸检测方法及相关产品.pdf（32页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010398720.3 (22)申请日 2020.05.12 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞市长安镇乌沙海 滨路18号 (72)发明人 王多民 (74)专利代理机构 深圳市慧实专利代理有限公 司 44480 代理人 孙东杰 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) (54)发明名称 人脸检测方法及相关产品 (57)摘要 本申请实施例公开了一种人脸检测方法及 相关产品， 所。

2、述方法包括： 获取目标图片， 对所述 目标图片执行预处理操作得到预处理图片； 将所 述预处理图片进行人脸特征图提取操作， 得到所 述目标图片的第一特征图和第二特征图； 将所述 第一特征图输入第一特征提取通道， 得到第一融 合图， 将所述第二特征图输入第二特征提取通 道， 得到第二融合图； 基于所述第一融合图和所 述第二融合图进行拼接计算操作， 得到目标特征 图； 对所述目标特征图执行卷积计算得到目标人 脸框中心点坐标概率图和目标偏移量； 基于所述 目标人脸框中心点坐标概率图和所述目标偏移 量在所述目标图片中确定目标人脸框。 本申请实 施例依据特征提取确定目标人脸框， 减少人脸检 测计算量。 权。

3、利要求书2页 说明书19页 附图10页 CN 111563466 A 2020.08.21 CN 111563466 A 1.一种人脸检测方法， 其特征在于， 应用于人脸检测设备， 所述方法包括： 获取目标图片， 对所述目标图片执行预处理操作得到预处理图片； 将所述预处理图片进行人脸特征图提取操作， 得到所述目标图片的第一特征图和第二 特征图， 所述第二特征图为根据所述第一特征图得到的特征图； 将所述第一特征图输入第一特征提取通道， 得到第一融合图， 将所述第二特征图输入 第二特征提取通道， 得到第二融合图； 基于所述第一融合图和所述第二融合图进行拼接计算操作， 得到目标特征图； 对所述目标特。

4、征图执行卷积计算， 得到目标人脸框中心点坐标概率图和目标偏移量； 基于所述目标人脸框中心点坐标概率图和所述目标偏移量， 确定所述目标图片中目标 人脸框。 2.根据权利要求1所述的方法， 其特征在于， 所述通过特征图提取操作得到所述目标图 片的第一特征图和第二特征图， 包括： 将所述预处理图片输入预设的第一特征图提取器， 得到所述第一特征图； 将所述第一特征图输入预设的第二特征图提取器， 得到所述第二特征图。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述第一特征图输入第一特征提取 通道， 得到第一融合图， 将所述第二特征图输入第二特征提取通道， 得到第二融合图， 包括： 获取预设的卷。

5、积计算器和预设的感受野增强层处理器； 将所述第一特征图、 所述第二特征图分别依次输入所述预设的卷积计算器和所述预设 的感受野增强层处理器， 得到第一特征处理图和第二特征处理图， 所述第一特征处理图为 所述第一融合图； 将所述第二特征处理图输入预设的反卷积计算器， 得到所述第二融合图， 针对所述第 三特征处理图和所述第一融合图执行融合相加操作， 得到所述第二融合图。 4.根据权利要求3所述的方法， 其特征在于， 所述方法还包括： 将第二特征图输入第三特征提取器， 得到第三特征图； 所述第三特征图依次输入所述预设的卷积计算器和所述预设的感受野增强层处理器， 得到第三特征处理图； 将所述第三特征处理。

6、输入反卷积计算器， 得到第四特征处理图； 将所述第二特征处理图和所述第四特征处理图进行融合相加计算得到第五特征处理 图； 将所述第五特征处理图输入反卷积计算器， 得到所述第二融合图。 5.根据权利要求1-4任一项所述的方法， 其特征在于， 所述对所述目标特征图执行卷积 计算得到目标人脸框中心点坐标概率图和目标偏移量， 包括： 获取预设的特征卷积配置， 其中， 所述特征卷积配置包括： 特征卷积核、 特征卷积通道 和特征卷积步长； 依据所述特征卷积更新所述卷积计算器， 得到特征卷积计算器； 基于所述目标特征图和所述特征卷积计算器， 得到第一输出图和第二输出图； 基于所述第一输出图和所述第二输出图计。

7、算所述目标人脸框中心点坐标概率图和所 述目标偏移量。 6.根据权利要求5所述的方法， 其特征在于， 所述基于所述第一输出图和所述第二输出 权利要求书 1/2 页 2 CN 111563466 A 2 图计算所述目标人脸框中心点坐标概率图和所述目标偏移量， 包括： 获取预设的第一输出卷积配置， 其中， 所述第一输出卷积配置包括： 第一输出卷积核、 第一输出卷积通道和第一输出卷积步长； 获取预设的第二输出卷积配置， 其中， 所述第二输出卷积配置包括： 第二输出卷积核、 第二输出卷积通道和第二输出卷积步长； 依据所述第一输出卷积配置更新所述卷积计算器得到第一输出卷积计算器， 依据所述 第二输出卷积配。

8、置更新所述卷积计算器得到第二输出卷积计算器； 将所述第一输出图输入所述第一输出卷积计算器， 得到所述目标人脸框中心点坐标概 率图， 将所述第二输出图作为所述第二输出卷积计算器的输入， 得到所述中心点偏移量。 7.根据权利要求1所述的方法， 其特征在于， 所述基于所述目标人脸框中心点坐标概率 图和所述目标偏移量在所述目标图片中确定目标人脸框， 包括： 获取预设的第一阈值， 在所述目标人脸框中心点坐标概率图中筛选大于所述第一阈值 的一个或多个坐标； 将所述一个或多个坐标代入预设的人脸框计算公式， 确定一个或多个待选人脸框； 获取预设的第二阈值， 基于所述第二阈值对所述一个或多个待选人脸框执行非极大。

9、值 抑制操作， 得到所述目标人脸框。 8.一种人脸检测装置， 其特征在于， 应用于电子设备， 所述装置包括： 处理单元和通信 单元， 所述处理单元， 用于获取目标图片， 对所述目标图片执行预处理操作得到预处理图片； 以及用于将所述预处理图片进行人脸特征图提取操作， 得到所述目标图片的第一特征图和 第二特征图， 所述第二特征图为根据所述第一特征图得到的特征图； 以及用于将所述第一 特征图输入第一特征提取通道， 得到第一融合图， 将所述第二特征图输入第二特征提取通 道， 得到第二融合图； 以及用于基于所述第一融合图和所述第二融合图进行拼接计算操作， 得到目标特征图； 以及用于对所述目标特征图执行卷。

10、积计算， 得到目标人脸框中心点坐标 概率图和目标偏移量； 以及用于基于所述目标人脸框中心点坐标概率图和所述目标偏移 量， 确定所述目标图片中目标人脸框。 9.一种终端， 其特征在于， 包括处理器、 存储器、 通信接口， 以及一个或多个程序， 所述 一个或多个程序被存储在所述存储器中， 并且被配置由所述处理器执行， 所述程序包括用 于执行如权利要求1-7任一项所述的方法中的步骤的指令。 10.一种计算机可读存储介质， 其特征在于， 存储用于电子数据交换的计算机程序， 其 中， 所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。 权利要求书 2/2 页 3 CN 111563466 A。

11、 3 人脸检测方法及相关产品 技术领域 0001 本申请涉及电子设备技术领域， 具体涉及一种人脸检测方法及相关产品。 背景技术 0002 随着电子商务等应用的发展， 人脸识别成为最有潜力的生物身份验证手段， 人脸 检测是人脸识别中的一个重要环节。 人脸检测是指对于任意一幅给定的图像， 采用一定的 策略对其进行搜索以确定其中是否含有人脸。 0003 目前， 主要通过大量的滑动窗口以及图像金字塔的变换覆盖人脸图像， 然后通过 特征提取操作与分类器实现人脸检测， 但是， 大量的计算导致运算速度慢， 并且， 通过图像 金字塔变换覆盖人脸图像导致人脸检测的准确率不高， 用户体验度低下。 发明内容 000。

12、4 本申请实施例提供了一种人脸检测方法及相关产品， 以期通过特征提取和卷积计 算确定目标人脸框， 实现无锚框人脸检测， 减少人脸检测计算量， 缩短人脸检测周期， 有利 于提高用户体验度。 0005 第一方面， 本申请实施例提供一种人脸检测方法， 应用于人脸检测设备， 所述方法 包括： 0006 获取目标图片， 对所述目标图片执行预处理操作得到预处理图片； 0007 将所述预处理图片进行人脸特征图提取操作， 得到所述目标图片的第一特征图和 第二特征图， 所述第二特征图为根据所述第一特征图得到的特征图； 0008 将所述第一特征图输入第一特征提取通道， 得到第一融合图， 将所述第二特征图 输入第二。

13、特征提取通道， 得到第二融合图； 0009 基于所述第一融合图和所述第二融合图进行拼接计算操作， 得到目标特征图； 0010 对所述目标特征图执行卷积计算， 得到目标人脸框中心点坐标概率图和目标偏移 量； 0011 基于所述目标人脸框中心点坐标概率图和所述目标偏移量， 确定所述目标图片中 目标人脸框。 0012 第二方面， 本申请实施例提供一种人脸检测装置， 应用于电子设备， 所述装置包 括： 处理单元和通信单元， 其中， 0013 所述处理单元， 用于获取目标图片， 对所述目标图片执行预处理操作得到预处理 图片； 以及用于将所述预处理图片进行人脸特征图提取操作， 得到所述目标图片的第一特 征。

14、图和第二特征图， 所述第二特征图为根据所述第一特征图得到的特征图； 以及用于将所 述第一特征图输入第一特征提取通道， 得到第一融合图， 将所述第二特征图输入第二特征 提取通道， 得到第二融合图； 以及用于基于所述第一融合图和所述第二融合图进行拼接计 算操作， 得到目标特征图； 以及用于对所述目标特征图执行卷积计算， 得到目标人脸框中心 点坐标概率图和目标偏移量； 以及用于基于所述目标人脸框中心点坐标概率图和所述目标 说明书 1/19 页 4 CN 111563466 A 4 偏移量， 确定所述目标图片中目标人脸框。 0014 第三方面， 本申请实施例提供一种电子设备， 包括处理器、 存储器、 。

15、通信接口以及 一个或多个程序， 其中， 上述一个或多个程序被存储在上述存储器中， 并且被配置由上述处 理器执行， 上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。 0015 第四方面， 本申请实施例提供了一种计算机可读存储介质， 其中， 上述计算机可读 存储介质存储用于电子数据交换的计算机程序， 其中， 上述计算机程序使得计算机执行如 本申请实施例第一方面任一方法中所描述的部分或全部步骤。 0016 第五方面， 本申请实施例提供了一种计算机程序产品， 其中， 上述计算机程序产品 包括存储了计算机程序的非瞬时性计算机可读存储介质， 上述计算机程序可操作来使计算 机执行如本申请实施。

16、例第一方面任一方法中所描述的部分或全部步骤。 该计算机程序产品 可以为一个软件安装包。 0017 可以看出， 本申请实施例对目标图片预处理、 多次对预处理图片进行提取特征、 反 卷积计算操作和卷积计算操作确定目标人脸框， 进而实现人脸检测， 本申请实施例减少了 人脸检测的计算量， 提高了人脸检测的速度。 附图说明 0018 为了更清楚地说明本申请实施例中的技术方案， 下面将对实施例或现有技术描述 中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些 实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附 图获得其他的附图。 0019。

17、 图1A是本申请实施例提供的终端的一种结构示意图； 0020 图1B是本申请实施例提供的终端的一种软硬件系统架构的示意图； 0021 图1C是本申请实施例提供的终端的另一种结构示意图； 0022 图2A是是本申请实施例提供的终端的一种人脸检测网络的网络架构图； 0023 图2B是是本申请实施例提供的终端的一种人脸检测网络的网络架构图； 0024 图3是本申请实施例提供的终端的一种特征图处理器的结构图； 0025 图4A是本申请实施例提供的终端的一种第一特征图提取器的结构图； 0026 图4B是本申请实施例提供的终端的一种残差计算模块的结构示意图； 0027 图5是本申请实施例提供的终端的一种人。

18、脸检测方法的流程示意图； 0028 图6是本申请实施例提供的终端的一种人脸检测装置的结构示意图。 具体实施方式 0029 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于本发 明中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例， 都属于本发明保护的范围。 0030 本发明的说明书和权利要求书及所述附图中的术语 “第一” 、“第二” 、“第三” 和 “第 四” 等是用于区别不同对象， 而不是用于描述特定顺序。 此外， 术语 “包括” 和 “具有” 以及。

19、它 们任何变形， 意图在于覆盖不排他的包含。 例如包含了一系列步骤或单元的过程、 方法、 系 说明书 2/19 页 5 CN 111563466 A 5 统、 产品或设备没有限定于已列出的步骤或单元， 而是可选地还包括没有列出的步骤或单 元， 或可选地还包括对于这些过程、 方法、 产品或设备固有的其它步骤或单元。 0031 在本文中提及 “实施例” 意味着， 结合实施例描述的特定特征、 结果或特性可以包 含在本发明的至少一个实施例中。 在说明书中的各个位置出现该短语并不一定均是指相同 的实施例， 也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和 隐式地理解的是， 本文所描。

20、述的实施例可以与其它实施例相结合。 0032 为了更好地理解本申请实施例的方案， 下面先对本申请实施例可能涉及的相关术 语和概念进行介绍。 0033 (1)卷积核， 是指在进行图像处理时， 给定输入图像， 输入图像中一个小区域中像 素加权平均后成为输出图像中的每个对应像素， 其中权值由一个函数定义， 这个函数称为 卷积核。 0034 (2)步长， 程序语言中的名词， 让一个数值在每次运算中加上某个数(此即步长)重 复执行此项运算。 0035 (3)反卷积是信号处理中一类基本问题,广泛应用于信道均衡、 图像恢复、 语音识 别、 地震学、 无损探伤等领域,也可应用于未知输入估计和故障辨识问题。 0。

21、036 (4)深度残差网络(ResNet50)是指通过在深度学习网络中引入残差块从而解决深 度学习网络由于网络深度增加导致学习速度变慢的网络。 0037 (5)空洞卷积， 又名扩张卷积(dilated convolutions)， 向卷积层引入了一个称为 “扩张率(dilation rate)” 的新参数， 该参数定义了卷积核处理数据时各值的间距。 0038 (6)输出特征图通道， 一个通道是对某个特征的检测， 通道中的某一处的强弱就是 对当前特征强弱的反应。 0039 (7)递归特征消除(Recursive feature elimination),主要思想是反复构建模 型， 然后选出最好的。

22、(或者最差的)特征(根据系数来选)， 把选出来的特征放到一边， 然后在 剩余的特征上重复这个过程， 直到遍历了所有的特征。 在这个过程中被消除的次序就是特 征的排序。 0040 (8)感受野， 指卷积神经网络每一层输出的特征图(feature map)上的像素点在输 入图片上映射的区域大小。 0041 (9)非极大值抑制(Non-Maximum Suppression， NMS)， 顾名思义就是抑制不是极大 值的元素， 可以理解为局部最大搜索。 这个局部代表的是一个邻域， 邻域有两个参数可变， 一是邻域的维数， 二是邻域的大小。 0042 下面分别从软硬件运行环境(第一部分)、 示例应用场景(。

23、第二部分)、 关键技术实 现(第三部分)以及权利要求保护范围(第四部分)四个方面全面介绍本申请实施例。 0043 第一部分， 本申请所公开的界面显示技术的软硬件运行环境介绍如下。 0044 请参考图1A， 其示出了本申请一个示例性实施例提供的终端100的结构方框图。 该 终端100可以是具备通信能力的电子设备， 该电子设备可以包括各种具有无线通信功能的 手持设备、 车载设备、 可穿戴设备、 计算设备或连接到无线调制解调器的其他处理设备， 以 及各种形式的用户设备(User Equipment， UE)， 移动台(Mobile Station， MS)， 终端设备 (terminal devic。

24、e)等等。 本申请中的终端100可以包括一个或多个如下部件： 处理器110、 存储器120和输入输出设备130。 说明书 3/19 页 6 CN 111563466 A 6 0045 处理器110可以包括一个或者多个处理核心。 处理器110利用各种接口和线路连接 整个终端100内的各个部分， 通过运行或执行存储在存储器120内的指令、 程序、 代码集或指 令集， 以及调用存储在存储器120内的数据， 执行终端100的各种功能和处理数据。 处理器 110可以包括一个或多个处理单元， 例如： 处理器110可以包括中央处理器(Central Processing Unit， CPU)、 应用处理器(。

25、application processor， AP)、 调制解调处理器、 图形 处理器(graphics processing unit， GPU)、 图像信号处理器(image signal processor， ISP)、 控制器、 视频编解码器、 数字信号处理器(digital signal processor， DSP)、 基带处 理器， 和/或神经网络处理器(neural-network processing unit， NPU)等。 其中， 控制器可 以是终端100的神经中枢和指挥中心。 控制器可以根据指令操作码和时序信号， 产生操作控 制信号， 完成取指令和执行指令的控制。 CP。

26、U主要处理操作系统、 用户界面和应用程序等； GPU用于负责显示内容的渲染和绘制； 调制解调器用于处理无线通信。 数字信号处理器用于 处理数字信号， 除了可以处理数字图像信号， 还可以处理其他数字信号。 例如， 当终端100在 频点选择时， 数字信号处理器用于对频点能量进行傅里叶变换等。 视频编解码器用于对数 字视频压缩或解压缩。 终端100可以支持一种或多种视频编解码器。 这样， 终端100可以播放 或录制多种编码格式的视频， 例如： 动态图像专家组(moving picture experts group， MPEG)1， MPEG2， MPEG3， MPEG4等。 NPU为神经网络(ne。

27、ural-network， NN)计算处理器， 通过借 鉴生物神经网络结构， 例如借鉴人脑神经元之间传递模式， 对输入信息快速处理， 还可以不 断的自学习。 通过NPU可以实现终端100的智能认知等应用， 例如： 图像识别， 人脸识别， 语音 识别， 文本理解等。 0046 处理器110中可以设置存储器， 用于存储指令和数据。 在一些实施例中， 处理器110 中的存储器为高速缓冲存储器。 该存储器可以保存处理器110刚用过或循环使用的指令或 数据。 如果处理器110需要再次使用该指令或数据， 可从所述存储器中直接调用。 避免重复 存取， 减少处理器110的等待时间， 提高系统效率。 0047 。

28、处理器110可以包括一个或多个接口， 例如集成电路(inter-integrated circuit， I2C)接口， 集成电路内置音频(inter-integrated circuit sound， I2S)接口， 脉 冲编码调制(pulse code modulation， PCM)接口， 通用异步收发传输器(universal asynchronous receiver/transmitter， UART)接口， 移动产业处理器接口(mobile industry processor interface， MIPI)， 通用输入输出(general-purpose input/outpu。

29、t， GPIO)接口， 用户标识模块(subscriber identity module， SIM)接口， 和/或通用串行总线 (universal serial bus， USB)接口等。 0048 I2C接口是一种双向同步串行总线， 包括一根串行数据线(serial data line， SDA)和一根串行时钟线(derail clock line， SCL)。 处理器110可以包含多组I2C接口， 通过 不同的I2C接口可以分别耦合触摸传感器， 充电器， 闪光灯， 摄像头等。 例如： 处理器110可以 通过I2C接口耦合触摸传感器， 使处理器110与触摸传感器通过I2C接口通信， 实现。

30、终端100 的触摸功能。 0049 I2S接口可以用于音频通信。 处理器110可以包含多组I2S接口， 通过I2S接口与音 频模块耦合， 实现处理器110与音频模块之间的通信。 音频模块可以通过I2S接口向无线通 信模块传递音频信号， 实现通过蓝牙耳机接听电话的功能。 0050 PCM接口也可以用于音频通信， 将模拟信号抽样， 量化和编码。 音频模块与无线通 说明书 4/19 页 7 CN 111563466 A 7 信模块可以通过PCM接口耦合， 具体可以通过PCM接口向无线通信模块传递音频信号， 实现 通过蓝牙耳机接听电话的功能。 所述I2S接口和所述PCM接口都可以用于音频通信。 005。

31、1 UART接口是一种通用串行数据总线， 用于异步通信。 该总线可以为双向通信总线。 它将要传输的数据在串行通信与并行通信之间转换。 UART接口通常被用于连接处理器110 与无线通信模块。 例如： 处理器110通过UART接口与无线通信模块中的蓝牙模块通信， 实现 蓝牙功能。 音频模块可以通过UART接口向无线通信模块传递音频信号， 实现通过蓝牙耳机 播放音乐的功能。 0052 MIPI接口可以被用于连接处理器110与显示屏、 摄像头等外围器件。 MIPI接口包括 摄像头串行接口(camera serial interface， CSI)， 显示屏串行接口(display serial in。

32、terface， DSI)等。 在一些实施例中， 处理器110和摄像头通过CSI接口通信， 实现终端100 的拍摄功能。 处理器110和显示屏通过DSI接口通信， 实现终端100的显示功能。 0053 GPIO接口可以通过软件配置。 GPIO接口可以被配置为控制信号， 也可被配置为数 据信号。 在一些实施例中， GPIO接口可以用于连接处理器110与摄像头、 显示屏、 无线通信模 块、 音频模块、 传感器模块等。 GPIO接口还可以被配置为I2C接口， I2S接口， UART接口， MIPI 接口等。 0054 USB接口是符合USB标准规范的接口， 具体可以是Mini USB接口、 Micr。

33、o USB接口、 USB Type C接口等。 USB接口可以用于连接充电器为终端100充电， 也可以用于终端100与外 围设备之间传输数据。 也可以用于连接耳机， 通过耳机播放音频。 该接口还可以用于连接其 他电子设备， 例如AR设备等。 0055 可以理解的是， 上述处理器110在实际产品中可以映射为系统级芯片(System on a Chip， SOC)， 上述处理单元和/或接口也可以不集成到处理器110中， 单独通过一块通信芯 片或者电子元器件实现对应的功能。 上述各模块间的接口连接关系， 只是示意性说明， 并不 构成对终端100的结构的唯一限定。 0056 存储器120可以包括随机存。

34、储器(Random Access Memory， RAM)， 也可以包括只读 存储器(Read-Only Memory)。 可选地， 该存储器120包括非瞬时性计算机可读介质(non- transitory computer-readable storage medium)。 存储器120可用于存储指令、 程序、 代 码、 代码集或指令集。 存储器120可包括存储程序区和存储数据区， 其中， 存储程序区可存储 用于实现操作系统的指令、 用于实现至少一个功能的指令(比如触控功能、 声音播放功能、 图像播放功能等)、 用于实现下述各个方法实施例的指令等， 该操作系统可以是安卓 (Android)系。

35、统(包括基于Android系统深度开发的系统)、 苹果公司开发的IOS系统(包括基 于IOS系统深度开发的系统)或其它系统。 存储数据区还可以存储终端100在使用中所创建 的数据(比如电话本、 音视频数据、 聊天记录数据)等。 0057 终端400的软件系统可以采用分层架构， 事件驱动架构， 微核架构， 微服务架构， 或 云架构。 本申请实施例以分层架构的Android系统和IOS系统为例， 示例性说明终端400的软 件架构。 0058 如图1B所示的设置有Android系统的软硬件系统的架构示意图， 存储器120中可存 储有Linux内核层220、 系统运行库层240、 应用框架层260和应。

36、用层280， 其中， 层与层之间通 过软件接口通信， Linux内核层220、 系统运行库层240和应用框架层260属于操作系统空间。 0059 应用层280属于用户空间， 应用层280中运行有至少一个应用程序， 这些应用程序 说明书 5/19 页 8 CN 111563466 A 8 可以是操作系统自带的原生应用程序， 也可以是第三方开发者所开发的第三方应用程序， 具体可以包括密码、 眼球追踪、 相机， 图库， 日历， 通话， 地图， 导航， WLAN， 蓝牙， 音乐， 视频， 短信息等应用程序。 0060 应用框架层260提供了构建应用层的应用程序可能用到的各种API， 开发者也可以 通过。

37、使用这些API来构建自己的应用程序， 比如窗口管理器、 内容提供器、 视图系统、 电话管 理器、 资源管理器、 通知管理器、 消息管理器、 活动管理器、 包管理器、 定位管理。 0061 窗口管理器用于管理窗口程序。 窗口管理器可以获取显示屏大小， 判断是否有状 态栏， 锁定屏幕， 截取屏幕等。 0062 内容提供器用来存放和获取数据， 并使这些数据可以被应用程序访问。 所述数据 可以包括视频， 图像， 音频， 拨打和接听的电话， 浏览历史和书签， 电话簿等。 0063 视图系统包括可视控件， 例如显示文字的控件， 显示图片的控件等。 视图系统可用 于构建应用程序。 显示界面可以由一个或多个视。

38、图组成的。 例如， 包括短信通知图标的显示 界面， 可以包括显示文字的视图以及显示图片的视图。 0064 电话管理器用于提供终端100的通信功能。 例如通话状态的管理(包括接通， 挂断 等)。 0065 资源管理器为应用程序提供各种资源， 比如本地化字符串， 图标， 图片， 布局文件， 视频文件等等。 0066 通知管理器使应用程序可以在状态栏中显示通知信息， 可以用于传达告知类型的 消息， 可以短暂停留后自动消失， 无需用户交互。 比如通知管理器被用于告知下载完成， 消 息提醒等。 通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通 知， 例如后台运行的应用程序的通知， 还可。

39、以是以对话窗口形式出现在屏幕上的通知。 例如 在状态栏提示文本信息， 发出提示音， 终端振动， 指示灯闪烁等。 0067 消息管理器可用于存储各个APP上报的消息的数据， 并对各个APP上报的数据进行 处理。 具体地， 消息的数据可包括消息的ID(message ID)、 APP的ID(APPID)、 消息的处理状 态(status)、 产生时间(happen time)、 消息类型(msg type)及消息描述(description)。 其 中， 消息的处理状态可包括两种： 未处理、 已处理。 当消息的处理状态为未处理时， status字 段为0； 当消息的处理状态为已处理时， statu。

40、s字段为1。 0068 在一种可能的实现方式中， 消息管理器可以是通知管理器的一部分。 0069 系统运行库层240通过一些C/C+库来为Android系统提供了主要的特性支持。 如 SQLite库提供了数据库的支持， OpenGL/ES库提供了3D绘图的支持， Webkit库提供了浏览器 内核的支持等。 在系统运行库层240中还提供有安卓运行时库(Android Runtime)， 它主要 提供了一些核心库， 能够允许开发者使用Java语言来编写Android应用。 0070 Linux内核层220为终端100的各种硬件提供了底层的驱动， 如显示驱动、 音频驱 动、 摄像头驱动、 蓝牙驱动、。

41、 Wi-Fi驱动、 电源管理等。 0071 应理解， 本申请实施例所述的界面显示方法既可以应用于安卓系统， 也可以应用 于其他操作系统， 如IOS系统等， 此处仅以安卓系统为例进行说明， 但不构成限定。 0072 下面结合图1C对目前常见的终端形态进行详细说明， 可以理解的是， 本申请实施 例示意的结构并不构成对终端100的具体限定。 在本申请另一些实施例中， 终端100可以包 括比图示更多或更少的部件， 或者组合某些部件， 或者拆分某些部件， 或者不同的部件布 说明书 6/19 页 9 CN 111563466 A 9 置。 图示的部件可以以硬件， 软件或软件和硬件的组合实现。 0073 如。

42、图1C所示， 终端400包括系统级芯片410， 外部存储器接口420， 内部存储器421， 通用串行总线(universal serial bus， USB)接口430， 充电管理模块440， 电源管理模块 441， 电池442， 天线1， 天线2， 移动通信模块450， 无线通信模块460， 音频模块470， 扬声器 470A， 受话器470B， 麦克风470C， 耳机接口470D， 传感器模块480， 按键490， 马达491， 指示器 492， 摄像头493， 显示屏494， 红外发射器495， 以及用户标识模块(subscriber identification module， SIM。

43、)卡接口496等。 其中传感器模块480可以包括压力传感器 480A， 陀螺仪传感器480B， 气压传感器480C， 磁传感器480D， 加速度传感器480E， 距离传感器 480F， 接近光传感器480G， 指纹传感器480H， 温度传感器480J， 触摸传感器480K， 环境光传感 器480L， 骨传导传感器480M等。 0074 终端400的无线通信功能可以通过天线1， 天线2， 移动通信模块450， 无线通信模块 460， 调制解调处理器以及基带处理器等实现。 0075 天线1和天线2用于发射和接收电磁波信号。 终端400中的每个天线可用于覆盖单 个或多个通信频带。 不同的天线还可以复。

44、用， 以提高天线的利用率。 例如： 可以将天线1复用 为无线局域网的分集天线。 在另外一些实施例中， 天线可以和调谐开关结合使用。 0076 移动通信模块450可以提供应用在终端400上的包括2G/3G/4G/5G/6G等无线通信 的解决方案。 移动通信模块450可以包括至少一个滤波器， 开关， 功率放大器， 低噪声放大器 (low noise amplifier， LNA)等。 移动通信模块450可以由天线1接收电磁波， 并对接收的电 磁波进行滤波， 放大等处理， 传送至调制解调处理器进行解调。 移动通信模块450还可以对 经调制解调处理器调制后的信号放大， 经天线1转为电磁波辐射出去。 在。

45、一些实施例中， 移 动通信模块450的至少部分功能模块可以被设置于处理器440中。 在一些实施例中， 移动通 信模块450的至少部分功能模块可以与处理器440的至少部分模块被设置在同一个器件中。 0077 调制解调处理器可以包括调制器和解调器。 其中， 调制器用于将待发送的低频基 带信号调制成中高频信号。 解调器用于将接收的电磁波信号解调为低频基带信号。 随后解 调器将解调得到的低频基带信号传送至基带处理器处理。 低频基带信号经基带处理器处理 后， 被传递给应用处理器。 应用处理器通过音频设备(不限于扬声器470A， 受话器470B等)输 出声音信号， 或通过显示屏494显示图像或视频。 在一。

46、些实施例中， 调制解调处理器可以是 独立的器件。 在另一些实施例中， 调制解调处理器可以独立于处理器440， 与移动通信模块 450或其他功能模块设置在同一个器件中。 0078 无线通信模块460可以提供应用在终端400上的包括无线局域网(wireless local area networks， WLAN)(如无线保真(wireless fidelity， Wi-Fi)网络)， 蓝牙(bluetooth， BT)， 全球导航卫星系统(global navigation satellite system， GNSS)， 调频(frequency modulation， FM)， 近距离无线通信。

47、技术(near field communication， NFC)， 红外技术 (infrared， IR)等无线通信的解决方案。 无线通信模块460可以是集成至少一个通信处理模 块的一个或多个器件。 无线通信模块460经由天线2接收电磁波， 将电磁波信号调频以及滤 波处理， 将处理后的信号发送到处理器440。 无线通信模块460还可以从处理器440接收待发 送的信号， 对其进行调频， 放大， 经天线2转为电磁波辐射出去。 0079 在一些实施例中， 终端400的天线1和移动通信模块450耦合， 天线2和无线通信模 块460耦合， 使得终端400可以通过无线通信技术与网络以及其他设备通信。 所。

48、述无线通信 说明书 7/19 页 10 CN 111563466 A 10 技术可以包括全球移动通讯系统(global system for mobile communications， GSM)， 通 用分组无线服务(general packet radio service， GPRS)， 码分多址接入(code division multiple access， CDMA)， 宽带码分多址(wideband code division multiple access， WCDMA)， 时分码分多址(time-division code division multiple access， T。

49、D-SCDMA)， 长 期演进(long term evolution， LTE)， BT， GNSS， WLAN， NFC， FM， 和/或IR技术等。 所述GNSS可 以包括全球卫星定位系统(global positioning system， GPS)， 全球导航卫星系统(global navigation satellite system， GLONASS)， 北斗卫星导航系统(beidou navigation satellite system， BDS)， 准天顶卫星系统(quasi-zenith satellite system， QZSS)和/或 星基增强系统(satellit。

50、e based augmentation systems， SBAS)。 0080 充电管理模块440用于从充电器接收充电输入。 其中， 充电器可以是无线充电器， 也可以是有线充电器。 在一些有线充电的实施例中， 充电管理模块440可以通过USB接口430 接收有线充电器的充电输入。 在一些无线充电的实施例中， 充电管理模块440可以通过终端 400的无线充电线圈接收无线充电输入。 充电管理模块440为电池442充电的同时， 还可以通 过电源管理模块441为终端供电。 0081 电源管理模块441用于连接电池442， 充电管理模块440与处理器440。 电源管理模 块441接收电池442和/或。