用于视频中人像美化的图像处理方法及装置.pdf

《用于视频中人像美化的图像处理方法及装置.pdf》由会员分享，可在线阅读，更多相关《用于视频中人像美化的图像处理方法及装置.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010681774.0 (22)申请日 2020.07.15 (71)申请人 广州光锥元信息科技有限公司 地址 510000 广东省广州市天河区东郊工 业园建工路8号四楼402之一,402之二 (可作厂房使用) (72)发明人 林青山 (74)专利代理机构 北京细软智谷知识产权代理 有限责任公司 11471 代理人 谭承世 (51)Int.Cl. G06T 3/00(2006.01) G06K 9/00(2006.01) G06N 3/04(2006.01) (54)发明名。

2、称 用于视频中人像美化的图像处理方法及装 置 (57)摘要 本发明涉及一种用于视频中人像美化的图 像处理方法及装置， 包括获取视频并对视频进行 解码处理， 得到视频每一帧的帧图像； 通过移动 客户端中预设的第一神经网络模型和第二神经 网络模型对帧图像进行检测定位并输出定位信 息； 根据定位信息进行脸部处理和/或身材处理， 得到处理后的图像； 利用视频编码器和视频合成 器对处理后的图像进行处理， 输出优化后的视 频。 本发明通过对视频进行解码得到视频帧图像 数据， 结合第一神经网络模型和第二神经网络模 型检测定位到视频帧图像中的人脸和人体关键 点信息， 通过人脸和人体关键点信息进行人脸和 身体的。

3、优化处理， 达到对视频中人像进行美化的 效果， 并最终导出经过人像脸部和身材优化的视 频。 权利要求书2页 说明书10页 附图1页 CN 111861868 A 2020.10.30 CN 111861868 A 1.一种用于视频中人像美化的图像处理方法， 其特征在于， 包括： 获取视频并对视频进行解码处理， 得到所述视频每一帧的帧图像； 通过所述移动客户端中预设的第一神经网络模型和第二神经网络模型对所述帧图像 进行检测定位并输出定位信息； 其中， 所述第一神经网络模型用于接收输入图像， 并输出所 述输入图像中的人脸信息， 所述第二神经网络模型用于接收输入图像， 并输出所述输入图 像中的人体信。

4、息； 根据所述定位信息进行脸部处理和/或身材处理， 得到处理后的图像； 利用视频编码器和视频合成器对所述处理后的图像进行处理， 输出优化后的视频。 2.根据权利要求1所述的方法， 其特征在于， 所述定位信息包括： 人脸信息和人体信息； 所述人脸信息包括： 人脸关键点数据， 所述人脸关键点数据包括五官、 脸部轮廓在图像 中的二维坐标； 所述人体信息包括： 人体关键点数据， 所述人体关键点数据包括左肩、 右肩、 左肘、 右 肘、 左腕、 右腕、 左髋、 右髋、 左膝、 右膝、 左踝、 右踝在图像中的二维坐标。 3.根据权利要求2所述的方法， 其特征在于， 所述脸部处理， 包括： 在片段着色器设置顶。

5、点坐标组， 纹理坐标组， 当前视频帧图像， 人脸关键点数据， 获取 待操作的二维坐标点p； 其中， 所述待操作的二维坐标点包括多个； 在片段着色器中预设形变操作： p1F(p， o， t， r， w)； 当接收到形变操作指令时， 计算左瞳孔和右瞳孔的欧氏距离、 参考点； 根据所述左瞳孔和右瞳孔的欧氏距离和参考点在所述片段着色器中对待操作的二维 坐标点进行形变操作处理， 得到处理后的二维坐标点p2F(p， LKx， E1， L， w)， 将所述处理后 的二维坐标点作为从所述帧图像中采样的二维坐标点； 输出处理后的帧图像； 其中， p1为操作后二维坐标点； o为形变操作的原点； t为形变操作的目标。

6、点； r为形变半 径； w为形变程度； p2为处理后的二维坐标点； LKx为脸部轮廓点， 其中， LKx的x为变量； L为左 瞳孔和右瞳孔的欧氏距离； E1为参考点。 4.根据权利要求2所述的方法， 其特征在于， 所述身材处理， 包括： 腰部处理和腿部处理。 5.根据权利要求4所述的方法， 其特征在于， 所述腰部处理， 包括： 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人体关键点数据， 获取 待操作的二维坐标点p； 其中， 所述待操作的二维坐标点包括多个； 在片段着色器中预设形变操作： p1F(p， o， t， r， w)； 当接收到形变操作指令时， 计算肩部和的髋部欧氏距。

7、离、 左肩和右肩的水平距离、 腰部 参考线纵坐标、 左腰参考点和右腰参考点； 在片段着色器中， 根据肩部和的髋部欧氏距离、 左肩和右肩的水平距离、 腰部参考线纵 坐标、 左腰参考点和右腰参考点对待操作的二维坐标点进行形变操作处理， 得到处理后的 二维坐标点： P3F(p， E3， (E3+E4)*0.5， LSS*0.5， w)； P4F(p3， E4， (E3+E4)*0.5， LSS*0.5， w)； 将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点； 权利要求书 1/2 页 2 CN 111861868 A 2 输出处理后的帧图像； 其中， p4为处理后的二维坐标点， LSS为。

8、左肩和右肩的水平距离， E3为左腰参考点， E4为 右腰参考点。 6.根据权利要求4所述的方法， 其特征在于， 所述腿部处理， 包括： 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人体关键点数据， 获取 待操作的二维坐标点p； 其中， 所述待操作的二维坐标点包括多个； 在片段着色器中预设拉伸操作： 当接收到拉伸操作指令时， 计算上腹部参考线纵坐标、 髋部优化后的参考线纵坐标、 左 膝到视频帧图像底部的距离； 在片段着色器中， 根据所述计算上腹部参考线纵坐标、 髋部优化后的参考线纵坐标、 左 膝到视频帧图像底部的距离对待操作的二维坐标点进行拉伸操作处理， 得到处理后的二维 坐标。

9、点： 将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点； 输出处理后的帧图像。 7.根据权利要求1所述的方法， 其特征在于， 所述利用视频编码器和视频合成器对所述 处理后的图像进行处理， 输出优化后的视频， 包括： 创建一个视频文件、 一个视频编码器、 一个视频合成器； 通过所述视频编码器对处理后的图像的纹理数据进行编码， 得到视频编码数据； 利用所述视频合成器将所述视频编码数据合成到所述视频文件中并导出， 得到优化后 的视频。 8.根据权利要求1所述的方法， 其特征在于， 所述视频为通过移动客户端摄像头拍摄的视频或所述移动客户端中存储的视频。 9.一种用于视频中人像美化的图像处理装。

10、置， 其特征在于， 包括： 获取模块， 用于获取视频并对视频进行解码处理， 得到所述视频每一帧的帧图像； 检测定位模块， 用于通过所述移动客户端中预设的第一神经网络模型和第二神经网络 模型对所述帧图像进行检测定位并输出定位信息； 其中， 所述第一神经网络模型用于接收 输入图像， 并输出所述输入图像中的人脸信息， 所述第二神经网络模型用于接收输入图像， 并输出所述输入图像中的人体信息； 处理模块， 用于根据所述定位信息进行脸部处理和/或身材处理， 得到处理后的图像； 输出模块， 用于利用视频编码器和视频合成器对所述处理后的图像进行处理， 输出优 化后的视频。 10.根据权利要求9所述的装置， 其。

11、特征在于， 所述定位信息包括： 人脸信息和人体信息； 所述人脸信息包括： 人脸关键点数据， 所述人脸关键点数据包括五官、 脸部轮廓在图像 中的二维坐标； 所述人体信息包括： 人体关键点数据， 所述人体关键点数据包括左肩、 右肩、 左肘、 右 肘、 左腕、 右腕、 左髋、 右髋、 左膝、 右膝、 左踝、 右踝在图像中的二维坐标。 权利要求书 2/2 页 3 CN 111861868 A 3 用于视频中人像美化的图像处理方法及装置 技术领域 0001 本发明属于图像处理技术领域， 具体涉及一种用于视频中人像美化的图像处理方 法及装置。 背景技术 0002 由于移动终端应用的日益广泛， 用户获取人像。

12、视频的方式也愈加便捷， 用户对于 人像视频的编辑要求越来越高， 除了视频裁剪和剪辑、 添加滤镜和特效进行画面的美化外， 用户还需要对视频中的人像进行脸部优化、 身材优化处理， 以此提升视频美感。 0003 相关技术中， 在现有的这类视频拍摄、 编辑和美化应用中， 如果想对脸部进行美 化， 只能在实时拍摄中， 通过实时识别脸部， 来进行瘦脸、 大眼等调整， 达到美化脸部的效 果， 但无法针对身材进行实时的修改。 另一方面， 通过录像设备或者手机拍摄的视频， 这类 应用无法进行后期人脸和身材的编辑， 达不到后期对视频中的人像进行美化的效果。 因此， 现有技术中无法达到针对视频中人像进行美化的效果。。

13、 发明内容 0004 有鉴于此， 本发明的目的在于克服现有技术的不足， 提供一种用于视频中人像美 化的图像处理方法及装置， 以解决现有技术中无法针对视频中人像进行美化的问题。 0005 为实现以上目的， 本发明采用如下技术方案： 一种用于视频中人像美化的图像处 理方法， 包括： 0006 获取视频并对视频进行解码处理， 得到所述视频每一帧的帧图像； 0007 通过所述移动客户端中预设的第一神经网络模型和第二神经网络模型对所述帧 图像进行检测定位并输出定位信息； 其中， 所述第一神经网络模型用于接收输入图像， 并输 出所述输入图像中的人脸信息， 所述第二神经网络模型用于接收输入图像， 并输出所述。

14、输 入图像中的人体信息； 0008 根据所述定位信息进行脸部处理和/或身材处理， 得到处理后的图像； 0009 利用视频编码器和视频合成器对所述处理后的图像进行处理， 输出优化后的视 频。 0010 进一步的， 所述定位信息包括： 人脸信息和人体信息； 0011 所述人脸信息包括： 人脸关键点数据， 所述人脸关键点数据包括五官、 脸部轮廓在 图像中的二维坐标； 0012 所述人体信息包括： 人体关键点数据， 所述人体关键点数据包括左肩、 右肩、 左肘、 右肘、 左腕、 右腕、 左髋、 右髋、 左膝、 右膝、 左踝、 右踝在图像中的二维坐标。 0013 进一步的， 所述脸部处理， 包括： 001。

15、4 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人脸关键点数据， 获取待操作的二维坐标点p； 其中， 所述待操作的二维坐标点包括多个； 0015 在片段着色器中预设形变操作： p1F(p， o， t， r， w)； 说明书 1/10 页 4 CN 111861868 A 4 0016 当接收到形变操作指令时， 计算左瞳孔和右瞳孔的欧氏距离、 参考点； 0017 根据所述左瞳孔和右瞳孔的欧氏距离和参考点在所述片段着色器中对待操作的 二维坐标点进行形变操作处理， 得到处理后的二维坐标点p2F(p， LKx， E1， L， w)， 将所述处 理后的二维坐标点作为从所述帧图像中采样的。

16、二维坐标点； 0018 输出处理后的帧图像； 0019 其中， p1为操作后二维坐标点； o为形变操作的原点； t为形变操作的目标点； r为形 变半径； w为形变程度； p2为处理后的二维坐标点； LKx为脸部轮廓点， 其中， LKx的x为变量； L 为左瞳孔和右瞳孔的欧氏距离； E1为参考点。 0020 进一步的， 所述身材处理， 包括： 0021 腰部处理和腿部处理。 0022 进一步的， 所述腰部处理， 包括： 0023 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人体关键点数据， 获取待操作的二维坐标点p； 其中， 所述待操作的二维坐标点包括多个； 0024 在片段着。

17、色器中预设形变操作： p1F(p， o， t， r， w)； 0025 当接收到形变操作指令时， 计算肩部和的髋部欧氏距离、 左肩和右肩的水平距离、 腰部参考线纵坐标、 左腰参考点和右腰参考点； 0026 在片段着色器中， 根据肩部和的髋部欧氏距离、 左肩和右肩的水平距离、 腰部参考 线纵坐标、 左腰参考点和右腰参考点对待操作的二维坐标点进行形变操作处理， 得到处理 后的二维坐标点： 0027 P3F(p， E3， (E3+E4)*0.5， LSS*0.5， w)； 0028 P4F(p3， E4， (E3+E4)*0.5， LSS*0.5， w)； 0029 将所述处理后的二维坐标点作为从所。

18、述帧图像中采样的二维坐标点； 0030 输出处理后的帧图像； 0031 其中， p4为处理后的二维坐标点， LSS为左肩和右肩的水平距离， E3为左腰参考点， E4为右腰参考点。 0032 进一步的， 所述腿部处理， 包括： 0033 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人体关键点数据， 获取待操作的二维坐标点p； 其中， 所述待操作的二维坐标点包括多个； 0034 在片段着色器中预设拉伸操作： 0035 当接收到拉伸操作指令时， 计算上腹部参考线纵坐标、 髋部优化后的参考线纵坐 标、 左膝到视频帧图像底部的距离； 0036 在片段着色器中， 根据所述计算上腹部参考线。

19、纵坐标、 髋部优化后的参考线纵坐 标、 左膝到视频帧图像底部的距离对待操作的二维坐标点进行拉伸操作处理， 得到处理后 的二维坐标点： 0037 将所述处理后的二维坐标点作为从所述帧图像中采样的二维坐标点； 0038 输出处理后的帧图像。 0039 进一步的， 所述利用视频编码器和视频合成器对所述处理后的图像进行处理， 输 出优化后的视频， 包括： 0040 创建一个视频文件、 一个视频编码器、 一个视频合成器； 说明书 2/10 页 5 CN 111861868 A 5 0041 通过所述视频编码器对处理后的图像的纹理数据进行编码， 得到视频编码数据； 0042 利用所述视频合成器将所述视频编。

20、码数据合成到所述视频文件中并导出， 得到优 化后的视频。 0043 进一步的， 所述视频为通过移动客户端摄像头拍摄的视频或所述移动客户端中存 储的视频。 0044 本申请实施例提供一种用于视频中人像美化的图像处理装置， 包括： 0045 获取模块， 用于获取视频并对视频进行解码处理， 得到所述视频每一帧的帧图像； 0046 检测定位模块， 用于通过所述移动客户端中预设的第一神经网络模型和第二神经 网络模型对所述帧图像进行检测定位并输出定位信息； 其中， 所述第一神经网络模型用于 接收输入图像， 并输出所述输入图像中的人脸信息， 所述第二神经网络模型用于接收输入 图像， 并输出所述输入图像中的人。

21、体信息； 0047 处理模块， 用于根据所述定位信息进行脸部处理和/或身材处理， 得到处理后的图 像； 0048 输出模块， 用于利用视频编码器和视频合成器对所述处理后的图像进行处理， 输 出优化后的视频。 0049 进一步的， 所述定位信息包括： 人脸信息和人体信息； 0050 所述人脸信息包括： 人脸关键点数据， 所述人脸关键点数据包括五官、 脸部轮廓在 图像中的二维坐标； 0051 所述人体信息包括： 人体关键点数据， 所述人体关键点数据包括左肩、 右肩、 左肘、 右肘、 左腕、 右腕、 左髋、 右髋、 左膝、 右膝、 左踝、 右踝在图像中的二维坐标。 0052 本发明采用以上技术方案，。

22、 能够达到的有益效果包括： 0053 本发明提供一种用于视频中人像美化的图像处理方法， 通过对视频进行解码得到 视频帧图像数据， 结合第一神经网络模型和第二神经网络模型检测定位到视频帧图像中的 人脸和人体关键点信息， 通过人脸和人体关键点信息进行人脸和身体的优化处理， 达到对 视频中人像进行美化的效果， 并最终导出经过人像脸部和身材优化的视频。 本申请通过对 视频中脸部、 人体进行识别， 配合瘦身、 长腿和瘦脸的算法， 以达到对视频中的人像进行脸 部和身体的美化调整。 附图说明 0054 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简。

23、单地介绍， 显而易见地， 下面描述中的附图仅仅是本 发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图获得其他的附图。 0055 图1为本发明用于视频中人像美化的图像处理方法的步骤示意图； 0056 图2为本发明用于视频中人像美化的图像处理装置的结构示意图。 具体实施方式 0057 为使本发明的目的、 技术方案和优点更加清楚， 下面将对本发明的技术方案进行 详细的描述。 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基 说明书 3/10 页 6 CN 111861868 A 6 于本发明中的实施例， 本领域普通技术人员。

24、在没有做出创造性劳动的前提下所得到的所有 其它实施方式， 都属于本发明所保护的范围。 0058 下面结合附图介绍本申请实施例中提供的一个具体的用于视频中人像美化的图 像处理方法。 0059 如图1所示， 本申请实施例中提供的用于视频中人像美化的图像处理方法包括： 0060 S101， 获取视频并对视频进行解码处理， 得到视频每一帧的帧图像； ； 0061 移动客户端通过摄像头拍摄视频， 或者移动客户端中存储的视频， 移动客户端首 先获取视频， 然后对视频进行解码处理， 得到连续的帧图像。 0062 S102， 通过移动客户端中预设的第一神经网络模型和第二神经网络模型对帧图像 进行检测定位并输出。

25、定位信息； 其中， 第一神经网络模型用于接收输入图像， 并输出输入图 像中的人脸信息， 第二神经网络模型用于接收输入图像， 并输出输入图像中的人体信息； 0063 本申请中， 首先在移动客户端中预设第一神经网络模型和第二神经网络模型， 然 后对第一神经网络模型进行训练， 获取多张含有完整人脸的图像作为训练图像对移动客户 端中预设的第一神经网络模型进行训练。 第一神经网络模型可接收输入图像， 输出图像中 的人脸信息。 对第一神经网络模型进行训练， 获取多张含有完整人体的图像作为训练图像 对移动客户端中预设的第二神经网络模型进行训练。 第二神经网络模型可接收输入图像， 输出图像中的人体信息。 00。

26、64 第一神经网络模型对视频每一帧的图像数据， 使用第一神经网络模型进行检测定 位， 当且仅当第一神经网络模型检测定位到图像中的人脸关键点数据时， 将人脸关键点数 据进行脸部优化处理。 0065 第二神经网络模型对视频每一帧的图像数据， 使用第二神经网络模型进行检测定 位， 当且仅当第二神经网络模型检测定位到图像中的人体关键点数据时， 将人体关键点数 据进行身材优化处理。 0066 S103， 对定位信息进行脸部处理和/或身材处理， 得到处理后的图像； 0067 本申请可根据定位信息进行相应处理， 如果检测定位到脸部信息， 则对脸部信息 进行脸部处理， 如果检测定位到身材信息， 则对身材信息进。

27、行身材处理。 本申请可进行脸部 处理、 身材处理中的一种或多种。 0068 S104， 利用视频编码器和视频合成器对处理后的图像进行处理， 输出优化后的视 频。 0069 将优化处理后得到的帧图像， 进行合成为视频， 输出优化后的视频。 0070 用于视频中人像美化的图像处理方法的工作原理为： 本发明通过对视频进行解码 得到视频帧图像数据， 结合第一神经网络模型和第二神经网络模型检测定位到视频帧图像 中的人脸和人体关键点信息， 通过人脸和人体关键点信息进行人脸和身体的优化处理， 达 到对视频中人像进行美化的效果， 并最终导出经过人像脸部和身材优化的视频。 0071 本申请通过对视频中脸部、 人。

28、体进行识别， 配合瘦身、 长腿和瘦脸的算法， 以达到 对视频中的人像进行脸部和身体的美化调整。 0072 一些实施例中， 定位信息包括： 人脸信息和人体信息； 0073 人脸信息包括： 人脸关键点数据， 人脸关键点数据包括五官、 脸部轮廓在图像中的 二维坐标； 说明书 4/10 页 7 CN 111861868 A 7 0074 人体信息包括： 人体关键点数据， 人体关键点数据包括左肩、 右肩、 左肘、 右肘、 左 腕、 右腕、 左髋、 右髋、 左膝、 右膝、 左踝、 右踝在图像中的二维坐标。 0075 需要说明的是， 本申请中的人脸关键点数据和人体关键点数据不仅包括上述数 据， 还可以包括其。

29、他关键点数据， 具体可根据用户需要进行设定。 0076 一些实施例中， 脸部处理， 包括： 0077 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人脸关键点数据， 获取待操作的二维坐标点p； 其中， 待操作的二维坐标点包括多个； 0078 在片段着色器中预设形变操作： p1F(p， o， t， r， w)； 0079 当接收到形变操作指令时， 计算左瞳孔和右瞳孔的欧氏距离、 参考点； 0080 根据左瞳孔和右瞳孔的欧氏距离和参考点在片段着色器中对待操作的二维坐标 点进行形变操作处理， 得到处理后的二维坐标点p2F(p， LKx， E1， L， w)， 将处理后的二维坐 标点作。

30、为从帧图像中采样的二维坐标点； 0081 输出处理后的帧图像； 0082 其中， p1为操作后二维坐标点； o为形变操作的原点； t为形变操作的目标点； r为形 变半径； w为形变程度； p2为处理后的二维坐标点； LKx为脸部轮廓点， 其中， LKx的x为变量； L 为左瞳孔和右瞳孔的欧氏距离； E1为参考点。 0083 具体的， 本申请中对脸部处理的具体步骤如下： 0084 在片段着色器中定义一个形变操作p1F(p， o， t， r， w)， p为视频帧图像上待操作 的二维坐标点， o为形变操作的原点， t为形变操作的目标点， r为形变半径， w为形变程度， 程 度越大形变效果越明显， 则。

31、有形变操作公式： 0085 p1F(p， o， t， r， w) 0086 p-(t-o)*w*clamp(1.0-sqrt(p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y)/ r， 0.0， 1.0)； 0087 其中clamp为将第一个输入参数值限定在第二个输入参数值和第三个输入参数值 之间的操作， sqrt为开平方计算操作。 0088 当且仅当存在人脸关键点数据输入时， 为着色器程序设置顶点坐标组， 纹理坐标 组， 当前视频帧图像， 当前人脸关键点数据， 否则， 跳过脸部优化处理步骤， 进入身材优化处 理步骤。 0089 计算左瞳孔和右瞳孔的欧氏距离， 009。

32、0 Lsqrt(A1.x-B1.x)*(A1.x-B1.x)+(A1.y-B1.y)*(A1.y-B1.y) 0091 其中， A1.x为检测定位到的左瞳孔关键点的横坐标值； A1.y为检测定位到的左瞳 孔关键点的纵坐标值； B1.x为检测定位到的右瞳孔关键点的横坐标值； B1.y为检测定位到 的右瞳孔关键点的纵坐标值； sqrt为开平方计算操作。 0092 计算参考点E1， E1(A2+B2)*0.5， 0093 其中， A2为检测定位到的鼻子关键点二维坐标， B2为检测定位到的下颚关键点二 维坐标。 0094 在片段着色器中， 遍历每一个二维坐标点点坐标p， 进行以下形变操作： 0095 。

33、对于N个脸部轮廓点LKxLK0， LK1， LK2.LKN， 均采用p2F(p， LKx， E1， L， w)， LKx的x是一个变量的概念， 假如脸部轮廓点有5个， 则脸部轮廓点分别是LK0， LK1， LK2， LK3， 说明书 5/10 页 8 CN 111861868 A 8 LK4； 0096 对于p， 则有5次操作： 0097 paF(p， LK0， E1， L， w)； 0098 pbF(pa， LK1， E1， L， w)； 0099 pcF(pb， LK2， E1， L， w)； 0100 pdF(pc， LK3， E1， L， w)； 0101 peF(pd， LK4， E。

34、1， L， w)； 0102 最后得到， ppe； 也就是说， p经过5次形变操作后得到。 其中所述的F的运算公式 为F(p， o， t， r， w) 0103 p-(t-o)*w*clamp(1.0-sqrt(p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y)/ r， 0.0， 1.0)； 0104 形变操作完毕后将p作为该二维坐标点实际从视频帧图像中采样的二维坐标点； 0105 则gl_FragColortexture2D(uTexture， p)； 0106 其中uTexture为视频帧图像纹理， gl_FragColor和texture2D均为OpenGL着色。

35、器 语言中定义的操作和概念。 0107 当所有二维坐标点遍历完成后， 则得到脸部优化后的视频帧图像。 0108 一些实施例中， 身材处理， 包括： 0109 腰部处理和腿部处理。 0110 具体的， 身材优化处理分为腰部优化处理和腿部优化处理， 处理流程中， 先将视频 帧图像和人体信息输入腰部优化处理， 得到腰部优化后的视频帧图像， 再将腰部优化后的 视频帧图像和人体信息输入腿部优化处理， 最终得到身材优化后的视频帧图像。 0111 一些实施例中， 腰部处理， 包括： 0112 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人体关键点数据， 获取待操作的二维坐标点p； 其中， 。

36、待操作的二维坐标点包括多个； 0113 在片段着色器中预设形变操作： p1F(p， o， t， r， w)； 0114 当接收到形变操作指令时， 计算肩部和的髋部欧氏距离、 左肩和右肩的水平距离、 腰部参考线纵坐标、 左腰参考点和右腰参考点； 0115 在片段着色器中， 根据肩部和的髋部欧氏距离、 左肩和右肩的水平距离、 腰部参考 线纵坐标、 左腰参考点和右腰参考点对待操作的二维坐标点进行形变操作处理， 得到处理 后的二维坐标点： 0116 P3F(p， E3， (E3+E4)*0.5， LSS*0.5， w)； 0117 P4F(p3， E4， (E3+E4)*0.5， LSS*0.5， w。

37、)； 0118 将处理后的二维坐标点作为从帧图像中采样的二维坐标点； 输出处理后的帧图 像； 0119 其中， p4为处理后的二维坐标点， LSS为左肩和右肩的水平距离， E3为左腰参考点， E4为右腰参考点。 0120 具体的， 腰部处理的具体步骤为： 0121 在片段着色器中定义一个形变操作p1F(p， o， t， r， w)， p为视频帧图像上待操作 的二维坐标点， o为形变操作的原点， t为形变操作的目标点， r为形变半径， w为形变程度， 程 说明书 6/10 页 9 CN 111861868 A 9 度越大形变效果越明显， 则有形变公式： 0122 p1F(p， o， t， r， 。

38、w) 0123 p-(t-o)*w*clamp(1.0-sqrt(p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y)/ r， 0.0， 1.0)； 0124 其中， clamp为将第一个输入参数值限定在第二个输入参数值和第三个输入参数 值之间的操作， sqrt为开平方计算操作。 0125 当且仅当存在人体关键点数据输入时， 为着色器程序设置顶点坐标组， 纹理坐标 组， 当前视频帧图像， 当前人体关键点数据， 否则， 跳过腰部处理步骤， 进入视频编码步骤。 0126 计算肩部和的髋部欧氏距离； 0127 LSHsqrt(A3.x-B3.x)*(A3.x-B3.x)+(A。

39、3.y-B3.y)*(A3.y-B3.y) 0128 其中， A3.x为检测定位到的左肩关键点的横坐标值， A3.y为检测定位到的左肩关 键点的纵坐标值， B3.x为检测定位到的左髋关键点的横坐标值， B3.y为检测定位到的左髋 关键点的纵坐标值， sqrt为开平方计算操作。 0129 计算左肩和右肩的水平距离， LSSA4.x-A3.x； 0130 其中， A3.x为检测定位到的左肩关键点的横坐标值， A4.x为检测定位到的右肩关 键点的横坐标值。 0131 计算腰部参考线纵坐标， E20.5*(B3.y+B4.y)+LSS*0.4； 0132 其中， B3.y为检测定位到的左髋关键点的纵坐。

40、标值， B4.y为检测定位到的右髋关 键点的纵坐标值。 0133 计算左腰参考点E3和右腰参考点E4， E3(B3.x， E2)； E4(B4.x， E2) 0134 其中， B3.x为检测定位到的左髋关键点的横坐标值， B4.x为检测定位到的右髋关 键点的横坐标值。 0135 在片段着色器中， 遍历每一个二维坐标点点坐标p， 进行以下形变操作： 0136 P3F(p， E3， (E3+E4)*0.5， LSS*0.5， w)， 0137 P4F(p3， E4， (E3+E4)*0.5， LSS*0.5， w)， 0138 pP4； 0139 也就是说此处对于p经过形变操作后得到p3， 然后p。

41、3再次进行形变操作得到p4， 最 后将p更新为p4。 其中所述F的表达式为F(p， o， t， r， w) 0140 p-(t-o)*w*clamp(1.0-sqrt(p.x-o.x)*(p.x-o.x)+(p.y-o.y)*(p.y-o.y)/ r， 0.0， 1.0)； 0141 形变操作完毕后将p作为该二维坐标点实际从视频帧图像中采样的二维坐标点， 则gl_FragColortexture2D(uTexture， p)； 0142 其中uTexture为视频帧图像纹理， gl_FragColor和texture2D均为OpenGL着色器 语言中定义的操作和概念。 0143 当所有二维坐标。

42、点遍历完成后， 则得到腰部优化后的视频帧图像。 0144 一些实施例中， 腿部处理， 包括： 0145 在片段着色器设置顶点坐标组， 纹理坐标组， 当前视频帧图像， 人体关键点数据， 获取待操作的二维坐标点p； 其中， 待操作的二维坐标点包括多个； 0146 在片段着色器中预设拉伸操作： 说明书 7/10 页 10 CN 111861868 A 10 0147 当接收到拉伸操作指令时， 计算上腹部参考线纵坐标、 髋部优化后的参考线纵坐 标、 左膝到视频帧图像底部的距离； 0148 在片段着色器中， 根据计算上腹部参考线纵坐标、 髋部优化后的参考线纵坐标、 左 膝到视频帧图像底部的距离对待操作的。

43、二维坐标点进行拉伸操作处理， 得到处理后的二维 坐标点： 0149 将处理后的二维坐标点作为从帧图像中采样的二维坐标点； 0150 输出处理后的帧图像。 0151 具体的， 腿部处理的具体流程为； 0152 在片段着色器中定义一个拉伸操作remap(x， a， b， c， d)mix(c， d， (x-a)/(b-a)， 其中mix为OpenGL着色器语言中定义的线性混合计算， x为待处理的数值， xa且xa， 通过remap可得到一个新的值x1， x1c且x1c， 运算方式为x1mix(c， d， (x- a)/(b-a)。 0153 当且仅当存在人体关键点数据输入时， 为着色器程序设置顶点。

44、坐标组， 纹理坐标 组， 当前视频帧图像， 当前人体关键点数据， 否则， 跳过腿部优化单元， 进入视频编码模块。 0154 计算上腹部参考线纵坐标YE1， YE1B3.y-LSH*0.4； 0155 计算髋部优化后的参考线纵坐标YE2； YE2B3.y-LSH*w， 其中需保证YE2YE1； 0156 计算左膝到视频帧图像底部的距离YE3， YE3height-C1.y 0157 其中， height为视频帧图像的高度， C1.y为检测定位到的左膝关键点的纵坐标值。 0158 在片段着色器中， 遍历每一个像素点坐标p， 进行以下拉伸操作： 0159 当YE1小于等于0或YE2小于等于0或YE3。

45、小于等于height/20， 则不进行拉伸操作， p.y维持不变； 0160 当p.y小于等于YE1时， 0161 p.yremap(p.y， 0.0， YE1， 0.0， YE1/height)； 0162 当p.y大于YE1小于等于YE2时， 0163 p.yremap(p.y， YE1， YE2， YE1/height， YE2/height)； 0164 当p.y大于YE2小于等于左膝关键点纵坐标C1.y时， 0165 p.yremap(p.y， YE2， C1.y， YE2/height， C1.y/height)； 0166 当p.y大于左膝关键点纵坐标C1.y时， 0167 p.。

46、yremap(p.y， C1.y， height， C1.y/height， max(1.0-(YE3*0.15/height)*w， C1.y/height) 0168 其中p.y为像素点坐标p的纵坐标， w为拉伸程度， 程度越大， 拉伸效果越明显。 0169 拉伸操作完毕后将p作为该像素坐标点实际从视频帧图像中采样的像素坐标点， 则gl_FragColortexture2D(uTexture， p)； 0170 其中uTexture为视频帧图像纹理， gl_FragColor和texture2D均为OpenGL着色器 语言中定义的操作和概念。 0171 当所有像素遍历完成后， 则得到腿部优。

47、化后的视频帧图像。 0172 一些实施例中， 利用视频编码器和视频合成器对处理后的图像进行处理， 输出优 化后的视频， 包括： 0173 创建一个视频文件、 一个视频编码器、 一个视频合成器； 说明书 8/10 页 11 CN 111861868 A 11 0174 通过视频编码器对处理后的图像的纹理数据进行编码， 得到视频编码数据； 0175 利用视频合成器将视频编码数据合成到视频文件中并导出， 得到优化后的视频。 0176 具体的， 创建一个视频文件、 一个视频编码器和一个视频合成器； 0177 在身材优化处理每次渲染完毕后， 通过视频编码器对纹理数据进行编码， 得到视 频编码数据； 01。

48、78 利用视频合成器将视频编码数据合成到视频文件中并导出， 得到脸部和身材优化 效果视频。 0179 优选的， 视频为通过移动客户端摄像头拍摄的视频或移动客户端中存储的视频。 0180 一些实施例中， 如图2所示， 本申请提供一种用于视频中人像美化的图像处理装 置， 包括： 0181 获取模块201， 用于获取视频并对视频进行解码处理， 得到视频每一帧的帧图像； 0182 检测定位模块202， 用于通过移动客户端中预设的第一神经网络模型和第二神经 网络模型对帧图像进行检测定位并输出定位信息； 其中， 第一神经网络模型用于接收输入 图像， 并输出输入图像中的人脸信息， 第二神经网络模型用于接收输。

49、入图像， 并输出输入图 像中的人体信息； 0183 处理模块203， 用于对定位信息进行脸部处理和/或身材处理， 得到处理后的图像； 0184 输出模块204， 用于利用视频编码器和视频合成器对处理后的图像进行处理， 输出 优化后的视频。 0185 本申请提供的用于视频中人像美化的图像处理装置的工作原理为， 获取模块201 获取视频并对视频进行解码处理， 得到视频每一帧的帧图像； 检测定位模块202通过移动客 户端中预设的第一神经网络模型和第二神经网络模型对帧图像进行检测定位并输出定位 信息； 其中， 第一神经网络模型用于接收输入图像， 并输出输入图像中的人脸信息， 第二神 经网络模型用于接收。

50、输入图像， 并输出输入图像中的人体信息； 处理模块203对定位信息进 行脸部处理和/或身材处理， 得到处理后的图像； 输出模块204利用视频编码器和视频合成 器对处理后的图像进行处理， 输出优化后的视频。 0186 优选的， 定位信息包括： 人脸信息和人体信息； 0187 人脸信息包括： 人脸关键点数据， 人脸关键点数据包括五官、 脸部轮廓在图像中的 二维坐标； 0188 人体信息包括： 人体关键点数据， 人体关键点数据包括左肩、 右肩、 左肘、 右肘、 左 腕、 右腕、 左髋、 右髋、 左膝、 右膝、 左踝、 右踝在图像中的二维坐标。 0189 本申请实施例提供一种计算机设备， 包括处理器，。