视频编码方法、装置、电子设备及存储介质.pdf

《视频编码方法、装置、电子设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《视频编码方法、装置、电子设备及存储介质.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910610948.1 (22)申请日 2019.07.08 (71)申请人 北京达佳互联信息技术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 张元尊郑云飞闻兴于冰 (74)专利代理机构 北京三高永信知识产权代理 有限责任公司 11138 代理人 祝亚男 (51)Int.Cl. H04N 19/167(2014.01) H04N 19/117(2014.01) H04N 19/184(2014.01) H04N 21/218。

2、7(2011.01) H04N 21/234(2011.01) H04N 21/44(2011.01) H04N 21/431(2011.01) H04N 21/4728(2011.01) H04N 21/2662(2011.01) (54)发明名称 视频编码方法、 装置、 电子设备及存储介质 (57)摘要 本公开关于一种视频编码方法、 装置、 电子 设备及存储介质， 属于视频处理技术领域。 所述 方法包括： 获取待编码的视频， 所述视频包括多 个第一视频帧； 对所述多个第一视频帧中除感兴 趣区域以外的区域进行平滑处理， 得到多个第二 视频帧， 所述平滑处理用于减小所述区域内的每 个像素点与邻。

3、域像素点之间的像素值差异； 对所 述多个第二视频帧进行编码， 得到编码后的视 频。 本公开可以节省编码比特数， 减少传输时网 络带宽的消耗。 权利要求书2页 说明书14页 附图4页 CN 110213587 A 2019.09.06 CN 110213587 A 1.一种视频编码方法， 其特征在于， 包括： 获取待编码的视频， 所述视频包括多个第一视频帧； 对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理， 得到多个第二视频 帧， 所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差异； 对所述多个第二视频帧进行编码， 得到编码后的视频。 2.根据权利要求1所述的视频编。

4、码方法， 其特征在于， 所述对所述多个第一视频帧中除 感兴趣区域以外的区域进行平滑处理， 得到多个第二视频帧， 包括： 对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理， 得到所述多个 第二视频帧。 3.根据权利要求2所述的视频编码方法， 其特征在于， 所述对所述多个第一视频帧中除 感兴趣区域以外的区域进行低通滤波处理， 得到所述多个第二视频帧， 包括： 对所述多个第一视频帧进行低通滤波处理， 得到多个第三视频帧； 对每个第一视频帧以及对应的第三视频帧进行加权处理， 得到每个第一视频帧对应的 第二视频帧； 其中， 第一视频帧中感兴趣区域内的像素点的加权系数为1， 且第一视频帧中除感。

5、兴趣 区域以外的区域内的像素点距离感兴趣区域越近加权系数越大， 第三视频帧中感兴趣区域 内的像素点的加权系数为0， 且第三视频帧中除感兴趣区域以外的区域内的像素点距离感 兴趣区域越近加权系数越小。 4.根据权利要求1至3任一项所述的视频编码方法， 其特征在于， 所述除感兴趣区域以 外的区域的局部区域用于显示文字， 所述对所述多个第一视频帧中除感兴趣区域以外的区 域进行平滑处理， 得到多个第二视频帧之后， 所述方法还包括： 对所述多个第二视频帧中的所述局部区域进行加黑处理， 得到加黑处理后的多个第二 视频帧， 所述局部区域内与所述感兴趣区域的距离越远的像素点的加黑程度越重； 所述对所述多个第二视。

6、频帧进行编码， 得到编码后的视频， 包括： 对所述加黑处理后的多个第二视频帧进行编码， 得到编码后的视频。 5.根据权利要求4所述的视频编码方法， 其特征在于， 所述对所述多个第二视频帧中的 所述局部区域进行加黑处理， 得到加黑处理后的多个第二视频帧， 包括： 将所述多个第二视频帧乘以加黑系数， 得到加黑处理后的多个第二视频帧； 其中， 所述多个第二视频帧中所述感兴趣区域内的像素点的加黑系数为1， 所述多个第 二视频帧中所述局部区域内的像素点的加黑系数小于1， 且所述局部区域内与所述感兴趣 区域的距离越远的像素点的加黑系数越小， 加黑系数越小加黑程度越重。 6.根据权利要求2所述的视频编码方法。

7、， 其特征在于， 所述低通滤波为高斯滤波， 所述 对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理， 包括： 采用不同标准差的高斯滤波， 对所述多个第一视频帧中除感兴趣区域以外的区域内的 不同像素点进行处理， 与所述感兴趣区域的距离越近的像素点采用标准差越小的高斯滤 波。 7.根据权利要求1所述的视频编码方法， 其特征在于， 所述视频为任一用户的直播视 频， 所述感兴趣区域为所述用户的显示区域。 8.一种视频编码装置， 其特征在于， 包括： 权利要求书 1/2 页 2 CN 110213587 A 2 获取单元， 被配置为执行获取待编码的视频， 所述视频包括多个第一视频帧； 处理单。

8、元， 被配置为执行对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑 处理， 得到多个第二视频帧， 所述平滑处理用于减小所述区域内的每个像素点与邻域像素 点之间的像素值差异； 编码单元， 被配置为执行对所述多个第二视频帧进行编码， 得到编码后的视频。 9.一种电子设备， 其特征在于， 包括： 一个或多个处理器； 用于存储所述一个或多个处理器可执行指令的一个或多个存储器； 其中， 所述一个或多个处理器被配置为执行所述指令， 以实现如权利要求1至7中任一 项所述的视频编码方法。 10.一种存储介质， 当所述存储介质中的指令由电子设备的处理器执行时， 使得电子设 备能够执行如权利要求1至7中任一项。

9、所述的视频编码方法。 权利要求书 2/2 页 3 CN 110213587 A 3 视频编码方法、 装置、 电子设备及存储介质 技术领域 0001 本公开涉及视频处理技术领域， 尤其涉及一种视频编码方法、 装置、 电子设备及存 储介质。 背景技术 0002 视频直播目前已经有很多的受众， 利用视频编码技术提供清晰、 画面流畅的直播 视频对用户的观看体验至关重要。 0003 相关技术中， 视频编码方法如下： 终端在获取待编码的视频时， 对视频的视频帧直 接采用一定的编码比特数进行编码， 得到的视频整体上能够呈现出比较清晰的画面。 0004 上述技术对视频帧进行编码时， 采用的编码比特数较多， 在。

10、传输时需要消耗较多 的网络带宽。 发明内容 0005 本公开提供一种视频编码方法、 装置、 电子设备及存储介质， 以至少解决相关技术 中编码比特数较多、 需要消耗较多的网络带宽的问题。 本公开的技术方案如下： 0006 根据本公开实施例的第一方面， 提供一种视频编码方法， 包括： 0007 获取待编码的视频， 所述视频包括多个第一视频帧； 0008 对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理， 得到多个第二 视频帧， 所述平滑处理用于减小所述区域内的每个像素点与邻域像素点之间的像素值差 异； 0009 对所述多个第二视频帧进行编码， 得到编码后的视频。 0010 在一种可能实现方。

11、式中， 所述对所述多个第一视频帧中除感兴趣区域以外的区域 进行平滑处理， 得到多个第二视频帧， 包括： 0011 对所述多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理， 得到所述 多个第二视频帧。 0012 在一种可能实现方式中， 所述对所述多个第一视频帧中除感兴趣区域以外的区域 进行低通滤波处理， 得到所述多个第二视频帧， 包括： 0013 对所述多个第一视频帧进行低通滤波处理， 得到多个第三视频帧； 0014 对每个第一视频帧以及对应的第三视频帧进行加权处理， 得到每个第一视频帧对 应的第二视频帧； 0015 其中， 第一视频帧中感兴趣区域内的像素点的加权系数为1， 且第一视频帧中。

12、除感 兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大， 第三视频帧中感兴趣 区域内的像素点的加权系数为0， 且第三视频帧中除感兴趣区域以外的区域内的像素点距 离感兴趣区域越近加权系数越小。 0016 在一种可能实现方式中， 所述除感兴趣区域以外的区域的局部区域用于显示文 字， 所述对所述多个第一视频帧中除感兴趣区域以外的区域进行平滑处理， 得到多个第二 说明书 1/14 页 4 CN 110213587 A 4 视频帧之后， 所述方法还包括： 0017 对所述多个第二视频帧中的所述局部区域进行加黑处理， 得到加黑处理后的多个 第二视频帧， 所述局部区域内与所述感兴趣区域的距离越远的。

13、像素点的加黑程度越重； 0018 所述对所述多个第二视频帧进行编码， 得到编码后的视频， 包括： 0019 对所述加黑处理后的多个第二视频帧进行编码， 得到编码后的视频。 0020 在一种可能实现方式中， 所述对所述多个第二视频帧中的所述局部区域进行加黑 处理， 得到加黑处理后的多个第二视频帧， 包括： 0021 将所述多个第二视频帧乘以加黑系数， 得到加黑处理后的多个第二视频帧； 0022 其中， 所述多个第二视频帧中所述感兴趣区域内的像素点的加黑系数为1， 所述多 个第二视频帧中所述局部区域内的像素点的加黑系数小于1， 且所述局部区域内与所述感 兴趣区域的距离越远的像素点的加黑系数越小， 。

14、加黑系数越小加黑程度越重。 0023 在一种可能实现方式中， 所述低通滤波为高斯滤波， 所述对所述多个第一视频帧 中除感兴趣区域以外的区域进行低通滤波处理， 包括： 0024 采用不同标准差的高斯滤波， 对所述多个第一视频帧中除感兴趣区域以外的区域 内的不同像素点进行处理， 与所述感兴趣区域的距离越近的像素点采用标准差越小的高斯 滤波。 0025 在一种可能实现方式中， 所述视频为任一用户的直播视频， 所述感兴趣区域为所 述用户的显示区域。 0026 根据本公开实施例的第二方面， 提供一种视频编码装置， 包括： 0027 获取单元， 被配置为执行获取待编码的视频， 所述视频包括多个第一视频帧；。

15、 0028 处理单元， 被配置为执行对所述多个第一视频帧中除感兴趣区域以外的区域进行 平滑处理， 得到多个第二视频帧， 所述平滑处理用于减小所述区域内的每个像素点与邻域 像素点之间的像素值差异； 0029 编码单元， 被配置为执行对所述多个第二视频帧进行编码， 得到编码后的视频。 0030 在一种可能实现方式中， 所述处理单元被配置为执行对所述多个第一视频帧中除 感兴趣区域以外的区域进行低通滤波处理， 得到所述多个第二视频帧。 0031 在一种可能实现方式中， 所述处理单元被配置为执行： 0032 对所述多个第一视频帧进行低通滤波处理， 得到多个第三视频帧； 0033 对每个第一视频帧以及对应。

16、的第三视频帧进行加权处理， 得到每个第一视频帧对 应的第二视频帧； 0034 其中， 第一视频帧中感兴趣区域内的像素点的加权系数为1， 且第一视频帧中除感 兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大， 第三视频帧中感兴趣 区域内的像素点的加权系数为0， 且第三视频帧中除感兴趣区域以外的区域内的像素点距 离感兴趣区域越近加权系数越小。 0035 在一种可能实现方式中， 所述除感兴趣区域以外的区域的局部区域用于显示文 字， 所述处理单元还被配置为执行对所述多个第二视频帧中的所述局部区域进行加黑处 理， 得到加黑处理后的多个第二视频帧， 所述局部区域内与所述感兴趣区域的距离越远的 像。

17、素点的加黑程度越重； 0036 所述编码单元被配置为执行对所述加黑处理后的多个第二视频帧进行编码， 得到 说明书 2/14 页 5 CN 110213587 A 5 编码后的视频。 0037 在一种可能实现方式中， 所述处理单元被配置为执行将所述多个第二视频帧乘以 加黑系数， 得到加黑处理后的多个第二视频帧； 0038 其中， 所述多个第二视频帧中所述感兴趣区域内的像素点的加黑系数为1， 所述多 个第二视频帧中所述局部区域内的像素点的加黑系数小于1， 且所述局部区域内与所述感 兴趣区域的距离越远的像素点的加黑系数越小， 加黑系数越小加黑程度越重。 0039 在一种可能实现方式中， 所述低通滤波。

18、为高斯滤波， 所述处理单元被配置为执行 采用不同标准差的高斯滤波， 对所述多个第一视频帧中除感兴趣区域以外的区域内的不同 像素点进行处理， 与所述感兴趣区域的距离越近的像素点采用标准差越小的高斯滤波。 0040 在一种可能实现方式中， 所述视频为任一用户的直播视频， 所述感兴趣区域为所 述用户的显示区域。 0041 根据本公开实施例的第三方面， 提供一种电子设备， 包括： 0042 一个或多个处理器； 0043 用于存储所述一个或多个处理器可执行指令的一个或多个存储器； 0044 其中， 所述一个或多个处理器被配置为执行所述指令， 以实现如第一方面或第一 方面的任一种可能实现方式所述的视频编码。

19、方法。 0045 根据本公开实施例的第四方面， 提供了一种存储介质， 当所述存储介质中的指令 由电子设备的处理器执行时， 使得电子设备能够执行如第一方面或第一方面的任一种可能 实现方式所述的视频编码方法。 0046 根据本公开实施例的第五方面， 提供一种计算机程序产品， 当所述计算机程序产 品中的指令由电子设备的处理器执行时， 使得电子设备能够执行如第一方面或第一方面的 任一种可能实现方式所述的视频编码方法。 0047 本公开的实施例提供的技术方案至少带来以下有益效果： 0048 通过在对视频进行编码之前， 对视频中感兴趣区域以外的区域进行平滑处理， 使 得该区域内的每个像素点与邻域像素点之间。

20、的像素值差异变小， 这样在编码时由于非感兴 趣区域内的各个像素点与邻域像素点之间的像素值差异变小， 也即是， 高频信息减少， 从而 可以使用较少的比特数来编码， 从整体上可以节省编码比特数， 减少传输时网络带宽的消 耗。 0049 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本公开。 附图说明 0050 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本公开的实施 例， 并与说明书一起用于解释本公开的原理， 并不构成对本公开的不当限定。 0051 图1是根据一示例性实施例示出的一种视频编码方法的流程图。 0052 图2是根据一示例性实施例示出的。

21、一种视频编码方法的流程图。 0053 图3是根据一示例性实施例示出的一种用户界面的示意图。 0054 图4是根据一示例性实施例示出的一种用户界面中区域划分的示意图。 0055 图5是根据一示例性实施例示出的一种视频编码装置的框图。 说明书 3/14 页 6 CN 110213587 A 6 0056 图6是根据一示例性实施例示出的一种终端600的框图。 0057 图7是根据一示例性实施例示出的一种服务器700的框图。 具体实施方式 0058 为了使本领域普通人员更好地理解本公开的技术方案， 下面将结合附图， 对本公 开实施例中的技术方案进行清楚、 完整地描述。 0059 需要说明的是， 本公开。

22、的说明书和权利要求书及上述附图中的术语 “第一” 、“第 二” 等是用于区别类似的对象， 而不必用于描述特定的顺序或先后次序。 应该理解这样使用 的数据在适当情况下可以互换， 以便这里描述的本公开的实施例能够以除了在这里图示或 描述的那些以外的顺序实施。 以下示例性实施例中所描述的实施方式并不代表与本公开相 一致的所有实施方式。 相反， 它们仅是与如所附权利要求书中所详述的、 本公开的一些方面 相一致的装置和方法的例子。 0060 图1是根据一示例性实施例示出的一种视频编码方法的流程图， 如图1所示， 视频 编码方法用于电子设备中， 该电子设备可以是终端， 也可以是服务器， 包括以下步骤： 0。

23、061 在步骤S11中， 获取待编码的视频， 该视频包括多个第一视频帧。 0062 在步骤S12中， 对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理， 得 到多个第二视频帧， 该平滑处理用于减小该区域内的每个像素点与邻域像素点之间的像素 值差异。 0063 在步骤S13中， 对该多个第二视频帧进行编码， 得到编码后的该视频。 0064 本公开实施例提供的方法， 通过在对视频进行编码之前， 对视频中感兴趣区域以 外的区域进行平滑处理， 使得该区域内的每个像素点与邻域像素点之间的像素值差异变 小， 这样在编码时由于非感兴趣区域内的各个像素点与邻域像素点之间的像素值差异变 小， 也即是， 高。

24、频信息减少， 从而可以使用较少的比特数来编码， 从整体上可以节省编码比 特数， 减少传输时网络带宽的消耗。 0065 在一种可能实现方式中， 该对该多个第一视频帧中除感兴趣区域以外的区域进行 平滑处理， 得到多个第二视频帧， 包括： 0066 对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处理， 得到该多个 第二视频帧。 0067 在一种可能实现方式中， 该对该多个第一视频帧中除感兴趣区域以外的区域进行 低通滤波处理， 得到该多个第二视频帧， 包括： 0068 对该多个第一视频帧进行低通滤波处理， 得到多个第三视频帧； 0069 对每个第一视频帧以及对应的第三视频帧进行加权处理， 得到。

25、每个第一视频帧对 应的第二视频帧； 0070 其中， 第一视频帧中感兴趣区域内的像素点的加权系数为1， 且第一视频帧中除感 兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大， 第三视频帧中感兴趣 区域内的像素点的加权系数为0， 且第三视频帧中除感兴趣区域以外的区域内的像素点距 离感兴趣区域越近加权系数越小。 0071 在一种可能实现方式中， 该除感兴趣区域以外的区域的局部区域用于显示文字， 该对该多个第一视频帧中除感兴趣区域以外的区域进行平滑处理， 得到多个第二视频帧之 说明书 4/14 页 7 CN 110213587 A 7 后， 该方法还包括： 0072 对该多个第二视频帧中的。

26、该局部区域进行加黑处理， 得到加黑处理后的多个第二 视频帧， 该局部区域内与该感兴趣区域的距离越远的像素点的加黑程度越重； 0073 该对该多个第二视频帧进行编码， 得到编码后的视频， 包括： 0074 对该加黑处理后的多个第二视频帧进行编码， 得到编码后的视频。 0075 在一种可能实现方式中， 该对该多个第二视频帧中的该局部区域进行加黑处理， 得到加黑处理后的多个第二视频帧， 包括： 0076 将该多个第二视频帧乘以加黑系数， 得到加黑处理后的多个第二视频帧； 0077 其中， 该多个第二视频帧中该感兴趣区域内的像素点的加黑系数为1， 该多个第二 视频帧中该局部区域内的像素点的加黑系数小于。

27、1， 且该局部区域内与该感兴趣区域的距 离越远的像素点的加黑系数越小， 加黑系数越小加黑程度越重。 0078 在一种可能实现方式中， 该低通滤波为高斯滤波， 该对该多个第一视频帧中除感 兴趣区域以外的区域进行低通滤波处理， 包括： 0079 采用不同标准差的高斯滤波， 对该多个第一视频帧中除感兴趣区域以外的区域内 的不同像素点进行处理， 与该感兴趣区域的距离越近的像素点采用标准差越小的高斯滤 波。 0080 在一种可能实现方式中， 该视频为任一用户的直播视频， 该感兴趣区域为该用户 的显示区域。 0081 图2是根据一示例性实施例示出的一种视频编码方法的流程图， 如图2所示， 视频 编码方法用。

28、于电子设备中， 该电子设备可以是终端， 也可以是服务器， 以视频编码方法用于 终端中为例， 包括以下步骤： 0082 在步骤S21中， 获取待编码的视频， 该视频包括多个第一视频帧。 0083 本公开实施例中， 以直播场景为例， 待编码的视频可以是任一用户的直播视频， 如 主播用户可以利用终端上安装的直播应用进行直播， 在直播过程中， 终端可以进行视频采 集， 得到待编码的视频， 例如， 终端可以按照一定的帧率， 采集连续的多个视频帧， 为了便于 描述， 将终端采集到的视频帧称为第一视频帧， 将多个第一视频帧构成的视频作为待编码 的视频。 0084 对于每个第一视频帧， 该第一视频帧中包括感兴。

29、趣区域(Region of Interest， ROI)和感兴趣区域以外的区域， 该感兴趣区域为感兴趣对象的显示区域， 针对该视频为任 一用户的直播视频， 该感兴趣对象可以为该用户(主播用户)， 相应地， 该感兴趣区域为该用 户的显示区域。 0085 参见图3， 示出了一种用户界面的示意图， 图3所示的用户界面(User Interface， UI)是直播视频的显示界面， 也称为直播界面， 直播视频的每个视频帧均可以呈现图3所示 的直播界面， 该直播界面的顶部区域可以包括主播标识区域和在线观众头像区域， 其中， 主 播标识区域一般显示的是主播的头像、 用户名、 被点赞次数等信息。 在线观众头像。

30、区域则可 以包括当前在线观看的部分观众的头像、 在线观看人数、 退出直播按钮等。 该直播界面的中 间区域是直播界面中较为显著的区域(主播显著区域)， 即用户关注的区域。 该直播界面的 底部区域包括留言评论区域、 点赞显示区域和功能按钮区域， 其中， 留言评论区域可以包括 平台公告、 观众用户的文字留言、 观众用户送礼物的提示、 观众用户输入文字的输入框等， 说明书 5/14 页 8 CN 110213587 A 8 功能按钮区域则包括分享直播的按钮、 送礼物的按钮等， 点赞显示区域则显示点赞信息， 点 赞的用户越多此区域画面被遮挡的越多。 0086 在图4中， 用户关注的区域是直播界面的中间区。

31、域， 其余的几个区域都会对画面造 成遮挡， 观看直播的用户对画面被遮挡的区域并不会显著的关注， 所以被遮挡的部分是用 户不感兴趣的区域。 基于此， 参见图4， 提供了一种用户界面中区域划分的示意图， 如图4所 示， 可以将直播界面中的中间部分划分为用户感兴趣的区域， 也称为显著区域， 将直播界面 中的顶部和底部划分为用户不感兴趣的区域， 也称为非显著区域， 基于这种划分方式， 感兴 趣区域为图4中的显著区域， 除感兴趣区域以外的区域为图4中的两个非显著区域。 0087 在步骤S22中， 对该多个第一视频帧中除感兴趣区域以外的区域进行低通滤波处 理， 得到多个第二视频帧。 0088 其中， 低通。

32、滤波处理用于减少高频信息， 也即是减小像素点与邻域像素点之间的 像素值差异。 0089 本公开实施例中， 对于多个第一视频帧中的每个第一视频帧， 终端可以采用低通 滤波， 如高斯滤波， 对该第一视频帧中除感兴趣区域以外的区域进行处理， 使得该区域的高 频信息减少， 从而可以使用较少的比特数来进行编码。 0090 低通滤波处理的原理是将像素点的像素值用该像素点和其邻域像素点的像素值 的加权平均结果来代替， 相应地， 在一种可能实现方式中， 该对该多个第一视频帧中除感兴 趣区域以外的区域进行低通滤波处理， 包括： 将该多个第一视频帧中除感兴趣区域以外的 区域内的像素点的像素值调整为加权平均像素值，。

33、 该加权平均像素值通过对像素点和邻域 像素点的像素值进行加权平均得到。 0091 对于除感兴趣区域以外的区域内的每个像素点， 终端可以采用低通滤波函数， 使 用该像素点和其邻域像素点的像素值的加权平均结果来代替该像素点的像素值， 使得各个 像素点与其邻域像素点的像素值差异不会太大。 0092 考虑到终端对除感兴趣区域以外的区域直接进行低通滤波处理会使得感兴趣区 域(图4中的显著区域)和除感兴趣区域以外的区域(图4中的非显著区域)的边界过渡不自 然， 因此， 终端可以在除感兴趣区域以外的区域采用渐变的低通滤波进行处理。 0093 针对渐变的低通滤波处理， 在一种可能实现方式中， 该步骤S22可以。

34、包括： 对该多 个第一视频帧进行低通滤波处理， 得到多个第三视频帧； 对每个第一视频帧以及对应的第 三视频帧进行加权处理， 得到每个第一视频帧对应的第二视频帧； 其中， 第一视频帧中该感 兴趣区域内的像素点的加权系数为1， 且第一视频帧中除感兴趣区域以外的区域内的像素 点距离感兴趣区域的距离越近加权系数越大， 第三视频帧中该感兴趣区域内的像素点的加 权系数为0， 且第三视频帧中除感兴趣区域以外的区域内的像素点距离该感兴趣区域越近 加权系数越小。 0094 对于多个第一视频帧中的每个第一视频帧， 终端可以采用某一标准差的低通滤 波， 对该第一视频帧进行处理， 将得到的视频帧作为第三视频帧， 终端。

35、可以对该第一视频帧 和该第三视频帧进行加权求和， 第一视频帧和第三视频帧均可以作为一个像素矩阵， 相应 地， 第一视频帧和第三视频帧的加权系数均可以是一个加权系数矩阵， 该加权系数矩阵中 的每个元素用于表示视频帧中一个像素点的加权系数。 对于第一视频帧而言， 该第一视频 帧中越靠近感兴趣区域的像素点的加权系数越大， 越远离感兴趣区域的像素点的加权系数 说明书 6/14 页 9 CN 110213587 A 9 越小， 以图4所示的区域分布为例， 越靠近显著区域的像素点的加权系数越大， 越靠近顶部 或底部的像素点的加权系数越小。 由于第一视频帧和第二视频帧中对应像素点的加权系数 之后为1， 对于。

36、第二视频帧而言， 该第二视频帧中越靠近感兴趣区域的像素点的加权系数越 小， 越靠近顶部或底部的像素点的加权系数越大。 0095 在一种可能实现方式中， 该除感兴趣区域以外的区域包括第一区域和第二区域， 该第一区域的下边界与该感兴趣区域的上边界重合， 该第二区域的上边界与该感兴趣区域 的下边界重合， 该第一区域、 该第二区域和该感兴趣区域的左边界和右边界分别重合； 0096 相应地， 该对每个第一视频帧以及对应的第三视频帧进行加权处理， 得到每个第 一视频帧对应的第二视频帧， 包括： 应用下述公式， 得到每个第一视频帧对应的第二视频 帧： 0097 Iout1Wl(h)*I+(1-Wl(h)*G。

37、(I, ) 0098 其中， Iout1为第二视频帧， I为第一视频帧， Wl(h)为第一视频帧中像素点的加权系 数， G(I, )为第三视频帧， (1-Wl(h)为第三视频帧中像素点的加权系数， 为滤波参数， h为 像素点在二维坐标系中y轴的坐标， 该二维坐标系的原点位于该第一区域的左上角， 该第一 区域的上边界位于该二维坐标系的x轴上， 该第一区域的左边界位于该二维坐标系的y轴 上； 0099 其中， Wl(h)表示如下： 0100 0101 其中， H1为该第一区域的下边界到该二维坐标系的x轴的距离， H2为该第二区域的 上边界到该二维坐标系的x轴的距离， H为该第二区域的下边界到该二维。

38、坐标系的x轴的距 离。 0102 如图4所示， 感兴趣区域为图4中间的显著区域， 第一区域为显著区域上面的一个 非显著区域， 第二区域为显著区域下面的一个非显著区域。 在图4中， 将直播画面放入到二 维坐标系中， 左上角为坐标系的原点， 横向向右为x轴， 纵向向下为y轴， 视频帧所呈现的画 面的宽度为w、 高度为H， 第一区域、 第二区域和感兴趣区域的宽度为w， 第一区域的高度为 H1， 第二区域的高度为H-H2。 0103 通过采用低通滤波处理后的视频帧与原始视频帧进行加权处理， 加权参数根据像 素点所在位置进行变化， 从而实现渐变的低通滤波处理， 可以保证处理后的视频帧中感兴 趣区域和除感。

39、兴趣区域以外的区域的边界过渡较自然。 0104 在一种可能实现方式中， 该除感兴趣区域以外的区域的局部区域用于显示文字， 终端对该多个第一视频帧中除感兴趣区域以外的区域内像素点的像素值进行调整， 得到多 个第二视频帧之后， 还可以对该多个第二视频帧中的该局部区域进行加黑处理， 得到加黑 处理后的多个第二视频帧， 该局部区域内与该感兴趣区域的距离越远的像素点的加黑程度 越重。 0105 考虑到除感兴趣区域以外的区域的局部区域可能用于显示文字， 如图1中的留言 说明书 7/14 页 10 CN 110213587 A 10 评论区域， 为了使用户(如观看直播的用户)能够更清楚的观看该区域内显示的文。

40、字， 终端 可以对该区域进行渐变的加黑处理， 即越靠近感兴趣区域加黑程度越轻， 越远离感兴趣区 域加黑程度越重。 然后， 终端再对加黑处理后的多个第二视频帧进行编码， 得到编码后的视 频。 0106 终端对局部区域进行加黑处理是指降低该局部区域内像素点的亮度值， 使得该局 部区域内的亮度降低， 能够更突出在该区域内显示的文字。 考虑到终端对该局部区域直接 进行加黑处理会使得感兴趣区域(图4中的显著区域)和该局部区域(图4中的非显著区域) 的边界过渡不自然， 因此， 终端可以在该局部区域进行渐变的加黑处理。 0107 具体地， 该对该多个第二视频帧中的该局部区域进行加黑处理， 得到加黑处理后 的。

41、该多个第二视频帧， 包括： 将该多个第二视频帧乘以加黑系数， 得到加黑处理后的该多个 第二视频帧， 该多个第二视频帧中该感兴趣区域内的像素点的加黑系数为1， 该多个第二视 频帧中该局部区域内的像素点的加黑系数小于1， 且该局部区域内与该感兴趣区域的距离 越远的像素点的加黑系数越小， 加黑系数越小加黑程度越重。 0108 第二视频帧可以作为一个像素矩阵， 相应地， 第二视频帧乘以的加黑系数可以是 一个加黑系数矩阵， 该加权系数矩阵中的每个元素用于表示视频帧中一个像素点的加黑系 数。 第二视频帧的该局部区域内越靠近感兴趣区域的像素点的加黑系数越大， 也即是， 加黑 程度越轻， 越远离感兴趣区域的像。

42、素点的加黑系数越小， 也即是， 加黑程度越重。 以图4所示 的区域分布为例， 越靠近显著区域的像素点的加黑系数越大， 越靠近顶部或底部的像素点 的加黑系数越小。 0109 在一种可能实现方式中， 该局部区域可以是上述的第二区域， 相应地， 终端将该多 个第二视频帧乘以加黑系数， 得到加黑处理后的该多个第二视频帧， 包括： 应用下述公式， 得到加黑处理后的该多个第二视频帧： 0110 Iout2Wd(h)*Wl(h)*I+1-Wl(h)*G(I, ) 0111 其中， Iout2为加黑处理后的第二视频帧， Wd(h)为加黑系数， Wd(h)表示如下： 0112 0113 其中， p为预设加黑权重。

43、， 取值范围为0至1(一般选取为0.7)。 0114 通过在除感兴趣区域以外的区域内对用于显示文字的局部区域进行渐变的加黑 处理， 不仅能够便于用户更清楚的看到该区域内显示的文字， 还能够保证感兴趣区域和该 局部区域的边界过渡较自然。 0115 针对渐变的低通滤波处理， 在另一种可能实现方式中， 低通滤波可以为高斯滤波， 该步骤S22可以包括： 采用不同标准差的高斯滤波， 对该多个第一视频帧中除感兴趣区域以 外的区域内的不同像素点进行处理， 与该感兴趣区域的距离越近的像素点采用标准差越小 的高斯滤波。 0116 以高斯滤波为例， 终端可以对除感兴趣区域以外的区域内靠近感兴趣区域的像素 点采用标。

44、准差较小的高斯滤波， 在远离感兴趣区域的像素点采用标准差较大的高斯滤波。 通过根据像素点所在位置， 采用不同标准差的高斯滤波进行处理， 从而实现渐变的低通滤 说明书 8/14 页 11 CN 110213587 A 11 波处理， 可以保证处理后的视频帧中感兴趣区域和除感兴趣区域以外的区域的边界过渡较 自然。 0117 需要说明的是， 该步骤S22是对该多个第一视频帧中除感兴趣区域以外的区域进 行平滑处理， 得到多个第二视频帧， 该平滑处理用于减小该区域内的每个像素点与邻域像 素点之间的像素值差异的一种可能实现方式。 通过对非感兴趣区域内的像素点进行低通滤 波处理， 使得该区域内的高频信息减少。

45、， 从而可以使用较少的比特数来编码， 从整体上可以 节省编码比特数。 0118 在步骤S23中， 对多个第二视频帧进行编码， 得到编码后的该视频。 0119 其中， 编码是指通过特定的压缩技术， 将某个视频格式的文件转换成另一种视频 格式文件的方式， 如将视频帧转换为视频流。 0120 本公开实施例中， 终端对视频的原始的多个第一视频帧进行处理， 得到多个第二 视频帧后， 可以对该多个第二视频帧进行编码。 由于多个第二视频帧经过低通滤波处理得 到， 除感兴趣区域以外的区域内的高频信息减少， 这样可以采用较少的编码比特数进行编 码。 0121 针对步骤S21中对第二视频帧进行加黑处理， 在该步骤。

46、S23中终端可以对加黑处理 后的多个第二视频帧进行编码， 得到编码后的视频。 0122 以直播场景为例， 该终端为主播用户所在终端， 该终端在得到编码后的直播视频 后， 可以将直播视频发送给提供直播服务的服务器， 由服务器将直播视频发送给各个观众 用户所在终端进行播放。 0123 上述技术方案介绍了一种基于用户界面中感兴趣区域的视频处理技术， 该技术应 用在直播场景时， 可以提升直播视频编码后的画面质量并节省直播的带宽， 该技术通过对 视频中除感兴趣区域以外的区域进行低通滤波处理， 使得编码时较多的码率分配给用户感 兴趣的区域， 较少的码率分配给用户不感兴趣的区域， 可以从整体上节省编码比特数。

47、， 进而 减少直播的带宽。 同时相比于除感兴趣区域以外的区域， 分配较多码率的感兴趣区域能呈 现出更清晰的画面。 如图4所示， 提供了一种直播界面的示意图， 图4中左边的图为未应用本 方案的直播界面， 右边的图是应用了本方案的直播界面。 在本方案的直播界面中， 顶部区域 和低部区域显得较为模糊， 中间区域较为清晰， 另外， 对应步骤S22中进行加黑处理的方式， 越靠近界面底部的地方加黑效果越重。 0124 本公开实施例提供的方法， 通过在对视频进行编码之前， 对视频中感兴趣区域以 外的区域进行平滑处理， 使得该区域内的每个像素点与邻域像素点之间的像素值差异变 小， 这样在编码时由于非感兴趣区域。

48、内的各个像素点与邻域像素点之间的像素值差异变 小， 也即是， 高频信息减少， 从而可以使用较少的比特数来编码， 从整体上可以节省编码比 特数， 减少传输时网络带宽的消耗。 0125 图5是根据一示例性实施例示出的一种视频编码装置的框图。 参照图5， 该装置包 括获取单元501、 处理单元502和编码单元503。 0126 该获取单元501被配置为执行获取待编码的视频， 该视频包括多个第一视频帧； 0127 该处理单元502被配置为执行对该多个第一视频帧中除感兴趣区域以外的区域进 行平滑处理， 得到多个第二视频帧， 该平滑处理用于减小该区域内的每个像素点与邻域像 素点之间的像素值差异； 说明书 。

49、9/14 页 12 CN 110213587 A 12 0128 该编码单元503被配置为执行对该多个第二视频帧进行编码， 得到编码后的该视 频。 0129 在一种可能实现方式中， 该处理单元被配置为执行对该多个第一视频帧中除感兴 趣区域以外的区域进行低通滤波处理， 得到该多个第二视频帧。 0130 在一种可能实现方式中， 该处理单元被配置为执行： 0131 对该多个第一视频帧进行低通滤波处理， 得到多个第三视频帧； 0132 对每个第一视频帧以及对应的第三视频帧进行加权处理， 得到每个第一视频帧对 应的第二视频帧； 0133 其中， 第一视频帧中感兴趣区域内的像素点的加权系数为1， 且第一视。

50、频帧中除感 兴趣区域以外的区域内的像素点距离感兴趣区域越近加权系数越大， 第三视频帧中感兴趣 区域内的像素点的加权系数为0， 且第三视频帧中除感兴趣区域以外的区域内的像素点距 离感兴趣区域越近加权系数越小。 0134 在一种可能实现方式中， 该除感兴趣区域以外的区域的局部区域用于显示文字， 该处理单元还被配置为执行对该多个第二视频帧中的该局部区域进行加黑处理， 得到加黑 处理后的多个第二视频帧， 该局部区域内与该感兴趣区域的距离越远的像素点的加黑程度 越重； 0135 该编码单元被配置为执行对该加黑处理后的多个第二视频帧进行编码， 得到编码 后的视频。 0136 在一种可能实现方式中， 该处理。