传输时基于本地缓存的视频码率自适应调节方式.pdf

《传输时基于本地缓存的视频码率自适应调节方式.pdf》由会员分享，可在线阅读，更多相关《传输时基于本地缓存的视频码率自适应调节方式.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911041094.6 (22)申请日 2019.10.30 (71)申请人 杭州叙简科技股份有限公司 地址 310012 浙江省杭州市余杭区五常街 道文一西路998号5幢706、 707室 (72)发明人 黎廷炜张秀飞李华松金国庆 陈尚武 (74)专利代理机构 北京科亿知识产权代理事务 所(普通合伙) 11350 代理人 汤东凤 (51)Int.Cl. H04N 21/4223(2011.01) H04N 21/433(2011.01) H04N 21/4402(2011。

2、.01) H04N 21/442(2011.01) H04N 21/647(2011.01) (54)发明名称 一种传输时基于本地缓存的视频码率自适 应调节方式 (57)摘要 本发明提供了一种传输时基于本地缓存的 视频码率自适应调节方式， 通过对发送的视频流 的缓存的监测， 来预测后续网络吞吐量的大小， 并调节后续视频的分辨率和码率来适应网络。 在 调节视频参数时， 视频的码率必须配合对应的分 辨率才使解析出来的视频有足够的清晰度； 且为 了使码率的调节不回太过频繁， 在调节时会依据 下表进行码率和分辨率的调整， 其中320 x240是 常用智能终端所支持的最低分辨率； 本发明采用 以上技术方。

3、案， 通过在视频发送端动态调节视频 的分辨率和码率， 使得需要发送的视频数据流大 小一直保持在网络吞吐量上下的一个小区间波 动， 从而保证了视频接收端能不间断的流畅观看 视频， 提高了观看体验。 权利要求书2页 说明书5页 附图1页 CN 110769296 A 2020.02.07 CN 110769296 A 1.一种传输时基于本地缓存的视频码率自适应调节方式， 其特征在于， 通过对发送的 视频流的缓存的监测， 来预测后续网络吞吐量的大小， 并调节后续视频的分辨率和码率来 适应网络； 在调节视频参数时， 视频的码率必须配合对应的分辨率才使解析出来的视频有足够的 清晰度； 且为了使码率的调节。

4、不回太过频繁， 在调节时会依据下表进行码率和分辨率的调 整； 发送的视频时会预先设置一个合适的分辨率并将其码率设置为对应的中码率， 并申请 一个缓存10秒数据的内存来缓存编码完成后等待发送的视频数据； 每次摄像头返回视频图 像数据时， 都去检测缓存的视频数据已经占总缓存数据量的百分比， 并以此来判断网络是 否有变化， 是否需要调整分辨率和码率， 并标记新的视频图像的帧类型。 2.根据权利要求1中所述的一种传输时基于本地缓存的视频码率自适应调节方式， 其 特征在于， 在当网络带宽下降时， 进行如下处理方式： 步骤(1.1)、 每次摄像头返回视频图像数据时检测网络变化， 如果发现已经缓存的数据 大。

5、小达到总缓存大小的45时， 则执行步骤(1.2)； 如果没有则继续等待下次检测； 步骤(1.2)、 开始定时检查缓存大小， 并持续4秒； 如果在此4秒内缓存增长到总缓存的 60， 则执行步骤(1.3)； 如果4秒后视频的缓存大小仍然大于总缓存的40， 则执行步骤 (1.4)； 如果以上两点都不满足则判定网络变稳定且带宽回升， 关闭定时器并重新执行步骤 (1.1)； 步骤(1.3)、 缓存快速增长， 代表网络变差带宽降低， 此时需要同时降低分辨率和码率 来尝试适配网络变化， 并且还需要清空缓存中未发送的数据， 且总缓存量更新为分辨率、 码 率改变后的缓存量； 在降低分辨率和码率时， 若分辨率大于。

6、320 x240， 则分辨率降低至下一 级分辨率， 且码率同步降低到对应码率级别； 若分辨率正好是320 x240， 则只需要降低码率 级别即可； 在降低分辨率和码率并清空缓存后， 定时检查缓存的步骤(1.2)停止， 并重新执 行步骤(1.1)； 步骤(1.4)、 4秒后缓存的视频数据仍然没有有效减少， 证明网络存在波动， 且带宽的降 低没有改善； 此时在缓存的处理方面， 不需要丢弃所有未发送的数据， 而是先判断缓存中有 没有未发送的视频帧段， 如果有则丢弃掉这些视频帧段， 如果没有则不处理； 并且总缓存量 也需要更新为分辨率、 码率改变后的缓存量； 而在处理分辨率和码率时则是以缓慢降低的 方。

7、式来尝试适配网络的变化； 如果码率处于当前分辨率的高级别， 则降低到对应的低级别； 如果码率处于当前分辨率的最低级别， 则分辨率降低一个级别、 码率不变； 调节完成后定时 器不变， 从步骤(1.2)继续执行。 3.根据权利要求1中所述的一种传输时基于本地缓存的视频码率自适应调节方式， 其 特征在于， 在当网络带宽上升时， 进行如下处理方式： 步骤(2.1)、 每次摄像头返回视频图像数据时检测网络变化， 如果发现已经缓存的数据 大小只占总缓存大小的5， 并且视频的设置不是初始的设置时， 则执行步骤(2.2)； 其余情 况继续等待下次检测； 步骤(2.2)、 开始定时检查缓存大小， 并持续20秒；。

8、 如果在此20秒内缓存的视频数据量 出现大于5， 意味着网络状况平稳或没有变好， 此时关闭定时器并重新执行步骤(2.1)； 如 果在此20秒内缓存的视频数据量仍然不到总缓存的5， 意味着网络带宽上升， 网络的状况 正在变好， 调高视频的分辨率或码率以提高视频清晰度， 此时执行步骤(2.3)； 权利要求书 1/2 页 2 CN 110769296 A 2 步骤(2.3)、 网络带宽上升， 缓慢尝试提高分辨率或码率； 若当前分辨率不是预设置的 分辨率， 执行步骤(2.4)； 若当前分辨率是预设置的分辨率， 则只提高码率等级并从步骤 (2.1)重新执行； 步骤(2.4)、 当前不是预设置分辨率时， 。

9、如果码率未达到中码率， 则只需要提高码率； 如 果码率已经达到当前分辨率的中码率， 则提高分辨率等级且码率不变。 权利要求书 2/2 页 3 CN 110769296 A 3 一种传输时基于本地缓存的视频码率自适应调节方式 技术领域 0001 本发明涉及视频处理技术领域， 尤其是涉及一种传输时基于本地缓存的视频码率 自适应调节方式。 背景技术 0002 随着移动互联网技术的迅猛发展， 特别是以第四代无线蜂窝电话通讯协议(4G网 络)为标志带来的巨大带宽， 以及智能终端在普通民众间的大范围普及， 基于公众移动网络 的视频服务正逐渐在互联网的各种业务中扮演着越来越重要的角色。 0003 然而， 传。

10、统的视频传输机制在很大程度上依赖于公众移动网络的带宽和实时网络 状态。 当视频拍摄者处于网络覆盖较差或网络不稳定区域时， 波动的网络会导致视频传输 变慢甚至卡顿， 这会大大降低观看方用户的用户体验质量(Quality of Experience， QoE)。 为了减少用户观看体验受到网络实时带宽状态的影响， 即为了在动态的网络状态下提供较 好的用户体验质量， 提供一种自适应调节传输方视频分辨率、 码率的主动适配网络的调节 方式就变得极为重要。 0004 自适应的宗旨是为用户提供更好的用户体验质量。 在网络视频业务所谓的用户体 验质量主要指两个方面： 高视频流畅度、 高视频清晰度、 较少的视频卡。

11、顿。 在这些因素中， 视 频的流畅度受到视频帧率(每秒钟产生的画面帧数量， 单位是frame per second， FPS)的影 响； 而清晰度受到视频的码率(数据传输时单位时间传送的数据位数， 单位是bit per second， bps)及分辨率(图像所包含的像素点数)影响； 卡顿则是因为需要传输的视频数据 量大于实时的网络吞吐量导致。 0005 通常为了尽量少的传输视频数据量的情况下保证视频的流畅度， 视频的帧率会设 置在24帧到30帧之间。 帧率低于此区间时， 视频的流畅度会受到影响， 所以在网络波动时， 修改帧率意义不大。 因此， 在更高的分辨率的情况下， 使视频的码率尽可能的靠近。

12、网络吞吐 量， 是最大的提高用户体验质量唯一方式。 所以， 在网络波动时， 一个随着网络吞吐量变化 的， 流畅度和清晰度尽可能高的调节视频数据的方式就是我们所期望提供方案。 发明内容 0006 为了解决传输方因网络状况变化视频上传缓慢导致视频卡顿等问题， 提高观看方 的用户体验质量， 本发明提供了一种传输时基于本地缓存的视频码率自适应调节方式， 通 过对发送的视频流的缓存的监测， 来预测后续网络吞吐量的大小， 并调节后续视频的分辨 率和码率来适应网络。 0007 在调节视频参数时， 视频的码率必须配合对应的分辨率才使解析出来的视频有足 够的清晰度； 且为了使码率的调节不回太过频繁， 在调节时会。

13、依据下表进行码率和分辨率 的调整， 其中320 x240是常用智能终端所支持的最低分辨率； 0008 常见码率和分辨率的关系表格如下： 0009 计算公式320 x240480 x360640 x4801280 x7201920 x1080 说明书 1/5 页 4 CN 110769296 A 4 极低码率(宽x高x3)/460kbps120kbps250kbps500kbps1mkbps 低码率(宽x高x3)/2120kbps250kbps500kbps1mkbps2mkbps 中码率(宽x高x3)250kbps500kbps1mkbps2mkbps4mkbps 高码率(宽x高x3)x250。

14、0kbps1mkbps2mkbps4mkbps8mkbps 极高码率(宽x高X3)x41mkbps2mkbps4mkbps8mkbps16mkbps 0010 发送的视频时会预先设置一个合适的分辨率(如： 分辨率1280 x720)并将其码率设 置为对应的中码率(如： 码率2mkbps)， 并申请一个可以缓存10秒数据的内存来缓存编码完 成后等待发送的视频数据； 每次摄像头返回视频图像数据时， 都去检测缓存的视频数据已 经占总缓存数据量的百分比， 并以此来判断网络是否有变化， 是否需要调整分辨率和码率， 并标记新的视频图像的帧类型； 0011 当网络发生波动时， 会做出以下两种处理方式： 00。

15、12 一、 网络带宽下降时处理 0013 步骤(1.1)、 每次摄像头返回视频图像数据时检测网络变化， 如果发现已经缓存的 数据大小达到总缓存大小的45时， 则执行步骤(1.2)； 如果没有则继续等待下次检测； 0014 步骤(1.2)、 开始定时检查缓存大小， 并持续4秒； 如果在此4秒内缓存增长到总缓 存的60， 则执行步骤(1.3)； 如果4秒后视频的缓存大小仍然大于总缓存的40， 则执行步 骤(1.4)； 如果以上两点都不满足则可以判定网络变稳定且带宽回升， 关闭定时器并重新执 行步骤(1.1)； 0015 步骤(1.3)、 缓存快速增长， 代表网络变差带宽降低， 此时需要同时降低分辨。

16、率和 码率来尝试适配网络变化， 并且还需要清空缓存中未发送的数据， 且总缓存量更新为分辨 率、 码率改变后的缓存量(缓存10秒的数据)； 在降低分辨率和码率时， 若分辨率大于 320 x240， 则分辨率降低至下一级分辨率， 且码率同步降低到对应码率级别(如： 分辨率 1280 x720码率2mkbps降低为分辨率640 x480码率1mkbps)； 若分辨率正好是320 x240， 则只需 要降低码率级别即可(如： 码率120kbps降低为码率60kbps)； 在降低分辨率和码率并清空缓 存后， 定时检查缓存的步骤可以停止， 并重新执行步骤(1.1)； 0016 步骤(1.4)、 4秒后缓存。

17、的视频数据仍然没有有效减少， 证明网络存在波动， 且带宽 的降低没有改善； 此时在缓存的处理方面， 不需要丢弃所有未发送的数据， 而是先判断缓存 中有没有未发送的视频帧段(从起始段sps帧、 pps帧到p帧结束)， 如果有则丢弃掉这些视频 帧段， 如果没有则不处理； 并且总缓存量也需要更新为分辨率、 码率改变后的缓存量； 而在 处理分辨率和码率时则是以缓慢降低的方式来尝试适配网络的变化； 如果码率处于当前分 辨率的高级别， 则降低到对应的低级别(如： 分辨率1280 x720码率2mkbps降低为分辨率 1280 x720码率1mkbps)； 如果码率处于当前分辨率的最低级别， 则分辨率降低一。

18、个级别码率 不变(码率是下一级别分辨率的低码率)(如： 分辨率1280 x720码率500kbps降低为分辨率 640 x480码率500kbps)； 调节完成后定时器不变， 从步骤(1.2)继续执行； 0017 二、 网络带宽上升时处理 0018 步骤(2.1)每次摄像头返回视频图像数据时检测网络变化， 如果发现已经缓存的 数据大小只占总缓存大小的5， 并且视频的设置不是初始的设置时， 则执行步骤(2.2)； 其 余情况继续等待下次检测； 0019 步骤(2.2)开始定时检查缓存大小， 并持续20秒； 如果在此20秒内缓存的视频数据 说明书 2/5 页 5 CN 110769296 A 5 。

19、量出现大于5， 意味着网络状况平稳或没有变好， 此时关闭定时器并重新执行步骤(2.1)； 如果在此20秒内缓存的视频数据量仍然不到总缓存的5， 意味着网络带宽上升， 网络的状 况正在变好， 可以调高视频的分辨率或码率以提高视频清晰度， 此时执行步骤(2.3)； 0020 步骤(2.3)网络带宽上升， 可以缓慢尝试提高分辨率或码率； 若当前分辨率不是预 设置的分辨率， 执行步骤(2.4)； 若当前分辨率是预设置的分辨率， 则只提高码率等级(如： 分辨率1280 x720码率1mkbps降低为分辨率1280 x720码率2mkbps)并从步骤(2.1)重新执行； 0021 步骤(2.4)当前不是预。

20、设置分辨率时， 如果码率未达到中码率， 则只需要提高码率 (如： 分辨率640 x480码率250kbps降低为分辨率640 x480码率500kbps)； 如果码率已经达到 当前分辨率的中码率， 则提高分辨率等级且码率不变(如： 分辨率480 x360码率500kbps降低 为分辨率640 x480码率500kbps)； 0022 使用本发明的视频调节方式， 在网络波动时， 视频发送方可以以不同的分辨率和 码率适配网络的吞吐量， 以达到在该吞吐量下视频可以达到的最佳分辨率和码率。 0023 1、 上面内容中 “网络波动” 是指 “网络带宽波动” ； 0024 2、 上面内容的 “网络波动” 。

21、主要指是终端在不同环境下或网络线路不稳定导致网 络信号强度变化。 对于通讯的两端来说表现出来的现象就是网络带宽变化， 包括： 网络带宽 下降、 网络带宽回升和网络完全断开。 其中， 网络完全断开的情况无法通过技术方案优化， 故不讨论。 0025 与现有技术相比， 本发明具有如下有益效果： 0026 本发明采用以上技术方案， 通过在视频发送端动态调节视频的分辨率和码率， 使 得需要发送的视频数据流大小一直保持在网络吞吐量上下的一个小区间波动， 从而保证了 视频接收端能不间断的流畅观看视频， 提高了观看体验。 0027 相比传统的无变动输出视频的方式， 本发明能更灵活的适应网络波动相较频繁的 网络。

22、环境。 在向接收端输出的视频流时， 能保证输出的视频更加流畅、 不易中断。 不断调整 的视频码率也使视频接收端收到的视频具有更高的实时性。 在相较视频高清程度更加注重 视频流畅度和实时性的使用场景， 本发明拥有巨大的优势。 附图说明 0028 图1是本发明中网络带宽下降时执行流程示意图； 0029 图2是本发明中网络带宽上升时执行流程示意图。 具体实施方式 0030 下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下。

23、所获得的所有其他 实施例， 都属于本发明保护的范围。 0031 如图12所示， 本发明提供了一种传输时基于本地缓存的视频码率自适应调节方 式的具体实施方式， 通过对发送的视频流的缓存的监测， 来预测后续网络吞吐量的大小， 并 调节后续视频的分辨率和码率来适应网络。 0032 在调节视频参数时， 视频的码率必须配合对应的分辨率才使解析出来的视频有足 说明书 3/5 页 6 CN 110769296 A 6 够的清晰度； 且为了使码率的调节不回太过频繁， 在调节时会依据下表进行码率和分辨率 的调整， 其中320 x240是常用智能终端所支持的最低分辨率； 0033 常见码率和分辨率的关系表格如下：。

24、 0034 计算公式320 x240480 x360640 x4801280 x7201920 x1080 极低码率(宽x高x3)/460kbps120kbps250kbps500kbps1mkbps 低码率(宽x高x3)/2120kbps250kbps500kbps1mkbps2mkbps 中码率(宽x高x3)250kbps500kbps1mkbps2mkbps4mkbps 高码率(宽x高x3)x2500kbps1mkbps2mkbps4mkbps8mkbps 极高码率(宽x高X3)x41mkbps2mkbps4mkbps8mkbps16mkbps 0035 发送的视频时会预先设置一个合适的。

25、分辨率(如： 分辨率1280 x720)并将其码率设 置为对应的中码率(如： 码率2mkbps)， 并申请一个可以缓存10秒数据的内存来缓存编码完 成后等待发送的视频数据； 每次摄像头返回视频图像数据时， 都去检测缓存的视频数据已 经占总缓存数据量的百分比， 并以此来判断网络是否有变化， 是否需要调整分辨率和码率， 并标记新的视频图像的帧类型； 0036 当网络发生波动时， 会做出以下两种处理方式： 0037 一、 网络带宽下降时处理 0038 步骤(1.1)、 每次摄像头返回视频图像数据时检测网络变化， 如果发现已经缓存的 数据大小达到总缓存大小的45时， 则执行步骤(1.2)； 如果没有则。

26、继续等待下次检测； 0039 步骤(1.2)、 开始定时检查缓存大小， 并持续4秒； 如果在此4秒内缓存增长到总缓 存的60， 则执行步骤(1.3)； 如果4秒后视频的缓存大小仍然大于总缓存的40， 则执行步 骤(1.4)； 如果以上两点都不满足则可以判定网络变稳定且带宽回升， 关闭定时器并重新执 行步骤(1.1)； 0040 步骤(1.3)、 缓存快速增长， 代表网络变差带宽降低， 此时需要同时降低分辨率和 码率来尝试适配网络变化， 并且还需要清空缓存中未发送的数据， 且总缓存量更新为分辨 率、 码率改变后的缓存量(缓存10秒的数据)； 在降低分辨率和码率时， 若分辨率大于 320 x240。

27、， 则分辨率降低至下一级分辨率， 且码率同步降低到对应码率级别(如： 分辨率 1280 x720码率2mkbps降低为分辨率640 x480码率1mkbps)； 若分辨率正好是320 x240， 则只需 要降低码率级别即可(如： 码率120kbps降低为码率60kbps)； 在降低分辨率和码率并清空缓 存后， 定时检查缓存的步骤可以停止， 并重新执行步骤(1.1)； 0041 步骤(1.4)、 4秒后缓存的视频数据仍然没有有效减少， 证明网络存在波动， 且带宽 的降低没有改善； 此时在缓存的处理方面， 不需要丢弃所有未发送的数据， 而是先判断缓存 中有没有未发送的视频帧段(从起始段sps帧、 。

28、pps帧到p帧结束)， 如果有则丢弃掉这些视频 帧段， 如果没有则不处理； 并且总缓存量也需要更新为分辨率、 码率改变后的缓存量； 而在 处理分辨率和码率时则是以缓慢降低的方式来尝试适配网络的变化； 如果码率处于当前分 辨率的高级别， 则降低到对应的低级别(如： 分辨率1280 x720码率2mkbps降低为分辨率 1280 x720码率1mkbps)； 如果码率处于当前分辨率的最低级别， 则分辨率降低一个级别码率 不变(码率是下一级别分辨率的低码率)(如： 分辨率1280 x720码率500kbps降低为分辨率 640 x480码率500kbps)； 调节完成后定时器不变， 从步骤(1.2)。

29、继续执行； 0042 其中， 网络带宽下降时执行流程如图1所示。 说明书 4/5 页 7 CN 110769296 A 7 0043 二、 网络带宽上升时处理 0044 步骤(2.1)每次摄像头返回视频图像数据时检测网络变化， 如果发现已经缓存的 数据大小只占总缓存大小的5， 并且视频的设置不是初始的设置时， 则执行步骤(2.2)； 其 余情况继续等待下次检测； 0045 步骤(2.2)开始定时检查缓存大小， 并持续20秒； 如果在此20秒内缓存的视频数据 量出现大于5， 意味着网络状况平稳或没有变好， 此时关闭定时器并重新执行步骤(2.1)； 如果在此20秒内缓存的视频数据量仍然不到总缓存的。

30、5， 意味着网络带宽上升， 网络的状 况正在变好， 可以调高视频的分辨率或码率以提高视频清晰度， 此时执行步骤(2.3)； 0046 步骤(2.3)网络带宽上升， 可以缓慢尝试提高分辨率或码率； 若当前分辨率不是预 设置的分辨率， 执行步骤(2.4)； 若当前分辨率是预设置的分辨率， 则只提高码率等级(如： 分辨率1280 x720码率1mkbps降低为分辨率1280 x720码率2mkbps)并从步骤(2.1)重新执行； 0047 步骤(2.4)当前不是预设置分辨率时， 如果码率未达到中码率， 则只需要提高码率 (如： 分辨率640 x480码率250kbps降低为分辨率640 x480码率。

31、500kbps)； 如果码率已经达到 当前分辨率的中码率， 则提高分辨率等级且码率不变(如： 分辨率480 x360码率500kbps降低 为分辨率640 x480码率500kbps)； 0048 其中， 网络带宽上升时执行流程如图2所示。 0049 使用本发明的视频调节方式， 在网络波动时， 视频发送方可以以不同的分辨率和 码率适配网络的吞吐量， 以达到在该吞吐量下视频可以达到的最佳分辨率和码率。 0050 本发明采用以上技术方案， 通过在视频发送端动态调节视频的分辨率和码率， 使 得需要发送的视频数据流大小一直保持在网络吞吐量上下的一个小区间波动， 从而保证了 视频接收端能不间断的流畅观看。

32、视频， 提高了观看体验。 0051 相比传统的无变动输出视频的方式， 本发明能更灵活的适应网络波动相较频繁的 网络环境。 在向接收端输出的视频流时， 能保证输出的视频更加流畅、 不易中断。 不断调整 的视频码率也使视频接收端收到的视频具有更高的实时性。 在相较视频高清程度更加注重 视频流畅度和实时性的使用场景， 本发明拥有巨大的优势。 0052 需要说明的是， 在本文中， 术语 “包括” 、“包含” 或者其任何其他变体意在涵盖非排 他性的包含， 从而使得包括一系列要素的过程、 方法、 物品或者设备不仅包括那些要素， 而 且还包括没有明确列出的其他要素， 或者是还包括为这种过程、 方法、 物品或。

33、者设备所固有 的要素。 0053 本文中应用了具体个例对本发明的原理及实施方式进行了阐述， 以上实例的说明 只是用于帮助理解本发明的方法及其核心思想， 以上所述仅是本发明的优选实施方式， 应 当指出， 由于文字表达的有限性， 而客观上存在无限的具体结构， 对于本技术领域的普通技 术人员来说， 在不脱离本发明原理的前提下， 还可以做出若干改进、 润饰或变化， 也可以将 上述技术特征以适当的方式进行组合； 这些改进润饰、 变化或组合， 或未经改进将发明的构 思和技术方案直接应用于其它场合的， 均应视为本发明的保护范围。 说明书 5/5 页 8 CN 110769296 A 8 图1 图2 说明书附图 1/1 页 9 CN 110769296 A 9 。