视频传输方法、装置、资源服务器和存储介质.pdf

《视频传输方法、装置、资源服务器和存储介质.pdf》由会员分享，可在线阅读，更多相关《视频传输方法、装置、资源服务器和存储介质.pdf（23页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911400133.7 (22)申请日 2019.12.30 (71)申请人 广州市百果园网络科技有限公司 地址 510000 广东省广州市番禺区市桥街 兴泰路278号基盛商业中心4、 5、 6、 13、 14、 15、 16层 (72)发明人 邓勇朱敏方文豪 (74)专利代理机构 北京品源专利代理有限公司 11332 代理人 孟金喆 (51)Int.Cl. H04N 7/14(2006.01) H04N 21/647(2011.01) (54)发明名称 一种视频传输方法、。

2、 装置、 资源服务器和存 储介质 (57)摘要 本发明实施例公开了一种视频传输方法、 装 置、 资源服务器和存储介质。 其中， 该方法包括： 如果当前会话方的网络带宽小于待传输视频的 初始传输总码率， 则根据待传输视频中不同视频 帧类型的抽帧顺序， 确定在待传输视频的对应视 频帧类型下抽帧后的剩余传输总码率与网络带 宽最匹配时不同视频帧类型下的抽帧比例； 按照 不同视频帧类型下的抽帧比例向当前会话方传 输待传输视频。 本发明实施例提供的技术方案， 使待传输视频在抽帧后剩余的实际传输总码率 与当前会话方的网络带宽最匹配， 避免由于带宽 不够产生关键帧丢包， 而使解码失败造成播放卡 顿的情况， 且。

3、抽帧方式无需降低视频画面分辨率 即可减少待传输视频的传输码率， 从而保证视频 播放的清晰度不变。 权利要求书2页 说明书13页 附图7页 CN 111107297 A 2020.05.05 CN 111107297 A 1.一种视频传输方法， 其特征在于， 包括： 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 则根据所述待传输视 频中不同视频帧类型的抽帧顺序， 确定在所述待传输视频的对应视频帧类型下抽帧后的剩 余传输总码率与所述网络带宽最匹配时不同视频帧类型下的抽帧比例； 按照不同视频帧类型下的抽帧比例向当前会话方传输所述待传输视频。 2.根据权利要求1所述的方法， 其特征在于， 。

4、所述待传输视频的初始传输总码率由所述 待传输视频在不同视频帧类型下的初始传输码率合并得到。 3.根据权利要求2所述的方法， 其特征在于， 确定在所述待传输视频的对应视频帧类型 下抽帧后的剩余传输总码率与所述网络带宽最匹配时不同视频帧类型下的抽帧比例， 包 括： 根据所述待传输视频中不同视频帧类型的抽帧顺序和不同视频帧类型下的初始传输 码率， 确定所述网络带宽匹配的最后一级待抽帧的目标视频帧类型； 将位于所述目标视频帧类型之后的视频帧类型下的抽帧比例设定为非抽帧值， 位于所 述目标视频帧类型之前的视频帧类型下的抽帧比例设定为全抽帧值； 确定所述待传输视频在排除位于所述目标视频帧类型之前的视频帧类。

5、型下的全部视 频帧后继续在目标视频帧类型下抽帧后的目标传输总码率与所述网络带宽最匹配时该目 标视频帧类型下的抽帧比例。 4.根据权利要求1所述的方法， 其特征在于， 所述待传输视频由所述当前会话方所在的 视频会话间中其他会话方的上传视频组成。 5.根据权利要求4所述的方法， 其特征在于， 确定在所述待传输视频的对应视频帧类型 下抽帧后的剩余传输总码率与所述网络带宽最匹配时不同视频帧类型下的抽帧比例， 包 括： 根据不同视频帧类型下每一其他会话方对应的初始传输子码率， 确定每一视频帧类型 下面向所述其他会话方的抽帧子顺序； 根据不同视频帧类型的抽帧顺序以及每一视频帧类型下的抽帧子顺序， 确定所述。

6、待传 输视频在对应视频帧类型下面向各其他会话方抽帧后的剩余传输总码率与所述网络带宽 最匹配时不同视频帧类型下各所述其他会话方对应的抽帧子比例。 6.根据权利要求5所述的方法， 其特征在于， 确定所述待传输视频在对应视频帧类型下 面向各其他会话方抽帧后的剩余传输总码率与所述网络带宽最匹配时不同视频帧类型下 各所述其他会话方对应的抽帧子比例， 包括： 根据不同视频帧类型下每一其他会话方对应的初始传输子码率， 计算各视频帧类型下 的初始传输码率， 并确定所述网络带宽匹配的最后一级待抽帧的目标视频帧类型； 将位于所述目标视频帧类型之后的视频帧类型下各所述其他会话方对应的抽帧子比 例设定为非抽帧值， 位。

7、于所述目标视频帧类型之前的视频帧类型下各所述其他会话方对应 的抽帧子比例设定为全抽帧值； 确定所述待传输视频在排除位于所述目标视频帧类型之前的视频帧类型下各所述其 他会话方对应的全部视频帧后继续在目标视频帧类型下面向各所述其他会话方抽帧后的 目标传输总码率与所述网络带宽最匹配时该目标视频帧类型下各所述其他会话方对应的 抽帧子比例。 权利要求书 1/2 页 2 CN 111107297 A 2 7.根据权利要求6所述的方法， 其特征在于， 所述目标视频帧类型下各所述其他会话方 对应的抽帧子比例通过二分查找算法确定。 8.根据权利要求6所述的方法， 其特征在于， 所述按照不同视频帧类型下的抽帧比例。

8、向 当前会话方传输所述待传输视频， 包括： 将所述其他会话方的上传视频中根据不同视频帧类型下该其他会话方对应的抽帧子 比例进行抽帧后剩余的视频帧添加至该其他会话方的下行发送窗口； 定时向所述当前会话方传输所述下行发送窗口中的视频帧。 9.根据权利要求1-8任一项所述的方法， 其特征在于， 所述待传输视频的初始传输总码 率通过平滑算法确定。 10.根据权利要求1-8任一项所述的方法， 其特征在于， 还包括： 如果当前会话方的网络带宽大于等于所述待传输视频的初始传输码率， 则设定所述待 传输视频在每一视频帧类型下的抽帧比例为非抽帧值。 11.一种视频传输装置， 其特征在于， 包括： 抽帧比例确定模。

9、块， 用于如果当前会话方的网络带宽小于待传输视频的初始传输总码 率， 则根据所述待传输视频中不同视频帧类型的抽帧顺序， 确定在所述待传输视频的对应 视频帧类型下抽帧后的剩余传输总码率与所述网络带宽最匹配时不同视频帧类型下的抽 帧比例； 视频传输模块， 用于按照不同视频帧类型下的抽帧比例向当前会话方传输所述待传输 视频。 12.一种资源服务器， 其特征在于， 所述资源服务器包括： 一个或多个处理器； 存储装置， 用于存储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1-10中任一所述的视频传输方法。 13.一种视频传输系统， 其特征在。

10、于， 包括权利要求12所述的资源服务器以及与所述资 源服务器通信的当前会话端和其他会话端， 所述其他会话端向所述资源服务器上传对应的 视频， 所述资源服务器根据所述其他会话端上传的视频， 生成所述当前会话端的待传输视 频， 并按照所述待传输视频在不同视频帧类型下的抽帧比例传输给所述当前会话端。 14.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1-10中任一所述的视频传输方法。 权利要求书 2/2 页 3 CN 111107297 A 3 一种视频传输方法、 装置、 资源服务器和存储介质 技术领域 0001 本发明实施例涉及视频处理领域，。

11、 尤其涉及一种视频传输方法、 装置、 资源服务器 和存储介质。 背景技术 0002 随着网络流媒体技术的发展， 多人视频会议或多人视频聊天等多人视频应用场景 越来越普遍， 使得不同用户之间的交流变得越来越方便， 但是由于网络状态存在诸多不稳 定性， 如果媒体服务端向某一用户下发另一用户上传的视频包， 而该用户的网络下行带宽 较低时， 该视频包在下发过程中易产生随机丢包的情况， 从而导致视频播放时的流畅性较 低， 容易造成播放卡顿。 0003 目前在多人视频应用场景下， 如果用户的网络下行带宽不足以支持所采用的视频 码率下视频包的完整传输， 通常在待传输的视频包中仅筛选出经过视频编码后的帧内编码。

12、 帧(I帧)， 并将筛选出的I帧下发给用户， 而直接丢掉视频编码后的帧间预测编码帧(P帧)， 此时由于网络下行带宽是实时变化的， 如果网络下行带宽与所采用的视频码率相差较小， 仅传输I帧则会造成相应的带宽浪费， 如果网络下行带宽与所采用的视频码率相差较大， 即 使仅传输I帧也无法得到支持时， 还是会产生随机丢包情况， 无法保证网络下行带宽与视频 码率之间的相互协调。 发明内容 0004 本发明实施例提供了一种视频传输方法、 装置、 资源服务器和存储介质， 避免视频 传输过程中出现随机丢包或带宽浪费的情况， 保证视频播放的清晰度。 0005 第一方面， 本发明实施例提供了一种视频传输方法， 该方。

13、法包括： 0006 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 则根据所述待传 输视频中不同视频帧类型的抽帧顺序， 确定在所述待传输视频的对应视频帧类型下抽帧后 的剩余传输总码率与所述网络带宽最匹配时不同视频帧类型下的抽帧比例； 0007 按照不同视频帧类型下的抽帧比例向当前会话方传输所述待传输视频。 0008 第二方面， 本发明实施例提供了一种视频传输装置， 该装置包括： 0009 抽帧比例确定模块， 用于如果当前会话方的网络带宽小于待传输视频的初始传输 总码率， 则根据所述待传输视频中不同视频帧类型的抽帧顺序， 确定在所述待传输视频的 对应视频帧类型下抽帧后的剩余传输总码率与。

14、所述网络带宽最匹配时不同视频帧类型下 的抽帧比例； 0010 视频传输模块， 用于按照不同视频帧类型下的抽帧比例向当前会话方传输所述待 传输视频。 0011 第三方面， 本发明实施例提供了一种资源服务器， 该资源服务器包括： 0012 一个或多个处理器； 0013 存储装置， 用于存储一个或多个程序； 说明书 1/13 页 4 CN 111107297 A 4 0014 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理 器实现本发明任意实施例所述的视频传输方法。 0015 第四方面， 本发明实施例提供了一种视频传输系统， 该系统包括： 本发明第三方面 中所述的资源服务器。

15、以及与所述资源服务器通信的当前会话端和其他会话端， 所述其他会 话端向所述资源服务器上传对应的视频， 所述资源服务器根据所述其他会话端上传的视 频， 生成所述当前会话端的待传输视频， 并按照所述待传输视频在不同视频帧类型下的抽 帧比例传输给所述当前会话端。 0016 第五方面， 本发明实施例提供了一种计算机可读存储介质， 其上存储有计算机程 序， 该程序被处理器执行时实现本发明任意实施例所述的视频传输方法。 0017 本发明实施例提供的一种视频传输方法、 装置、 资源服务器和存储介质， 在当前会 话方的网络带宽小于待传输视频的初始传输总码率时， 可以按照待传输视频中预设的不同 视频帧类型的抽帧。

16、顺序， 依次在待传输视频的对应视频帧类型下进行抽帧来降低待传输视 频的初始传输总码率， 此时确定依次在对应视频帧类型下抽帧后的剩余传输总码率与网络 带宽最匹配时在不同视频帧类型下所选用的抽帧比例， 进而按照不同视频帧类型下的抽帧 比例在待传输视频的不同视频帧类型下抽取出多余的视频帧， 并将抽帧后的待传输视频传 输给当前会话方， 使得待传输视频在抽帧后剩余的实际传输总码率与当前会话方的网络带 宽最匹配， 从而避免由于带宽不够产生关键帧丢包， 而使解码失败造成播放卡顿的情况， 减 少视频传输过程中出现大量随机丢包或带宽浪费的情况， 提高视频播放的流畅性， 同时通 过抽帧的方式降低待传输视频的初始传。

17、输总码率， 而无需减少视频帧中所含的信息量， 可 以保证视频播放的清晰度不变。 附图说明 0018 通过阅读参照以下附图所作的对非限制性实施例所作的详细描述， 本发明的其它 特征、 目的和优点将会变得更明显： 0019 图1为本发明实施例提供的一种视频传输系统的原理示意图； 0020 图2A为本发明实施例一提供的一种视频传输方法的流程图； 0021 图2B为本发明实施例一提供的视频传输过程的原理示意图； 0022 图3A为本发明实施例二提供的一种视频传输方法的流程图； 0023 图3B为本发明实施例二提供的视频传输过程的原理示意图； 0024 图4A为本发明实施例三提供的一种视频传输方法的流程。

18、图； 0025 图4B为本发明实施例三提供的视频传输过程的原理示意图； 0026 图5为本发明实施例四提供的一种视频传输装置的结构示意图； 0027 图6为本发明实施例五提供的一种资源服务器的结构示意图。 具体实施方式 0028 下面结合附图和实施例对本发明作进一步的详细说明。 可以理解的是， 此处所描 述的具体实施例仅仅用于解释本发明， 而非对本发明的限定。 另外还需要说明的是， 为了便 于描述， 附图中仅示出了与本发明相关的部分而非全部结构。 此外， 在不冲突的情况下， 本 发明中的实施例及实施例中的特征可以相互组合。 说明书 2/13 页 5 CN 111107297 A 5 0029 。

19、本实施例主要针对多人视频会话的应用场景中， 当前会话方的网络带宽与待传输 视频的实际传输码率不相配而存在带宽浪费或视频丢包的现象， 提供一种多人视频会话场 景下的下行抽帧策略， 首先依次在待传输视频的不同视频帧类型下进行抽帧， 进而确定出 依次抽帧后剩余的实际传输码率在与当前会话方的网络带宽最匹配时， 不同视频帧类型下 所选用的抽帧比例， 后续在待传输视频的不同视频帧类型下， 采用对应的抽帧比例进行抽 帧， 并将抽帧后的待传输视频下发给当前会话方， 使得待传输视频在抽帧后剩余的实际传 输总码率与当前会话方的网络带宽最匹配， 从而避免视频传输过程中出现大量随机丢包或 带宽浪费的情况， 在保证清晰。

20、度不变的前提下尽可能大的保证视频播放的流畅性。 0030 图1为本发明实施例提供的一种视频传输系统的原理示意图。 具体的， 参考图1， 该 视频传输系统中可以包括资源服务器10以及与资源服务器10通信的当前会话端20和其他 会话端30。 0031 其中， 资源服务器10为多人视频会话的应用场景中用于转发不同会话方的视频数 据的文件服务器， 此时在多人视频会话的应用场景中的任一会话方作为当前会话方， 需要 播放多人视频会话下的其他会话方的视频数据时， 该资源服务器10将各个其他会话方的上 传视频综合得到当前会话方的待传输视频， 在当前会话方的网络带宽小于待传输视频的初 始传输总码率时， 首先根据。

21、不同视频帧类型的抽帧顺序， 依次在待传输视频的不同视频帧 类型下进行抽帧， 进而确定出依次抽帧后剩余的实际传输总码率与当前会话方的网络带宽 最匹配时不同视频帧类型下所选用的抽帧比例， 后续在待传输视频的不同视频帧类型下采 用对应的抽帧比例进行抽帧， 并将抽帧后的待传输视频下发给当前会话方。 当前会话端20 和其他会话端30分别为多人视频会话的应用场景中当前会话方和其他会话方所在的用户 终端， 其上配置有用于支持用户参与多人视频会话的各类视频通讯软件， 多人视频会话内 的当前会话端20与其他会话端30在视频会话过程中会实时向资源服务器10上传对应的视 频数据， 由资源服务器10按照当前会话端20。

22、要求的在不同视频帧类型下的抽帧比例对各个 其他会话端30上传的视频数据进行抽帧， 并将各个其他会话端30在对应抽帧后的视频数据 传输给当前会话端20。 0032 具体的， 资源服务器10实时接收各个其他会话端30的上传视频， 生成针对当前会 话端20下的待传输视频， 并确定该待传输视频未被任何处理时的初始传输总码率， 同时探 测当前会话端20的网络带宽， 在该网络带宽小于待传输视频的初始传输总码率时， 说明当 前会话方的网络带宽不支持待传输视频在该初始传输总码率下的全部视频帧传输， 容易出 现视频丢包的现象， 因此本发明实施例可以采用在待传输视频中进行抽帧的方式， 降低待 传输视频的实际传输总。

23、码率， 以使待传输视频的实际传输总码率能够与当前会话方的网络 带宽最为匹配， 此时资源服务器10可以按照预先为待传输视频的不同视频帧类型所设置的 抽帧顺序， 依次在待传输视频的对应视频帧类型下进行抽帧， 并判断待传输视频在抽帧后 的剩余传输总码率是否与当前会话方的网络带宽匹配， 进而确定出抽帧后的剩余传输总码 率与网络带宽最匹配时在不同视频帧类型下所选用的抽帧比例， 进而按照不同视频帧类型 下的抽帧比例对应在待传输视频的不同视频帧类型下抽取出多余的视频帧， 并将抽帧后的 待传输视频传输给当前会话方， 使得待传输视频在抽帧后剩余的实际传输总码率与当前会 话方的网络带宽最匹配， 从而避免视频传输过。

24、程中出现随机丢包或带宽浪费的情况， 提高 视频播放的流畅性， 同时通过抽帧的方式降低待传输视频的初始传输总码率， 而无需减少 说明书 3/13 页 6 CN 111107297 A 6 视频帧中所含的信息量， 保证视频播放的清晰度。 0033 本发明实施例对于资源服务器10对待传输视频在不同视频帧类型下的具体抽帧 操作可以在下述视频传输方法中进行详细的解释说明， 在此不作具体介绍。 需要说明的是， 本发明实施例中的其他会话端30的数量可以由当前会话方所在的视频会话间中所参与视 频会话的用户数量确定， 对此不作限定。 0034 实施例一 0035 图2A为本发明实施例一提供的一种视频传输方法的流。

25、程图， 本实施例可应用于任 一种多人视频会话的应用场景中。 本实施例提供的一种视频传输方法可以由本发明实施例 提供的视频传输装置来执行， 该装置可以通过软件和/或硬件的方式来实现， 并集成在执行 本方法的资源服务器中， 该资源服务器可以是用于转发不同用户之间的视频会话数据的文 件服务器。 0036 具体的， 参考图2A， 该方法可以包括如下步骤： 0037 S210， 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 则根据待 传输视频中不同视频帧类型的抽帧顺序， 确定在待传输视频的对应视频帧类型下抽帧后的 剩余传输总码率与网络带宽最匹配时不同视频帧类型下的抽帧比例。 0038 其中，。

26、 在多人视频会话的应用场景下， 当前会话方可以为参与该多人视频会话的 任一会话方， 此时针对该当前会话方， 资源服务器在视频会话过程中会实时接收参与该多 人视频会话的其他会话方上传的视频， 此时需要将其他会话方上传的视频均对应下发给当 前会话方， 因此本实施例中向当前会话方下发的待传输视频由当前会话方所在的视频会话 间中其他会话方的上传视频组成； 同时， 由于待传输视频通常是经过编码处理的， 此时根据 所选用的编码类型不同， 使得待传输视频中存在多种不同视频帧类型下的视频帧， 例如待 传输视频中可以包括I帧、 P帧和B帧三种视频帧类型， 而由于若当前视频帧为B帧时， 后续播 放需要根据当前视频。

27、帧的前后相邻帧来对其解码， 此时若将其前后相邻帧抽帧后会导致该 B帧无法解码， 而且如果B帧的后一视频帧为P帧， 此时若将该B帧抽帧后会导致该P帧无法解 码， 因此若在待传输视频中存在B帧时， 采用抽帧的方式会导致抽帧后的待传输视频解码失 败的情况， 因此本实施例中待传输视频的不同视频帧类型仅包括I帧和P帧， 也就是要求采 用本实施例的视频传输方法的多人参与的视频会话间中针对当前会话方的待传输视频仅 采用I帧和P帧进行编码。 需要说明的是， 由于流媒体传输时存在随机丢包的情况， 大多数流 媒体传输都是采用I帧和P帧传输， 通常不会采用B帧编码。 0039 此外， 由于待传输视频的不同视频帧类型。

28、所对应的编码方式不同， 使得解码所要 求存在的视频帧也不同， 例如I帧根据自身即可成功解码， 而P帧则需要根据该帧之前的全 部视频帧来解码， 如果P帧之前的I帧被抽帧， 该P帧会解码失败， 因此为了保证抽帧后的待 传输视频能够成功解码， 可以在待传输视频的不同视频帧类型中设定对应的抽帧顺序， 例 如设定I帧在P帧之后抽帧。 0040 在本实施例中， 资源服务器会不断在预设时间间隔下接收到当前会话方所在的视 频会话间中的各个其他会话方在该预设时间间隔内所采集的上传视频， 为了保证视频会话 的实时性， 该预设时间间隔可以设置为较短的时间间隔， 例如其他会话方每隔1s向资源服 务器上传一次当前时间段。

29、的视频， 此时资源服务器可以按照各个其他会话方的上传视频中 各视频帧的上传时间前后， 将各个其他会话方在当前预设时间间隔下的上传视频中的每一 说明书 4/13 页 7 CN 111107297 A 7 视频帧顺序整合， 如图2B所示， 从而得到针对当前会话方的待传输视频， 此时根据待传输视 频中各个视频帧内所含的信息量以及该预设时间间隔， 计算待传输视频在当前预设时间间 隔下的初始传输总码率， 同时由于网络带宽实时变化， 为了保证视频传输的准确性， 会探测 当前会话方的网络带宽； 此时如果当前会话方的网络带宽小于待传输视频的初始传输总码 率， 说明当前会话方的网络带宽不支持待传输视频在该初始传。

30、输总码率下的完整传输， 因 此本实施例可以根据预先为待传输视频中不同视频帧类型所设定的抽帧顺序， 依次在待传 输视频的每一视频帧类型下选用对应的初始抽帧比例对该视频帧类型下的各个视频帧进 行抽帧， 同时计算在待传输视频的每一视频帧类型下进行抽帧后的剩余传输总码率， 进而 判断该剩余传输总码率与当前会话方的网络带宽的匹配程度， 并将该剩余传输总码率与该 网络带宽最匹配时， 该待传输视频在不同视频帧类型下所选用的初始抽帧比例作为本实施 例中不同视频帧类型下最终的抽帧比例， 以便后续实际传输时， 先采用不同视频帧类型下 的抽帧比例依次对待传输视频中各个视频帧类型下的全部视频帧进行抽帧， 保证待传输视。

31、 频的稳定传输。 0041 示例性的， 本实施例中对于待传输视频在每一视频帧类型下所选用的初始抽帧比 例， 可以采用枚举的方式， 也可以根据网络带宽与抽帧后的实际传输总码率之间的差异度 不断调整不同视频帧类型下对应的初始抽帧比例， 还可以采用二分查找算法不断更新直至 得到最优的抽帧比例， 本实施例中对此不作限定。 0042 例如， 首先根据当前会话方的网络状态分别设定待传输视频在不同视频帧类型下 的初始抽帧比例， 按照该待传输视频中不同视频帧类型的抽帧顺序， 依次采用对应视频帧 类型下的初始抽帧比例进行抽帧， 得到待传输视频抽帧后的剩余传输总码率， 进而根据该 剩余传输总码率与当前会话方的网络。

32、带宽的匹配差异度， 调整不同视频帧类型下的初始抽 帧比例， 并继续获取新的剩余传输总码率， 直至最新的匹配差异度低于预设差异阈值， 则将 不同视频帧类型下最新的初始抽帧比例， 作为本实施例中不同视频帧类型下的抽帧比例。 0043 同时， 为了保证当前会话端的初始传输总码率的准确性， 本实施例可以通过平滑 算法确定该初始传输总码率， 例如每隔4ms计算一次待传输视频在对应的预设时间间隔内 的初始传输总码率， 在当前预设时间间隔下通过对历史预设时间间隔内的初始传输总码率 进行平滑处理， 得到待传输视频在当前预设时间间隔下的初始传输总码率。 0044 此外， 当前会话方的网络带宽存在大于等于待传输视。

33、频的初始传输码率， 此时本 实施例还可以包括： 如果当前会话方的网络带宽大于等于待传输视频的初始传输码率， 则 设定待传输视频在每一视频帧类型下的抽帧比例为非抽帧值。 0045 具体的， 当前会话方的网络带宽存在大于等于待传输视频的初始传输码率， 说明 该网络带宽足够大， 完全支持待传输视频在该初始传输总码率下的完整传输， 无需进行抽 帧， 因此将待传输视频在每一视频帧类型下的抽帧比例设定为对应的非抽帧值， 例如每一 视频帧类型下的抽帧比例均为0， 使得后续向当前会话方传输该待传输视频时， 在每一视频 帧类型下均无需抽帧， 全部传输。 0046 S220， 按照不同视频帧类型下的抽帧比例向当前。

34、会话方传输待传输视频。 0047 具体的， 在确定待传输视频在不同视频帧类型下的抽帧比例后， 能够确定在当前 预设时间间隔内接收到的待传输视频中需要在每一视频帧类型下抽取的视频帧数量， 进而 确定出该待传输视频中允许正常传输的视频帧数量； 同时， 由于待传输视频中的P帧在解码 说明书 5/13 页 8 CN 111107297 A 8 时， 需要参考该P帧之间的视频帧， 因此为了保证视频传输后各视频帧的正常解码， 本实施 例在传输待传输视频中的各个视频帧时， 可以按照各个视频帧的上传时间顺序向当前会话 方传输每一视频帧， 此时判断当前传输的视频帧的视频帧类型， 并确定在该视频帧类型下 当前已经。

35、向当前会话方成功传输的视频帧数量， 在当前传输的视频帧数量达到该视频帧类 型下所允许正常传输的视频帧数量时， 不再传输该视频帧类型下的任一视频帧， 使得待传 输视频在该视频帧类型下能够剩余对应抽帧比例的视频帧不被传输， 也就是本实施例中根 据该视频帧类型下的抽帧比例能够在该视频帧类型下的全部视频帧中确定出第一个需要 抽帧的视频帧， 位于该视频帧之前的该视频帧类型下的视频帧全部传输， 该视频帧与位于 该视频帧之后的该视频帧类型下的视频帧全部抽取， 从而保证传输后各个视频帧的成功解 码； 针对待传输视频的每一视频帧类型， 均采用上述步骤进行视频帧的顺序传输， 使得待传 输视频在每一视频帧类型下按照。

36、对应的抽帧比例进行抽帧后的剩余传输总码率能够与当 前会话方在当前时刻探测的网络带宽最匹配， 从而避免视频传输过程中出现随机丢包或带 宽浪费的情况， 提高视频播放的流畅性。 0048 本实施例提供的技术方案， 在当前会话方的网络带宽小于待传输视频的初始传输 总码率时， 可以按照待传输视频中预设的不同视频帧类型的抽帧顺序， 依次在待传输视频 的对应视频帧类型下进行抽帧来降低待传输视频的初始传输总码率， 此时确定依次在对应 视频帧类型下抽帧后的剩余传输总码率与网络带宽最匹配时在不同视频帧类型下所选用 的抽帧比例， 进而按照不同视频帧类型下的抽帧比例在待传输视频的不同视频帧类型下抽 取出多余的视频帧，。

37、 并将抽帧后的待传输视频传输给当前会话方， 使得待传输视频在抽帧 后剩余的实际传输总码率与当前会话方的网络带宽最匹配， 从而避免由于带宽不够产生关 键帧丢包， 而使解码失败造成播放卡顿的情况， 减少视频传输过程中出现随机丢包或带宽 浪费的情况， 提高视频播放的流畅性， 同时通过抽帧的方式降低待传输视频的初始传输总 码率， 而无需减少视频帧中所含的信息量， 可以保证视频播放的清晰度不变。 0049 实施例二 0050 图3A为本发明实施例二提供的一种视频传输方法的流程图， 图3B为本发明实施例 二提供的视频传输过程的原理示意图。 本实施例是在上述实施例的基础上进行优化， 本实 施例主要对于待传输。

38、视频在不同视频帧类型下的抽帧比例的具体确定过程进行详细的解 释说明。 0051 可选的， 如图3A所示， 本实施例可以包括如下步骤： 0052 S310， 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 则根据待 传输视频中不同视频帧类型的抽帧顺序和不同视频帧类型下的初始传输码率， 确定网络带 宽匹配的最后一级待抽帧的目标视频帧类型。 0053 具体的， 由于待传输视频中的各个视频帧在进行对应编码后会存在不同的视频帧 类型， 此时待传输视频的初始传输总码率则由待传输视频在不同视频帧类型下的初始传输 码率合并得到； 不同视频帧类型下的初始传输码率可以根据当前预设时间间隔内接收到的 待传。

39、输视频在各个视频帧类型下所包含的信息量和预设时间间隔来确定， 也可以采用平滑 算法对历史预设时间间隔内在对应视频帧类型下的初始传输码率进行平滑处理， 得到当前 预设时间间隔内的待传输视频在该视频帧类型下的初始传输码率。 0054 可选的， 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 首先按 说明书 6/13 页 9 CN 111107297 A 9 照预先设定的不同视频帧类型的抽帧顺序以及每一视频帧类型下的初始传输码率， 判断当 前会话方的网络带宽在视频传输过程中所支持无需抽帧的视频帧类型， 也就是在全部视频 帧类型下按照对应的抽帧顺序确定出当前会话方的网络带宽匹配的最后一级待抽。

40、帧的目 标视频帧类型。 0055 示例性的， 若当前会话方的网络带宽为BW， 待传输视频的不同视频帧类型包括I帧 和P帧， 待传输视频在I帧下的初始传输码率为aI， 在P帧下的初始传输码率为aP， 且I帧在P帧 后抽帧， 此时若aIBWaI+aP， 说明该网络带宽不支持待传输视频中P帧的全部传输， 而支持I 帧的全部传输， 此时需要对P帧进行抽帧， 无需对I帧进行抽帧， 则确定该网络带宽匹配的最 后一级待抽帧的目标视频帧类型为P帧； 若BWaI， 说明该网络带宽均不支持待传输视频中I 帧和P帧的全部传输， 此时需要对I帧和P帧均进行抽帧， 则确定该网络带宽匹配的最后一级 待抽帧的目标视频帧类型。

41、为I帧。 0056 S320， 将位于目标视频帧类型之后的视频帧类型下的抽帧比例设定为非抽帧值， 位于目标视频帧类型之前的视频帧类型下的抽帧比例设定为全抽帧值。 0057 可选的， 由于抽帧顺序在前的视频帧类型下的视频帧可能需要参考抽帧顺序在后 的视频帧类型下的某一视频帧进行解码， 此时为了保证传输后视频帧的成功解码， 在抽帧 时需要保证在将抽帧顺序在前的视频帧类型下的视频帧必须全部抽取后， 再去抽取抽帧顺 序在后的视频帧类型下的视频帧， 因此本实施例在确定该网络带宽匹配的最后一级待抽帧 的目标视频帧类型后， 直接根据不同视频帧类型的抽帧顺序， 将位于该目标视频帧类型之 后的视频帧类型下的抽帧。

42、比例设定为非抽帧值， 也就是在该视频帧类型下抽取全部视频 帧， 使得无需向当前会话方传输该视频帧类型下的视频帧； 同时将位于目标视频帧类型之 前的视频帧类型下的抽帧比例设定为全抽帧值， 也就是在该视频帧类型下不抽取任何视频 帧， 使得向当前会话方传输该视频帧类型下的全部视频帧。 0058 示例性的， 若待传输视频的不同视频帧类型包括I帧和P帧， 且目标视频帧类型为P 帧， 此时将在I帧下的抽帧比例设定为0， 后续确定P帧下的具体抽帧比例。 0059 S330， 确定待传输视频在排除位于目标视频帧类型之前的视频帧类型下的全部视 频帧后继续在目标视频帧类型下抽帧后的目标传输总码率与网络带宽最匹配时。

43、该目标视 频帧类型下的抽帧比例。 0060 具体的， 在确定待传输视频在目标视频帧类型下的抽帧比例时， 首先需要在待传 输视频中排除位于目标视频帧类型之前的视频帧类型下的全部视频帧， 以便准确模拟实际 的视频传输， 从而确定排除后的剩余传输总码率， 根据排除后的剩余传输总码率与当前会 话方的网络带宽之间的匹配情况， 继续在目标视频帧类型下选用相应的初始抽帧比例进行 抽帧， 并计算在该目标视频帧类型下抽帧后剩余的目标传输总码率， 进而判断该目标传输 总码率与当前会话方的网络带宽的匹配程度， 并将排除位于目标视频帧类型之前的视频帧 类型下的全部视频帧且在该目标视频帧类型下进行抽帧后剩余的目标传输总。

44、码率与该网 络带宽最匹配时， 该目标视频帧类型下选用的初始抽帧比例作为本实施例中最终在该目标 视频帧类型下的抽帧比例。 0061 示例性的， 本实施例中可以采用二分查找算法不断优化计算目标视频帧类型下的 抽帧比例， 刚开始将目标视频帧类型下的最大抽帧比例max_pro设置为100， 最小抽帧比 例min_pro设置为0， 此时确定初始抽帧比例为(max_pro+min_pro)/2， 进而判断排除位于目 说明书 7/13 页 10 CN 111107297 A 10 标视频帧类型之前的视频帧类型下的全部视频帧且在该目标视频帧类型下按照(max_pro+ min_pro)/2的初始抽帧比例进行抽。

45、帧后剩余的目标传输总码率与网络带宽的匹配情况， 如 果网络带宽大于该目标传输总码率， 说明初始抽帧比例(max_pro+min_pro)/2过大， 则将最 大抽帧比例max_pro修改为(max_pro+min_pro)/2， 最小抽帧比例min_pro仍为0， 继续根据 新的最大抽帧比例或最小抽帧比例来更新对应的初始抽帧比例， 再次判断抽帧后剩余的目 标传输总码率与网络带宽的匹配情况， 依次循环， 直至最终的最大抽帧比例与最小抽帧比 例之间的差值能够达到规定精度， 此时使得剩余的目标传输总码率与网络带宽达到最匹 配， 则将当前的初始抽帧比例作为最终在该目标视频帧类型下的抽帧比例。 0062 。

46、S340， 按照不同视频帧类型下的抽帧比例向当前会话方传输待传输视频。 0063 本实施例提供的技术方案， 在当前会话方的网络带宽小于待传输视频的初始传输 总码率时， 可以按照待传输视频中预设的不同视频帧类型的抽帧顺序， 依次在待传输视频 的对应视频帧类型下进行抽帧来降低待传输视频的初始传输总码率， 此时通过对剩余传输 总码率与网络带宽最匹配时对应的抽帧顺序靠前的视频帧类型进行完全抽帧， 而对抽帧顺 序靠后的视频帧类型完全保留， 以在待传输视频的不同视频帧类型下抽取出多余的视频 帧， 保证并将抽帧后的待传输视频传输给当前会话方， 保证传输后的视频帧能够成功解码， 并使得待传输视频在抽帧后剩余的。

47、实际传输总码率与当前会话方的网络带宽最匹配， 从而 避免由于带宽不够产生关键帧丢包， 而使解码失败造成播放卡顿的情况， 减少视频传输过 程中出现随机丢包或带宽浪费的情况， 提高视频播放的流畅性， 同时通过抽帧的方式降低 待传输视频的初始传输总码率， 而无需减少视频帧中所含的信息量， 可以保证视频播放的 清晰度不变。 0064 实施例三 0065 图4A为本发明实施例三提供的一种视频传输方法的流程图， 图4B为本发明实施例 三提供的视频传输过程的原理示意图。 本实施例是在上述实施例的基础上进行优化， 本实 施例主要对于待传输视频在不同视频帧类型下的抽帧比例的具体计算过程进行详细的解 释说明。 0。

48、066 可选的， 如图4A所示， 本实施例可以包括如下步骤： 0067 S410， 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 则根据不 同视频帧类型下每一其他会话方对应的初始传输子码率， 确定每一视频帧类型下面向其他 会话方的抽帧子顺序。 0068 具体的， 由于针对当前会话方的待传输视频由当前会话方所在的视频会话间中各 个其他会话方的上传视频组成， 此时待传输视频在每一视频帧类型下均可以包括各个其他 会话方的上传视频中在该视频帧类型下的视频帧， 此时待传输视频在每一视频帧类型下的 初始传输码率由各个其他会话方在该视频帧类型下对应的初始传输子码率合并得到， 此时 不同视频帧类型。

49、下其他会话方对应的初始传输子码率可以通过其他会话方的上传视频中 在该视频帧类型下包含的信息量与预设时间间隔确定， 可以采用平滑算法计算。 0069 示例性的， 资源服务器会不断在预设时间间隔下接收到当前会话方所在的视频会 话间中的各个其他会话方在该预设时间间隔内所采集的上传视频， 并根据各个其他会话方 的上传视频中每一视频帧的上传时间前后， 将各上传视频中的视频帧顺序整合， 得到针对 当前会话方的待传输视频， 同时可以记录整合后的每一视频帧的来源、 视频帧类型以及所 说明书 8/13 页 11 CN 111107297 A 11 包含的信息量等， 如图4B所示， 以便后续计算不同视频帧类型下每。

50、一其他会话方对应的初 始传输子码率。 0070 可选的， 如果当前会话方的网络带宽小于待传输视频的初始传输总码率， 本实施 例可以根据预先为待传输视频中不同视频帧类型所设定的抽帧顺序， 依次在对应视频帧类 型下对该视频帧类型下的全部视频帧进行抽帧， 此时由于不同视频帧类型下存在各个其他 会话方在该视频帧类型下的视频帧， 因此， 为了尽可能保证多个其他会话方的视频完整播 放， 本实施例还可以根据不同视频帧类型下每一其他会话方对应的初始传输子码率， 在每 一视频帧类型下确定出面向各个其他会话方的抽帧子顺序， 例如先抽取对应视频帧类型下 初始传输子码率较高的其他会话方在该视频帧类型下的视频帧， 再抽。