终端的录屏交互方法、装置、计算机设备及存储介质.pdf

《终端的录屏交互方法、装置、计算机设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《终端的录屏交互方法、装置、计算机设备及存储介质.pdf（20页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010135464.9 (22)申请日 2020.03.02 (71)申请人 广州虎牙科技有限公司 地址 511400 广东省广州市番禺区钟村街 （汉溪商业中心） 泽溪街13号1301 (72)发明人 苏庆辉 (74)专利代理机构 北京品源专利代理有限公司 11332 代理人 孟金喆 (51)Int.Cl. H04N 21/2187(2011.01) H04N 21/478(2011.01) H04N 21/433(2011.01) H04N 21/4402(2011.01。

2、) H04N 21/443(2011.01) A63F 13/86(2014.01) (54)发明名称 终端的录屏交互方法、 装置、 计算机设备及 存储介质 (57)摘要 本发明实施例公开了一种终端的录屏交互 方法、 装置、 计算机设备和存储介质。 该方法包 括： 响应于录屏任务启动指令， 对终端屏幕进行 实时录屏； 获取录屏过程中产生的各视频帧和匹 配的音频数据， 并根据与终端性能参数匹配的配 置信息， 调用匹配的处理器对各视频帧进行至少 一项图像处理； 根据图像处理后的各所述视频帧 以及所述匹配的音频数据， 合成得到音视频数 据， 并将所述音视频数据发送至匹配的接收设 备， 本发明实施例的。

3、技术方案在对录屏内容中的 每一个视频帧进行正常图像处理的同时， 最大程 度的减少对CPU的消耗， 一定程度上避免了录屏 过程中录屏进程的强制关闭， 提高了录屏类直播 的直播顺畅度。 权利要求书2页 说明书12页 附图5页 CN 111405301 A 2020.07.10 CN 111405301 A 1.一种终端的录屏交互方法， 其特征在于， 包括： 响应于录屏任务启动指令， 对终端屏幕进行实时录屏； 获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据与终端性能参数匹配的配 置信息， 调用匹配的处理器对各视频帧进行至少一项图像处理； 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 。

4、合成得到音视频数据， 并 将所述音视频数据发送至匹配的接收设备。 2.根据权利要求1所述的方法， 其特征在于， 在响应于录屏任务启动指令， 对终端屏幕 进行实时录屏之前， 还包括： 根据用户的录屏任务发起请求， 打开录屏入口面板， 并在所述录屏入口面板中搜索用 于启动录屏任务的录屏按钮； 向所述录屏按钮发送模拟点击事件后， 关闭所述录屏入口面板， 所述模拟点击事件用 于触发所述录屏按钮生成所述录屏启动指令。 3.根据权利要求1所述的方法， 其特征在于， 在根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视频帧进行至少一项图像处理之前， 还包括： 获取所述终端的终端型号、 操作系统版本号。

5、以及录屏应用的应用标识作为终端性能参 数； 将所述终端性能参数发送至服务器， 接收所述服务器反馈的与所述终端性能参数匹配 的配置信息。 4.根据权利要求1所述的方法， 其特征在于， 根据与终端性能参数匹配的配置信息， 调 用匹配的处理器对各视频帧进行至少一项图像处理， 包括： 根据所述配置信息中的图片加工策略， 调用匹配的处理器， 对各所述视频帧进行图像 加工处理； 所述图像加工处理包括下述至少一项： 旋转、 缩放以及二次渲染。 5.根据权利要求4所述的方法， 其特征在于， 在根据所述配置信息中的图片加工策略， 调用匹配的处理器， 对各所述视频帧进行图像加工处理之前， 还包括： 根据所述配置信。

6、息中的颜色空间处理策略， 对各所述视频帧进行颜色空间转换。 6.根据权利要求1-5任一项所述的方法， 其特征在于， 响应于录屏任务启动指令， 对终 端屏幕进行实时录屏， 具体包括： 通过主进程， 响应于录屏任务启动指令， 建立录屏线程； 通过所述录屏线程， 对终端屏幕进行实时录屏； 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 合成得到音视频数据， 并 将所述音视频数据发送至匹配的接收设备， 具体包括： 通过所述主进程， 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 合成得 到音视频数据， 并将所述音视频数据发送至匹配的接收设备。 7.根据权利要求6所述的方法， 其特征在于， 。

7、获取录屏过程中产生的各视频帧和匹配的 音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视频帧进行至 少一项图像处理， 具体包括： 通过所述录屏线程， 获取录屏过程中产生的各视频帧和匹配的音频数据； 通过所述录屏线程， 根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各所 权利要求书 1/2 页 2 CN 111405301 A 2 述视频帧进行至少一项图像处理； 通过所述录屏线程， 将图像处理后的各所述视频帧以及所述匹配的音频数据经由预先 建立的套接字连接发送至主进程。 8.根据权利要求6所述的方法， 其特征在于， 获取录屏过程中产生的各视频帧和匹配的 音频数据， 。

8、并根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视频帧进行至 少一项图像处理， 包括： 通过录屏线程， 获取录屏过程中产生的各视频帧和匹配的音频数据； 通过所述录屏线程， 将各所述视频帧以及所述匹配的音频数据经由预先建立的套接字 连接发送至主进程； 通过所述主进程， 根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各所述 视频帧进行至少一项图像处理。 9.根据权利要求7所述的方法， 其特征在于， 在获取录屏过程中产生的各视频帧和匹配 的音频数据之前， 还包括： 在所述主进程中搭建服务器， 并在所述录屏线程中搭建客户端； 建立所述服务器与所述客户端之间的至少一个套接字连接， 所述。

9、套接字连接用于传输 设定类型的数据。 10.一种终端的录屏交互装置， 其特征在于， 包括： 实时录屏模块， 用于响应于录屏任务启动指令， 对终端屏幕进行实时录屏； 图像处理模块， 用于获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据与终 端性能参数匹配的配置信息， 调用匹配的处理器对各所述视频帧进行至少一项图像处理； 音视频数据合成模块， 用于根据图像处理后的各所述视频帧以及所述匹配的音频数 据， 合成得到音视频数据， 并将所述音视频数据发送至匹配的接收设备。 11.一种计算机设备， 其特征在于， 所述设备包括： 一个或多个处理器； 存储装置， 用于存储一个或多个程序， 当所述一个或多个。

10、程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1-9中任一所述的终端的录屏交互方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1-9中任一所述的终端的录屏交互方法。 权利要求书 2/2 页 3 CN 111405301 A 3 终端的录屏交互方法、 装置、 计算机设备及存储介质 技术领域 0001 本发明实施例涉及信息交互技术领域， 尤其涉及一种终端的录屏交互方法、 装置、 计算机设备及存储介质。 背景技术 0002 目前， 随着视频直播技术和游戏行业的不断发展， 越来越多的游戏玩家选择将游 戏视频直。

11、播给其他用户观看。 游戏视频的直播过程主要是通过游戏玩家对游戏终端进行录 屏后， 将录屏内容经由直播服务器转发给其他观众端实现。 0003 现有技术中， 在游戏终端将录屏内容发送至直播服务器之前， 需要对录屏内容中 的每一帧进行一定的图像处理(例如， 增加水印或者屏幕翻转等操作)， 以适配其他观众端 的播放。 目前， 主要使用游戏终端的CPU(Central Processing Unit， 中央处理器)实现上述 图像处理过程。 0004 发明人在实现本发明的过程中， 发现现有技术存在如下技术缺陷： 由CPU执行上述 图像的方式， 对CPU的消耗很大。 特别是对于CPU开销上限有限制的操作系统。

12、(例如， iOS操作 系统)， 当录屏过程中的CPU消耗超过系统设置的开销上限时， 会造成录屏进程的强制关闭， 大大影响了录屏类直播的直播顺畅度。 发明内容 0005 本发明实施例提供一种终端的录屏交互方法、 装置、 计算机设备及存储介质， 在对 录屏内容中的每一个视频帧进行正常图像处理的同时， 最大程度的减少对CPU的消耗。 0006 第一方面， 本发明实施例提供了一种终端的录屏交互方法， 包括： 0007 响应于录屏任务启动指令， 对终端屏幕进行实时录屏； 0008 获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据与终端性能参数匹配 的配置信息， 调用匹配的处理器对各视频帧进行至少一。

13、项图像处理； 0009 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 合成得到音视频数 据， 并将所述音视频数据发送至匹配的接收设备。 0010 第二方面， 本发明实施例还提供了一种终端的录屏交互装置， 包括： 0011 实时录屏模块， 用于响应于录屏任务启动指令， 对终端屏幕进行实时录屏； 0012 图像处理模块， 用于获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据 与终端性能参数匹配的配置信息， 调用匹配的处理器对各所述视频帧进行至少一项图像处 理； 0013 音视频数据合成模块， 用于根据图像处理后的各所述视频帧以及所述匹配的音频 数据， 合成得到音视频数据， 并将所述音。

14、视频数据发送至匹配的接收设备。 0014 第三方面， 本发明实施例还提供了一种计算机设备， 设备包括： 0015 一个或多个处理器； 0016 存储装置， 用于存储一个或多个程序， 说明书 1/12 页 4 CN 111405301 A 4 0017 当一个或多个程序被一个或多个处理器执行， 使得一个或多个处理器实现本发明 任意实施例提供的终端的录屏交互方法。 0018 第四方面， 本发明实施例还提供了一种计算机可读存储介质， 其上存储有计算机 程序， 该程序被处理器执行时实现本发明任意实施例提供的终端的录屏交互方法。 0019 本发明实施例的技术方案通过在对终端屏幕进行实时录屏后， 获取录屏。

15、过程中产 生的各视频帧和与匹配的音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的 处理器对各视频帧进行至少一项图像处理的技术手段， 在进行视频帧的图像处理过程中， 不再一视同仁针对不同的录屏终端均使用CPU进行图像处理， 而是个性化的根据不同的终 端性能选择使用终端中不同的处理器对各视频帧进行处理， 在对录屏内容中的每一个视频 帧进行正常图像处理的同时， 最大程度的减少对CPU的消耗， 一定程度上避免了录屏过程中 录屏进程的强制关闭， 提高了录屏类直播的直播顺畅度。 附图说明 0020 图1是本发明实施例一中的一种终端的录屏交互方法的流程图； 0021 图2是本发明实施例二中的一种。

16、终端的录屏交互方法的流程图； 0022 图3是本发明实施例三中的一种终端的录屏交互方法的流程图； 0023 图4是本发明实施例四中的一种终端的录屏交互方法的流程图； 0024 图5是本发明实施例五中的一种终端的录屏交互方法的流程图； 0025 图6是本发明实施例六中的一种图像处理装置的结构示意图； 0026 图7是本发明实施例七中的一种计算机设备的结构示意图。 具体实施方式 0027 下面结合附图和实施例对本发明作进一步的详细说明。 可以理解的是， 此处所描 述的具体实施例仅仅用于解释本发明， 而非对本发明的限定。 另外还需要说明的是， 为了便 于描述， 附图中仅示出了与本发明相关的部分而非全。

17、部结构。 0028 实施例一 0029 图1是本发明实施例一提供的一种终端的录屏交互方法的流程图， 本实施例可适 用于终端进行屏幕录屏后， 调用合适的处理器对录屏过程中产生的各视频帧进行图像处理 的情况， 该方法可以由终端的录屏交互装置来执行， 该装置可以由硬件和/或软件来实现， 并一般可以集成在各种可以提供录屏服务的终端设备中， 例如， 手机、 平板电脑、 或者台式 机等。 如图1所示， 该方法包括： 0030 S110、 响应于录屏任务启动指令， 对终端屏幕进行实时录屏。 0031 在本实施例中， 直播类应用程序为了满足主播的游戏直播需求， 为主播提供了录 屏功能(也即， 屏幕捕捉功能)，。

18、 当主播选择开启录屏功能时， 会相应触发生成录屏任务启动 指令， 该录屏任务启动指令， 具体是指用于触发所述主播类应用程序开始进行实时录屏的 指令。 0032 一般来说， 用户在直播主界面中， 需要经过一级或者多级下级展开窗口或者控制 面板， 达到录屏按钮所在窗口或者控制面板， 该录屏按钮用于触发生成该录屏任务启动指 令。 相应的， 用户可以通过自主选择的方式， 通过上述一级或者多级展开窗口或者控制面 说明书 2/12 页 5 CN 111405301 A 5 板， 人为搜索该录屏按钮， 并通过点击该录屏按钮的方式， 触发生成录屏任务启动指令； 或 者， 为了进一步简便用户的操作， 降低用户使。

19、用录屏功能的门槛， 可以在检测到用户的录屏 需求时， 直播类平台自动拉起一级或者多级展开窗口或者控制面板， 并通过遍历搜索的方 式搜索得到该录屏按钮， 通过模拟用户点击该录屏按钮的方式， 可以直接触发生成该录屏 任务启动指令。 0033 S120、 获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据与终端性能参 数匹配的配置信息， 调用匹配的处理器对各视频帧进行至少一项图像处理。 0034 在本实施例中， 当用户选择录屏功能后， 直播类应用程序会同时捕捉屏幕显示内 容， 例如， 每隔一个采集间隔捕捉一个屏幕截图作为视频帧， 上述连续捕捉的多个视频帧用 于构成录屏视频。 同时， 通过采集终端。

20、中的音频输出设备输出的音频内容(典型的， 当前终 端显示屏幕中显示的应用程序的音频， 也即应用音频)以及麦克风音频(典型的， 主播在游 戏中输入的主播音频)， 并将上述两种音频进行组合， 可以得到与该连续的视频帧匹配的音 频数据。 0035 一般来说， 直接通过屏幕截图获取的视频帧不能直接作为直播内容使用， 需要进 行一定图像处理。 例如， 主播在通过手机玩游戏时， 一般会选择横握手机的方式， 如果对直 接录屏获取的视频帧不进行处理直接进行直播， 不符合观众端的观看习惯， 因此需要首先 对视频帧进行旋转操作； 又例如， 由于主播在进行游戏时， 所选择的终端设备各有不同， 屏 幕大小以及分辨率也。

21、各不相同， 为了统一后续的播放格式， 需要在得到该视频帧后， 首先按 照统一的格式标准， 对该视频帧进行缩放处理。 0036 在另一个具体的例子中， 一般来说， 录屏得到的视频中需要增加主播信息、 直播间 信息或者特效信息等屏幕截图中所没有的内容， 因为， 需要基于上述信息， 需要对录屏得到 的视频帧进行二次渲染等处理。 0037 现有技术中， 无论主播在录屏过程中使用何种终端， 直播类应用程序均会统一使 用CPU对视频帧进行上述处理。 特别是， 如果主播使用iOS操作系统， 而上述图像处理操作超 过了iOS操作系统预先设定的CPU的消耗限制， 则会造成录屏过程的异常中断(例如， 当前开 启的。

22、录屏线程被操作系统杀死)。 在本实施例中， 创造性的提出： 根据与终端性能参数匹配 的配置信息， 调用匹配的处理器对各视频帧进行至少一项图像处理的操作方式。 0038 目前， 随着终端技术的不断发展， 一般的终端中均具有多种类型的处理器， 例如， CPU以及GPU(Graphics Processing Unit， 图形处理器)等， 一般来说， 使用GPU进行图像处 理的速度会快于使用CPU进行图像处理。 因此， 在本实施例中， 可以根据终端性能参数匹配 的配置信息， 对应选择终端中的CPU或者GPU， 或者同时使用CPU和GPU对各视频帧进行至少 一项图像处理， 以最大程度的减少对CPU的消。

23、耗。 0039 相应的， 在本实施例的一个可选的实施方式中， 在获取录屏过程中产生的各视频 帧和匹配的音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视 频帧进行至少一项图像处理之前， 还可以包括： 0040 获取所述终端的终端型号、 操作系统版本号以及录屏应用的应用标识作为终端性 能参数； 将所述终端性能参数发送至服务器， 接收所述服务器反馈的与所述终端性能参数 匹配的配置信息。 0041 其中， 所述录屏应用具体是指当前被录屏的应用程序。 说明书 3/12 页 6 CN 111405301 A 6 0042 具体的， 可以预先在终端型号、 操作系统版本号以及录屏应用这。

24、三个维度下， 对不 同终端进行视频帧的图像处理时， 所使用的处理器消耗进行分析， 得到最好的处理器使用 方式。 例如， 当确定终端型号为A， 操作系统版本号为B， 录屏应用为C时， 使用CPU+GPU的组合 对处理器的总体消耗少(或者， 能够满足操作系统预先设定的CPU的消耗限制)， 处理时间最 少等。 0043 相应的， 基于上述分析结果， 可以构造不同维度下的图片加工策略(也即， 图像处 理所使用的处理器)， 并在服务器中进行存储。 当服务器接收到终端发送的， 由所述终端的 终端型号、 操作系统版本号以及录屏应用的应用标识构成的终端性能参数时， 可以获取与 上述参数匹配的图片加工策略作为一。

25、项配置信息反馈给该终端。 0044 当然， 可以理解的是， 直播类应用程序可以预先从服务器中获取全部图片加工策 略， 或者在直播类应用程序的安装包中预装全部图片加工策略， 进而可以实时根据终端性 能参数， 确定与该终端性能参数匹配的图片加工策略。 0045 在本实施例中， 根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视 频帧进行至少一项图像处理， 包括： 0046 根据所述配置信息中的图片加工策略， 调用匹配的处理器， 对各所述视频帧进行 图像加工处理。 0047 在本实施例中， 所述图像加工处理包括下述至少一项： 旋转、 缩放以及二次渲染。 0048 具体的， 在进行二次渲染时，。

26、 可以首先确定需要进行二次渲染的全部内容， 例如， 动效、 主播水印或者房间号等信息， 之后将上述内容一次性的全部渲染至视频帧上， 以最大 程度的提高渲染效率。 0049 S130、 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 合成得到音视 频数据， 并将所述音视频数据发送至匹配的接收设备。 0050 在本实施例中， 在得到各个视频帧后， 可以通过各视频帧的时间信息， 将视频帧拼 接得到视频数据， 通过将视频数据与匹配的音频数据进行组合， 可以合成得到音视频数据。 进而， 直播类应用可以将合成得到的音视频数据发送给匹配的接收设备。 例如， 可以经由直 播服务器， 将上述音视频流发送至。

27、直播间内的各个观众进行观看。 0051 需要说明书的是， 本发明实施例的方法可以由直播类应用程序中开启的录屏线程 实现， 也可以由直播类应用程序的主进程和录屏线程配合使用， 本实施例对此并不进行限 制。 0052 本发明实施例的技术方案通过在对终端屏幕进行实时录屏后， 获取录屏过程中产 生的各视频帧和与匹配的音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的 处理器对各视频帧进行至少一项图像处理的技术手段， 在进行视频帧的图像处理过程中， 不再一视同仁针对不同的录屏终端均使用CPU进行图像处理， 而是个性化的根据不同的终 端性能选择使用终端中不同的处理器对各视频帧进行处理， 在对录屏。

28、内容中的每一个视频 帧进行正常图像处理的同时， 最大程度的减少对CPU的消耗， 一定程度上避免了录屏过程中 录屏进程的强制关闭， 提高了录屏类直播的直播顺畅度。 0053 实施例二 0054 图2是本发明实施例二提供的一种终端的录屏交互方法的流程图。 本实施例可以 与上述实施例中各个可选方案结合。 在本实施例中， 对录屏任务启动指令的触发方式进行 说明书 4/12 页 7 CN 111405301 A 7 具体化。 具体的， 参考图2， 该方法可以包括如下步骤： 0055 S210、 根据用户的录屏任务发起请求， 打开录屏入口面板， 并在所述录屏入口面板 中搜索用于启动录屏任务的录屏按钮。 0。

29、056 对于一般的直播类应用程序来说， 触发生成录屏任务启动指令的录屏按钮一般不 直接位于直播间主界面上， 当用户需要进行录屏操作时， 需要在直播间主界面中逐级打开 一个或者多个窗口， 或者开启一个或者多个控制面板， 在对应窗口或者控制面板下， 人工搜 索该录屏按钮并选择点击。 在本实施例中， 为了进一步简便用户的操作， 降低录屏门槛， 提 出了一种省略用户人工搜索并点击该录屏按钮的方案。 0057 在本实施例中， 以录屏按钮位于直播间主界面的下一级录屏入口面板为例， 可以 当用户在直播间主界面中点击录屏任务按钮， 并触发生成选择进入录屏入口面板的录屏任 务发起请求时， 打开录屏入口面板， 并。

30、在所述录屏入口面板中搜索用于启动录屏任务的录 屏按钮。 0058 其中， 可以通过前台显式打开或者后台隐藏打开的方式， 打开该录屏入口面板。 其 中， 该录屏入口面板中可能具有多个不同功能的按钮， 可以通过遍历各个按钮的按钮名称 的方式， 搜索得到用于启动录屏任务的录屏按钮。 0059 S220、 向所述录屏按钮发送模拟点击事件后， 关闭所述录屏入口面板， 所述模拟点 击事件用于触发所述录屏按钮生成所述录屏启动指令。 0060 在遍历得到该录屏按钮后， 可以构造模拟点击事件， 并将上述模拟点击事件发送 至录屏按钮， 以模拟用户按下该录屏按钮， 进而可以触发该录屏按钮生成所述录屏启动指 令。 0。

31、061 在完成模拟点击事件后， 该录屏入口面板就没有必要继续处于打开状态， 进而可 以直接对该录屏入口面板进行关闭。 0062 S230、 响应于录屏任务启动指令， 对终端屏幕进行实时录屏。 0063 S240、 获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据与终端性能参 数匹配的配置信息， 调用匹配的处理器对各视频帧进行至少一项图像处理。 0064 S250、 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 合成得到音视 频数据， 并将所述音视频数据发送至匹配的接收设备。 0065 本发明实施例的技术方案通过根据用户的录屏任务发起请求， 打开录屏入口面 板， 并在所述录屏入口面。

32、板中搜索用于启动录屏任务的录屏按钮； 向所述录屏按钮发送模 拟点击事件后， 关闭所述录屏入口面板的操作， 大大降低了新用户使用录屏功能的门槛， 简 化了用户的录屏操作流程， 提高了用户使用录屏功能的交互体验。 0066 实施例三 0067 图3是本发明实施例三提供的一种终端的录屏交互方法的流程图。 本实施例可以 与上述实施例中各个可选方案结合。 在本实施例中， 在根据所述配置信息中的图片加工策 略， 调用匹配的处理器， 对各所述视频帧进行图像加工处理之前， 还具体包括： 根据所述配 置信息中的颜色空间处理策略， 对各所述视频帧进行颜色空间转换。 0068 具体的， 参考图3， 该方法可以包括如。

33、下步骤： 0069 S310、 响应于录屏任务启动指令， 对终端屏幕进行实时录屏。 0070 S320、 获取所述终端的终端型号、 操作系统版本号以及录屏应用的应用标识作为 说明书 5/12 页 8 CN 111405301 A 8 终端性能参数。 0071 S330、 将所述终端性能参数发送至服务器， 接收所述服务器反馈的与所述终端性 能参数匹配的配置信息。 0072 在本实施例中， 发明人进一步发现， 不同的类型的终端对终端屏幕的录屏效果参 差不齐， 不同终端因为终端型号、 操作系统版本号以及录屏应用的不同， 最终在录屏过程中 得到的各个视频帧的画面质量也不尽相同。 有些视频帧的录屏画面偏。

34、白， 或者有些视频帧 的录屏画面偏绿等， 情况不同。 0073 在本实施例中， 可以预先在终端型号、 操作系统版本号以及录屏应用这三个维度 下， 对不同维度下的终端进行视频帧的图像质量进行分析， 得到将视频帧的图像质量还原 至原画面质量的颜色转换方式。 例如， 当确定终端型号为X， 操作系统版本号为Y， 录屏应用 为Z时， 确定可以将视频帧中各个像素点中的G(绿色)值调整至原来值的50时， 使得视频 帧的画面质量接近原始画质。 0074 相应的， 基于上述分析结果， 可以构造不同维度下的颜色空间处理策略(也即， 视 频帧所使用的颜色空间转换方式)， 并在服务器中进行存储。 当服务器接收到终端发。

35、送的， 由所述终端的终端型号、 操作系统版本号以及录屏应用的应用标识构成的终端性能参数， 可以将匹配的颜色空间处理策略作为一项配置信息反馈给该终端。 0075 S340、 获取录屏过程中产生的各视频帧和匹配的音频数据。 0076 S350、 根据所述配置信息中的颜色空间处理策略， 对各所述视频帧进行颜色空间 转换。 0077 具体的， 可以根据该颜色空间处理策略， 对各所述视频帧进行颜色空间转换。 具体 的， 所述颜色空间处理策略可以为将视频帧中各个像素点的一项或者多项参数(例如， RBG 值)进行调整。 0078 S360、 根据所述配置信息中的图片加工策略， 调用匹配的处理器， 对各所述视。

36、频帧 进行图像加工处理。 0079 其中， 所述图像加工处理包括下述至少一项： 旋转、 缩放以及二次渲染。 0080 S370、 根据图像处理后的各所述视频帧以及所述匹配的音频数据， 合成得到音视 频数据， 并将所述音视频数据发送至匹配的接收设备。 0081 本发明实施例的技术方案通过获取所述终端的终端型号、 操作系统版本号以及录 屏应用的应用标识作为终端性能参数， 将所述终端性能参数发送至服务器， 接收所述服务 器反馈的与所述终端性能参数匹配的配置信息， 并根据所述配置信息中的颜色空间处理策 略， 对各所述视频帧进行颜色空间转换的方式， 可以进一步提高最终录屏得到的音视频流 中画面的质量， 。

37、使得画面质量尽可能的与原始画面一致， 提高了录屏效果。 0082 实施例四 0083 图4是本发明实施例四提供的一种终端的录屏交互方法的流程图。 本实施例可以 与上述实施例中各个可选方案结合。 在本实施例中， 对获取录屏过程中产生的各视频帧和 匹配的音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视频帧 进行至少一项图像处理的步骤中， 主进程和录屏线程之间的信息交互过程进行具体化。 0084 具体的， 参考图4， 该方法可以包括如下步骤： 0085 S410、 在所述主进程中搭建服务器， 并在所述录屏线程中搭建客户端。 说明书 6/12 页 9 CN 111405301 。

38、A 9 0086 现有技术中， 当用户选择打开直播类应用程序时， 会在终端的操作系统中首先建 立与该直播类应用程序对应的主进程， 用户触发直播类应用程序的录屏功能时， 主进程会 相应建立与该录屏功能匹配的录屏线程， 由该录屏线程实现各项录屏操作。 发明人在实现 本发明的过程中， 发现： 录屏线程的处理性能是低于主进程的， 当录屏线程执行的处理任务 比较大时， 有可能会造成线程的卡顿或者异常关闭等。 相应的， 在本实施例中， 提出了建立 主进程与录屏线程之间的通信通道的技术方案， 通过上述通信通道， 可以建立主进程与录 屏线程之间的通信连接， 对于录屏过程中计算量比较大的操作， 可以由录屏线程传。

39、输至主 进程进行处理， 以进一步提高录屏应用的稳定性， 并保证录屏得到的音视频数据的数据质 量。 S420、 建立所述服务器与所述客户端之间的至少一个套接字连接， 所述套接字连接用于 传输设定类型的数据。 0087 在本实施例中， 可以首先在主进程中搭建服务器， 并在所述录屏线程中搭建客户 端， 进而可以在服务器与所述客户端之间建立至少一个套接字连接(也即， socket连接)。 一 般来说， 一个socket连接可以用来传输一种类型的数据。 在本实施例中， 可以建立三个 socket连接， 分别用于在主进程与录屏线程之间传输视频帧， 音频数据以及控制指令。 0088 S430、 通过主进程，。

40、 响应于录屏任务启动指令， 建立录屏线程。 0089 S440、 通过所述录屏线程， 对终端屏幕进行实时录屏。 0090 S450、 通过所述录屏线程， 获取录屏过程中产生的各视频帧和匹配的音频数据。 0091 S460、 通过所述录屏线程， 根据与终端性能参数匹配的配置信息， 调用匹配的处理 器对各所述视频帧进行至少一项图像处理。 0092 S470、 通过所述录屏线程， 将图像处理后的各所述视频帧以及所述匹配的音频数 据经由预先建立的套接字连接发送至主进程。 0093 S480、 通过所述主进程， 根据图像处理后的各所述视频帧以及所述匹配的音频数 据， 合成得到音视频数据， 并将所述音视频。

41、数据发送至匹配的接收设备。 0094 在本实施例中， 针对性能比较好的终端(例如， 平板电脑)， 可以由录屏线程实现对 各所述视频帧进行至少一项图像处理后， 由主进程实现根据图像处理后的各所述视频帧以 及匹配的音频数据， 合成得到音视频数据的操作， 在综合评估终端性能的基础上， 最大限度 的利用了录屏线程以及主进程的能力。 0095 本发明实施例的技术方案通过在主进程和录屏线程之间建立通信连接， 并由主进 程和录屏线程之间的共同配合实现对终端屏幕的录屏操作， 可以将录屏过程中计算量比较 大的操作， 可以由录屏线程传输至主进程进行处理， 以进一步提高录屏应用的稳定性， 并保 证录屏得到的音视频数。

42、据的数据质量。 0096 实施例五 0097 图5是本发明实施例五提供的一种终端的录屏交互方法的流程图。 本实施例可以 与上述实施例中各个可选方案结合。 在本实施例中， 对获取录屏过程中产生的各视频帧和 匹配的音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视频帧 进行至少一项图像处理的步骤中， 主进程和录屏线程之间的信息交互过程进行具体化。 0098 S510、 在所述主进程中搭建服务器， 并在所述录屏线程中搭建客户端。 0099 S520、 建立所述服务器与所述客户端之间的至少一个套接字连接， 所述套接字连 接用于传输设定类型的数据。 说明书 7/12 页 10 CN。

43、 111405301 A 10 0100 S530、 通过主进程， 响应于录屏任务启动指令， 建立录屏线程。 0101 S540、 通过所述录屏线程， 对终端屏幕进行实时录屏。 0102 S550、 通过录屏线程， 获取录屏过程中产生的各视频帧和匹配的音频数据。 0103 S560、 通过所述录屏线程， 将各所述视频帧以及所述匹配的音频数据经由预先建 立的套接字连接发送至主进程。 0104 S570、 通过所述主进程， 根据与终端性能参数匹配的配置信息， 调用匹配的处理器 对各所述视频帧进行至少一项图像处理。 0105 S580、 通过所述主进程， 根据图像处理后的各所述视频帧以及所述匹配的音。

44、频数 据， 合成得到音视频数据， 并将所述音视频数据发送至匹配的接收设备。 0106 在本实施例中， 针对性能一般的终端(例如， 手机)， 可以由录屏线程将录屏过程中 得到的各视频帧以及音频数据发送至主进程， 由主进程实现对各所述视频帧进行至少一项 图像处理， 并将根据图像处理后的各所述视频帧以及匹配的音频数据， 合成得到音视频数 据的操作， 在综合评估终端性能的基础上， 最大限度的利用了录屏线程以及主进程的能力。 0107 本发明实施例的技术方案通过在主进程和录屏线程之间建立通信连接， 并由主进 程和录屏线程之间的共同配合实现对终端屏幕的录屏操作， 可以将录屏过程中计算量比较 大的操作， 可。

45、以由录屏线程传输至主进程进行处理， 以进一步提高录屏应用的稳定性， 并保 证录屏得到的音视频数据的数据质量。 0108 实施例六 0109 图6是本发明实施例六中的一种终端的录屏交互装置的结构示意图， 如图6所示， 该图像处理装置包括： 实时录屏模块610、 图像处理模块620以及音视频数据合成模块630。 0110 实时录屏模块610， 用于响应于录屏任务启动指令， 对终端屏幕进行实时录屏。 0111 图像处理模块620， 用于获取录屏过程中产生的各视频帧和匹配的音频数据， 并根 据与终端性能参数匹配的配置信息， 调用匹配的处理器对各所述视频帧进行至少一项图像 处理。 0112 音视频数据合。

46、成模块630， 用于根据图像处理后的各所述视频帧以及所述匹配的 音频数据， 合成得到音视频数据， 并将所述音视频数据发送至匹配的接收设备。 0113 本发明实施例的技术方案通过在对终端屏幕进行实时录屏后， 获取录屏过程中产 生的各视频帧和与匹配的音频数据， 并根据与终端性能参数匹配的配置信息， 调用匹配的 处理器对各视频帧进行至少一项图像处理的技术手段， 在进行视频帧的图像处理过程中， 不再一视同仁针对不同的录屏终端均使用CPU进行图像处理， 而是个性化的根据不同的终 端性能选择使用终端中不同的处理器对各视频帧进行处理， 在对录屏内容中的每一个视频 帧进行正常图像处理的同时， 最大程度的减少对。

47、CPU的消耗， 一定程度上避免了录屏过程中 录屏进程的强制关闭， 提高了录屏类直播的直播顺畅度。 0114 在上述各实施例的基础上， 还可以包括， 模拟触发模块， 用于： 0115 在响应于录屏任务启动指令， 对终端屏幕进行实时录屏之前， 根据用户的录屏任 务发起请求， 打开录屏入口面板， 并在所述录屏入口面板中搜索用于启动录屏任务的录屏 按钮； 0116 向所述录屏按钮发送模拟点击事件后， 关闭所述录屏入口面板， 所述模拟点击事 件用于触发所述录屏按钮生成所述录屏启动指令。 说明书 8/12 页 11 CN 111405301 A 11 0117 在上述各实施例的基础上， 还可以包括， 配置。

48、信息获取模块， 用于： 0118 在根据与终端性能参数匹配的配置信息， 调用匹配的处理器对各视频帧进行至少 一项图像处理之前， 获取所述终端的终端型号、 操作系统版本号以及录屏应用的应用标识 作为终端性能参数； 0119 将所述终端性能参数发送至服务器， 接收所述服务器反馈的与所述终端性能参数 匹配的配置信息。 0120 在上述各实施例的基础上， 图像处理模块620， 具体可以用于： 0121 根据所述配置信息中的图片加工策略， 调用匹配的处理器， 对各所述视频帧进行 图像加工处理； 0122 所述图像加工处理包括下述至少一项： 旋转、 缩放以及二次渲染。 0123 在上述各实施例的基础上， 。

49、所述图像处理模块620， 还包括， 颜色转换单元， 具体用 于： 0124 在根据所述配置信息中的图片加工策略， 调用匹配的处理器， 对各所述视频帧进 行图像加工处理之前， 根据所述配置信息中的颜色空间处理策略， 对各所述视频帧进行颜 色空间转换。 0125 在上述各实施例的基础上， 实时录屏模块610， 具体可以用于： 0126 通过主进程， 响应于录屏任务启动指令， 建立录屏线程； 0127 通过所述录屏线程， 对终端屏幕进行实时录屏； 0128 音视频数据合成模块630， 具体可以用于： 通过所述主进程， 根据图像处理后的各 所述视频帧以及所述匹配的音频数据， 合成得到音视频数据， 并将。

50、所述音视频数据发送至 匹配的接收设备。 0129 在上述各实施例的基础上， 图像处理模块620， 具体可以用于： 0130 获取录屏过程中产生的各视频帧和匹配的音频数据， 并根据与终端性能参数匹配 的配置信息， 调用匹配的处理器对各视频帧进行至少一项图像处理， 具体包括： 0131 通过所述录屏线程， 获取录屏过程中产生的各视频帧和匹配的音频数据； 0132 通过所述录屏线程， 根据与终端性能参数匹配的配置信息， 调用匹配的处理器对 各所述视频帧进行至少一项图像处理； 0133 通过所述录屏线程， 将图像处理后的各所述视频帧以及所述匹配的音频数据经由 预先建立的套接字连接发送至主进程。 013。