即时传输及显示方法、装置、设备及存储介质.pdf

《即时传输及显示方法、装置、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《即时传输及显示方法、装置、设备及存储介质.pdf（21页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410001642.7(22)申请日 2024.01.02(71)申请人 中移（苏州）软件技术有限公司地址 215011 江苏省苏州市高新区昆仑山路58号1幢 申请人 中国移动通信集团有限公司(72)发明人 赵万龙杨亚军程雷(74)专利代理机构 北京清亦华知识产权代理事务所(普通合伙)11201专利代理师 金星玉(51)Int.Cl.G06F 9/451(2018.01)G06V 10/44(2022.01)G06V 10/46(2022.01)G06N 3/0464(2023.01)G06。

2、N 3/044(2023.01)G06N 3/082(2023.01)(54)发明名称即时传输及显示方法、装置、设备及存储介质(57)摘要本发明公开了即时传输及显示方法、装置、设备及存储介质，本发明的方法包括将读取的原始RGB图像转化为原始输入矩阵；输入至特征提取器中进行特征提取并对第一特征矩阵进行处理得到第二特征矩阵，以基于第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；基于TCP连接结果将封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；根据还原后的原始输入矩阵中的像素值对。

3、还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。本发明可以实现基于SOL的带外即时图像转发，并为裸金属服务器提供一种图形操作系统紧急登录的方案。权利要求书3页 说明书10页 附图7页CN 117492899 A2024.02.02CN 117492899 A1.一种即时传输及显示方法，其特征在于，所述方法包括：通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的。

4、封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。2.根据权利要求1所述的方法，其特征在于，所述特征提取器，包括CNN卷积模块和RNN卷积模块；将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，包括：将所述原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；基于门控循环单元GRU构建得到。

5、所述RNN卷积模块；其中，所述GNU，包括基于卷积神经网络单元的重置门和更新门；将所述第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到所述第一特征矩阵。3.根据权利要求2所述的方法，其特征在于，利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，包括：基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；将所述第一特征矩阵输入至所述Binarizer网络模型进行卷积操作以输出得到所述第二特征矩阵。4.根据权利要求3所述的方法，其特征在于，在得到所述第二特征矩阵之后，所述方法，还包括：通过串口驱动封装所述第二特征矩阵得到封装数据；调用系统串口将所述封装数。

6、据传输至裸金属服务器的BIOS得到第一数据传输结果；基于所述第一数据传输结果通过BIOS配置的COM口将所述封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；基于所述第二数据传输结果将所述封装数据传输至SOL代理中以得到SOL代理信息。5.根据权利要求4所述的方法，其特征在于，基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，包括：基于所述TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发所述封装数据；通过客户端的数据重组层重新编排重组所述封装数据以得到重组后的第二特征矩阵。6.根据权利要求5所述的方法，其特征在于，通过特征解码器对重组后的第二。

7、特征矩阵进行还原操作以得到还原后的原始输入矩阵，包括：通过客户端的图像还原层接收所述重组后的第二特征矩阵；将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作权利要求书1/3 页2CN 117492899 A2得到还原后的原始输入矩阵；其中，所述特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。7.根据权利要求6所述的方法，其特征在于，将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵，包括：将所述重组后的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；将还原后的第一特征矩阵输入至RNN转置卷积模。

8、块进行还原操作得到还原后的原始输入矩阵。8.根据权利要求7所述的方法，其特征在于，所述RNN转置卷积模块为多组RNN转置卷积模块，所述还原后的第一特征矩阵在经过每组RNN转置卷积模块的RNN转置卷积后，并经过Depth to Space操作以得到所述还原后的原始输入矩阵。9.根据权利要求3所述的方法，其特征在于，所述CNN卷积模块和RNN卷积模块的所有卷积模块均采用H *W为3 *3的卷积核进行特征提取，所述卷积核在矩阵上移动的步长为2；所述Binarizer网络模型中内置一个尺寸为1 *1的32通道卷积核；在所述神经网络后置一个tanh激活函数。10.一种即时传输及显示装置，其特征在于，包括。

9、：初始图像压缩模块，用于通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；图像特征提取模块，用于将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；特征矩阵还原模块，用于基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；像素渲染输出模块，用于根据还原后。

10、的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。11.根据权利要求10所述的装置，其特征在于，所述特征提取器，包括CNN卷积模块和RNN卷积模块；所述图像特征提取模块，还用于：将所述原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；基于门控循环单元GRU构建得到所述RNN卷积模块；其中，所述GNU，包括基于卷积神经网络单元的重置门和更新门；将所述第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到所述第一特征矩阵。12.根据权利要求11所述的装置，其特征在于，所述图像特征提取模块，还用于：基于多通道卷积核和全连接层的神经网。

11、络构建Binarizer网络模型；将所述第一特征矩阵输入至所述Binarizer网络模型进行卷积操作以输出得到所述第二特征矩阵。13.根据权利要求12所述的装置，其特征在于，在图像特征提取模块之后，还包括，数据权利要求书2/3 页3CN 117492899 A3封装传输模块，用于：通过串口驱动封装所述第二特征矩阵得到封装数据；调用系统串口将所述封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；基于所述第一数据传输结果通过BIOS配置的COM口将所述封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；基于所述第二数据传输结果将所述封装数据传输至SOL代理中以得到SOL代理信息。

12、。14.根据权利要求13所述的装置，其特征在于，所述特征矩阵还原模块，包括：数据转发子单元，用于基于所述TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发所述封装数据；数据重组子单元，用于通过客户端的数据重组层重新编排重组所述封装数据以得到重组后的第二特征矩阵。15.根据权利要求14所述的装置，其特征在于，所述特征矩阵还原模块，还包括：数据接收子单元，用于通过客户端的图像还原层接收所述重组后的第二特征矩阵；特征解码子单元，用于将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，所述特征解码器，包括CNN转置卷积模块和RNN转置卷积模。

13、块。16.根据权利要求15所述的装置，其特征在于，所述特征解码子单元，还用于：将所述重组后的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；将还原后的第一特征矩阵输入至RNN转置卷积模块进行还原操作得到还原后的原始输入矩阵。17.一种计算机设备，其特征在于，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求19中任一项所述的即时传输及显示方法。18.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求19中任一项所述的即时传输及显示方法。。

14、权利要求书3/3 页4CN 117492899 A4即时传输及显示方法、装置、设备及存储介质技术领域0001本发明涉及云计算大数据边缘计算、人工智能技术领域，特别是涉及即时传输及显示方法、装置、设备及存储介质。背景技术0002自算力网络（Compute First Networking，CFN）概念的提出与普及，云计算行业短期内发展标向已逐渐明晰。通俗来说，算力网络就是搭建可连接算力的网络，让接入网络的需求侧可以共享庞大的网络对端所提供的丰富算力（包含计算、存储等各类软硬件资源）。0003算力作为算力网络的基础单元，其服务能力能够直接决定用户需求满足的上下限。在算力网络中，庞大的云计算基础设施。

15、演变出诸多形态的基础算力供给，裸金属服务器（Bare Metal Server，BMS）也是其中最具代表性的形态之一。其既具传统物理服务器特点，又顺应云计算技术的虚拟化服务，是硬件与软件优势结合的产物，尤其适合为企业提供专属的云上物理服务器，在承载关键系统应用、核心数据库、高性能计算等业务，保障其数据安全与计算性能的同时，具备灵活、按需使用的云服务特性。0004如果说云计算基础设施即服务（Infrastructure as a Service，IaaS）的算力供给决定服务用户能力的上下限，那么算力设施的远程控制方式，则能在很大程度上优化用户的使用体验。以目前国内主流云计算厂商如移动云、阿里云、。

16、华为云等为例，公有云应用场景下的裸金属服务器，在Web端的用户门户中，通常能够提供依靠带内网络（以Webshell为代表）及带外网络（以局域网串行通信（Serial Over LAN，SOL）为代表）的两种远程登录方式。用户能够借此一键登录裸金属服务器，以达到监控、操作裸金属HOST上操作系统的目的。0005基于带外网络的 SOL技术实现，实际 上是依 赖于智能化 平台 管理接口（Intelligent Platform Management Interface，IPMI）技术的出现与发展。IPMI技术作为硬件智能化管理的通用接口标准，其实现基于一个微小的基板管理控制器（Baseboard M。

17、anagement Controller，BMC）。该控制器通常用于监控裸金属服务器硬件系统的健康状况，配备独立电源，以保障其在服务器出现宕机等紧急情况时，能够保持正常工作。0006SOL通过基于IP的IPMI会话来重定向系统中串口I/O，其标准实现是使用远程管理控制协议（Remote Management and Control Protocol，RMCP）作为数据的传输协议，对裸金属服务器的COM串口重定向至BMC。基于SOL的非图形操作系统终端信息传输流程如图1所示，Server端的虚拟终端接收操作系统的字符串输入，通过相应的内核态驱动将输入内容转化并封装成二进制的IPMIOverLAN。

18、数据包（图2），指定操作系统的串口进行传输，终端传输设备对应裸金属服务器的COM口。包含操作系统信息的二进制数据包经COM口发送，重定向至BMC串口，并从BMC输出至IPMI网络下的SOL代理。Client端只需要连通SOL代理，即可初始化SOL连接，通过网络数据包的形式接收和发送串口数据。从SOL代理接收到的二进制数据包会在Client端进行重组、解码，最终输出至用户终端进行展示。0007基于上述可知，SOL可以被用于开启一个经BMC的串行虚拟远程终端，以提供用户说明书1/10 页5CN 117492899 A5进行远程连接并对裸金属服务器内部的操作系统进行交互。并且基于BMC能够独立于服务。

19、器保持运行的特性，通过SOL开启的虚拟远程终端，可以在服务器带内管理网络出现异常时保持连接，因此被认为是一种服务器的紧急登录方式。0008现有基于SOL的裸金属服务器操作系统终端信息传输及显示流程的缺点在于：目前主流服务器串口通信所支持的最高转发速率为115200 bit/s，即每秒传输115200比特数据，约等于14.0625KB数据。受限于串口通信速率限制，基于带外SOL方式实现的操作系统串口转发仅能够支持非图形操作系统界面的文字信息传输。对于安装了图形操作系统的裸金属服务器而言，若服务器带内管理网出现故障，用户将缺乏紧急登录裸金属操作系统的方式。发明内容0009本发明旨在至少在一定程度上。

20、解决相关技术中的技术问题之一。0010为此，本发明提出了一种即时传输及显示方法，在Server端的操作系统中内置了一个基于循环神经网络（Recurrent Neutron Network，RNN）Encoder及Binarizer实现的图像压缩程序。该程序运行在用户态，按照一定频率调用内核态的图形虚拟终端，读取当前操作系统的RGB图像，提取图像特征并转换为二进制矩阵。在Client端内嵌了基于相同RNN的Decoder用于根据接收到的二进制矩阵还原原有的操作系统的RGB图像矩阵并进行渲染，最终展示在用户终端，以实现基于SOL带外的操作系统图形闭环传输。RNN卷积单元在用作特征提取的同时，能够关。

21、联前一次循环中的特征参数，因此特别适用于在时序上有关联性的预测任务。本发明的使用场景下，操作系统输出图形的变化在绝大多数场景下，都在时序上存在一定的相关性，因此使用RNN模型能够显著的提升特征图像还原的准确率。0011本发明的另一个目的在于提出一种即时传输及显示装置。0012本发明的第三个目的在于提出一种计算机设备。0013本发明的第四个目的在于提出一种非临时性计算机可读存储介质。0014为达上述目的，本发明一方面提出一种即时传输及显示方法，包括：通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；将所述原始输入矩阵输入至特征提取器。

22、中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。0015本发明实施例的即时传输及显示方法还可以具有以下附加技术特征：在本发明的一个实施例中，所述特征提取器，包括CNN卷积模块和RNN卷积模块；将。

23、所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，包括：将所述原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；说明书2/10 页6CN 117492899 A6基于门控循环单元GRU构建得到所述RNN卷积模块；其中，所述GNU，包括基于卷积神经网络单元的重置门和更新门；将所述第三特征矩阵输入至GRU中以通过所述重置门和更新门进行特征提取得到所述第一特征矩阵。0016在本发明的一个实施例中，利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，包括：基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；将所述第一特征矩阵输入至所述Binari。

24、zer网络模型进行卷积操作以输出得到所述第二特征矩阵。0017在本发明的一个实施例中，在得到所述第二特征矩阵之后，所述方法，还包括：通过串口驱动封装所述第二特征矩阵得到封装数据；调用系统串口将所述封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；基于所述第一数据传输结果通过BIOS配置的COM口将所述封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；基于所述第二数据传输结果将所述封装数据传输至SOL代理中以得到SOL代理信息。0018在本发明的一个实施例中，基于所述TCP连接结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，包括：基于所述TCP连接结果和SOL代理。

25、信息向客户端的数据接收和发送层转发所述封装数据；通过客户端的数据重组层重新编排重组所述封装数据以得到重组后的第二特征矩阵。0019在本发明的一个实施例中，通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵，包括：通过客户端的图像还原层接收所述重组后的第二特征矩阵；将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，所述特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。0020在本发明的一个实施例中，将所述重组后的第二特征矩阵输入至所述图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵，包括：将所述重组后。

26、的第二特征矩阵输入至CNN转置卷积模块进行还原操作得到还原后的第一特征矩阵；将还原后的第一特征矩阵输入至RNN转置卷积模块进行还原操作得到还原后的原始输入矩阵。0021在本发明的一个实施例中，所述RNN转置卷积模块为多组RNN转置卷积模块，所述还原后的第一特征矩阵在经过每组RNN转置卷积模块的RNN转置卷积后，并经过Depth to Space操作以得到所述还原后的原始输入矩阵。0022在本发明的一个实施例中，所述CNN卷积模块和RNN卷积模块的所有卷积模块均采说明书3/10 页7CN 117492899 A7用H*W为3*3的卷积核进行特征提取，所述卷积核在矩阵上移动的步长为2；所述Bina。

27、rizer网络模型中内置一个尺寸为1 *1的32通道卷积核；在所述神经网络后置一个tanh激活函数。0023为达上述目的，本发明另一方面提出一种即时传输及显示装置，包括：初始图像压缩模块，用于通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；图像特征提取模块，用于将所述原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对所述第一特征矩阵进行处理得到第二特征矩阵，以基于所述第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；特征矩阵还原模块，用于基于所述TCP连接。

28、结果将所述封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；像素渲染输出模块，用于根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。0024本发明实施例的即时传输及显示方法和装置，主要解决了通过带外SOL无法实现操作系统图像即时传输的问题，并基于SOL的带外即时图像转发实现裸金属服务器的图形操作系统紧急登录，并通过使用RNN模型显著的提升特征图像还原的准确率。0025为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所。

29、述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现即时传输及显示方法。0026为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的即时传输及显示方法。0027本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明0028本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是基于SOL的非图形操作系统终端信息传输流程图；图2是一种典型的二进制IPMIOverLAN数据包格式示意图；。

30、图3是根据本发明实施例一种即时传输及显示方法的流程图；图4是根据本发明实施例的基于SOL的图形操作系统终端信息传输流程图；图5是根据本发明实施例的用于图像处理的RNN模型架构图；图6是根据本发明实施例的是RNN卷积所采用的GRU构造图；图7是根据本发明实施例的Binarizer网络结构图；图8是根据本发明实施例的Depth to Space处理示意图；图9是根据本发明实施例的RNN压缩算法图像还原能力对比图；说明书4/10 页8CN 117492899 A8图10是根据本发明实施例的即时传输及显示装置的结构示意图；图11是根据本发明实施例的计算机设备。具体实施方式0029需要说明的是，在不冲突。

31、的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。0030为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。0031下面参照附图描述根据本发明实施例提出的即时传输及显示方法、装置、设备及存储介质。0032如表1所示，首先对本发明实施例中可能出现的技术术语进行解释：表10033图3是根据本发。

32、明实施例的即时传输及显示方法的流程图，如图3所示，该方法包括但不限于以下步骤：S1，通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩说明书5/10 页9CN 117492899 A9程序将原始RGB图像转化为原始输入矩阵；S2，将原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对第一特征矩阵进行处理得到第二特征矩阵，以基于第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；S3，基于TCP连接结果将封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到。

33、还原后的原始输入矩阵；S4，根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。0034根据本发明实施例的即时传输及显示方法，在Server端的图形操作系统内部，引入了图像压缩程序，并对应地在Client端新增了图像还原及渲染层。图像压缩（Encoder&Binarizer）和还原（Decoder）基于同一个经过训练的RNN模型的不同部分构成，可以实现即时图像压缩（Realtime Image Compression，RIC）及解压，解决了通过带外SOL无法实现操作系统图像即时传输的问题，能够显著的提升特征图像还原的准确率。0035图4是本发明。

34、实施例的基于SOL的图形操作系统终端信息传输流程图，如图4所示，在本发明的一个实施例中，流程开始，运行在用户态的图像压缩程序（2）首先通过图形虚拟终端（1），读取操作系统当前RGB图像，并将其转化到RGB空间。以像素为单位，拆分原有图像为H（High）*W（Weight）相同的R矩阵、G矩阵和B矩阵，每个矩阵（即为本实施例中的原始输入矩阵）中单个元素的值使用浮点数表示，并且范围在0,255。0036在本发明的一个实施例中，特征提取器，包括CNN卷积模块和RNN卷积模块；将原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；基于门控循环单元GRU构建得到所述RNN卷积模块；其中，GN。

35、U，包括基于卷积神经网络单元的重置门和更新门；将第三特征矩阵输入至所述GRU中以通过重置门和更新门进行特征提取得到第一特征矩阵。0037具体地，在上述步骤中得到的原始输入矩阵：R矩阵、G矩阵、B矩阵将作为参数输入到特征提取器Encoder，如图5所示，本发明中的Encoder位于图像压缩程序（2），由五组卷积模块构成，包含一组普通CNN卷积模块与四组RNN卷积模块。0038可以理解的是，本发明中用于图像处理的RNN模型需要提前进行训练，训练数据集应该是目标图形操作系统中任何可能出现的系统图形输出范式。数据集覆盖场景越广泛，传输后图形的还原准确率就越高。由于RNN模型的训练流程大体相似，因此不再。

36、做详细赘述。0039具体地，在CNN卷积模块在此处用作初次特征提取，单RNN卷积层则是基于门控循环单元（Gated Recurrent Unit，GRU）进行构建，本发明中的GNU（如图6所示）由具备卷积神经网络单元的重置门和更新门构成，重置门用于控制GNU内部神经网络上一时刻的内部状态，即神经网络的神经元需要遗忘多少信息。更新门控制当前时刻的内部状态，即有多少信息用于更新到当前神经元。上述所有卷积模块均采用H*W为3 *3的卷积核（Kernel）进行特征提取，卷积核在矩阵上移动的步长为2，因此每经过一层卷积模块，特征矩阵的H和W会缩小一半。并且最终卷积层的通道数（Channel）为512，意。

37、味着最终将会提取出一个第三维为512的特征矩阵，且每个矩阵的H和W会缩短为原有的1/32。即输入矩阵H *W *3成功被转化为了尺寸为 (H/32)*(W/32)*512的特征矩阵，即为本发明实施例的第一特征矩阵。说明书6/10 页10CN 117492899 A100040可以理解的是，上述步骤最终得到的第一特征矩阵相比原有输入矩阵所包含的数据已经显著减少，但仍然无法满足串口传输速率要求。0041在本发明的一个实施例中，Encoder后衔接了一个Binarizer（如图7所示），Binarizer中内置一个尺寸为1 *1的32通道卷积核，步长为1，在保持原有尺寸的同时，进一步精简特征矩阵尺寸。

38、为(H/32)*(W/32)*32，并接入一个全连接层的神经网络。神经网络后置一个tanh激活函数，将输出矩阵中的值限制在值域1，1，并将大于0的数值置1，小于0的数值置0。Binarizer最终输出一个(H/32)*(W/32)*32的二进制矩阵即为本实施例的第二特征矩阵。0042进一步地，假设输入的RGB图像分辨率为1280*1024，即原本需要传输1280*1024 *3（RGB通道）*8（像素值十进制转二进制）=31457280 bits数据，约合3840 KB，转化后的图像需要传输40 *32 *32 =40960 bits数据，约合5 KB，需要通过串口传输的数据相比原有缩减768。

39、倍，传输比为40960 /115200 0.357，可基本满足串口传输速率限制。0043在本发明的一个实施例中，通过串口驱动封装第二特征矩阵得到封装数据；调用系统串口将封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；基于第一数据传输结果通过BIOS配置的COM口将封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；基于第二数据传输结果将封装数据传输至SOL代理中以得到SOL代理信息。0044具体地，图像压缩程序（2）输出一个(H/32)*(W/32)*32的二进制特征矩阵后，通过串口驱动（3）封装二进制的IPMIOverLAN数据包，并调用系统串口（4）发送数据。数据经裸。

40、金属服务器BIOS（5）配置的COM口发送（6），并被重定向至BMC的转发串口（7）输出到SOL代理（8）。0045在本发明的一个实施例中，基于TCP连接结果和SOL代理信息向客户端的数据接收和发送层转发封装数据；通过客户端的数据重组层重新编排重组封装数据以得到重组后的第二特征矩阵。0046具体地，Client端与SOL代理建立TCP连接，Client的数据发送&接收层（9）接收自SOL代理转发的二进制数据，并通过数据重组层（10）重新编排二进制数据为原有(H/32)*(W/32)*32特征矩阵，并输入到图像还原层（11）。0047在本发明的一个实施例中，通过客户端的图像还原层接收所述重组后的。

41、第二特征矩阵；将重组后的第二特征矩阵输入至图像还原层中的特征解码器进行还原操作得到还原后的原始输入矩阵；其中，特征解码器，包括CNN转置卷积模块和RNN转置卷积模块。0048具体地，本发明中的特征解码器Decoder位于Client端的图像还原层，包含两组CNN转置卷积模块和五组RNN转置卷积模块。通过首个CNN转置卷积模块时，(H/32)*(W/32)*32的二进制特征矩阵会被还原为(H/32)*(W/32)*512。每经过一次RNN卷积，特征矩阵会被执行一次Depth to Space（图8）操作，重组特征矩阵。特征矩阵的H及W会乘2，且Channel会减少一半。经过五组RNN转置卷积和D。

42、epth to Space操作后，特征矩阵被还原成输入Encoder时的RGB矩阵尺寸H *W *3。最后一组CNN卷积使用ReLU作为激活函数，近一步提升模型复杂度，并保障最终RGB矩阵中元素数值均为非负结果。最后对矩阵中的数值进行等比转换，以维持取值分布在值域0,255之内。0049进一步地，图像渲染层（12）获取还原后的RGB图像矩阵，并根据矩阵中的像素值重说明书7/10 页11CN 117492899 A11新进行渲染，渲染完成后的图片输出到终端展示层（13）。0050基于本发明实施例的即时传输及显示方法及模型，相比非图形操作系统终端信息传输流程，新增的图像压缩层及图像还原层会带来一定。

43、时间损耗，而时间损耗主要由图像压缩层及还原层的RNN模型复杂度决定。神经网络模型的时间复杂度主要体现在卷积层，全连接层、激活层、BatchNorm层、池化层等占比较少。0051优选地，对于卷积层网络（conv），其浮点运算量（FLOPs）计算公式分别为：FLOPs(conv)=2HoutWout(CinK2+1)Cout其中Hout、Wout分别代表卷积层输入的高度及宽度，Cin为输入的通道数，K为卷积核尺寸，Cout为输出的通道数，+1是针对有bias的卷积。根据上述公式，假设转编码的图像尺寸仍然为1280（H）*1024（W），则本发明中涉及的图像压缩层（图5）对应的FLOPs约为16.3。

44、15G，图像还原层（图5）对应的FLOPs约为6.751G。0052图像压缩层单卷积层FLOPs计算过程如下：Conv1 =2 *1280 *1024（3*32+1）16 1.174 GFLOPsRconv1 =2 *640 *512（16*32+1）32 3.041 GFLOPsRconv2 =2 *320 *256（32*32+1）64 3.030 GFLOPsRconv3 =2 *160 *128（64*32+1）128 3.025 GFLOPsRconv4 =2 *80 *64（128*32+1）512 6.045 GFLOPs图像还原层单卷积层FLOPs计算过程如下：Conv1 =2。

45、 *40 *32（512*22+1）512 2.686 GFLOPsRConv1 =2 *40 *32（512*32+1）128 1.510 GFLOPsRConv2 =2 *80 *64（128*32+1）64 0.756 GFLOPsRConv3 =2 *160 *128（64*32+1）32 0.756 GFLOPsRConv4 =2 *320 *256（32*32+1）16 0.758 GFLOPsRConv5 =2 *640 *512（16*32+1）3 0.285 GFLOPs在本发明地一个实施例中，根据提供的标准Intel酷睿桌面端处理的每秒浮点运算次数（FLOPS）性能指标，以。

46、Intel i5 12500H处理器为参考，其GFLOPS指标达到480，计算负载与性能指标比约为0.036，这一比例远小于同图像尺寸压缩后的二进制矩阵经串口传输过程的传输比0.357 。此外，RNN训练及预测时间损耗还可以基于训练平台、模型并行度等因素进行优化，因此从性能角度来说，本发明中新增的图像压缩层及图像还原层所带来的时延并不会引起整个传输流程阻塞。0053进一步地，针对于本发明Client端图像还原质量，本发明引用相关资料中基于JPEG420及GRU单元构造的RNN压缩算法所输出的部分图像压缩结果进行对比佐证。从图像还原度来看，基于GRU单元构造的RNN压缩算法至少能够达到JPEG4。

47、20持平的图像还原水准，如图9所示。0054根据本发明实施例的即时传输及显示方法，基于完整的基于SOL实现图形操作系统终端信息即时传输流程，并且设计具备压缩及还原图片能力的RNN模型，并拆分其编码和解码部分，分别内嵌于传输流程Server端和Client端，且新增的编码及解码部分带来的时间损耗不会造成性能瓶颈，Server端压缩编码部分对操作系统图像进行RGB分解，提取处图像的特征矩阵并进行二进制化，使其能够满足SOL传输过程中串口速率的限制，还能够根据说明书8/10 页12CN 117492899 A12接收的二进制特征矩阵进行RGB图像还原并输出到终端显示层，能够显著的提升特征图像还原的准。

48、确率。0055为了实现上述实施例，如图10所示，本实施例中还提供了即时传输及显示装置10，该装置10包括，初始图像压缩模块100、图像特征提取模块200、特征矩阵还原模块300和像素渲染输出模块400。0056初始图像压缩模块100，用于通过服务器端的图形虚拟终端读取操作系统的原始RGB图像，并通过图像压缩程序将所述原始RGB图像转化为原始输入矩阵；图像特征提取模块200，用于将原始输入矩阵输入至特征提取器中进行特征提取以得到第一特征矩阵，并利用预设的网络模型对第一特征矩阵进行处理得到第二特征矩阵，以基于第二特征矩阵的封装数据和预设的代理信息建立服务器端与客户端的TCP连接得到TCP连接结果；。

49、特征矩阵还原模块300，用于基于TCP连接结果将封装数据进行数据重组以得到重组后的第二特征矩阵，并通过特征解码器对重组后的第二特征矩阵进行还原操作以得到还原后的原始输入矩阵；像素渲染输出模块400，用于根据还原后的原始输入矩阵中的像素值对还原后的原始输入矩阵进行渲染以根据渲染结果得到渲染后的RGB图像。0057进一步地，特征提取器，包括CNN卷积模块和RNN卷积模块；上述图像特征提取模块200，还用于：将原始输入矩阵输入至CNN卷积模块中进行特征提取得到第三特征矩阵；基于门控循环单元GRU构建得到RNN卷积模块；其中，GNU，包括基于卷积神经网络单元的重置门和更新门；将第三特征矩阵输入至GRU。

50、中以通过所述重置门和更新门进行特征提取得到第一特征矩阵。0058进一步地，上述图像特征提取模块200，还用于：基于多通道卷积核和全连接层的神经网络构建Binarizer网络模型；将第一特征矩阵输入至Binarizer网络模型进行卷积操作以输出得到第二特征矩阵。0059进一步地，在图像特征提取模块200之后，还包括，数据封装传输模块，用于：通过串口驱动封装所述第二特征矩阵得到封装数据；调用系统串口将封装数据传输至裸金属服务器的BIOS得到第一数据传输结果；基于第一数据传输结果通过BIOS配置的COM口将封装数据传输至裸金属服务器BMC的转发串口得到第二数据传输结果；基于第二数据传输结果将封装数据。