超高清视频切画方法.pdf

《超高清视频切画方法.pdf》由会员分享，可在线阅读，更多相关《超高清视频切画方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010117071.5 (22)申请日 2020.02.25 (71)申请人 四川新视创伟超高清科技有限公司 地址 610000 四川省成都市高新区新园南 二路2号 (72)发明人 姚平宋小民郭超 (74)专利代理机构 成都立新致创知识产权代理 事 务 所( 特 殊 普 通 合 伙 ) 51277 代理人 谭德兵 (51)Int.Cl. H04N 5/268(2006.01) H04N 7/015(2006.01) G06T 7/254(2017.01) G06T 1/60。

2、(2006.01) G06T 1/20(2006.01) G06F 13/28(2006.01) (54)发明名称 超高清视频切画方法 (57)摘要 本发明涉及一种超高清视频切画方法， 该方 法包括定点切画、 人工切画、 智能切画三种切画 方式中的一种或多种， 可根据实际应用场景进行 切换， 本发明改变现有普遍的以单一方式对视频 信号切画的操作和待处理视频信号普遍为4K的 现状， 保证用户能根据自身需求选择待处理视频 信号大小、 视频信号切画方式等， 同时进一步确 保其信号输出的实时性。 权利要求书2页 说明书5页 附图3页 CN 111343393 A 2020.06.26 CN 11134。

3、3393 A 1.一种超高清视频切画方法， 其特征在于， 该方法包括： 1)定点切画 后台设置切画框位置， 保持切画框在屏幕上的位置始终不变， 通过监视器对切画框中 的内容做稳定持续输出； 和或， 2)人工切画 后台选择输出信号所对应的监视器， 确定切画框属性， 同时在监视器端的各个监视器 分别配备一个操作面板， 通过所述操作面板对切画框进行操作， 监看屏幕上的切画框随之 动作， 同时对监视器作对应输出； 和或， 3)智能切画 由计算机根据输入的视频， 自动识别需要跟踪的主体， 监看屏幕中切画框自动框出该 主体和背景， 并对该监视器作做实时对应输出。 2.根据权利要求1所述的超高清视频切画方法。

4、， 其特征在于， 所述切画过程中的视频信 号为一路8K摄像机或四路4K摄像机拍摄的内容， 每路经由1组12G-SDI视频信号线输入到基 于X86架构的算法工作站中进行处理。 3.根据权利要求2所述的超高清视频切画方法， 其特征在于， 经处理器处理的8K信号或 4路4K信号通过HDMI输出到监看屏幕时通过SDI将切画框中的4K和HD信号输出到对应监视 器中。 4.根据权利要求1-3中任一项所述的超高清视频切画方法， 其特征在于， 所述切画模式 下， 通过CUDA对输入的视频信号进行切画处理， 初始化OpenGL并使用其API创建数据缓冲 区， 将缓冲区分享给CUDA， 让CUDA映射共享资源获取。

5、设备指针后执行函数， 再解除CUDA对共 享缓冲区的映射， 最后调用OpenGL API显示以实现OpenGL和CUDA交互； 利用OpenGL将信号 渲染并传输到8K监看屏幕； 最终GPU使用GPUDirect RDMA技术将信号传输到板卡， 并传输至 各个监视器。 5.根据权利要求4所述的超高清视频切画方法， 其特征在于， 所述智能切画利用帧间差 分法和背景差分法融合运用， 用以检测出视频中运动， 利用目标跟踪算法对该被检测的运 动主体进行跟踪。 6.根据权利要求5所述的超高清视频切画方法， 其特征在于， 所述智能切画的具体步骤 为： 当处理器接收到由摄像机传输的视频信号后， 先利用帧间差。

6、分法， 对视频图像中连续 的两帧相减得到两帧图像亮度差的绝对值， 并将其和阈值进行对比； 若大于阈值， 则可分析出视频图像序列的运动特性， 确定图像序列中的人、 物运动； 若 小于阈值， 则利用均值建模法对视频做背景差分， 即在在视频图像中取连续N帧， 计算这N帧 图像像素灰度值的平均值来作为背景图像的像素灰度值， 以此来确定人、 物运动情况； 当使用帧间差分法和背景差分法结合的方式检测出视频画面中物体运动时利用KCF和 相关滤波判别式目标跟踪方法， 在每一个视频场景中更新使用脊回归训练好的目标检测 器， 利用周围区域的循环矩阵采集正负样本判断跟踪到的是目标还是周围的背景信息后， 使用轮转矩阵。

7、对跟踪目标进行采集， 同时使用快速傅里叶变化对算法进行加速计算， 实现 权利要求书 1/2 页 2 CN 111343393 A 2 目标跟踪。 权利要求书 2/2 页 3 CN 111343393 A 3 超高清视频切画方法 技术领域 0001 本发明涉及视频切画技术， 具体涉及一种超高清视频切画方法。 背景技术 0002 目前现存的高分辨率视频转低分辨率切画产品在一定程度上已经占有部分市场 份额， 但由于相关设备和技术的局限性， 主要存在以下问题： 0003 1)局限性大： 基本没有超高清高分辨率视频切画处理设备， 市面上可见的产品几 乎都是4K转多路高清切画设备； 0004 2)操作方面。

8、不便： 目前各个公司上市的产品大多使用一台控制面板， 以中断式方 式操控切画框， 即在控制面板操控一个切画框时， 其他切画框无法被操作， 无法实现多个切 画框同时切画的操作； 0005 3)跟踪不智能： 虽然现有的一些设备中提供切画框跟踪人物并实时输出到监视器 的功能， 但其本质是在人或物上安装红外装置， 由设备检测到红外装置并对该处切画， 并不 是真正的智能跟踪。 发明内容 0006 本发明的目的在于为保证相关行业对于高分辨率视频信号切画的需要， 改变现有 普遍的以单一方式对视频信号切画的操作和待处理视频信号普遍为4K的现状， 保证用户能 根据自身需求选择待处理视频信号大小、 视频信号切画方。

9、式等， 同时进一步确保其信号输 出的实时性， 基于X86架构的切画系统采用一种超高清视频切画方法来对8K超高清视频信 号进行处理的复合算法克服现有技术的不足。 0007 本发明的目的是通过以下技术方案来实现的： 0008 一种超高清视频切画方法， 该方法包括： 0009 1)定点切画 0010 后台设置切画框位置， 保持切画框在屏幕上的位置始终不变， 通过监视器对切画 框中的内容做稳定持续输出； 0011 和或， 0012 2)人工切画 0013 后台选择输出信号所对应的监视器， 确定切画框属性， 同时在监视器端的各个监 视器分别配备一个操作面板， 通过所述操作面板对切画框进行操作， 监看屏幕。

10、上的切画框 随之动作， 同时对监视器作对应输出； 0014 和或， 0015 3)智能切画 0016 由计算机根据输入的视频， 自动识别需要跟踪的主体， 监看屏幕中切画框自动框 出该主体和背景， 并对该监视器作做实时对应输出。 0017 以上三种切画方式可择一应用于系统中进行切画， 各切画方式之间可彼此切换， 说明书 1/5 页 4 CN 111343393 A 4 或将三种切画方式全部开启， 针对不同的监视器使用不同的切画方式。 0018 进一步的， 所述切画过程中的视频信号为一路8K摄像机或四路4K摄像机拍摄的内 容， 每路经由1组12G-SDI视频信号线输入到基于X86架构的算法工作站中。

11、进行处理。 0019 进一步的， 经处理器处理的8K信号或4路4K信号通过HDMI输出到监看屏幕时通过 SDI将切画框中的4K和HD信号输出到对应监视器中。 0020 进一步的， 所述切画模式下， 通过CUDA对输入的视频信号进行切画处理， 初始化 OpenGL并使用其API创建数据缓冲区， 将缓冲区分享给CUDA， 让CUDA映射共享资源获取设备 指针后执行函数， 再解除CUDA对共享缓冲区的映射， 最后调用OpenGL API显示以实现 OpenGL和CUDA交互； 利用OpenGL将信号渲染并传输到8K监看屏幕； 最终GPU使用GPUDirect RDMA技术将信号传输到板卡， 并传输至。

12、各个监视器。 0021 进一步的， 所述智能切画利用帧间差分法和背景差分法融合运用， 用以检测出视 频中运动， 利用目标跟踪算法对该被检测的运动主体进行跟踪。 0022 进一步的， 所述智能切画的具体步骤为： 0023 当处理器接收到由摄像机传输的视频信号后， 先利用帧间差分法， 对视频图像中 连续的两帧相减得到两帧图像亮度差的绝对值， 并将其和阈值进行对比； 0024 若大于阈值， 则可分析出视频图像序列的运动特性， 确定图像序列中的人、 物运 动； 若小于阈值， 则利用均值建模法对视频做背景差分， 即在在视频图像中取连续N帧， 计算 这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值，。

13、 以此来确定人、 物运动情 况； 0025 当使用帧间差分法和背景差分法结合的方式检测出视频画面中物体运动时利用 KCF和相关滤波判别式目标跟踪方法， 在每一个视频场景中更新使用脊回归训练好的目标 检测器， 利用周围区域的循环矩阵采集正负样本判断跟踪到的是目标还是周围的背景信息 后， 使用轮转矩阵对跟踪目标进行采集， 同时使用快速傅里叶变化对算法进行加速计算， 实 现目标跟踪。 0026 本发明的有益效果是： 0027 1).本发明创新使用复合人工智能技术， 对8K超高清视频中的人、 物等多种主体进 行识别， 同时对场景中的动态变化识别和跟踪， 并将识别到的内容对对应监视器输出， 能够 更为有。

14、效的提高同一场景中针对多个主体切画的效率。 0028 2).本发明利用三种模式对8K视频进行切画处理， 可以针对多种使用场景更好的 匹配用户需求来选择定点、 人工和智能三种切画模式， 切画处理方法适应性更高。 0029 3).相较于现存的4K转多路高清影像机， 该算法提供8K转多路4K和多路高清的处 理操作， 使得算法的通用性进一步加强， 更高的分辨率跨度范围也可以在更多领域的应用 带来新的解决方案。 附图说明 0030 图1为本发明系统示意图； 0031 图2为定点切画系统框架图； 0032 图3为人工切画系统框架图； 0033 图4为智能切画系统框架图。 说明书 2/5 页 5 CN 11。

15、1343393 A 5 具体实施方式 0034 下面结合具体实施例进一步详细描述本发明的技术方案， 但本发明的保护范围不 局限于以下。 0035 名词解释： 0036 1)CUDA 0037 CUDA是NVIDIA公司为图形处理单元(GPU)上的通用计算开发的并行计算平台和编 程模型， 开发人员可以使用CUDA并利用GPU显著加快计算应用程序的速度。 在GPU加速的应 用程序中， 工作负载的顺序部分运行在CPU上(为单线程性能优化)， 而计算密集的应用程序 部分并行运行在数千个GPU内核上。 当使用CUDA时， 开发人员可以通过几个基本关键字的形 式在流行语言编程中实现并行性。 0038 2)。

16、OpenGL 0039 OpenGL是用于渲染2D、 3D矢量图形的跨语言、 跨平台的应用程序编程接口。 它提供 硬件接受器， 而不是软件接受器， 它意味着它可以访问图形卡， 并提供质量保证， 而不受CPU 的限制。 该工具通常用于二维和三维向量图形， 并可在今天的每一个普通操作系统上查阅。 0040 3)GPUDirect RDMA 0041 RDMA是一种智能网卡与软件架构充分优化的远端内存直接告诉访问技术， 通过在 网卡上将RDMA协议固化与硬件， 以及支持零复制网络技术和内核内存旁路技术这两种方式 以达到高性能远程直接数据存取的目标。 而GPUDirect RDMA技术， 就是一台计算。

17、机GPU可以 直接访问另一台计算机GPU内存技术。 0042 基于上述技术基础， 本发明提供一种基于X86架构的8K超高清信号的复合切画系 统。 使用户能够利用定点、 人工和智能三种方式对8K超高清视频中所需要的内容进行切画 处理。 该系统由后台设置、 摄像机输入、 算法处理、 屏幕监看和输出等各模块构成， 其系统组 成可参考图1所示。 该系统提供了一种超高清视频切画方法， 该方法包括： 0043 1)定点切画 0044 后台设置切画框位置， 保持切画框在屏幕上的位置始终不变， 通过监视器对切画 框中的内容做稳定持续输出； 其系统结构可参考图2所示， 由输入相机、 监看大屏、 处理器、 后台设。

18、置模块和4K监视器以及HD监视器组成， 输入相机、 监看大屏、 后台设置模块和4K监视 器以及HD监视器分别与处理器连接。 0045 和或， 0046 2)人工切画 0047 后台选择输出信号所对应的监视器， 确定切画框属性， 同时在监视器端的各个监 视器分别配备一个操作面板， 通过操作面板对切画框进行操作， 监看屏幕上的切画框随之 动作， 同时对监视器作对应输出； 其系统结构可参考图3所示， 由输入相机、 监看大屏、 处理 器、 后台设置模块和4K监视器以及HD监视器组成， 其中各4K监视器以及HD监视器各配置有 一个操作面板与处理器连接， 用于完成对切画框的操作。 0048 和或， 004。

19、9 3)智能切画 0050 由计算机根据输入的视频， 自动识别需要跟踪的主体， 监看屏幕中切画框自动框 出该主体和背景， 并对该监视器作做实时对应输出， 其系统结构可参考图4所示， 由输入相 说明书 3/5 页 6 CN 111343393 A 6 机、 监看大屏、 处理器、 后台设置模块和4K监视器以及HD监视器组成， 输入相机、 监看大屏、 后台设置模块和4K监视器以及HD监视器分别与处理器连接， 其中处理器中集成了智能切画 算法。 切画模式下， 通过CUDA对输入的视频信号进行切画处理， 初始化OpenGL并使用其API 创建数据缓冲区， 将缓冲区分享给CUDA， 让CUDA映射共享资源。

20、获取设备指针后执行函数， 再 解除CUDA对共享缓冲区的映射， 最后调用OpenGL API显示以实现OpenGL和CUDA交互； 利用 OpenGL将信号渲染并传输到8K监看屏幕； 最终GPU使用GPUDirect RDMA技术将信号传输到 板卡， 并传输至各个监视器。 0051 一路8K摄像机或四路4K摄像机拍摄到的视频信号经由SDI视频信号线传输到基于 X86架构的8K超高清切画系统的处理器， 处理器利用GPUDirect RDMA技术将视频信号由板 卡传输到GPU。 当用户选择切画方式并操作时， 根据用户设置和操作， OpenGL会在在收录的 视频上渲染出切画框， 并利用HDMI线将渲。

21、染处理后的视频传输到8K监看屏幕上； 同时CUDA 对切画框中的视频信号进行抓取拷贝从而实现切画处理， 最终切出框中视频信号利用 GPUDirect RDMA技术将信号传输到板卡， 在通过SDI视频信号线传输至各个监视器。 0052 以上三种切画方式可择一应用于系统中进行切画， 各切画方式之间可彼此切换， 或将三种切画方式全部开启， 针对不同的监视器使用不同的切画方式。 0053 作为一种优选实施例， 智能切画利用帧间差分法和背景差分法融合运用， 用以检 测出视频中运动， 利用目标跟踪算法对该被检测的运动主体进行跟踪。 智能切画的具体步 骤为： 0054 当处理器接收到由摄像机传输的视频信号后。

22、， 先利用帧间差分法， 对视频图像中 连续的两帧相减得到两帧图像亮度差的绝对值， 并将其和阈值进行对比； 0055 若大于阈值， 则可分析出视频图像序列的运动特性， 确定图像序列中的人、 物运 动； 若小于阈值， 则利用均值建模法对视频做背景差分， 即在在视频图像中取连续N帧， 计算 这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值， 以此来确定人、 物运动情 况； 0056 当使用帧间差分法和背景差分法结合的方式检测出视频画面中物体运动时利用 KCF和相关滤波判别式目标跟踪方法， 在每一个视频场景中更新使用脊回归训练好的目标 检测器， 利用周围区域的循环矩阵采集正负样本判断跟踪到的是目。

23、标还是周围的背景信息 后， 使用轮转矩阵对跟踪目标进行采集， 同时使用快速傅里叶变化对算法进行加速计算， 实 现目标跟踪。 0057 1)帧间差分法 0058 帧间差分法通过对视频图像序列中连续的两帧作差分运算来获得运动目标轮廓 的方法。 它可以很好地适用于存在多个运动目标和摄像机移动的情况。 当视频场景中出现 异常的目标运动时， 连续两帧之间会出现较显著的差别， 算法利用两帧相减得到两帧图像 亮度差的绝对值， 用以判断其是否大于阈值， 进一步可分析出视频或图像序列的运动特性， 确定图像序列中有无物体运动。 因为帧间差分法对帧间时间间隔较为依赖， 若时间差不恰 当则会造成识别的误差(帧间差过大。

24、可能会识别成两个不同的物体， 帧间差过小可能会识 别为未运动)， 所以需要结合背景差分法共同对视频中的主体进行运动检测。 0059 2)背景差分法 0060 背景差分法是一种利用视频图像序列中的当前帧与其背景参考模型比较， 用以检 说明书 4/5 页 7 CN 111343393 A 7 测运动物体的方法,性能主要依赖其相关的背景建模技术。 0061 背景差分法在检测速度快的运动目标是较为准确且极易实现， 其关键是背景图像 的获取。 由于静止背景是不易直接获得的， 同时背景图像可能存在的动态变化， 所以需要通 过视频序列的帧间信息来进行背景重建， 需要选择性的更新背景。 0062 3)目标跟踪。

25、 0063 利用图像特征和机器学习结合的方式进行判别类目标跟踪， 当前帧以目标区域为 正样本， 背景区域为负样本， 用机器学习来训练分类器， 训练时使用背景信息， 让分类器有 效区分前景和背景， 下一帧用训练好的分类器找最优区域， 从而实现对目标的跟踪。 0064 作为一种优选实施例， 系统中的视频信号为一路8K摄像机或四路4K摄像机拍摄的 内容， 每路经由1组12G-SDI视频信号线输入到基于X86架构的算法工作站中进行处理。 经处 理器处理的8K信号或4路4K信号通过HDMI输出到监看屏幕时通过SDI将切画框中的4K和HD 信号输出到对应监视器中。 0065 以上所述仅是本发明的优选实施方式， 应当理解本发明并非局限于本文所披露的 形式， 不应看作是对其他实施例的排除， 而可用于各种其他组合、 修改和环境， 并能够在本 文所述构想范围内， 通过上述教导或相关领域的技术或知识进行改动。 而本领域人员所进 行的改动和变化不脱离本发明的精神和范围， 则都应在本发明所附权利要求的保护范围 内。 说明书 5/5 页 8 CN 111343393 A 8 图1 图2 说明书附图 1/3 页 9 CN 111343393 A 9 图3 说明书附图 2/3 页 10 CN 111343393 A 10 图4 说明书附图 3/3 页 11 CN 111343393 A 11 。