《去除复合视频解码图像色串的方法和系统.pdf》由会员分享，可在线阅读，更多相关《去除复合视频解码图像色串的方法和系统.pdf（10页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102497560 A (43)申请公布日 2012.06.13 C N 1 0 2 4 9 7 5 6 0 A *CN102497560A* (21)申请号 201110403726.6 (22)申请日 2011.12.02 H04N 9/78(2006.01) (71)申请人浙江工商大学 地址 310018 浙江省杭州市下沙经济开发区 学正街18号 (72)发明人陈卫刚 (54) 发明名称 去除复合视频解码图像色串的方法和系统 (57) 摘要 本发明公开了一种去除复合视频信号在亮色 分离过程中所引入的色串噪声的方法和系统，包 括：(1)以混合高斯模型对随时间变化的。
2、像素色 度值的分布建模，跟踪观察色度值与模型的匹配 情况，判断色度值是否发生快速、有规律的振荡变 化；(2)以匹配标记字记录多帧的匹配信息，由此 计算像素色度值的跃变次数；(3)以色度值的跃 变次数、对应较大值和较小值的高斯分布的均值 之差、紧邻二帧亮度变化、是否存在明显的垂直边 缘等为线索判断是否发生色串噪声。本发明所公 开的以混合高斯模型建模随时间变化色度值的分 布，能很好地捕捉到发生色串时色度值快速交替 变化的特征，从而有效且可靠地检测和去除色串 噪声、改善视频的视觉质量、避免将编码码流分配 给由于色串失真所引入的帧差数据。 (51)Int.Cl. 权利要求书1页 说明书5页 附图3页 。
3、(19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 1 页 说明书 5 页 附图 3 页 1/1页 2 1.一种对复合视频信号解码所得图像进行色串噪声去除的方法和系统，其特征包括： 以混合高斯模型对随时间变化的像素色度值的分布进行建模；对于输入的色度图像，以匹 配标记字段记录色度值与各个高斯分布的匹配情况，由连续若干帧的匹配标记统计色度分 量的跃变次数；以跃变次数，对应较大值的高斯分布和较小值的高斯分布的均值之差，亮度 图像的相邻帧的帧差值，以及边缘信息为线索检测是否发生色串。 2.如权利要求1所述的混合高斯模型对色度值的分布建模，其特征在于：根据存在色 串的像素，观察到的。
4、色度值将在色度分量的真实值、大于真实值的一个较大值和小于真实 值的一个较小值之间以较快的节奏交替变化这样的事实，每个像素采用包含三个组成成分 的混合高斯模型对随时间变化的观察数据建模，其中对应较大值、 对应较小值、对应真实值。 3.如权利要求1所述的由匹配标记统计色度值的跃变次数，其特征在于，包含以下步 骤： (1)计算输入像素的色度值与各个高斯分布的均值之差的绝对值，即d i (x，y)|C(x， y)- i (x，y)|，选择其中的最小值d l (x，y)mind 0 (x，y)，d 1 (x，y)，d 2 (x，y)，若d l (x，y) 2.5，则判定C(x，y)与第l(l0，1，2)。
5、个高斯分布匹配，否则判定C(x，y) 不与任一个分布匹配； (2)分别以二比特数据00、01、10和11表示像素当前值与 匹配以及不与任一个分布匹配四种情况，用一个字的匹配字段记录连续8帧的 匹配情况，通过向左移位操作持续更新匹配标记字； (3)若匹配标记字中紧邻的两个标记不等，且都不为11，则判定发生一次跃变，由此 统计连续的八帧中发生多少次跃变，记为shCount。 4.如权利要求1所述的色串检测方法，其特征在于：根据色度值的跃变次数、 1 和 2 的差值、紧邻二帧亮度变化、是否存在明显的垂直边缘等线索判断是否发生色串，具体地， 若像素(x，y)，shCountT count ， 1 - 。
6、2 T mu ，T delta ，T x 1.5I y 且I x T edge ，则判定 (x，y)发生色串，需作色串去除处理，其中T count 、T mu 、T delta 是三个阈值，为图像 梯度，(x，y)|I k (x，y)-I k-1 (x，y)|为亮度帧差的绝对值。 权 利 要 求 书CN 102497560 A 1/5页 3 去除复合视频解码图像色串的方法和系统 技术领域 0001 本发明涉及视频图像处理领域，特别涉及检测和去除复合视频信号经解码后在色 度图像中引入的色串噪声的方法和系统。 背景技术 0002 在PAL和NTSC等复合视频系统中，彩色视频图像信号以频谱间置的方式。
7、实现亮度 信号和色度信号的同频带传输，由于人眼对于色度信号的分辨率远低于对亮度信号的分辨 率，所以色度信号占用的带宽一般低于亮度信号。以PAL-D彩色视频信号为例，其亮度信号 的带宽为6MHz，而色度信号的带宽低于1.3MHz，且被调制在彩色副载频上置于亮度信号频 谱的高端。 0003 对于实际的视频信号，亮度信号的幅频特性具有收敛性，即在频带较高端，亮度信 号的能量会降到很低。将色度信号的频谱置于亮度信号的较高频率处，有利于减少二者之 间的串扰。然而，由于亮度信号和色度信号共享了一些频带，不可避免地会引入一些失真。 0004 复合视频信号中，通常存在两种由于亮度和色度信号共享一些频带而引入的。
8、失 真：亮色分离后的亮度信号叠加了部分色度子载波的频率成分而产生的失真；亮度分量的 高频成分混淆于色度信号而在色度图像中产生的失真，这种失真通常发生在颜色高饱和区 的边界点处。上述两种失真有多种不同的称谓，如彩虹效应、渗色、色串、色失真赝像、亮失 真赝像等。考虑到上述失真是在亮色分离过程中引入的亮度和色度串扰噪声，所以后续的 内容中采用色串噪声这个称谓，简称色串。 0005 在视频监控系统中，以固定安装的摄像机观察监控区域是一种常见的模式，理论 上只在出现运动对象的时候，视频图像才会产生变化。编码器应该将码流分配给由于出现 运动目标而产生帧差数据的区域。通过视频解码器对亮度信号和色度信号进行分。
9、离的过程 中所引入的色串噪声不仅降低了视觉意义上的图像质量，更重要的，这种失真在时间方向 上是不一致的，在静态区域(特别是存在较多纹理的区域)亮度和色度分量都将产生不包 含有效视觉信息的时间域变化。直接的后果就是在视频编码中，把较多的码流分配给上述 失真所引入的帧差数据，使得编码器无法兼顾码率的限制和视频质量的要求。 0006 采用三维梳状滤波器实现复合视频信号的亮度和色度分离可以有效地减少色串 噪声，然而，使用三维梳状滤波器的视频解码器通常价格较贵，对于大量价格敏感的应用， 对亮色分离后的视频图像作色串抑制，是一种低成本的提高图像视觉质量且兼顾码率限制 的解决方案。 0007 中国专利CN 。
10、1767659色串检测系统使用模板检测像素是否发生了色串，该模板 是被精确定义的。以PAL制复合视频信号为例，该模板为两个较大的色度值后跟着两个较 小的色度值，再跟着两个较大的色度值，。对于存储在缓存中的同类(奇场或偶场) 视频，提取相应像素的色度值，以该色度值序列作为模式，与色串模板作匹配，判定是否发 生了色串。 0008 美国专利7751484B2通过实验观察得出了一些经验性的判断是否出现色串现象 说 明 书CN 102497560 A 2/5页 4 的判据：(1)连续的若干同类型的场图像(奇场或偶场)，若某个像素位于静态区域且发生 色串，则在该像素提取的色度值将在两个不同的值之间振荡，这。
11、两个值的平均是色度的真 实值；(2)在运动区域，虽然结论(1)通常不会完美地成立，但如果运动目标作匀速的平移 运动，则结论(1)接近于成立；(3)色串通常伴随较多的空间域高频成分，尤其是垂直的高 频成分。 0009 文献“Detection and Removal of Rainbow Effect Artifacts”(Chang L.L等， Proc.ICIP2007)提出彩虹现象通常发生在亮度图像具有较多高频成分的区域，且表现为交 错的彩色条带，可根据像素的亮度值和色度值与其邻域像素的相关性低这个特点来判断是 否发生了色串现象。 0010 现有对亮色分离后的视频图像作色串抑制的方法通常需。
12、要记录连续若干帧完整 的视频图像，所存储的帧数多少将很大程度影响检测的精确度；类似于色串模板这样的经 验判据，不能与视频图像随机变化的特征相适应；更重要的，已有的检测技术，通常直接针 对所存储的数据，没有利用色度数据本身固有的分布特征，其鲁棒性受到很大的限制。 发明内容 0011 本发明所要解决的技术问题是提供一种方法及系统以去除复合视频信号由于亮 色分离而引入的色串噪声。具体地说，在基于本发明的一种实施例中，以复合视频解码后的 亮度和色度图像为输入检测某个像素是否发生色串，若检测到色串噪声，则对该像素的色 度图像作滤波处理。 0012 本发明基于如下的观察：某个像素若存在色串，则观察到的像素。
13、色度值将在三个 值之间以较快的节奏交替变化，这三个值分别为色度分量的真实值、大于真实值的一个较 大值和小于真实值的一个较小值；较大值和较小值与真实值之间存在较大的偏离，且二者 的平均接近于真实值。由此，本发明对色度分量图像，在每个像素以一个包含三个组成成分 的混合高斯模型对随时间变化的观察数据的分布建模。这些组成成分中对应较 大值、对应较小值、对应真实值。 0013 对每个像素，本发明以一个匹配标记字段记录连续若干帧的匹配情况。本发明的 实施例公开了将匹配标记字段定义成一个字数据的方法，分别以二比特数据00、01、10和 11表示以下四种情况：像素当前值与上述对应真实值、较大值和较小值的高斯分。
14、布匹配， 以及不与任意一个分布匹配。一个字数据的标记字段可记录连续8帧的匹配情况。 0014 本发明的实施例根据色度值的跃变次数、 1 和 2 的差值、紧邻二帧亮度变化、是 否存在明显的垂直边缘等线索判断是否发生色串。所述色度值的跃变次数根据匹配标记计 算，具体方法为：若匹配标记中紧邻的两个标记不等，且都不为11，则记作一次跃变，否 则无跃变。 0015 考虑到发生色串时，色度的较大值(或较小值)与真实值之间的差值会远远地大 于高斯分布的标准差值，本发明的实施例对混合高斯模型作了简化：对每个像素的混合模 型，记录其 0 、 1 和 2 值，对整幅图像记录一个标准差值。与每个像素存储一个标准 差。
15、值相比，可以大大减少所需的存储空间和数据传输所需的带宽资源。 0016 本发明的有益技术效果在于：所公开的以混合高斯模型建模随时间变化色度值的 说 明 书CN 102497560 A 3/5页 5 分布，能很好地捕捉到发生色串时色度值在三个值之间快速交替变化的特征，从而有效且 可靠地检测和去除色串噪声 附图说明 0017 图1为本发明色串检测和去除实施例的流程框图； 0018 图2为本发明混合高斯模型初始化的流程示意图； 0019 图3为本发明色串检测模块的流程示意图； 0020 图4为本发明用于记录匹配标记的字数据以及逐帧更新的示意图。 具体实施方式 0021 本发明将混合高斯模型引入到色串。
16、噪声去除和抑制的应用中。在已有的视频背景 建模方法中，混合高斯模型(Gaussian Mixture Models)是应用得非常广泛的一种。为了 描述背景随时间的缓慢变化以及背景图像中存在的一些扰动(如树叶晃动、水波涟漪、显 示器闪动等)，混合高斯模型将某个背景像素点随时间变化的像素值的分布建模成若干个 高斯分布的叠加，即把这些数据看作是从多个高斯分布生成出来的。 0022 在一个给定的时刻，每个高斯分布由三个要素刻画：均值 i 、方差(或协方差 矩阵 i )、以及与该模型活跃程度有关的权值w i 。若当前帧的像素值为X i (假设是一个向 量，以对应多个颜色)，则该像素属于背景区域的概率按下。
17、式计算： 其中为高斯概率密度函数，即 0023 假设混合高斯模型由K个成分组成，则每个像素需记录3K个数据。若每个数据 都存储为单个字节，则与背景有关的数据量将多达单帧图像数据量的3K倍，而且，图像 数据往往以向量的形式表示。本发明的实施例充分考虑了实际系统对数据存储以及数据传 输时带宽的限制，对混合模型作了适当的简化。 0024 图1示出了基于混合高斯模型的色串去除具体实施方式的框图，输入当前帧 (100)包含了三个分量图像，亮度分量Y，两个色度分量，可为Cb、Cr，或U、V。 0025 假设输入视频使用YCbCr颜色空间，本发明基于以下的观察事实：某个像素若存 在色串现象，则观察到的色度值。
18、(Cb和Cr)在三个值之间以较快的节奏交替变化，这三个值 分别为色度分量的真实值、大于真实值的一个较大值和小于真实值的一个较小值；较大值 和较小值与真实值之间存在较大的偏离，二者的平均接近于真实值。根据上述观察，本发明 对Cb和Cr图像分别处理，以Cb分量图像为例，在每个像素以一个包含三个组成成分的混 合高斯模型(101)对随时间变化的观察数据的分布建模。这些组成成分中对应 较大值、对应较小值、对应真实值。 0026 考虑到发生色串时，较大值(或较小值)与真实值之间的差值会远远地大于高斯 分布的标准差值，本发明的一个实施例对混合模型作了如下的简化，以减少存储混合模型 说 明 书CN 10249。
19、7560 A 4/5页 6 所需的数据量：对每个像素的混合模型，记录其 0 、 1 和 2 值，对整幅图像记录一个标准 差值。 0027 图1所示本发明方法实施例包括以下几个步骤： 0028 (1)步骤102色串检测模块，逐个像素检测是否发生了色串现象； 0029 (2)步骤103，对检测到的发生色串的像素点，色度分量去除色串，具体地，以当前 的 0 值作为色度值输出； 0030 (3)步骤104根据当前输入，更新混合高斯模型，若输入色度值与高斯分布 或匹配，则相应地更新 1 或 2 ，及 0 ，若输入色度值与高斯分布 匹配或不与任何一个分布匹配，则只更新 0 ，所使用的更新算式如下 (k) 。
20、(x，y) (k-1) (x，y)+(1-)C(x，y) 其中C(x，y)是像素色度值，k是帧号，是一个权值，对 1 或 2 更新时通常取一个 相对较大的值，对 0 取一个相对较小的值； 0031 (4)简化模型所使用的标准差值，每帧图像更新一次，计算亮度图像的噪声标 准差 e ，且置max e ，其中是一个控制下限值的阈值。 0032 前述简化的混合高斯模型需要作初始化处理，图2示出了初始化的实施流程，具 体技术方案如下： 0033 (1)输入色度图像C(200)为两个色度分量图像之一； 0034 (2)若当前为第0帧，步骤201将输入色度图像完整地复制到三个均值图像，即 0 、 1 和 2。
21、 ； 0035 (3)步骤202和203分别更新 1 (x，y)和 2 (x，y)，更新的算式与上述步骤104 所使用的相同，且通常取0.70.8； 0036 (4)步骤204更新 0 (x，y)，更新式与前述202、203相同，权值略小于上述步 骤，通常取0.60.7。 0037 上述方法中，步骤102色串检测模块，其处理流程如图3所示，具体包括以下步 骤： 0038 (1)步骤300计算输入色度值与各个高斯分布的均值之差的绝对值，即 i (x，y) |C(x，y)- i (x，y)|，选择其中的最小值 l (x，y)min 0 (x，y)， 1 (x，y)， 2 (x， y)； 0039 。
22、(2)步骤301，若 l (x，y)2.5，则判定C(x，y)与第l(l0，1， 2)个高斯分布匹配，否则判定C(x，y)不与任一个分布匹配，根据 匹配情况更新匹配标记，分别以二比特数据00、01、10和11表示像素当前值与 匹配以及不与任一个分布匹配四种情况； 0040 用一个字的匹配标记字段记录连续8帧的匹配情况，图4示出了以依次左移的方 式移出已失效的匹配信息，移入当前的匹配信息，图4(a)为匹配标记字更新前的状态，当 前标记为01，图4(b)为更新后的状态； 0041 (3)步骤302由匹配标记计算像素色度值的跃变次数shCount，具体方法：若匹配 标记中紧邻的两个标记不等，且都不为。
23、11，则shCount+，否则shCount保持原值； 0042 (4)步骤303计算亮度分量图像水平和垂直两个方向的图像梯度，即 说 明 书CN 102497560 A 5/5页 7 以及亮度图像的帧差值(x，y)|I k (x，y)-I k-1 (x，y)|； 0043 (5)步骤304的判断逻辑如下：若像素(x，y)，shCountT count ， 1 - 2 T mu ， T delta ，I x 1.5I y 且I x T edge ，则判定(x，y)发生色串，需作去除色串处理；其中T count 是一个依据经验设定的计数阈值；T mu 是一个预先设定的阈值，基本思想是当发生色串，。
24、则 对应较大值的模型与对应较小值的模型之间应该有较大的偏离，如设为T mu 8；T delta 是 一个检测运动的阈值，帧差大于该值，则(x，y)可能位于运动区域，不作色串抑制；T edge 是一 个检测是否存在明显边缘的阈值。 0044 以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本 发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。 说 明 书CN 102497560 A 1/3页 8 图1 说 明 书 附 图CN 102497560 A 2/3页 9 图2 说 明 书 附 图CN 102497560 A 3/3页 10 图3 图4 说 明 书 附 图CN 102497560 A 10 。