以非同等错误保护对数据流进行编码 【技术领域】
本发明涉及对数据流的编码。本发明进一步涉及已编码数据流的发送和接收。本发明特别的涉及一种使用非等同错误保护(UEP)的MPEG-4视频编码方法，更特别的涉及一种基于运动和/或纹理活动性(activity)的检测来执行UEP的方法和系统。
背景技术
在无线通道上的视频传输遭受比有线线路上的传输更多的错误传输。在无线通道中，达到10％的平均错误率是非常普通的，结果导致接收的视频应用程序的质量不可接受。因此应该意识到信道编码是必须地以便将误码率降至可接受的水平。传统的，在除去源冗余之后，根据诸如香农分离定理(Shannon’s separation theorem)的技术，通过源压缩方法独立的执行信道编码。
然而，应该意识到如果给出所考虑的信道的特征在于在带宽和延迟方面的严厉约束，并且如果以源压缩方案给出残留冗余，则联合源信道编码方法是可取的。更加精确的，信道编码和解码可利用该残留冗余。因此考虑无线信道特征和应用程序特征的适当的技术将被考虑。
尤其是，关于源比特对信道误差的不同灵敏度的信息将通过非等同错误保护被使用。该技术由下列步骤组成：根据源比特对误差的感知灵敏度执行错误保护：通过较低速率的代码来保护更加灵敏的比特，对于不重要的比特，则使用较高速率的代码。
与传统的前向纠错相比，通过使用源的特征，UEP允许获得给出相同比特率的高度感知的视频质量。这样一种技术在Motorola的EP1018815中有介绍，其描述了在通信系统中处理用于传输的信息的方法和装置。
该方法可有利的与在MPEG-4标准中可用的数据分割工具结合，如在MPEG-4视频组“Overview of the MPEG-4 Standard”(ISO/IECJTC1/SC29/WG11 N3444，Geneva，20005-6月)中所述的：其中包含在每个包中的信息位被分割成三个部分，每一个对于信道误差具有不同的灵敏度。使用图1中所示的例子，典型的P帧100包括由在标题101之前的包开始STRT组成的分段，由运动标识104分开的运动分段102和纹理分段103。类似的，对于I帧120，各分段包括标题121，由DC标识符124分开的DC分段122和AC分段123，可使用不同的码率来保护该三个分段。根据相关信息的主观重要性，该三个分段在每个例子中以不同的码率来保护。
标题中包含的信息对于包的连续解码是至关重要的，因此那些信息应受到重点保护。使用P帧的例子，应该意识到应该比纹理数据更注重保护运动数据，好像运动信息被正确的接收，纹理信息可被部分的重构，因为在没有纹理信息的情况下解码器仍然能执行运动补偿隐藏，而重构的图像没有太多的降级。
在这种方案的应用中的主要问题是这样的事实：类似分段，包不具有相同的长度，因此UEP方案对于每个包将是动态变化的并且需要知道每个分段长度。为了处理该问题，使用固定比例长度或从恰好插入到位流中的字段读取的长度的技术在下列文献中已经有所建议：M.G.Martini，M.Chiani编写的“Proportional Unequal ErrorProtection for MPEG-4 Video Transmission”(2001年6月在赫尔辛基召开的IEEE International Conference onCommunications(ICC)2001(IEEE国际通信会议(ICC)2001)会报第1033-1037页)和M.G.Martini，M.Chiani编写的“Robust Transmissionof MPEG-4 Video：Start Codes Substitution and Length FieldInsertion Assisted Unequal Error Protection”(2001年4月在汉城召开的Picture Coding Symposium-PCS2001(图像编码研讨会-PCS2001))。
虽然这些技术能够保护运动数据较保护纹理数据多，但由于没有对不同类型的运动或纹理数据实行补偿，所以他们仍然存在问题。在场景的某些部分上的误差，例如高速运动或高清晰区域，比较少活动的区域上的误差更恼人，并且已知的技术不适于补偿这种变化。因此需要保护高速运动和/或纹理活动的区域较低速活动区域多。
【发明内容】
因此本发明提供一种使保护的等级适应包活动性的活动性检测器和一种方法。理想的，该检测器和方法适于在源编码的域上工作。为此，本发明为编码、传输提供如独立权利要求所定义的数据流和存储介质。
本发明在MPEG-4视频的无线传输领域是特别有利的。本发明者认识到具有高活动性的视频包部分需要的保护比具有低活动性的那些区域多。例如，在P帧区域中，具有高活动和/或高纹理的分段需要的保护比具有低活动性的区域的那些部分多，于是对于I帧型区域，具有高DC和/或AC活动性的分段需要的保护比具有低活动性的那些分段多。通过应用认识到和适应于这种活动性等级的编码方案，本发明为数据流提供一种改进的保护。
参照为本发明的典型例子的下列附图，本发明的这些和其他特征将更容易理解。
【附图说明】
图1表示MPEG-4包的数据分割的例子；
图2表示根据本发明的包活动性偏差的量化；
图3表示根据本发明的传输系统；和
图4表示用于对使用本发明的方法编码的数据流进行解码的解码系统。
【具体实施方式】
图1已经示出根据MPEG-4对帧的数据分割。
视频包方法所具体表现的是MPEG-4格式的已知整数，其中视频包长度不是取决于块的数量，相反而是取决于该包中所包含的比特的数量。如果当前视频包中所包含的比特数超过一预定阈值，那么在下一块的开始处产生一新的视频包。
本发明提供一种利用该暗示的方法：即与在运动和/或纹理方面更加活跃的区域相关的包包含较少数量的块。使用P帧被分割成B个固定尺寸块的例子，可以假设与当前帧有关的视频包的数量为N。那么每个包中的块的平均数量被给出为：
n‾=BN---(1)]]>
其表示每包的平均运动和纹理活动性。因此，任何测量的MPEG-4视频包的从平均值的活动性偏差被定义为：
Δα＝ n-n (2)
其中n为当前测量的包中包含的块的实际数量。如果Δα＞0，但小于平均值，则当前包的特征在于具有比平均值大的活动性。
根据本发明，检测当前包的活动性是否主要起因于运动或纹理的技术也可以被定义。
在使用MPEG-4编码器对包含P帧的视频序列已经进行编码之后，使NBF等于比特的总数，LTX和LVM分别表示与纹理和运动向量有关的编码比特的总数。因此，纹理部分关于视频包的平均运动为：
lTX‾=LTXNBF---(3)]]>
而
lMV‾=LMVNBF---(4)]]>
为与相同的包比较的运动向量区域的平均部分。
通过忽略标题部分，下列公式成立：
lTX‾≅1-l‾MV---(5)]]>
现在让
lTX=NBTXNBP---(6)]]>
是与当前包相比较的纹理区域的活性部分，其中NBTX为与纹理相关的比特数，NBP为包长度，并且让我们定义
ΔTX=lTX-lTX‾---(7)]]>
表示从当前包的纹理分段的平均值的偏差。
那么，如果ΔTX＞0，则包活动性主要取决于纹理，如果ΔTX＜0，则包活动性主要取决于运动。
为了使保护等级适应包的活动性，Δα的范围可被量化。以这种方式，根据Δα落到的决定区域可定义不同的活动性偏差等级。
图2表示对包活动性偏差进行量化的一个例子，并且应该意识到决定区域已经被定义了，从而与平均值相比较，可以有(或正或负)低(L)或高(H)的活动性偏差。非偏差区域也已经被定义，这意味着当前包的活动性与平均活动性值相当。
当发生显著的活动性偏差(也就是Δα落在非偏差区域之外)时，纹理或运动活性的优势必须被检测。合理固定一个阈值Δ′TX，使得如果ΔTX＞Δ′TX则所述活动性由纹理引起，于是如果ΔTX＜-Δ′TX则所述活动性由运动引起。假设如果|ΔTX|＜Δ′TX则不存在活动性优势，其中Δ′TX为用实验方法确定的阈值。本领域技术人员应该意识到可通过许多方法中的一种来确定该阈值。例如，确定该阈值的一个可能方式为与非适应技术相比较使用相同数量的带宽来使视频质量性能改进最大化以保护信息。该调谐可在多个测试序列上执行。那么，该阈值的值可被不确定的用于将来应用。
现在让我们设想根据为不同分割部分指定不同编码速率的UEP技术，运动向量分割部分必须以速率RMV来保护，纹理分割部分以速率RTX被保护。
表1概括了使运动和纹理分段的保护适应包活动性的机理。
注意R1MV＜R2MV＜RMV＜R3MV＜R4MV，且R1TX＜R2TX＜RTX＜R3TX＜R4TX Δα ΔTX 运动 纹理 |Δα|＜Δ1 RMV RTX Δ1＜Δα＜Δ2 |ΔTX|＜Δ′TX R3MV R2TX ΔTX＞Δ′TX RMV R2TX ΔTX＜-Δ′TX R2MV RTX Δα＞Δ2 |ΔTX|＜Δ′TX R1MV R1TX ΔTX＞Δ′TX RMV R1TX ΔTX＜-Δ′TX R1MV RTX -Δ2＜Δα＜-Δ1 |ΔTX|＜Δ′TX R3MV R3TX ΔTX＞Δ′TX R3MV RTX ΔTX＜-Δ′TX RMV R3TX Δα＜-Δ2 |ΔTX|＜Δ′TX R4MV R4TX ΔTX＞Δ′TX R4MV RTX ΔTX＜-Δ′TX RMV R4TX
表1：根据分段活动性的保护等级。
应该意识到本发明另外提供一种指定给与纹理分段相对的运动的另外等级的保护使得RMV＞RTX。因此应该意识到本发明提供了一种保护等级体系，使得其中具有运动数据的分段受到的保护比具有纹理的那些分段多，并且具有高等级运动活性的那些分段受到的保护比具有较少活动性的那些分段多。
本领域技术人员应该意识到相同或相似的技术能被应用于帧内。在这种情况下，DC DCT系数和AC系数分段必须被考虑用于活动性支配检测，并且具有较高活动性的区域被指定比具有较少活动性的那些区域多的保护。
图3表示根据本发明的用于对视频序列进行编码的传输电路300的示意图。提供视频序列vs作为向MPEG-4编码器301的输入，其中该视频序列被分割成其组成位流bs和MPEG-4语法说明sd。位流和语法说明都被提供给平均值计算模块302，其中块的平均数 n和纹理区域关于视频包的平均部分 lTX被计算。类似的位流和语法说明被提供给包值计算模块303，其中当前包中的块的实际数量(n)和与当前包相比较的纹理区域的实际部分(lTX)被测量。
然后纹理和活动性的平均值和实际值在纹理偏差304和活动性偏差305模块中被计算。然后将偏差量与根据经验在保护适应模块306中确定的量相比较，并且这将确定应用给每个分段的保护的类型。然后为每个分段计算的保护等级在信道编码器307中被应用给各个位流和语法说明，所述信道编码器307提供一个作为输出的编码位流cb。
然后使用多路复用器308使用语法说明(RMV，RTX，NBMV，NBTX)对该编码的位流进行适当的多路复用，并且然后该多路复用的信号被传送。
图4表示适于接收多路复用信号并且为了观看的目的对它进行解码的适当接收电路400的例子。位流被接收并且然后使用多路分用器(DEMUXER)401对其进行多路分用。使用信道编码器402从其后被处理的编码位流提取语法说明以便形成解码位流。然后该解码位流使用源解码器403被转换成用于显示的视频序列。应该意识到，根据本发明的应用于特定数据流类型的方法，上述过程还可使用一般的MPEG-4解码器或可选择的解码器实现。
应该注意上述的实施例所说明的不应该是本发明的限制，本领域技术人员在不脱离后附权利要求的范围的情况下可设计出许多可选择实施例。在权利要求中置于括号中的任何参考标记不应构成对权利要求的限制。类似的，当在此关于本发明所使用的单词“包括/包含(comprises/comprising)”和单词“具有/包括(having/including)”被用于指定所陈述的特征、整数、步骤或组分的存在，但不排除其出现或附加有一个或多个其它的特征、整数、步骤、组分或组。可利用包括若干种类不同的硬件和利用适当编程的计算机来执行本发明。在列举若干装置的设备权利要求中，一个或多个这些装置可通过一个和相同产品的硬件来体现。在彼此不同的从属权利要求中陈述的某些测量的纯粹事实并不表示不能有利的利用这些测量的结合。