用于编码/译码运动图象的装置和 方法以及用于存储运动图象的介质 本发明涉及对运动图象进行高效编码/译码以将所述图象变换成具有较少代码量的数字信号和对用于执行运动图象的传输、存储和显示也反之依然。特别是，本发明涉及使用与双向图象间预测相关的图象高效执行图象间的预测编码/译码。
在运动图象的图象间预测编码中，由于可以产生一个精确预测的信号，所以，使用已经被编码和放置在需要被编码图象之前和之后的图象作为参考图象能够实现高效编码。这些需要被编码的图象被称作双向预测编码(B)帧(图象)。
这种编码方法已经在由与本发明相同申请人申请的日本公开专利No.2(1990)-192378“帧间预测编码系统”中作了描述。所述B帧还被用在由ISO/IEC标准化的被称作MPEG的运动图象编码系统中。
用于对B帧进行编码的帧间预测编码总是需要多个独立帧和多个单向预测帧。由于B帧总是一个编码帧和决不用于预测其它帧，所以，所述独立帧被称作内部(I)帧，这种帧不必参考其它图象就可以被编码。所述单向预测帧被称作预测编码(P)帧，这种帧根据前行内部或预测编码帧编码。
一个图象(图形)是由分别具有图1A和1B所示I和B帧或I、P和B帧的多个帧组成的。
图1示出了恰好在每第4个帧(通常是相对于第六个帧的每第四个帧)处放置的I帧。通过恰好放置在一个B帧之前(前)和之后(后)的I帧预测在恰好两个I帧之间放置的所述B帧。
图1B示出了在利用P帧替换的图1A中所示地若干B帧。通常，I帧恰好被放置在每第十到第十三帧处和P帧被放置在每第二到第四帧处。在图1B所示的情况下，编码和译码处理非常复杂和帧结合长度或将被访问的帧单元将会变得很长；但是，存在许多帧间预测帧，从而可以改善编码效率。
图2的方框图示出了用于处理I和B帧的传统编码装置。
运动图形的的图象信号被经过输入端1依次地提供给图象存储器2、开关4和图象类型控制器7。
图象类型控制器7通过与所述输入帧同步的预定周期设置每个帧的图形类型。详细地说，每个第N帧被设置成I帧和其它帧被设置成B帧。然后，图形类型控制器7向开关4、编码器5和开关11输出图形类型信息。
图象存储器2存储所述图象信号中的B帧图象信号并将该图象信号延迟(N-1)帧。被延迟的B帧图象信号然后提供给预测减法器3。执行所述延迟是为了使用于预测的I帧在需要被预测的B帧之前由编码器5编码。
预测减法器3从由图象存储器2提供的B帧图象信号中减掉一个预测信号，产生一个将被提供给开关4的预测剩余信号。所述预测信号是由加法器10提供的，有关这一点后面将予描述。
在图形类型信息的控制下，开关4选择并向编码器5提供I帧输入图象信号或所述预测剩余信号。
编码器5通过离散余弦变换(DCT)对所选择的信号进行变换并将其量化以产生变长编码信号。然后，经过输出端6输出编码信号。
在I帧情况下，I帧编码信号在图形类型信息的控制下经过开关11被提供给局部译码器14。
局部译码器14对I帧的编码信号执行量化和逆DCT处理以再现将被提供给图象存储器13的I帧图象信号。
图象存储器13存储和保持再现的I帧图象信号达一个I帧时间，并当下一个再现的I帧图象信号被提供给它时输出该图象信号给存储器12。图象存储器12还存储和保持I帧的再现图象信号达一个I帧。存储在图象存储器12和13中的I帧图象信号被提供给加法器10以用于B帧的预测编码。
加法器10将所述图象信号的象素值相加并将加法结果除以2以产生将被提供给预测减法器3的预测信号。
所述加法可以在I帧图象之间距离关系的基础上通过加权对图象信号进行处理之后执行。再有，在每个块单向预测或根据在将被编码帧和将被用于预测并恰好放置在将被编码帧之前或之后的帧之间的相似性不进行预测的情况下，加法器10不可能永远执行加法。在这种情况下，编码器5根据每个块输出的相似性和预测模式信息决定预测的类型。
图3的方框图示出了与图2编码装置对应的传统译码装置。
编码信号和预测模式信息被经过输入端21提供给译码器22。译码器21对编码信号执行解量化和逆DCT处理以再现和译码I帧的图象信号或B帧的预测剩余信号。译码信号被提供给开关23。预测模式信息也被译码和提供给开关23和开关25。
在预测模式信息的控制下，开关23将I帧译码图象信号提供给图象存储器13a。
图象存储器13a存储和保持I帧译码图象信号达一个I帧并当下一个I帧译码图象信号被提供给它时向图象存储器12a和开关25输出所述图象信号。图象存储器12a还存储和保持I帧图象信号达一个I帧。
存储在图象存储器12a和13a中的I帧图象信号被提供给加法器10a以用于B帧的预测编码。加法器10a将图象信号的象素值相加并将加法结果除以2以产生将被提供给预测加法器24的预测信号。
在预测模式信息的控制下，译码预测剩余信号还经过开关23被提供给预测加法器24。利用预测加法器24使预测剩余信号和预测信号彼此相加以再现将被提供给开关25的图象信号。
在预测模式信息的控制下，开关25选择存储在图象存储器13a中的I帧图象信号或来自预测加法器24的预测图象信号。经过输出端26输出所选择的图象信号。这里，由输出端26输出的输出信号是由以返回到输入给图2所示编码装置的图象信号帧为顺序的多个帧组成的。
不仅是上述双向预测，还存在使用多个图形的多种预测方法。
在由本申请相同申请人申请的日本公开专利No.4(1992)-105487、“帧间预测编码系统”中披露了其中的一种方法。编码系统将前两个场或帧彼此相加以用于预测。在该系统中不需要延迟处理，因此不存在当预测B帧时发生的编码顺序的变化引起的延迟。另一个方法被称作MPEG-2中的双机(DuaI)系统，它使前偶数个或奇数个场或帧彼此相加以用于预测。
如上所述，由于双向预测能够及时允许内插预测中的图形变化，所以，图形间预测执行多个图形的加法。另外，不仅是双向预测，其它的图形间预测也执行多个图形的加法以限制包括在输入图形中的噪声分量和经过量化产生的其它噪声分量。多个图形相加还具有改善预测效率的空同滤波效果。
但是，使用与预测相关的多个参考图形进行图形间预测具有下述的缺点。
图形间预测将两个图形相加以产生用于一个图形预测的预测信号。这是因为图形间预测需要一个将被编码图形的每个象素两个参考图形的两个象素。
这意味着在图形间预测中从用于存储参考图形的图象存储器中读出的信号量是与在不使用参考图形的预测中所使用这种信号量的两倍。图象存储器和在前者预测中预测电路之间的象素传输速率将是后者这种传输速率的两倍。这将导致图形间预测需要作为能够执行多位数据的硬件的数据总线。
本发明的一个目的是提供一种能够实现接近使用具有与使用一个参考图形预测的象素传输速率相同传输速率的多个参考图形预测的预测效率的运动图形编码和译码装置和方法。
本发明的另一个目的是提供一种用于存储由所述编码装置编码的运动图形的存储介质。
本发明提供一种运动图形编码装置，用于使用多个参考图形执行图形间预测，该装置包括：第一预测器，用于通过抽选用于预测的第一参考图形的象素输出第一预测信号；第二预测器，用于通过抽选用于预测的第二参考图形的象素输出第二预测信号；预测减法器，用于从一个编码图形信号中减掉一个预测信号以获得一个预测剩余信号，通过轮流选择未被抽选第一和第二预测信号的象素形成连续的预测信号；和编码器，用于编码预测剩余信号和输出编码预测剩余信号。
另外，本发明提供一种运动图形编码和译码装置，用于利用多个参考图形执行图形间预测，该装置包括一个运动图形编码部分和一个运动图形译码部分，其中，编码部分包括：第一预测器，用于通过抽选用于预测的第一参考图形的象素输出第一预测信号；第二预测器，用于通过抽选用于预测的第二参考图形的象素输出第二预测信号；预测减法器，用于从一个编码图形信号中减掉一个预测信号以获得一个预测剩余信号，通过轮流选择未被抽选第一和第二预测信号的的象素形成所述预测信号；和一个编码器，用于编码所述预测剩余信号和输出编码预测剩余信号。译码部分包括：译码器，用于译码编码的预测剩余信号以再现所述预测剩余信号；第三预测器，用于通过抽选用于预测的第三参考图形的象素输出第三预测信号；第四预测器，用于通过抽选用于预测的第四参考图形的象素输出第四预测信号；预测加法器，用于通过轮流选择未被抽选第三和第四预测信号的象素和将所选择的象素加到再现预测剩余信号上以再现和输出一个图形信号。
另外，本发明还提供一种存储介质，用于存储通过使用多个参考图形进行图形间预测以抽选用于预测的第一和第二参考图形从而分别形成第一和第二预测信号并轮流选择未被抽选第一和第二预测信号的象素以形成预测信号、从编码图形信号中减掉所述预测信号以获得一个预测剩余信号和编码所述预测剩余信号并将该编码剩余信号存储在其中所获得的运动图形编码信号。
另外，本发明还提供一种用于利用多个参考图形执行图形间预测的方法，包括下述步骤：
通过分别抽选用于预测的第一和第二参考图形的象素输出第一和第二预测信号；轮流选择未被抽选第一和第二预测信号的象素形成一个预测信号；从编码图形信号中减掉所述预测信号获得一个预测剩余信号；和编码所述预测剩余信号并输出它。
另外，本发明还提供一种运动图形编码和译码方法，用于使用多个参考图形执行图形间预测，所述方法包括下述步骤：通过抽选用于预测的第一参考图形的象素输出第一预测信号；通过抽选用于预测的第二参考图形的象素输出第二预测信号；轮流选择未被抽选第一和第二预测信号的象素形成预测信号；从编码图形信号中减掉所述预测信号获得一个剩余预测信号；编码所述预测剩余信号和输出编码预测剩余信号；译码编码的预测剩余信号以再现所述预测剩余信号；通过抽选用于预测的第三参考图形的象素输出第三预测信号；通过抽选用于预测的第四参考图形的象素输出第四预测信号；轮流选择未抽选第三和第四预测信号的象素并将所选择的象素加到再现预测剩余信号上以再现和输出一个图形信号。
图1A和1B示出了帧格式；
图2的方框图示出了传统的编码装置；
图3的方框图示出了传统的译码装置；
图4的方框图示出了本发明编码装置的第一实施例；
图5示出了本发明的预测编码；
图6示出了本发明的象素抽选；
图7的方框图示出了本发明译码装置的第一实施例；
图8的方框图示出了本发明编码装置的第二实施例；
图9示出了本发明的象素选择操作；
图10的方框图示出了本发明译码装置的第二实施例；
图11的方框图示出了本发明编码装置的第三实施例；
图12的方框图示出了本发明译码装置的第三实施例。
图4的方框图示出了本发明运动图形编码装置的第一实施例。
运动图形的图象(图形)信号经过输入端100被依次提供给图象存储器200、开关400和图形类型控制器700。
图形类型控制器700通过与输入帧同步的一个预定周期设置每个帧的图形类型。详细的说，每第N帧被设置成I帧和其它的帧被设置成B帧。然后，图形类型控制器700将图形类型信息输出给开关400、编码器500和开关110。
图象存储器200存储所述图象信号中的B帧图象信号以将所述的图象信号延迟(N-1)个帧。B帧被延迟的图象信号然后被提供给预测减法器300。执行所述的延迟是因为用于预测的I帧必须在B帧被预测之前由编码器500编码。 预测减法器300从由图象存储器200提供的B帧图象信号中减掉一个预测信号以产生将被提供给开关400的预测剩余信号。如在下面将要解释的，由开关100提供所述预测信号。
在预测类型信息的控制下，开关400向编码器500选择和提供I帧的输入图象信号或所述预测剩余信号。
编码器500利用离散余弦变换(DCT)对所选择的信号进行变换并将其量化以产生变长编码信号。然后经过输出端600输出编码信号。输出编码信号可以被存储在诸如盘形存储介质的存储介质650中。
在I帧的情况下，在预测类型信息的控制下，I帧的编码信号被经过开关110提供给局部译码器140。
局部译码器140对I帧编码信号执行解量化和逆DCT处理以再现将被提供给图象存储器130的I帧图象信号。
图象存储器130存储和保持再现的I帧图象信号达一个I帧，并当下一个再现的I帧图象信号被提供给它时将所述图象信号输出给图象存储器120。图象存储器120也存储和保持再现的I帧图象信号达一个I帧。
当B帧被预测编码时，I帧图象信号被作为参考图形信号分别从图象存储器120和130提供给象素抽选器800和900。象素抽选器800抽选来自I帧图象信号的每一个其它象素以输出象素数量减少一半的象素图象信号。输出的图象信号被提供给开关100作为第一预测信号。象素抽选器900也抽选来自I帧图象信号的每一个其它象素并输出象素数量被减少一半的象素图象信号。输出的图象信号也被提供给开关100作为第二预测信号。
开关100被每个象素所控制以轮流选择来自象素抽选器800和900的图象信号的象素，从而输出其象素数量与输入图象信号象素数量相同的连续象素预测信号。然后，所述连续预测信号被提供给预测减法器300。
上述处理示于图5。在该图中，通过图5(b)所示象素抽选器800抽选存储在图象存储器120中如图5(a)所示的图象信号象素。另外，通过图5(d)所示抽选器900抽选存储在图象存储器130中如图5(C)所示的图象信号的象素。在该图中，符号“○”和“△”表示未被抽选的象素和“—”表示被抽选的象素。如图5(b)和5(d)所示，象素抽选的位置彼此相反。因此，通过轮流选择来自图5(b)和5(d)的图象信号的象素，从图5(e)所示开关100输出的连续预测信号中的每一个信号具有的象素数量与存储在图象存储器120和130中的图象信号的象素数量相同。
由于在预测信号频带中较高的一半频率分量处进行抽选，所以，上述如此产生的连续预测信号包括折叠分量。但是，预测信号较低一半频率分量与在图2所示编码装置中产生的预测信号的情况相同。当两个参考图形彼此相同时，较高一半频率分量也与在图2所示编码装置中产生的预测信号的情况相同，但是，如果不同，这个不同将是一个误差。
象素抽选示于图6。图6(a)和6(b)分别示出了在水平和垂直方向的象素抽选。另外，图6(c)示出了其中将被抽选象素的位置与每个图象信号的光栅行相反的象素抽选。如图6(a)和6(b)所示，抽选后图象信号的频率特性在水平和垂直方向中频率特性的一半处呈现误差分量。在图6(C)所示情况下，抽选后图象信号的频率特性呈现一个倾斜部分，在该部分处，每一个高频分量都包含误差。但是，这些误差是可视检测的。在该附图中，“μ”和“γ”分别表示水平和垂直频率。
图7示出了本发明第一最佳实施例，它对应于图4所示编码装置。图7中与图4所示相同或相似元件使用相同的标号表示并将不再详细解释。
在图7中，例如存储在存储介质650中的编码信号和预测模式信息被经过输入端210提供给译码器220。译码器220对所述编码信号执行解量化和逆DCT处理以产生和译码I帧图象信号或B帧预测剩余信号。译码信号被提供给开关230。预测模式信息也被译码和提供给开关230并提供给开关250。
在预测模式信息的控制下，开关230将译码的I帧图象信号提供给图象存储器130。
图象存储器130存储和保持I帧译码图象信号达一个I帧并当下一个I帧译码图象信号被提供给它时向图象存储器120和开关250输出所述图象信号。图象存储器120还存储和保持I帧图象信号达一个I帧，
当B帧被预测编码时，I帧图象信号被作为参考图形信号分别从图象存储器120和130提供给象素抽选器800和900。象素抽选器800从I帧图象信号中抽选每一个其它象素，输出其象素数量被减少一半的象素图象信号。所输出的图象信号被提供给开关100作为第一预测信号。象素抽选器900从I帧图象信号中抽选每一个其它象素，输出其象素数量被减少一半的象素图象信号。所输出的图象也被提供给开关100作为第二预测信号。
开关100被每个象素的控制以轮流选择来自象素抽选器800和900的图象信号的象素，输出其象素数量与输入图象信号象素数量相同的连续象素预测信号。然后，所述连续预测信号被提供给预测加法器240以用于B帧的预测编码。
上述由象素抽选器800和900以及开关100执行的处理与结合图5所述的处理相同。
在预测模式信息的控制下，译码预测剩余信号还经过开关230提供给预测加法器240。加法器240将预测剩余信号和预测信号彼此相加以再现将被提供给开关250的图象信号。
在预测模式信息的控制下，开关250选择存储在图象存储器130中的I帧图象信号或来自预测加法器240的预测图象信号。所选择的信号经过输出端260输出。这里，从输出端260输出的信号由其帧顺序返回到输入给图4编码装置的图象信号的顺序的多个帧组成。上述结合图7所述译码装置对从图4编码装置输出的编码信号进行译码。不仅如此，图7所示的译码装置还能够对由图2编码装置输出的编码信号译码。在这种情况下，由于在图2和图7所示编码和译码装置之间图形间预测的不同将会产生一个译码误差。但是，由于这种误差大多发生在高频分量，所以，该误差可以被视觉忽略。另外，由于B帧是通过其中已经预测的帧决不会被用于其它帧预测的非循环预测进行预测的，所以，这种误差将不会被累积。
为了便携使用，图4和图7的编码和译码装置可以组成为一个整体。在这种情况下，图形信号可以在任何适当的地方编码和存储在诸如盘形存储介质的存储介质中。
图8示出了本发明编码装置的第二实施例。图8中与图4所示相同或相似的元件使用相同的标号并不再赘述。
图8所示的编码装置被提供有象素开关510、图象存储器520到550和开关560。开关510具有图4所示象素开关100两倍的4个触点。另一方面，存储器520到550中的每一个就存储容量而言是图4所示存储器120和130的一半。
由于与结合图4所述的处理相同，所以，这里省略经过图象存储器200到编码器500对I帧图象信号编码处理的描述。
I帧编码图象信号被局部译码器140再现并提供给开关560。开关560逐个象素地轮流提供象素信号给图象存储器530和550。所述转换操作与结合图4所述开关10的逆操作相同。
图象存储器530和550与图4所述图象存储器130一样存储由图象信号所携带的图形。但是，由于由开关560的转换操作所导致的提供给象素存储器530和550中每一个存储器的象素数量是提供给图象存储器130的一半，所以，存储图形的尺寸也是图象存储器130的一半。
与图象存储器130相同，当一个新的再现I帧图形被提供给图象存储器540和550时，图象存储器540和550分别提供该图形给图象存储器520和530。
图象存储器520和540存储图形的数量分别是存储器530和550的一半。如上所述，两帧参考图形被存储在4个图象存储器520到540中，其中的每一个存储半帧。
图象信号被提供给象素开关510，以作为来自4个图象存储器并用于B帧编码的预测信号。开关510每个象素选择4个图形中的一个，产生象素数量与输入图形象素数量相同的一个预测信号。
在一个帧内，在将被预测帧前后参考帧内象素的数量彼此相同并取决于前者或后者。因此，在一个帧内，开关510从图象存储器52和55或图象存储器53和55中选择所述象素。如此产生的图象信号被作为预测信号提供给预测减法器300。
开关510从存储器52和55或存储器53和55选择象素的转换操作被图9所示帧反向。如图9A和9B所示，利用象素存储器有两种象素抽选。另外，有两种图9C所示的帧反向。在图9C中，“a”和“b”分别表示图9A和9B所示的抽选。在这个转换操作中，只有高频分量试图包括附加的误差，因此，这种误差很难被检测到。
如上所述编码的图象信号经过输出端600输出和能够被存储在诸如盘形存储介质的存储介质650中。
下面，图10示出了根据本发明与图8所示编码装置对应的译码装置的第二最佳实施例。图10所示与图7和8相同或类似的元件使用相同的标号并不再详细解释。
与结合图7所述相同再现的图形被提供给开关560。图象存储器520到550和开关510的操作与结合图8所述相同。这里，I帧再现图形经过输出端260并经过开关610和250输出。开关610与开关560同步操作以将所述帧的象素返回到被开关560划分之前的状态。
下面，图11示出了本发明编码装置的第三实施例。图11中与图4所示相同或相似的元件使用相同的标号并不再详细解释。
图11所示编码装置被提供有运动估算器730、用于运动补偿和预测编码的空间(低通)滤波器(LPF)720以及读可变地址图象存储器740和750。
图象(图形)信号经过输入端100提供给图形类型控制器700和运动估算器730。
响应输入的图象信号，运动估算器730获得将被用于经过运动补偿的图形间预测编码的运动矢量。另外，在由图形类型控制器700给出的图形类型信息的基础上，运动估算器730检测图形间预测中的帧关系以决定B帧是预测帧还是I帧是预测帧。所获得的与动矢量被作为运动矢量(MV)信息提供给图象存储器740和750。MV信息还被提供给编码器710，在这里，对图形类型信息和MV信息编码并与编码图象信号一起被多路传输。
图象存储器740和750根据所述MV信息改变读地址并输出经过运动补偿的参考图形给象素抽选器800和900。抽选器800和900与象素开关100的操作与结合图4所述的操作相同。
象素开关100输出的连续预测信号经过低通滤波器720提供给预测减法器300。滤波器720利用象素抽选限制将引起误差折叠部分的空间频率。连续预测信号然后包括折叠部分频带中少量频率分量。但是，由于在频带中有少量信号分量，所以，预测信号类似于由图2所示编码装置产生的预测信号。
图12示出了本发明与图11所示编码装置对应的译码装置的第三最佳实施例。图12中与图7和11所示相同或相似元件使用相同的标号并不再详细解释。
图12所示译码装置被提供有用于运动补偿和预测编码的空间(低通)滤波器(LPF)720和读地址可变图象存储器740和750，以及用于对编码信号和MV信息译码的译码器810。
图象存储器740和750根据由译码器810提供的MV信息改变读地址。象素开关100的输出信号经过低通滤波器100提供给预测加法器240，有关这点与结合图11所述相同。
如上所述，根据本发明，两个参考图形的象素不相加，而是被轮流选择产生图形间预测中的预测信号。因此，数量与将被编码图形象素数量相同的参考图形象素只被用于预测。因此，与传统装置比较，参考图形象素数据的传输速率仅是其一半。
这使得能够使用低速、位数少的数据传输总线进行图形间预测以减少盘形存储介质或编码和译码装置的成本。
另外，如上所述，本发明使用低通滤波器限制连续预测信号的高频分量。这样可以限制误差分量而获得质量与传统装置相同的图形。
再有，如上所述，本发明的编码和译码装置能够被集为一体以便于携带并及时译码和再现存储在盘形存储介质中的图象信号。