图像编码方法和图像编码装置 【技术领域】
本发明涉及活动图像影像压缩的图像编码，更具体地讲，涉及提高用户录像机和摄像机所需的实时编码中使用的编码量控制精度的技术。
背景技术
图17是包括惯用编码量控制的图像编码方法的流程图。在惯用的编码量控制中，通过根据在前编码数据的编码量确定在后续编码中使用的参数，使编码量落入一个预定范围内(例如参见日本未审查专利公开平7-107473)。首先，输入图像影像的第一帧(SZ1)，并且用在前确定的初始参数编码第一宏块(SZ2)。应当注意，编码是在每个称为宏块的矩形区中进行的。对于每个后续的宏块，计算在前编码宏块的编码量(SZ3)，并且确定所计算的编码量是大于还是小于一个预定目标值。从而控制编码参数，使得当所计算的编码量较大时，当前处理的宏块的编码量较小，或当所计算的编码量较小时，当前处理的宏块的编码量能够较大(SZ4)。当输入下一帧影像时(SZ5)，也使用在前处理的帧的编码量计算该编码量偏离目标值的差值(SZ6)，以便控制后面要使用地编码参数(SZ7)。重复执行步骤SZ5至SZ7，直到处理完最后一帧(SZ8)。
然而，由于这种惯用方法使用了根据在前编码数据控制后面使用的编码参数的反馈法，因此，不能保证总能够选择最佳编码量。例如，如果最初提供了一个过大的编码量，那么不能给一个应当给予大编码量的后续影像足够的编码量，因此，可能使影像质量大大下降。
此外，由于编码参数是通过对编码量的单独评价进行控制的，因而难以根据影像的特性恰当地控制所要提供的编码量。
【发明内容】
本发明的目的是要在图像编码中实现考虑到影像质量情况下的编码量控制。
具体地讲，本发明的编码活动图像影像的图像编码方法包括：对于一个第一影像生成多个分别具有不同编码量的编码数据的第一步骤；通过解码多个编码数据建立多个用于预测编码的基准影像(reference image)的第二步骤；对多个基准影像进行影像质量评价的第三步骤；以及根据影像质量评价结果从多个编码数据中选择至少一个编码数据的第四步骤。
根据本发明，对一个第一影像生成多个分别具有不同编码量的编码数据，并且从这些编码数据建立多个基准影像。然后，对基准影像进行影像质量评价，并根据影像质量评价结果选择编码数据。换句话说，根据与再现时得到的影像相同的基准影像的影像质量评价结果，选择编码数据，从而能够在考虑到影像质量的情况下对编码量进行控制。因此，可以确切地得到具有适当编码量和高影像质量的编码数据。
在本发明的图像编码方法的第一步骤中，优选设置多个目标编码量，并且，通过在分别收敛多个编码数据的编码量到多个目标编码量的编码量控制下进行编码，对第一影像生成多个编码数据。此外，最好每帧设置多个目标编码量，并且在编码量控制中，控制每个宏块中的编码参数。
在本发明的图像编码方法的第一步骤中，优选利用多个不同编码参数进行编码，生成有关第一影像的多个编码数据。
在本发明的图像编码方法中，优选一帧接一帧地提供第一影像，并且在第四步骤中在每帧中选择至少一个编码数据。
在本发明的图像编码方法中，优选一帧接一帧地提供第一影像；在第一步骤中，通过参考另一帧的n(其中，n是大于或等于2的整数)个基准影像，产生有关第一影像的n个预测编码影像；并且对于n个预测编码影像中的每个预测编码影像，生成m(其中，m是大于或等于2的整数)个分别具有不同编码量的编码数据，从而生成作为多个编码数据的n×m个编码数据。此外，在第四步骤中，优选从n×m个编码数据中选择n个编码数据，并且用分别对应于n个编码数据的n个基准影像预测编码另一帧的影像。
在本发明的图像编码方法的第三步骤中，优选将多个基准影像中具有最大编码量的编码数据的基准影像设置为参照影像，获得每个基准影像与参照影像的差值，并且用这个差值获得影像质量评价的评价值。
因此，将一个从具有最大编码量的编码数据得到的、假设具有最高影像质量的基准影像设置为参照影像，并且获得每个基准影像偏离该参照影像的差值，以便根据这个差值得到影像质量评价的评价值。从而，可以通过简单的方法进行高精度的影像质量评价。
在第四步骤中，优选从对应于具有落入允许范围内的评价值的基准影像的编码数据中选择至少一个编码数据。或者，在第三步骤中，优选从参照影像提取高频分量，并且在获得评价值的过程中，根据对应像素的高频分量调制差值。如此，根据对应像素的高频分量调制了影像之间的差值，所以可将影像的复杂度包括在用于影像质量评价的评价值中。从而，可以用对应人眼特性的尺度，精确地进行影像质量评价。或者，优选评价一个由差值组成的差值影像的模型，从该模型提取噪声信息，并且将噪声信息附加地包括在对应于相应的基准影像的编码数据中。如此，将提取的噪声信息包括在编码数据中，从而，噪声降低处理可以在再生编码数据中有效地发挥作用。结果，再生时影像质量可以得到进一步提高。
此外，在本发明的图像编码方法的第三步骤中，优选在每个宏块中进行基准影像的影像质量评价；并且在第四步骤中，在每个宏块中选择至少一个编码数据；并组合在各宏块中选择的编码数据，以重构新的编码数据。
如此，在每个宏块中进行影像质量评价，以便在每个宏块中选择编码数据。从而，由于也可以在一个帧内根据影像质量评价控制编码量，所以可以进一步提高影像质量。
此外，在第四步骤的重构新的编码数据的过程中，优选将一些所选择的已经通过预测编码方式编码的编码数据进行一次解码，以便获得在重构前未经预测编码方式而编码的编码数据，并且在重构之后再次进行预测编码。
在本发明的图像编码方法中，优选一帧接一帧地提供第一影像；在第一步骤中，对第一影像进行帧间编码和帧内编码；在第四步骤中，选择帧间编码或帧内编码。因此，根据影像质量评价还进行被称为帧内/帧间确定的处理，从而可以进一步提高影像质量。
在本发明的图像编码方法的第四步骤中，优选不仅根据影像质量评价结果，而且也根据多个编码数据的编码量来选择至少一个编码数据。如此，除了根据影像质量评价结果之外，还根据编码数据的编码量选择编码数据。从而，可以实现严格考虑到影像质量而抑制编码量变化的编码量控制。结果，可以限制再现中使用的解码装置的尺寸。
在第四步骤中，优选将一个影像质量容许范围设置为影像质量评价得到的评价值的容许范围，将一个编码量容许范围设置为编码量的容许范围，并且根据一个给定规则，从具有落入到影像质量容许范围的评价值和具有落入到编码量容许范围的编码量的编码数据中选择至少一个编码数据。
在第四步骤中，优选在每帧中将一个编码量容许范围设置为编码量的容许范围，通过每个宏块中的影像质量评价选择至少一个编码数据，并且当整帧的编码量高于编码量容许范围时，为了使该帧的编码量落入到编码量容许范围内，优先在一个通过选择的改变使影像质量降低较小并且使编码量减少较大的宏块中改变至少一个编码数据的选择。如此，当整帧的编码量高于编码量容许范围时，优先在一个影像质量降低较小并且编码量减少较大的宏块中改变编码数据的选择。所以，在使影像质量降低最小的同时，可以限制编码量的变化。
图像编码装置包括：用于对一个第一影像生成分别具有不同编码量的多个编码数据的图像编码单元；用于通过对图像编码单元生成的多个编码数据进行部分解码，以生成用于预测编码的多个基准影像的部分解码单元；用于评价部分解码单元生成的多个基准影像的影像质量的影像质量评价部分，和用于根据影像质量评价部分进行处理的结果，从多个编码数据中选择至少一个编码数据的编码数据选择部分。
根据本发明，影像编码单元对一个影像生成多个分别具有不同编码量的编码数据，部分解码单元从这些编码数据建立多个基准影像。然后，影像质量评价部分进行各个基准影像的影像质量评价，编码数据选择部分根据影像质量评价的结果选择编码数据。换句话说，根据与再生中得到的影像相同的基准影像的影像质量评价选择编码数据，从而能够考虑到影像质量而控制编码量。结果，可以确切地得到具有适当编码量和高影像质量的编码数据。
较佳地，本发明的图像编码装置进一步包括：用于存储多个编码数据的第一存储部分和用于存储多个基准影像的第二存储部分，并且第一存储部分和第二存储部分是由一个共用的存储器构成的。因此，在原来就包括一个大容量存储器的装置中，例如数字照相机，可以使用已有的存储器，以降低成本。
在本发明的图像编码装置中，图像编码单元和部分解码单元优选以分时方式(time-sharing manner)工作，以在时间序列中连续地产生多个编码数据和多个基准影像的组合。如此，无需提供额外的硬件来产生多个编码数据和基准影像。换句话说，在DVD录像机之类的原来就具有高处理性能的装置中，可以有效地利用该性能产生例如在高压缩率下也具有高影像质量的编码数据，而无视其高压缩率，从而通过根据目的转换要产生的编码数据，可以在更大的范围内使用这种装置。
【附图说明】
图1是根据本发明的实施例1的图像编码方法的流程图；
图2是显示根据本发明的实施例1的图像编码装置的示例构造的框图；
图3是评价影像质量的示例处理的流程图；
图4是根据本发明的实施例2的图像编码方法的流程图；
图5是根据本发明的实施例3的图像编码方法的流程图，其中在实施例1的图像编码方法中附加执行了帧内/帧间确定；
图6是根据本发明的实施例3的图像编码方法的流程图，其中在实施例2的图像编码方法中附加执行了帧内/帧间确定；
图7是根据本发明的实施例4的图像编码方法的流程图；
图8是显示根据实施例4的图像编码装置的示例构造的框图；
图9是重构编码数据的示例处理的流程图；
图10是显示重构编码数据的处理的示意图；
图11A和11B是显示考虑到编码量的编码数据选择的示意图；
图12A和12B是显示考虑到编码量的另一种编码数据选择的示意图；
图13是显示一个通用数字照相机的构造图；
图14是显示一个应用了本发明的数字照相机的图像编码单元的构造图；
图15是显示一个DVD录像机的示例构造的图；
图16是显示一个应用了本发明的DVD录像机的图像编码单元的构造的图；和
图17是惯用图像编码处理的流程图。
【具体实施方式】
现在参考附图说明本发明的优选实施例。
实施例1
图1是显示根据本发明实施例1的图像编码方法的基本过程的流程图。如图1所示，输入一个活动图像影像的第一帧(S11)，并且产生n(其中n是大于或等于2的整数)个分别具有不同编码量的编码数据(S12；第一步骤)。分别解码n个编码数据，以便建立用于预测编码的n个基准影像(S13；第二步骤)。接下来，评价n个基准影像的影像质量(S14；第三步骤)，并且根据影像质量评价结果，选择每个帧中要记录的最佳编码数据(S15；第四步骤)。丢弃其它编码数据而不进行记录(S16)。重复执行步骤S11至S16，直到处理完最后一帧(S17)。
在这种方法中，在一个帧内的每个宏块中要确定，是给一个基准影像与一个输入影像，即一个预测编码影像，之间的差值编码，还是在后续帧的编码中给一个输入影像自身编码(以下将这个确定称为“帧内/帧间确定”)。更具体地讲，对于已经在每个宏块中进行过帧内/帧间确定的每个影像，产生n个编码数据。
在步骤S12中，设置n个目标编码量，并且在把帧影像的编码量收敛到每个目标编码量的编码量控制下进行编码。在这种编码量控制中，采用了惯用的反馈法。更具体地讲，根据对每个帧设置的n个目标编码量，确定第一宏块的编码参数，以便根据这个编码参数进行编码，并且通过在前编码数据的编码量与目标编码量之间的差值的评价，确定每个后续宏块的编码参数。从而控制编码量，使得该帧的编码量最终能够收敛到目标编码量。
在步骤S12中，通过使用多个不同编码参数进行编码，可以生成多个分别具有不同编码量的编码数据。这里使用的编码参数一般是一个量化系数或一个量化步骤，或作为替代，可以将一个确定的Haffman表或一个确定的量化表用作参数。
图2是显示根据本实施例的一个图像编码装置的示例构造的框图。在图2中，运动向量检测部分2、预测编码部分3、DCT处理部分4、量化块5和可变长度编码块6一起构成了图像编码单元，并且逆量化块8、逆DCT处理块9和基准影像建立块10一起构成了部分解码单元。为了简化构造，给部分解码单元提供量化块5的输出，而不是多个编码数据CD1、CD2和CD3。
输入的活动图像影像数据被一次性存储在输入影像缓存器1中。输入影像缓存器1需要连同基准影像存储器11检测运动向量和建立预测编码影像，并且输入影像缓存器1的容量对应于形成一个宏块所需的行数。运动向量检测部分2将输入影像缓存器1中存储的影像与基准影像进行比较，以便检测每个宏块中输入影像相对于基准影像的运动向量。预测编码部分3根据所检测的运动向量数据获得输入影像与基准影像之间的差值，以便建立一个预测编码影像。
然后，对预测编码影像进行帧内编码。首先，在DCT处理部分4中，执行DCT以便生成一个DCT系数，将DCT系数在量化块5中量化。在图2所示的结构中，量化块5包括三个分别具有不同量化系数的量化部分5a、5b和5c，并且各量化部分5a、5b和5c输出量化后的DCT系数。接下来，通过诸如Haffman编码之类的可变长度编码，在可变长度编码块6中对这些DCT系数进行编码，并且把如此产生的第一至第三编码数据CD1、CD2和CD3存储在一个编码数据缓存器7中。
另一方面，对量化后的DCT系数分别在逆量化块8中进行逆量化，然后在逆DCT块9中进行逆DCT，以便解码成预测编码影像。然后，在基准影像建立块10中，根据运动向量数据将解码后的预测编码影像与存储在基准影像存储块11中的前一帧的基准影像相加，以便解码预测编码影像。如此，产生了一个要用于下一帧的一个输入影像的预测编码的基准影像，并且将其存储在基准影像存储块11中。在这个装置中，建立了三种基准影像。
影像质量评价部分13评价这三种基准影像的影像质量，并且根据评价结果选择一个基准影像。编码数据选择部分14从第一到第三编码数据CD1、CD2和CD3中选择对应于影像质量评价部分13选择的基准影像的编码数据，并且将所选择的编码数据记录在记录部分15中。
<影像质量评价>
图3是影像质量评价步骤S14中执行处理的示例的流程图。如图3所示，本实施例的影像质量评价基本上如下进行：将从具有最大编码量的编码数据得到的基准影像设置为参照影像(S141)，获得每个像素中每个基准影像与参照影像之间的差值(S144)，并且将差值的绝对值积分，以用作影像质量评价的评价值(S146)。将与参照影像的差值作为评价尺度是因为可以把这个差值考虑为通过影像压缩造成的噪声。由于在本实施例中影像质量评价是在每帧中进行的，所以将差值的绝对值在整个影像上积分。但是，当影像质量评价是在每个宏块中进行的时候，则对每个宏块进行差值绝对值的积分。在步骤S15中，例如，选择了在步骤S14中得到的评价值落在一个预定容许范围内的基准影像，以便从对应于所选择的基准影像的编码数据中选择具有最大编码量的编码数据。
在本实施例中，由于一般认为编码量越大影像质量越高，所以将从具有最大编码量的编码数据得到的基准影像设置为参照影像。因此，在使用多个编码参数生成多个编码数据的情况下，将用达到最高影像质量的编码参数产生的编码数据得到的基准影像设置为参照影像。
但是，不能根据噪声的幅度简单地确定噪声对影像质量的影响。例如，当把复杂设计影像中造成的噪声与简单设计影像中造成的噪声进行比较时，简单设计影像中造成的噪声在整个影像中是显著的，因此可以说具有较大的影响。
因此，在图3所示的处理中，将影像中噪声的显著程度结合在评价值中。具体地讲，提取参照影像的高频分量，并且在获得评价值的过程中，根据对应像素的高频分量调制上述差值。更具体地讲，高频分量越大，差值的绝对值设置得越小。
首先，对参照影像进行高通滤波(HPF)处理(S142)。从而，将低频分量从参照影像中除去。由于只具有高频分量的影像具有负值或正值，因此将这些值改变成绝对值，并且对结果进行低通滤波(LPF)处理(S143)。这个LPF处理并不总是必要的，但是具有使调制差值的延伸变得平缓的效果。将这种处理的结果定义为高频分量含量。将步骤S144中得到的差值的绝对值乘以一个对应于高频分量含量的系数(S145)。高频分量含量越大，这个系数设置得越小。最后，将已经乘以系数的差值的绝对值在整个影像上或对于每个宏块进行积分(S146)。
利用这个差值可以进一步提高再现影像的影像质量。如上所述，可以把偏离参照影像的差值考虑为通过压缩产生的噪声分量。因此，评价由差值构成的差值影像的模型，以便提取对应于包括在影像中的噪声模型的噪声信息，并且将此噪声信息加在编码数据中。当在再生影像中执行除去对应于这个噪声信息的噪声模型的降噪处理时，可以从具有小编码量的编码数据中获得具有高影像质量的再现影像。更具体地讲，由于附加地包括了噪声信息，因此不需要检测再现影像中的噪声分量，从而可以准确地除去噪声。
实施例2
在实施例1中，在每个帧中进行影像质量评价，以便选择编码数据。但是，在执行预测编码的情况下，将另一帧的基准影像用于编码，因此，这个其它帧的编码影响了影像质量。因此，如果可能，最好在多个帧上设置多个条件产生多个编码数据，以便评价从这些编码数据中得到的影像的影像质量。因此，在本发明的实施例2中，每两帧进行影像质量评价，以选择编码数据。更具体地讲，通过参考另一帧的多个基准影像产生多个预测编码影像，并且对于每个预测编码影像，产生分别具有不同编码量的编码数据。
图4是显示根据本实施例的图像编码方法的处理过程的流程图。在图4中，输入一个活动图像影像的第一帧(S21)，并且对于这个帧影像生成n(在这里n是大于或等于2的整数)个分别具有不同编码量的编码数据(S22)。分别解码这n个编码数据，以便建立n个基准影像(S23)。
接下来，输入下一帧的影像(S24)，并且对这个输入的影像，通过参考n个基准影像产生有关这个输入影像的n个预测编码影像(S25)。对于n个预测编码影像中的每个预测编码影像，生成m(其中m是大于或等于2的整数，并且通常等于n)个分别具有不同编码量的编码数据，因此，生成了总共n×m个编码数据(S26)。解码这些编码数据，以便建立n×m个基准影像(S27)。
对于这些基准影像，以实施例1中相同的方法进行影像质量评价(S28)，并且根据影像质量评价的结果，选择要记录的编码数据(S2A)。以这种方式对两帧编码数据的组合进行影像质量评价。此外，根据影像质量评价的结果，从n×m个基准影像中选择n个基准影像(S2A)。将这n个基准影像用于下一帧影像的预测编码。
重复执行这种处理，直到最后一帧处理完毕(S29)。在最后一帧的处理中，根据影像质量评价的结果，选择一个最终要记录的编码数据(S2B)。
实施例3
在上述实施例中，对一帧中的每个宏块执行帧内/帧间确定，例如，选择了使用相同的编码参数并具有较小编码量的帧内编码或帧间编码。但是，由于编码已经使一个基准影像的影像质量下降，并且利用预测编码影像编码进一步使影像质量下降。因此，优选还通过影像质量评价进行帧内/帧间确定。在本实施例中，也通过影像质量评价进行帧内/帧间确定。
图5是在根据图1所示实施例1的图像编码方法中通过影像质量评价附加执行帧内/帧间确定得到的方法的流程图。与图1流程图的差别是步骤S32和S33。在步骤S32中，对每个输入影像和预测编码图像产生n个分别具有不同编码量的编码数据，并且在步骤S33中，根据步骤S32产生的2n个编码数据建立2n个基准影像。对于这2n个基准影像，执行影像质量评价(S14)，以便选择编码数据(S15)。从而，可以通过影像质量评价执行实施例1中的每帧内执行的帧间-帧内确定。
图6是根据在图4所示实施例2的图像编码方法中通过影像质量评价附加执行帧内/帧间确定得到的方法的流程图。与图4的流程的差别是步骤S46和S47。在步骤S46，对输入影像和n个预测编码影像的每个影像生成m个分别具有不同编码量的编码数据，并且在步骤S47中，根据步骤S46中生成的(n+1)×m个编码数据建立(n+1)×m个基准影像。对于这(n+1)×m个基准影像，执行影像质量评价(S28)，以便选择编码数据(S2A)。从而，可以通过影像质量评价进行实施例2中的每个帧内执行的帧内/帧间确定。
实施例4
在每个上述实施例中，编码数据是根据影像质量评价在每帧中严格选择的。在实施例3中所述的通过在每帧中的影像质量评价执行帧内/帧间确定的情况下，宏块是所有预测编码影像或所有输入影像。因此，在本发明的实施例4中，也通过影像质量评价执行一帧中的每个宏块的编码质量控制。
图7是显示根据本发明的实施例4的图像编码方法中的过程的流程图。在图7中，输入活动图像影像的第一帧(S51)，并且对这帧影像生成n个分别具有不同编码量的编码数据(S52)。在这种情况下，n个不同编码参数用于编码以生成n个编码数据。更具体地讲，通过使用相同的编码参数对所有宏块进行编码而获得各自的编码数据，而无需通过将不同编码参数提供给各宏块来控制编码量。
分别解码n个编码数据，以便建立n个基准影像(S53)。然后，对n个基准影像进行影像质量评价(S54)。对每个宏块执行影像质量评价，从而在每个宏块中选择一个最佳影像。换句话说，在各宏块中可能选择不同的基准影像。接下来，从n个编码数据中提取对应于所选择的有关每个宏块的基准影像的编码数据(S55)，并且通过组合提取的编码数据产生新的编码数据(S56)。丢弃原始编码数据(S57)。然后，重复执行步骤S51至S57，直到处理了最后一帧(S58)。
图8是显示根据本实施例的图像编码装置的示例构造的框图，其中为了省略详细说明，与图2中元件相同的元件使用了相同的参考标号。在图8所示的构造中，提供了一个重构部分21，用于根据来自编码数据选择部分14的指令，通过从存储在编码数据缓存器7中的第一至第三编码数据CD1、CD2和CD3重构生成新的编码数据。
<编码数据的重构>
图9是在编码数据重构步骤S56中执行的处理的示例的流程图。如果在每个宏块中独立地执行编码，那么简单地取出并组合必要的宏块的编码数据，以重构编码数据。但是，一部分数据可能已经进行了对另一个宏块的编码数据差值进行编码的预测编码(帧内预测编码)。在这种情况下，对所预测的编码数据进行一次解码，组合必要的宏块的解码数据，以获得新编码数据，对新编码数据再次进行预测编码。
图10是对包括帧内编码数据的编码数据进行重构处理的示意图。首先，从宏块的编码数据中提取帧内预测编码数据(S561)。这是由于不是宏块的所有编码数据都是帧内预测编码数据，而仅有例如DCT的DC系数的一部分数据是帧内预测编码数据。接下来，解码帧内预测编码数据(S562)。如图10所示，直接使用第一宏块的数据(在这里是一个DC系数)。第二宏块的数据对应于和第一宏块数据的差值，从而通过加到第一宏块的数据上解码成原始数据。然后，将第三宏块的数据加到第二宏块的解码数据上，从而解码成第三宏块的原始数据。通过这样的处理，可以无需帧内预测编码得到已经编码的编码数据。
接下来，通过影像质量评价提取和组合对应于各宏块中选择的基准影像的编码数据，以便重构一个编码数据(S563)。在图10中，从三个编码数据CD1至CD3提取每个宏块的编码数据，以便重构一个新的编码数据。最终，在如此重构的新编码数据中，对一些应当进行预测编码的编码数据(在这里是DCT的DC系数)再次进行预测编码。
<考虑到编码量的编码数据的选择>
在单独通过影像质量评价控制编码量的情况下，编码量根据影像的复杂性变化而改变，因此，编码量变化很大。当编码量变化很大时，在再生时需要为解码数据准备大的缓存器，这不利于减小设备尺寸和降低成本。因此，在下述方法中，不仅通过影像质量评价选择编码数据，而且也考虑编码量，以便将编码量变化抑制到一定程度。
容许范围(指“编码量容许范围”)基本上是相对于编码量设置的，并且从对应于具有落入到上述影像质量容许范围内的影像质量的基准影像的编码数据中，选择具有落入到编码量容许范围内的编码量的编码数据，这样可以根据预定规则从这些所选择的编码数据中选择要记录的编码数据。以下参考图11A和11B说明这个处理。图11A示意性地示了基准影像的影像质量。在图11A中，纵坐标指示影像质量，并且影像质量越向上越高。图11B示意性地示了对应于各基准影像的编码数据的编码量。在图11B中，纵坐标指示编码量，并且越向上编码量越大。
在图11A中，具有最高影像质量的参照影像放在最高的位置，并且把要比较的基准影像排列在下方。在基准影像中，基准影像1至5具有落入到影像质量容许范围内的影像质量。在图11B中，把具有最大编码量的参照影像的编码数据放在最高的位置，并且把对应于基准影像的编码数据排列在下方。这种排列顺序总体上与影像质量的顺序相同。在这些编码数据中，编码数据2至6具有落入到编码量容许范围内的编码量。
在这种情况下，具有落入到编码量容许范围内的编码量并且对应于具有落入到影像质量容许范围内的影像质量的基准影像的编码数据是四个，具体地讲是编码数据2至5。在这些编码数据中，选择要记录的编码数据。例如，在如实施例1中的每帧要执行影像质量评价的情况下，选择编码数据2。或者，在如实施例2中的每两帧执行影像质量评价的情况下，例如选择编码数据2至4。
作为替代，如图12A和12B所示，例如当对应于具有落入在影像质量容许范围内的影像质量的基准影像的编码数据中没有一个具有落入在编码量容许范围内的编码量时，可以选择具有编码量容许范围中最大编码量的编码数据。这是由于可以认为在具有落入到编码量容许范围内的编码量的编码数据中，这个编码数据具有最高影像质量。在这种情况下，也是在选择多个编码数据的方法中，较佳地仅选择一个具有最大编码量的编码数据。这是由于通过多帧评价选择出具有过低影像质量的其它编码数据的可能性极小。
当对每帧应用这种方法时，由于编码量的变化范围很大，所以需要把容许范围设置到与变化范围相比更小的范围。但是，当对每个宏块应用这种方法时，由于变化范围较小，所以可以容易地将容许范围设置到与变化范围相比更大的范围。但是，在所有宏块中编码量以相同方式变化的情况下，在整个帧上编码量发生很大的变化，这是不可取的。
因此，优选相对于每帧设置编码量容许范围，在每个宏块中通过影像质量评价选择编码数据，并且当整个帧的编码量高于编码量容许范围时，要重新考虑每帧中编码数据的选择，以使编码量可以落入到容许范围内。在这种情况下，在通过选择改变使影像质量降低较小和使编码量降低较大的宏块中，优先改变要选择的编码数据。因此，可以通过使得整个帧中影像质量降低最小来控制编码量。
<装置的示例构造>
以下说明本发明的应用的特定示例。首先，将本发明应用到一个数字照相机。图13是一个通用数字照相机的构造图。首先，CCD影像传感器32将镜头31形成的光影像转换成电信号，模拟预处理部分33预处理得到的信号，并且通过A/D转换器部分34将经过预处理的信号转换成数字信号。数字信号处理器部分35处理数字信号，以进行分色和压缩，这个处理需要具有大容量的存储器。在数字照相机中，用诸如DRAM之类的外部存储器36作为大容量存储器。将经过如此处理的数字信号记录在记录介质37上。
在这种方式中，由于数字照相机原本就装备有大容量存储器，因此，在本发明的应用中优选使用这个存储器。图14示出了应用了本发明的数字照相机的图像编码单元40的构造。这个图像编码单元40位于数字信号处理器部分35内，并且具有与图2所示的基本相同的构造和操作。一个存储器控制器41仲裁与各部分之间的数据输入或输出，并且向作为一个存储装置工作的、诸如DRAM之类的大容量外部存储器36发送数据，和从其接收数据。在图14的构造中，存储器36具有用于存储多个基准影像的区域42和用于存储多个编码数据的区域43。更具体地讲，由基准影像建立部分10建立的基准影像经过存储器控制器41存储在外部存储器36中，编码数据也经过存储器控制器41存储在外部存储器36中。换句话说，图2构造中，对应于第一存储部分的编码数据缓存器7和对应于第二存储部分的基准影像存储块11都是由用作共用存储装置的外部存储器36构成的。
接下来，说明应用到诸如DVD录像机之类的利用MPEG-2的录像机的特定示例。图15示出了利用MPEG-2编码TV分辨率的活动图像影像的DVD录像机的示例构造。首先，一个NTSC/PAL解码器-A/D部分51对NTSC或PAL信号执行Y/C分离、彩色解调和AD转换。接下来，MPEG-2编码器52通过根据MPEG-2给数字信号编码生成编码数据。然后，流控制器53执行对DVD驱动器54的记录/再生流数据的仲裁和输入/输出控制。在再生中，MPEG-2解码器55通过根据MPEG-2解码产生影像信号，并且NTSC/PAL编码器-D/A部分56执行调制和DA转换，以便获得NTSC或PAL信号。MPEG-2编码器52和MPEG-2解码器55分别连接到用于处理的大容量外部存储器57和58。
DVD录像机一般用于以高影像质量、用例如电视屏幕的相对较大的屏幕尺寸记录活动图像影像。因此，高处理性能和大容量存储器是不可缺少的，并且生成具有较低可压缩性的编码数据，以在这些条件下实现高影像质量。另一方面，也需要即使在(低分辨率的)小屏幕尺寸中也能获得具有尽可能小的编码量(即高可压缩性)的编码数据。为了满足这样的需要，在惯用技术中，转换分辨率，以便根据MPEG-2记录小屏幕的数据。但是，当应用本发明时，可以获得具有高影像质量和高可压缩性的编码数据。因此，不需要增大电路规模，就可以通过诸如DVD录像机之类的、原本就具有利用多个编码参数进行编码的高处理性能的图像编码装置的分时操作，容易地满足上述需要。
图16示出了应用了本发明的DVD录像机的图像编码单元60的构造。除了量化部分5A、可变长度编码部分6A和部分解码部分(包括逆量化部分8A、逆DCT处理部分9A和基准影像建立部分10A)每个都给予了与图14的构造不同的参考标号之外，这个构造与图14中所示的构造基本相同。此外，在DCT处理部分4和量化部分5A之间另外提供了一个用于存储DCT系数的DCT系数存储器62。
首先，在DVD录像机的一般操作中，对一个影像生成一个编码数据。相反，在用高可压缩性编码小屏幕影像的情况下，将从DCT处理部分4输出的DCT系数存储在DCT系数存储器62中。对于这个存储的数据，以分时方式利用不同编码参数多次执行下述的处理：首先，对数据进行量化并且利用编码参数a进行可变长度编码。然后，将得到的数据进行逆量化、逆DCT和基准影像建立处理，以便获得基准影像A。接下来，对数据进行量化并利用编码参数b进行可变长度编码。然后，将得到的数据进行逆量化、逆DCT和基准影像建立处理，以便获得基准影像B。在使用其它不同编码参数的情况下，以相同的方式进行处理。对每个宏块进行这些处理，并且当对一屏的处理完成时，得到多个编码数据和基准影像。然后，根据上述每个实施例中所述的预定条件选择编码数据。
根据本发明，通过这种方式，基于与再生中获得的影像相同的基准影像的影像质量评价的结果选择编码数据，可以在考虑到影像质量的情况下控制编码量。因此，可以确切地得到具有适当编码量和高影像质量的编码数据。