编码设备和方法、解码设备和方法、 编辑设备和方法、记录介质及程序 【技术领域】
本发明涉及编码设备和方法、解码设备和方法、编辑设备和方法、存储介质以及程序。本发明尤其涉及一种编码设备和方法、解码设备和方法、编辑设备和方法、存储介质以及程序，其优选用于通过诸如卫星广播、有线电视广播或因特网的网络介质发送/接收利用运动补偿和诸如离散余弦变换或Karhunen-Loeve变换的正交变换过程压缩的图像信息(位流)，或者优选用于对诸如光盘、磁盘或闪速存储器的存储介质上的图像信息进行处理。
背景技术
最近几年，广播电台进行信息分发以及普通家庭进行信息接收都正在广泛使用能以信息的高效传输和存储为目标对符合MPEG(运动图像专家组)等标准的图像信息进行数字处理的设备，其中MPEG等标准是用于通过动补偿和正交变换进行压缩的。
特别是，MPEG-2(ISO/IEC 13818-2)是被确定为包括隔行扫描图像和逐行扫描图像以及标准分辨率图像和高清晰度图像的通用图像压缩方案的标准。因此，专业人员和一般消费者广泛使用MPEG2，例如在DVD(数字通用光盘)标准中看到的那样。
通过对具有720×480像素的标准分辨率的隔行扫描图像分配例如4至8Mbps的位速率，而对具有1920×1088像素的高清晰度的隔行扫描图像分配例如18×22Mbps的位速率，使用MPEG2压缩方案可以实现高压缩比的理想图像。
MPEG2主要在于适于广播的高质量编码技术，但不支持采用高压缩比的编码方案，因此对MPEG-4进行了标准化。对于图像编码方案，该方案在1998年12月被批准为国际标准ISO/IEC 14496-2。
此外，最近几年，由于视频会议图像编码的最初用途，ITU-T(国际电信联盟-电信标准部门)正在进行所谓H.26L(ITU-T Q6/16VCEG)地标准化工作。与MPEG-2和MPEG-4编码方案相比，为了进行编码和解码，H.26L需要进行大量计算工作，但是它被认为可以实现高编码效率。
此外，当前，作为MPEG-4活动的一部分，JVT(联合视频队(Joint video Team))与ITU-T合作进行根据H.26L实现高编码效率的编码技术的标准化工作。
现在，将说明利用运动补偿和诸如离散余弦变换或Karhunen-Loeve变换的正交变换的图像压缩过程。图1是示出传统图像信息编码设备的一个例子的配置的示意图。
在图1所示的图像信息编码设备10中，A/D变换器12将由输入端11输入的模拟信号提供的图像信息变换为数字信号。根据A/D变换器12输出的图像信息的GOP(图片组)结构，屏幕重新排列缓冲器13重新排列各帧。
在此，对于要对其进行intra(图像内)编码的图像，屏幕重新排列缓冲器13将整个帧的图像信息送到正交变换单元15。正交变换单元15对图像信息进行离散余弦变换或Karhunen-Loeve变换，并将变换系数送到量化单元16。量化单元16对正交变换单元15提供的变换系数进行量化处理。
根据量化单元16量化并提供的量化比例和变换系数，可逆编码单元17确定编码模式，根据编码模式进行可变长度编码或可逆编码，例如算术编码，以产生要插入图像编码单元的标题部分的信息。然后，可逆编码单元17将编码的编码模式送到存储缓冲器18进行存储。输出端19输出编码的编码模式，作为压缩图像信息。
可逆编码单元17还对量化变换系数进行可变长度编码或可逆编码，例如算术编码，并将编码的变换系数送到存储缓冲器18进行存储。从输出端19输出编码的变换系数，作为压缩图像信息。
根据存储在存储缓冲器18内的变换系数数据的量，速率控制器20控制量化单元16的行为。速率控制器还将量化变换系数送到去量化单元21。去量化单元21去量化量化的变换系数。逆正交变换单元22对去量化变换系数进行逆正交变换处理，以产生解码图像信息，并将该信息送到帧存储器23进行存储。
关于对其进行inter(图像间)编码的图像，屏幕重新排列缓冲器13将图像信息送到运动预测/补偿单元24。运动预测/补偿单元24同时从帧存储器23中检索所指的图像信息，对该图像信息进行运动预测/补偿处理，以产生基准图像信息。运动预测/补偿单元24将产生的基准图像信息送到加法器14。加法器14将基准图像信息变换为表示相对于对应的图像信息的差别的信号。与此同时，运动预测/补偿单元24还将运动矢量信息送到可逆编码单元17。
根据量化单元16量化并提供的量化比例和变换系数以及运动预测/补偿单元24提供的运动矢量信息，可逆编码单元17确定编码模式。可逆编码单元17对确定的编码模式进行可变长度编码或可逆编码，例如算术编码，以产生要插入图像编码单元的标题部分的信息。可逆编码单元17将编码的编码模式送到存储缓冲器18进行存储。输出编码的编码模式，作为压缩图像信息。
可逆编码单元17对运动矢量信息进行可变长度编码或可逆编码，例如算术编码，以产生要插入图像编码单元的标题部分的信息。
与intra编码不同，对于inter编码，输入到正交变换单元15的图像信息是加法器14提供的差信号。由于其它处理过程与对其进行intra编码的压缩图像信息所做的处理类似，所以省略对其进行说明。
接着，将参考图2说明与上述图像信息编码设备10对应的图像信息解码设备的一个实施例的配置。在图2所示的图像信息解码设备40中，存储缓冲器42临时存储从输入端41输入的压缩图像信息，并将它传送到可逆解码单元43。
根据预定的压缩图像信息格式，可逆解码单元43对压缩图像信息进行诸如可变长度解码或算术解码的处理。然后，可逆解码单元43获得存储在标题部分的编码模式信息，并将该编码模式信息送到去量化单元44。同样，可逆解码单元43获得量化变换系数，并将该系数送到去量化单元44。当已经对要解码的帧进行了inter编码时，可逆解码单元43还对存储在压缩图像信息的标题部分的运动矢量信息进行解码，并将该信息送到运动预测/补偿部分51。
去量化单元44去量化可逆解码单元43提供的量化变换系数，并将获得的变换系数送到逆正交变换单元45。根据预定压缩图像信息格式，逆正交变换单元45对变换系数进行诸如离散余弦逆变换或Karhunen-Loeve变换的逆正交变换。
在此，当对感兴趣帧进行intra编码时，将进行了逆正交变换处理的图像信息存储到屏幕重新排列缓冲器47。在利用D/A变换器48对图像信息进行了D/A变换处理后，从输出端49输出获得的信息。
此外，当对感兴趣的帧进行inter编码时，根据被进行可逆解码处理的运动矢量信息和存储在帧存储器50内的图像信息，运动预测/补偿单元51产生基准图像，并将基准图像送到加法器46。加法器46将基准图像与逆正交变换单元45的输出组合在一起。由于其它处理与被进行了intra编码的帧的处理过程类似，所以省略对其做说明。
对于上述联合视频队标准化的编码方案(以下称为“JVT”编解码器)，为了提高MPEG-2、MPEG-4等的编码效率，在对各种方案进行研究。例如，关于离散余弦变换的变换方案，采用4×4块大小的整数系数变换。此外，运动补偿的块大小可变，因此可以进行更加优化的运动补偿。然而，可以与图1所示图像信息编码设备10执行的编码方案相同的方式，实现基本方案。
因此，JVT编解码器可利用与图2所示图像信息解码设备40执行的解码方案基本相同的解码方案进行解码。
同时，为了使不同编码设备(解码器)之间保持兼容，并且为了防止缓冲器溢出(overflow)或者下溢(underflow)，MPEG和ITU-T使用缓冲器模型。使虚拟解码器缓冲器模型标准化，并且编码设备(编码器)进行编码，以使虚拟解码器缓冲器不发生故障。这样可以防止缓冲器在解码器端溢出或下溢，并且可以保持兼容。
将参考图3说明根据MPEG的虚拟缓冲器模型。在下面的说明中，R表示解码器缓冲器的输入位速率，B表示解码器缓冲器的大小，F表示解码器在从该缓冲器提取第一帧时占据的缓冲器量，D表示由此产生的延时。
利用b0、b1、b2...等表示时间t0、t1、t2...时，每个帧的比特量。
当帧速率是M时，满足下面的表达式：
ti+1-ti＝1/M
当BI表示刚好在提取时间ti的比特量bi之前的缓冲器占用量时，则满足表达式(1)：
Bo＝F
Bi+1＝min(B，Bi-bi+R(ti+1-ti)) ...(1)
在这种情况下，对于MPEG-2的固定位速率编码方案，解码器必须进行编码，以满足下面的条件(2)：
Bi≤B
Bi-bi≥0 ...(2)
只要满足该条件，该编码器就不应该进行导致缓冲器溢出和下溢的编码。
此外，对于MPEG-2的可变位速率编码方案，输入位速率R是由轮廓(profile)和灰度级(level)定义的最高位速率，并且利用F＝B，给出它。因此，可以将表达式(1)重写为表达式(3)
B0＝B
Bi+1＝min(B，Bi-bi+Rmax(ti+1-ti)) ...(3)
在这种情况下，编码器必须进行编码，以满足下面的表达式(4)：
BI-bi≥0 ...(4)
在满足该条件时，编码器进行不导致在解码器端发生缓冲器下溢的编码。在解码器缓冲器充满时，编码器缓冲器空闲，并且这表示不产生编码位流。因此，不需要编码器进行监测，以使解码器的缓冲器不发生溢出。
在MPEG中，根据缓冲器大小和由轮廓和灰度级中每一个定义的位速率进行编码，以便符合上述缓冲器限制。因此，符合轮廓和灰度级中每一个的解码器可以进行解码，而不会破坏位流。
然而，实际上，如果不使用缓冲器大小和由轮廓和灰度级中每一个确定的位流，也存在位流可被解码的情况。
例如，利用具有大缓冲器大小B’(B’＞B)的解码器可以对以位速率R、缓冲器B以及初始延时F，即(R、B、F)编码的位流进行解码。还可以以更高位速率R’(R’＞R)，解码位速率。
例如，当解码器的解码位速率低于编码位速率时，具有足够大缓冲器大小的解码器可以进行解码。
这样，在提供预定位流时，在每个位速率，存在解码位速率所需的最小缓冲器大小Bmin。图4示出这种关系。
正在对JVT编解码器进行标准化，以使不仅可以以固定位速率和由轮廓和灰度级中每一个定义的缓冲器大小进行解码，而且可以利用具有图4所示条件的解码器进行解码。即使编码器的解码位速率和缓冲器大小与解码器的解码位速率和缓冲器大小不必相同，仍可以具有容许解码的目标。通过实现该目标，例如，具有高解码位速率的解码器可以减小缓冲器大小。
然而，这种信息的位流随时间变化。因此，存在的问题是，即使在预定条件下可以进行解码，但是在另一种条件下，可能不能解码，因为放松了对解码器兼容性的限制。例如，当(R，B)的特性随时间变化时，存在的问题是，即使在预定时间可以进行解码，但是在另一个时间可能不能进行解码。
此外，存在的问题是，如果因为进行随机存取等移入到下一个场景或另一个通道，则不能总是能够进行解码。存在的问题还有，在进行诸如拼接(splicing)的位流级(bitstream-level)编辑时，不能确保能够解码。
【发明内容】
鉴于上述情况，提出本发明，并且本发明的目的是有效位流的确定解码可能性并简化诸如拼接的位流编辑过程。
本发明的编码设备包括：生成装置，用于生成在解码期间根据需要对其进行参照的标题；编码装置，用于分别对生成装置生成的标题和输入图像信号进行编码；以及输出装置，用于使由编码装置编码的标题与图像信号复用(multiplex)，并输出位流；该编码设备的特征在于，生成装置生成含有关于位流解码期间的缓冲过程的缓冲器特性信息的标题。
生成装置生成含有在位流中可随机存取的每个预定部分的缓冲器特性信息的标题。
生成装置生成含有位流的整个序列的缓冲器特性信息的标题。
缓冲器特性信息含有可在位流解码期间解码的最低位速率、最小缓冲器大小B以及最小延迟量Fmin中的全部。
本发明的编码方法包括：生成步骤，用于生成在解码期间根据需要对其进行参照的标题；编码步骤，用于分别对生成装置生成的标题和输入图像信号进行编码；以及输出步骤，用于使在编码步骤编码的标题与图像信号复用，并输出位流；该编码方法的特征在于，生成步骤的处理生成含有关于位流解码期间的缓冲过程的缓冲器特性信息的标题。
本发明第一存储介质的程序包括：生成步骤，用于生成在解码期间根据需要对其进行参照的标题；编码步骤，用于分别对生成装置生成的标题和输入图像信号进行编码；以及输出步骤，用于使在编码步骤编码的标题与图像信号复用，并输出位流；该编码方法的特征在于，生成步骤的处理生成含有关于位流解码期间的缓冲过程的缓冲器特性信息的标题。
本发明的第一程序使计算机执行处理过程，该处理过程包括：生成步骤，用于生成在解码期间根据需要对其进行参照的标题；编码步骤，用于分别对生成装置生成的标题和输入图像信号进行编码；以及输出步骤，用于使在编码步骤编码的标题与图像信号复用，并输出位流；该编码方法的特征在于，生成步骤的处理生成含有关于位流解码期间的缓冲过程的缓冲器特性信息的标题。
本发明的解码设备的特征在于包括：搜索装置，用于在输入位流中搜索标题；以及解码装置，用于读取包含在搜索装置找到的标题中的关于缓冲过程的缓冲器特性信息，并且用于根据读出的缓冲器特性信息对位流解码。
缓冲器特性信息含有可在位流解码期间解码的最低位速率、最小缓冲器大小以及最小延迟量中的全部。
本发明的解码方法的特征在于包括：搜索步骤，用于在输入位流中搜索标题；以及解码步骤，用于读取关于缓冲过程的、包含在搜索步骤的处理过程搜索到的标题上的缓冲器特性信息，并且用于根据读出的缓冲器特性信息，解码位流。
本发明的第二存储介质上的程序的特征在于包括：搜索步骤，用于在输入位流中搜索标题；以及解码步骤，用于读取关于缓冲过程的、包含在搜索步骤的处理过程搜索到的标题上的缓冲器特性信息，并且用于根据读出的缓冲器特性信息，解码位流。
本发明的第二程序的特征在于，使计算机执行处理过程，该处理过程包括：搜索步骤，用于在输入位流中搜索标题；以及解码步骤，用于读取关于缓冲过程的、包含在搜索步骤的处理过程搜索到的标题上的缓冲器特性信息，并且用于根据读出的缓冲器特性信息，解码位流。
本发明的编辑设备包括：搜索装置，用于在输入位流中搜索标题；确定装置，用于读取包含在搜索装置找到的标题中的关于缓冲过程的缓冲器特性信息，并且用于确定是否可根据读出的缓冲器特性信息编辑位流；以及编辑装置，用于在确定装置确定可编辑位流时，编辑位流，编辑设备的特征在于，当从包含在第一位流的标题中的信息产生的特性曲线始终位于从包含在第二位流的标题中的信息产生的特性曲线之上，或者与从包含在第二位流的标题中的信息产生的特性曲线相同时，确定装置确定可利用第一位流和第二位流进行编辑。
本发明的编辑方法包括：搜索步骤，用于在输入位流中搜索标题；确定步骤，用于读取包含在由搜索步骤的处理找到的标题中的关于缓冲过程的缓冲器特性信息，并且用于确定是否可根据读出的缓冲器特性信息编辑位流；以及编辑步骤，用于在确定步骤的处理确定可编辑位流时，编辑位流，编辑方法的特征在于，当从包含在第一位流的标题中的信息产生的特性曲线始终位于从包含在第二位流的标题中的信息产生的特性曲线之上，或者与从包含在第二位流的标题中的信息产生的特性曲线相同时，确定步骤的处理确定可利用第一位流和第二位流进行编辑。
本发明的第三存储介质上的程序包括：搜索步骤，用于在输入位流中搜索标题；确定步骤，用于读取包含在由搜索步骤的处理找到的标题中的关于缓冲过程的缓冲器特性信息，并且用于确定是否可根据读出的缓冲器特性信息编辑位流；以及编辑步骤，用于在确定步骤的处理确定可编辑位流时，编辑位流，编辑方法的特征在于，当从包含在第一位流的标题中的信息产生的特性曲线始终位于从包含在第二位流的标题中的信息产生的特性曲线之上，或者与从包含在第二位流的标题中的信息产生的特性曲线相同时，确定步骤的处理确定可利用第一位流和第二位流进行编辑。
本发明的第三程序使计算机执行处理过程，该处理过程包括：搜索步骤，用于在输入位流中搜索标题；确定步骤，用于读取包含在由搜索步骤的处理找到的标题中的关于缓冲过程的缓冲器特性信息，并且用于确定是否可根据读出的缓冲器特性信息编辑位流；以及编辑步骤，用于在确定步骤的处理确定可编辑位流时，编辑位流，编辑方法的特征在于，当从包含在第一位流的标题中的信息产生的特性曲线始终位于从包含在第二位流的标题中的信息产生的特性曲线之上，或者与从包含在第二位流的标题中的信息产生的特性曲线相同时，确定步骤的处理确定可利用第一位流和第二位流进行编辑。
根据本发明的编码设备和方法以及第一程序，关于位流解码期间的缓冲过程的缓冲器特性信息包含在被编码并与位流复用的标题上。这样可以防止解码端导致缓冲器发生故障。
根据本发明的解码设备和方法以及第二程序，读取包含在输入位流的标题上的关于解码期间的缓冲过程的缓冲器特性信息，并根据读出的信息进行解码。
根据本发明的编辑设备和方法以及第三程序，通过确定从包含在第一位流的标题中的信息产生的特性曲线始终是位于从包括在第二位流的标题中的信息产生的特性曲线之上，或者与之相同，确定是否可以编辑输入位流。
【附图说明】
图1是示出传统图像信息编码设备的一个例子的配置的示意图。
图2是示出传统图像信息解码设备的一个例子的配置的示意图。
图3是用于说明缓冲量的曲线图。
图4是用于说明位速率与缓冲量之间的关系的曲线图。
图5是示出根据本发明的编码设备的一个实施例的配置的示意图。
图6是用于说明缓冲量的曲线图。
图7是示出根据本发明的解码设备的一个实施例的配置的示意图。
图8是示出根据本发明的编辑设备的一个实施例的配置的示意图。
图9是用于说明位速率与缓冲量之间的关系的曲线图。
图10是用于说明介质的示意图。
【具体实施方式】
下面将参考附图说明本发明的实施例。图5是示出根据本发明的编码设备的一个实施例的配置的示意图。图5所示的编码设备70包括图1所示的图像信息编码设备10。在此，已经对图像信息编码设备10的配置等进行了描述，所以适当省略对其进行说明。
输入到图像信息编码设备10的图像信息被编码，并被作为压缩图像信息(BS：位流)输出到缓冲器71和位流分析单元72。缓冲器71临时存储输入位流，并根据需要将该位流输出到缓冲器信息添加单元73。位流分析单元72检验位流的预定部分，例如，各GOP或随机存取点之间的部分的缓冲器占用状态，并将该信息送到缓冲器信息添加单元73，作为缓冲器信息BH。在此，“随机存取点”指以JVT标准在位流中可随机存取的预定部分。同样，“GOP”指以MPEG-2/MPEG-4标准，可随机存取的预定部分。
缓冲器信息添加单元73将输入缓冲器信息BH添加到输入位流，然后，输出所获得的信息。
在这种情况下，作为位流分析单元72执行的分析过程的一个例子，描述一种典型情况，在这种情况下，在随机存取点之间，检验缓冲器占用状态，并且对于每个随机存取点，将缓冲器占用状态的信息编码为标题信息，从而构成位流。尽管在此以这样的方式进行描述，但是可以在GOP单元内进行编码，或者可以使用另一个任意单元。因此，不用说，本发明可以应用于其中使用另一个单元代替下面描述的单元的情况。
将参考图6说明用于确定(Rmin，Bmin)的特性的方法。在此，Rmin表示缓冲器的输入位速率R的最小值，而Bmin表示缓冲器大小B的最小值。
在给定预定位流的位速率R时，例如，以如下方式确定用于以解码位速率R解码位流的解码设备(例如，具有图7所示配置)可以解码的最小缓冲器大小Bmin。
N表示预定存取点之间的帧数。对每帧产生的位数是b(i)(i＝1，N)，刚好在从缓冲器提取每帧的数据之前的缓冲器占用量是B(i)，而刚好在提取之后的缓冲器占用量是B2(i)。利用B表示编码设备的缓冲量。然后，给出如下内容：
B2(i)＝B(i)-b(i)
B(i+1)＝B2(i)+R/(帧速率) ...(5)
其中如果(B(i+1)＞B)B(i+1)＝B，并且B(i)的最大值是B。此外，假定延迟量F满足F＝B。
在这种情况下，利用下面的表达式(6)可以确定Bmin：
Bmin＝B-min(B2(i)) ...(6)
当在这种情况下假定R是Rmin时，上述方法可以确定(Rmin，Bmin)。
接着，将说明用于确定(Rmin，Bmin，Fmin)的方法的一个例子。设B＝Bmin，R＝Rmin。与在表达式(5)中相同，满足下面的表达式(7)：
B2(i)＝B(i)-b(i)
B(i+1)＝B2(i)+R(帧速率) ...(7)
其中根据下面的条件监测下溢。
if(B2(i)＜0){
Fmin＝Fmin+(0-B2(i))；
B2(i)＝0；}
在每个随机存取点的开始位置，Fmin被初始化为“0”。根据下面的条件，可以类似地监测溢出。
if(B(i+1)＞B)B(i+1)＝B
通过对随机存取点之间的每个帧进行上述检验，确定(Rmin，Bmin，Fmin)。
可以对上述(Rmin，Bmin，Fmin)检验预定次数，或者仅通过在它们之间进行单独组合，定义(Rmin，Bmin，Fmin)。图4示出如上所述确定的特性。线性内插各点之间的各部分。缓冲器信息添加单元73将如上所述获得的(Rmin，Bmin，Fmin)的值，即缓冲器信息BH插入位流中的预定位置，对它进行编码，然后输出它。
如上所述，在与各随机存取之间的(Rmin，Bmin，Fmin)同时，位流分析单元72对整个位流进行类似的分析，以确定整个位流，即(Rmin，Bmin，Fmin)整体的特性。然后，位流分析单元72将其值送到缓冲器信息添加单元73，作为缓冲器信息BH。
缓冲器71使图像信息编码设备10输出的位流BS延迟预定时间，并将它输入到缓冲器信息添加单元73。缓冲器信息添加单元73将位流分析单元72提供的缓冲器信息BH插入位流中的预定位置，然后，输出最终输出位流BS。
在这种情况下，缓冲器信息BH(或缓冲器特性信息)是例如(Rmin，Bmin，Fmin)和(Rmin，Bmin，Fmin)整体。缓冲器信息添加单元73将上述信息插入位流BS上的预定位置。下面将说明语法的一个例子。
RAP_header(){
RAP_startcode；
closed_GOP；
broken_link；
NumBufferParam；
for(i＝0；i＜NumBufferParam；i++){
Rate[i]；
Buffer[i]；
F[i]；}}
因此，如上面提到的语法所示，将随机存取点之间的(Rmin，Bmin，Fmin)记录到紧接其前的随机存取点标题上。“RAP_startcode”是表示存在RAP标题并表示标题的开始的代码。
“closed_GOP”是表示GOP内的所有图片都独立，而无需参照另一个GOP的任何图片，或者在参照另一个GOP上的图片时与该图片相关。“broken_link”是表示当通过进行编辑等替换GOP之前或者之后的位流时是否存在用于预测的基准图像的标志。
NumBuffer_Param表示确定的特性集(Rmin，Bmin，Fmin)的数量。Rate[i]、Buffer[i]和F[i]分别表示Rmin，Bmin和Fmin。在这种情况下，例如以增加顺序记录Rmin。
如在下面的语法所示，将整个位流的(Rmin，Bmin，Fmin)整体记录到例如位流的第一序列标题上：
Sequence_neader(){
Sequence_startcode；
：
；
NumBufferParam；
for(i＝0；i＜NumBufferParam；i++){
Rate[i]；
Buffer[i]；
F[i]；}}
其中NumBuffer_Param表示确定的特性集(Rmin，Bmin，Fmin)整体的数量。Rate[i]、Buffer[i]和F[i]分别表示Rmin，Bmin和Fmin。在这种情况下，例如以增加顺序记录Rmin。
附加上述缓冲器信息BH后，缓冲器信息添加单元73输出最终输出位流BS。
在本发明的实施例中，在上面的说明中，将最低位速率Rmin、最小缓冲器大小Bmin以及最小延迟量Fmin作为缓冲器信息BH全部添加到位流。然而，本发明并不局限于该例子，因此，可以将最低位速率Rmin、最小缓冲器大小Bmin以及最小延迟量Fmin至少之一添加到位流。例如，可以将最低位速率Rmin和最小缓冲器大小Bmin的组合添加到位流。
图7示出根据本发明的解码设备的一个实施例。图7所示的解码设备90对应于图5所示的编码设备70。解码设备90包括图2所示的、位于其内的图像信息解码设备40。将输入到解码设备90的位流BS送到位流分析单元91和解码可能性确定单元92。
位流分析单元91对位流中的缓冲器信息BH进行解码，并将获得的缓冲器信息BH输出到解码可能性确定单元92。位流分析单元91对位流进行语法分析以解码记录在序列标题上的(Rmin，Bmin，Fmin)整体。位流分析单元91还对记录在每个随机存取点标题上的(Rmin，Bmin，Fmin)进行解码。将这些信息输出到解码可能性确定单元92。
解码可能性确定单元92确定，是否可以根据图像信息解码设备40提供的缓冲器信息BH和解码器信息DI，在输入位流不导致缓冲器故障的情况下解码输入位流。解码器信息DI的例子包括解码器缓冲器大小和解码位速率。
根据(Rmin，Bmin，Fmin)整体，解码可能性确定单元92产生图4所示的特性曲线。线性内插各点之间的部分。在这种情况下，解码器(解码设备90)的缓冲器和解码位速率位于从(Rmin，Bmin，Fmin)整体形成的特性曲线的上方，可以确定可以对输入位流进行解码。因此，在这种情况下，解码可能性确定单元92确定可以解码输入位流，并且可以将该位流送到图像信息解码设备40。
图像信息解码设备40与图2所示的图像信息解码设备40具有基本相同的配置，并且执行类似的处理，以解码输入位流，并将图像信息输出到例如未示出的电视接收机。
如上所述，通过检验(Rmin，Bmin，Fmin)整体、解码器缓冲器大小以及解码位速率的特性曲线，可以确定是否可以对整个位流进行解码。
此外，当因为随机存取而要求仅解码预定随机存取点的特定部分时，解码可能性确定单元92类似地根据(Rmin，Bmin，Fmin)产生如图4所示的特性曲线。线性内插各点之间的部分。在这种情况下，当解码器缓冲器和解码的位速率位于从(Rmin，Bmin，Fmin)产生的特性曲线的上方时，可以解码位速率。因此，在这种情况下，解码可能性确定单元92确定可以解码位流，并将该位流送到图像信息解码设备40。
接着，将说明位流编辑过程。图8是示出根据本发明用于编辑位流的编辑设备110的一个实施例的配置的示意图。作为编辑设备110进行编辑的例子，对其中进行拼接以利用另一个输入位流2代替输入位流1的一部分的情况进行说明。
现在，简要说明拼接过程。拼接过程是指通过在随机存取点利用另一个位流代替预定位流来进行编辑。例如，在将商业广播插入电视广播节目中时，进行这种拼接。在这种情况下，输入位流1相当于电视广播节目的位流，而输入位流2相当于商业位流。
将输入位流1输入到位流分析单元111-1，而将输入位流2输入到位流分析单元111-2。位流分析单元111-1和111-2对分别包含在输入位流1和2内的缓冲器信息BH1和BH2进行解码，并将获得的信息输出到位流编辑单元112。
根据缓冲器信息BH1和BH2，位流编辑单元112确定是否可以在预定编辑点将输入位流2插入输入位流1。在这种情况下，为了能够对编辑的位流进行解码，又不使解码器(解码设备90)的缓冲器发生故障，需要满足随机存取点的缓冲器占用量的值与紧接在该点之前的一部分的缓冲器占用量的值相同的条件。
设计采用MPEG-2或MPEG-4的解码器，从而以特定位速率和缓冲器大小工作。另一方面，对于采用JVT方案的解码器，放松了对缓冲的限制，因此即使对于其它位速率和缓冲器大小，如图4所示，在特性曲线位于(Rmin，Bmin，Fmin)的特性曲线之上时，仍可以进行解码。
为了使位流编辑过程不导致解码可能性在编辑之前和之后发生变化，对于编辑部分，具有同样的(Rmin，Bmin，Fmin)就足够了。因此，对于输入位流1和2，位流编辑单元112产生位于编辑部分的随机存取点标题的特性(Rmin，Bmin，Fmin)，并在这些值互相匹配时，利用位流2代替该部分。在该值互相不匹配时，位流编辑单元112将填充位插入位流1或2，以使(Rmin，Bmin，Fmin)的各值互相匹配，然后，利用输入位流2代替相应部分。
在JVT中，放松了对缓冲过程的限制，并且使用该优点可以降低拼接过程中的缓冲器兼容条件。在JVT中，当解码器缓冲器大小和解码位速率位于(Rmin，Bmin，Fmin)之上时，已知可以解码位流。因此，当要插入的输入位流2的预定编辑部分的(Rmin，Bmin，Fmin)始终位于原始输入位流1的(Rmin，Bmin，Fmin)之下时，即使在利用位流2代替该部分的情况下，可以解码输入位流1的解码器仍可以进行解码。
图9示出该关系。曲线1表示输入位流1的编辑部分的(Rmin，Bmin，Fmin)的特性。曲线2表示输入位流2的编辑部分的(Rmin，Bmin，Fmin)的特性。在解码器缓冲器和解码位速率位于该曲线之上时，可以解码位速率。因此，如图9所示，在曲线2始终位于曲线1之下时，确保可以进行解码。
因此，对于位流1和2，位流编辑单元112产生位于编辑部分的随机存取点标题的(Rmin，Bmin，Fmin)的特性。然后，当位流2的特性曲线位于位流1的特性曲线之下时，位流编辑单元112利用位流2代替相应部分。
相反，当各特性不匹配时，位流编辑单元112通过将填充位插入位流1或位流2中，进行改变，以使位流2的(Rmin，Bmin，Fmin)的特性曲线位于位流1的特性曲线之下，然后，利用输入位流2代替该部分。
当为了满足该条件，进行拼接时，可以解码位流1的解码器不发生故障。拼接之后，位流编辑单元112输出最终位流。
这样，在位流的随机存取点的标题内含有这种信息(Rmin，Bmin，Fmin)，即，最低位速率、最小缓冲器大小以及最小初始延时可以使解码端有效确定位流的解码可能性。此外，这种装置有助于诸如拼接的位流编辑过程，并且始终可以解码该位流，而不导致解码端发生缓冲器故障。
图10是示出通用个人计算机的内部配置的例子的示意图。根据存储在ROM(只读存储器)内的程序，个人计算机的CPU(中央处理器)211执行各种处理。在适当时，RAM(随机存取存储器)213存储CPU 211执行各种处理所需的数据和/或程序。将输入/输出接口215连接到输入单元216，输入单元216由键盘和鼠标构成，并将通过输入单元216输入的信号输出到CPU 211。输入/输出接口215还连接到输出单元7，输出单元7由显示器、扬声器等构成。
此外，输入/输出接口215还连接到包括硬盘等的存储单元218和用于通过诸如因特网的网络与另一个设备通信数据的通信单元219。
驱动器220用于对诸如磁盘231、光盘232、磁光盘233或半导体存储器234的存储介质读/写数据。
如图10所示，不仅可以利用与个人计算机独立分发的封装介质实现该存储介质以将程序送到用户，并且可以利用包括ROM 212或存储单元218、用于存储程序并在被安装到计算机上后将它送到用户的硬盘实现该存储介质。其上记录了程序的封装介质的例子有：磁盘231(包括软盘)；光盘232(包括CD-ROM(压缩光盘-只读存储器)，DVD(数字通用光盘))；以及磁光盘(包括MD(小型光盘)(注册商标))；或者半导体存储器234。
在此，用于写入利用介质提供的程序的步骤不仅包括根据以上描述的顺序按时间顺序执行的处理过程，并且包括不必按时间顺序执行，而是并行或独立执行的处理过程。
在此，该系统表示由多个设备构成的整个设备。
工业应用
如上所述，根据本发明的编码设备和方法以及第一程序，关于位流解码期间的缓冲过程的缓冲器特性信息包含在被编码并与位流复用的标题内。这样可以防止解码端导致缓冲器故障。
根据本发明的解码设备和方法以及第二程序，读取关于解码期间的缓冲过程的缓冲器特性信息，该信息包含在输入位流的标题中，然后，根据读取的信息，进行解码。这样可以防止缓冲器在解码期间发生故障。
此外，根据本发明的编辑设备和方法以及第三程序，通过确定从包含在第一位流的标题中的信息产生的特性曲线是始终位于从包含在第二位流的标题中的信息产生的特性曲线之上，或与之相同，来确定是否可以编辑输入位流。这样可以减少进行诸如拼接的编辑所需的处理，并且可以确定是否可以进行编辑过程。