数字解码方法 【技术领域】
本发明涉及一种数字解码方法，其中依次对各镜头的编码比特流进行解码处理，使得无间断地再生多个镜头的运动图像。
背景技术
MPEG(Moving Picture Experts Group：运动图像专家组)是一在动画压缩编码技术中有代表性的。在日本专利公开公报：特开平9-331524号中揭示有一个数字编码方法，其中可无间断地结合分别按MPEG规格而被编码的多个比特流(多个镜头)。在该方法中，对第一个比特流的尾部和第二个比特流的头部的各编码比特速率(压缩速率)加以限制来在第一个镜头之后无间断地结合第二个镜头，以免在解码用缓冲器中产生上溢和下溢。
上述现有技术是为无间断地再生多个镜头而在编码器中做准备的。因此，存在有这样的问题：要结合的镜头会受到一定限制，而且，在各镜头中也会产生画质的变化。
【发明内容】
本发明的目的是提出数据解码的方法。即不用编码器，仅用解码器来实现多个镜头的运动图像的无间断再生。
为了达到上述目的，本发明所涉及的数据解码的第一个方案是在一可将从数据存储媒体中读出的运动图像的编码比特流通过缓冲器而供到解码器的数字再生装置中，对各镜头的比特流依次进行解码处理，使得无间断地再生多个镜头地运动图像，其中：对应于所述缓冲器中的数据量和当前镜头的帧数及压缩速率，以一个镜头为单位对正从所述数据存储媒体中读出的当前镜头的比特流读出速率进行控制，使得在对下一镜头的第一个帧的数据开始进行解码时，所述缓冲器中的数据量成为规定量以上；和对从所述缓冲器中供来的编码比特流进行解码。
本发明所涉及的数据解码的第二个方案是在一可将运动图像的编码比特流通过缓冲器而供到解码器的数字再生装置中，对各镜头的比特流依次进行解码处理，以便无间断地再生多个镜头的运动图像，其中：在各镜头的第一个帧的数据解码开始时刻，预测所述缓冲器中的数据量；当某一镜头的比特流解码开始时刻的预测数据量不到规定量时，等待该数据量为所述规定量加上不足的数据量的第一个镜头数据被存储到所述缓冲器中，才开始对第一个镜头的第一个帧的数据解码处理。
本发明所涉及的数据解码的第三个方案是在一可将运动图像的编码比特流通过缓冲器而供到解码器的数字再生装置中，对各镜头的比特流依次进行解码处理，以便无间断地再生多个镜头的运动图像，其中：先在某一限制下对将各镜头输入所述缓冲器时的输入速率进行控制，再对各镜头的第一个帧的数据解码开始时刻，预测所述缓冲器中的数据量；和在某一镜头的解码开始时刻的预测数据量不到规定量时，等待该数据量为所述规定量加上所述不足的数据量的第一个镜头数据被存储到所述缓冲器中，才开始对第一个镜头的第一个帧的数据解码处理。
【附图说明】
图1是采用本发明所涉及的数字解码方法的第一种录放像装置的方框图。
图2是表示图1的比特流存储部(缓冲器)中的数据量随时间的变化情况的时间图。
图3是采用本发明所涉及的数字解码方法的第二种录放像装置的方框图。
图4是表示图3的比特流存储部(缓冲器)中的数据量随时间的变化情况的时间图。
图5是采用本发明所涉及的数字解码方法的第三种录放像装置的方框图。
图6是表示图5的比特流存储部(缓冲器)中的数据量的一个时间变化例的时间图。
图7是表示图5的比特流存储部(缓冲器)中的数据量的其他时间变化例的时间图。
【具体实施方式】
下面，参照附图对本发明进行详细说明。
图1是采用本发明所涉及的数字解码方法的第一种录放像装置的方框图。图1中，11是编码部(编码器)，12是数据存储媒体，13是数据读出控制部，14是数据输入控制部，15是比特流存储部(缓冲器)，16是数据输出控制部，17是解码部(解码器)，18是传送速率控制部，BS1～BS6是编码比特流。
图1的装置包括编码器11和解码器17，即是所谓的编码解码器。编码器11可对原运动图像信号进行压缩编码处理而产生比特流BS1。所产生的比特流BS1被记录到数据存储媒体12中。所述数据存储媒体12是光磁盘、磁带、半导体存储器之类的记录媒体。数据读出控制部13能以可变速率从数据存储媒体12中读出比特流BS2。数据输入控制部14接收来自数据读出控制部13的比特流BS3和同步控制信号之后，与比特流BS2的读出同步地将比特流BS4写入缓冲器15中。缓冲器15是一个可暂时存储从数据输入控制部14供来的比特流BS4的存储器。数据输出控制部16可从缓冲器15中读出比特流BS5。解码器17可对从数据输出控制部16供来的比特流BS6进行解码并输出所得到的再生运动图像信号。传送速率控制部18根据从数据输入控制部14获取的数据输入信息(有关缓冲器15的写入地址的信息)和从数据输出控制部16获取的数据输出信息(有关缓冲器15的读出地址的信息)来计算缓冲器15中所残留的数据量，并根据通过该计算而得到的残留数据量信息及各镜头的帧数、压缩速率等图像压缩信息来决定读出数据存储媒体12的读出速率，从而将有关此速率的信息作为传送速率信息而供到数据读出控制部13。
这里，被输入缓冲器15的比特流BS4的比特速率(缓冲器输入速率)和数据存储媒体12的读出速率相等且是可变的。有关解码器17的解码工作的比特速率(解码速率)和每一镜头的编码比特速率(压缩速率)相等。需要说明的是，编码器11、解码器17及其他电路块所共用的存储资源中的一部分被分配给缓冲器15。
图2表示图1中的解码用缓冲器15中的数据量随时间的变化情况DI1、DI2和DI3分别表示向缓冲器15输入第一、第二和第三个镜头的比特流的输入期间。第二个镜头的输入期间DI2从时刻t20开始，第三个镜头的输入期间DI3从时刻t30开始。各个镜头，例如，由一个GOP(图像组)构成。图2中，点划折线表示将各镜头的缓冲器输入速率设定为同一值Ri时的缓冲器15中的数据量的变化情况，图2中用实线画出的折线表示分别将第一、第二和第三个镜头的缓冲器输入速率设定为Ri(1)、Ri(2)和Ri(3)时的缓冲器15中的数据量的变化情况。折线当中″右升线段″的斜率表示缓冲器输入速率，折线中″垂直线段″的长度表示每一帧图像的数据量。在此，假定可瞬时完成从缓冲器15中的各图像数据的抽出。
图2中的Sv表示用以控制编码器11中的代码产生量的假想缓冲器的大小，即由MPEG规定的VBV(Video Buffering Verifier：视频缓冲检验器)缓冲器的尺寸。就是说，对每一个镜头来说，等于或超过规定量Sv的数据被存储到缓冲器15中时，才能开始对第一个帧的解码处理。所述规定数据量Sv又是从缓冲器15中一次抽出的最大数据量。
图2中的T表示1帧期间。若按照NTSC(National Television SystemCommittee：全国电视体制委员会)的视频速率(30帧/秒)，T＝33.3毫秒。
由图2可知，在从时刻t10经过1帧期间T的时刻t11，缓冲器15中的第一个镜头的数据量到达规定量Sv。因此，能从时刻t11开始第一个镜头的解码处理。还有，由于在第二个镜头的第一个帧的解码开始时刻t21的缓冲器15中的数据量，不管是按点划线还是按实线的轨迹，都是规定量Sv以上，所以缓冲器15中不产生下溢，可对第一个镜头无间断地结合第二个镜头。
并且，由于在第三个镜头的第一个帧的解码开始时刻t31的缓冲器15中的数据量，不管是沿点划线轨迹还是沿实线轨迹，都是规定量Sv，所以缓冲器15中不产生下溢，可对第二个镜头无间断地结合第三个镜头。
下面，对图2中点划线的轨迹加以详细说明。在时刻t20，第一个镜头的最后一帧的量为规定量Sv的数据被从缓冲器15中抽出而输出到解码器17中。在接下来的1帧期间T内，由于输入有第二个镜头的数据(缓冲器输入速率Ri)，所以缓冲器15中的数据量可恢复到规定量Sv。然后，在时刻t21，第二个镜头的第一个帧的量为规定量Sv的数据被从缓冲器15中抽出而输出到解码器17中。结果，缓冲器15中的数据量成为0。就是说，在时刻t20，被抽出数据之前的缓冲器15中的数据量为：2×Sv-Ri×T。因此，只要缓冲器15的全容量Sb满足
Sb＝2×Sv-Ri×T ...(1)的条件，即使在量为规定量Sv的数据连续两次被从缓冲器15中抽出的最坏的情况下，缓冲器15中也不发生上溢及下溢，可对第一个镜头无间断地结合第二个镜头。缓冲器的全容量Sb大于2×Sv-Ri×T当然也是可以的。
再就是，由图2中点划线的轨迹可知，假定第二个镜头的帧数为N(2)、同一个镜头的编码比特速率(压缩速率)为Re(2)时，为了在时刻t31确实保证所规定的数据量Sv以便让第三个镜头无间断地结合到第二个镜头，必须在时刻t21到时刻t31的时间T×N(2)内，以Ri-Re(2)的速率，将缓冲器15中的数据量从0增加到规定量Sv。也就是说，设定一个满足
Ri＝Sv/(T×N(2))+Re(2) ...(2)的缓冲器输入速率Ri即可。
具体说来，在Sv＝1.835兆比特、T＝33.3毫秒、N(2)＝15、Re(2)＝8兆比特/秒的情况下，由式(2)可求得：Ri＝11.67兆比特/秒，由式(1)可求得：Sb＝3.281兆比特。总之，通过设缓冲器的全容量Sb为3.281兆比特以上，设缓冲器输入速率(数据存储媒体12的读出速率)Ri为11.67兆比特/秒，便能依次对各镜头的比特流进行解码处理，使得无间断地再生三个镜头，也不造成缓冲器15的上溢及下溢。
图2中实线轨迹所示出的情况为：在时刻t20，从全容量Sb充满数据的缓冲器15中抽出小于规定量Sv的第一个镜头的最后一帧数据而输出到解码器17中。在接下来的1帧期间T内，由于输入第二个镜头的数据，缓冲器15中的数据量恢复到超过规定量Sv的水平上。因此，在时刻t21，即第二个镜头的第一个帧的规定量Sv数据被从缓冲器15中抽出而输出到解码器17中时，缓冲器15中残留着α(＞0)的数据。根据这一残留数据量α，传送速率控制部18按照下式：
Ri(2)＝(Sv-α)/(T×N(2))+Re(2) ... (3)
对第二个镜头的缓冲器输入速率(数据存储媒体12的读出速率)Ri(2)进行控制，使得在第三个镜头的第一个帧的解码开始时刻t31，缓冲器15中的数据量达到规定量Sv。这时，在解码开始时刻t31，缓冲器15中也确实保持有量为规定量Sv的数据，因此，在缓冲器15中不发生下溢，可对第二个镜头无间断地结合第三个镜头。而且，如果采用和上述点划线的轨迹一样的条件，并假设α＝0.5兆比特，由式(3)可求得：Ri(2)＝10.67兆比特/秒，因此，可降低第二个镜头的输入期间DI2的功率消耗。
如上所述，在图1的结构中，对于每一个镜头间的结合点，根据缓冲器15中所残留的数据量而对数据存储媒体12的读出速率进行控制。因此，仅用解码器就可实现多个镜头的无间断再生。
需提一下，按照图2中，例如在时刻t20的残留数据量β，即在第一个镜头的最后一帧数据被从缓冲器15中抽出而输出到解码器17之后，缓冲器15中所残留的数据量，来对第二个镜头的缓冲器输入速率(数据存储媒体12的读出速率)Ri(2)进行控制，也是可以的。
图3是应用本发明所涉及的数字解码方法的第二种录放像装置的方框图。图3中，11是编码部(编码器)，12是数据存储媒体，13是数据读出控制部，14是数据输入控制部，15是比特流存储部(缓冲器)，16是数据输出控制部，17是解码部(解码器)，19是解码控制部，BS1～BS6是编码比特流。
图3的装置包括编码器11和解码器17，即是所谓的编码解码器。编码器11可对原运动图像信号进行压缩编码处理而产生比特流BS1。所产生的比特流BS1被记录到数据存储媒体12中。所述数据存储媒体12是光磁盘、磁带、半导体存储器之类的记录媒体。数据读出控制部13以固定的速率从数据存储媒体12中读出比特流BS2。数据输入控制部14接收来自数据读出控制部13的比特流BS3。缓冲器15是一个可暂时存储由数据输入控制部14供来的比特流BS4的容量可变的存储器。编码器11、解码器17及其他电路块所共用的存储资源中的一部分被分配给所述缓冲器15。数据输出控制部16从缓冲器15中读出比特流BS5。解码器17对从数据输出控制部16供来的比特流BS6进行解码处理并输出所得到的再生运动图像信号。解码控制部19根据各镜头的帧数、压缩速率等图像压缩信息和镜头的再生顺序等再生信息，来预测在各镜头的第一个帧的解码开始时刻的缓冲器15中的数据量。在某一镜头的解码开始时刻的预测数据量不到规定量(VBV缓冲器尺寸)Sv时，解码控制部19先将缓冲器尺寸信息(即在假设无数据量不足的情形下而决定的缓冲器15的容量Sb(参见式(1))加上所述不足的数据量γ的结果)供到数据输入控制部14及数据输出控制部16，再将解码开始这一信息供到数据输出控制部16，以便等待其量为规定量Sv加所述不足的数据量γ的第一个镜头数据被存储到缓冲器15中，才能开始对第一个镜头的第一个帧的解码处理。所述解码控制部19可根据从数据输入控制部14获取的数据输入信息(缓冲器15的写入地址)和从数据输出控制部16获取的数据输出信息(缓冲器15的读出地址)来掌握缓冲器15中所残留的数据量。
图4表示图3的缓冲器15中的数据量随时间的变化情况。这里，缓冲器15的输入比特速率(缓冲器输入速率)Ri与镜头无关总是一定的。图4中由点划折线表示的缓冲器15中的数据量的轨迹示出：若在时刻t11开始对第一个镜头的第一个帧进行解码处理，那么在时刻t31′，在缓冲器15中会产生下溢现像。此时，DI1′、DI2′和DI3′分别表示向缓冲器15输入第一、第二和第三个镜头的比特流的输入期间。第二个镜头的输入期间DI2′和第三个镜头的输入期间DI3′分别从时刻t20′和t30′开始。再就是，图4中的实线折线所示的缓冲器15中的数据量的轨迹示出：如果将第一个镜头的第一个帧的解码工作推迟到时刻t12，那么，在缓冲器15中免得发生下溢。此时，向缓冲器15输入第一、第二和第三个镜头的比特流的输入期间分别由DI1、DI2和DI3表示。第二个镜头的输入期间DI2和第三个镜头的输入期间DI3分别从时刻t20和t30开始。
由图4可知，在从时刻t10经过1帧期间T后的时刻t11，缓冲器15中的第一个镜头的数据量到达规定量Sv。按照点划线的轨迹，在时刻t11开始对第一个镜头的第一个帧的解码处理。在这样的情况下，也可在从时刻t20′经过1帧期间T后的时刻t21′，缓冲器15中确实保持有量为规定量Sv的数据，因此，能立刻开始对第二个镜头的第一个帧的解码处理。然而，在从时刻t30′经过1帧期间T后的时刻t31′，缓冲器15中的规定量Sv少了γ这一部分，所以不能立刻开始对第三个镜头的第一个帧的解码处理，要等到缓冲器15中蓄积有规定量Sv数据的时刻t32′为止。换句话说，在从时刻t31′到时刻t32′的期间，产生的是所谓的VBV延迟(开始延迟)，因而不能对第二个镜头无间断地结合第三个镜头。例如，在第二个镜头的编码比特流相当大的情况下，除非采取提高第二个镜头的缓冲器输入速率等措施，否则有时是不能实现无间断再生的(参见式(3))。
假设第一和第二个镜头的帧数为N(1)和N(2)，设两个镜头的编码比特速率(压缩速率)分别为Re(1)和Re(2)，上述不足的数据量γ可估计为：
γ＝(Re(2)-Re(1))×T×N(2)
+Sv×(1-N(2)/N(1)) ... (4)也就是说，所不足的数据量γ取决于连续的两个镜头的压缩速率之差Re(2)？Re(1)和两个镜头的帧数之比N(2)/N(1)。
按照图4中的实线轨迹，第一个镜头的第一个帧的解码是等到在从时刻t11经过期间DT后的时刻t12，那就是由上式(4)来预测的不足量γ加到规定量Sv而得到的那一量的第一个镜头的数据被存储到缓冲器15中的时刻t12为止才开始的。这样一来，既在第二个镜头的第一个帧的解码开始时刻t21，又在第三个镜头的第一个帧的解码开始时刻t31，在缓冲器15中均不发生下溢现像。就是说，可对第一个镜头无间断地结合第二个镜头，同样地，也可对第二个镜头无间断地结合第三个镜头。但是，此时，先要将缓冲器15的全容量增加到Sb+γ，以免在缓冲器15中产生上溢现像。
综上所述，如果按照图3的结构，按所预测到的不足数据量γ来推迟第一个镜头的解码开始时间，那么，仅用解码器就能实现多个镜头的无间断再生。
需提一下，在图3的例中，由于数据存储媒体12的读出速率是固定的，所以，假定缓冲器15的输入比特速率(缓冲器输入速率)与镜头无关总是一定的。但是，在可将数据存储媒体12的读出速率变更为某一上限速率的情况下，先按图1和图2中所说明过的方法而对将各镜头输入缓冲器15时的输入速率进行某一程度的控制，再采用图3和图4中所说明的方法即可。若按此方法，便能减少图4中的缓冲器15容量的增加量γ。
此外，若考虑到要结合的镜头数、各镜头的编码比特速率、各镜头的帧数，将所不足的数据量加到缓冲器15中以确保它的容量，那么，可实现四个以上的镜头的无间断结合。
在上述第一及第二种录放像装置中，假设要对当前镜头无间断地结合的下一镜头的存在是已知的。然而，有时也会在再生某一镜头的中途，突然给出镜头结合要求。以下所说明的录放像装置，能够应付上述要求。
图5是采用本发明所涉及的数字解码方法的第三种录放像装置的方框图。图5中所示的传送速率控制部18a可接收镜头结合要求，在这一点，它和图1中的传送速率控制部18不一样。图5中的其他结构都是和图1一样的。
图5中的传送速率控制部18a可根据在当前镜头的再生中所给出的镜头结合要求，来预测在对要结合的下一个镜头的第一个帧开始解码的那一时刻，缓冲器15中所存储的数据量。当所预测到的数据量不到规定量Sv时，传送速率控制部18a可对从数据存储媒体12中读出当前镜头的剩余帧时的读出速率进行控制，这样来补充所述不足的数据量γ。
图6表示图5的解码用缓冲器15中的数据量随时间的一个变化情况。DI1、DI2和DI3分别表示向缓冲器15输入第一、第二和第三个镜头的比特流的输入期间。第二个镜头的输入期间DI2和第三个镜头的输入期间DI3分别从时刻t20和t30开始。这里，假设在再生第二个镜头的中途，给出第三个镜头的结合要求。图6中的点划线轨迹表示：若将各镜头的缓冲器输入速率Ri(1)、Ri(2)和Ri(3)都保持为同一个值Ri，那么在时刻t31会在缓冲器15中发生下溢现像。图6中的实线轨迹表示：如果根据镜头结合要求而仅在由Te表示的短短时间内，将第二个镜头的缓冲器输入速率Ri(2)增加到数据存储媒体12的最大读出速率Rimax，那么在缓冲器15中免得产生下溢现像。
由图6中的点划线轨迹可知：在从时刻t30经过1帧期间T后的时刻t31，缓冲器15中的规定量Sv少了γ这一部分，所以不能立刻开始对第三个镜头的第一个帧的解码处理，要等到缓冲器15中蓄积有规定量Sv数据的时刻t32为止。也就是说，解码延迟到时刻t32才开始进行，故不能对第二个镜头无间断地结合第三个镜头。这里，可按上式(4)来估算所不足的数据量γ。
由图6中的实线轨迹可知：从给出了镜头结合要求后的时刻t22开始的1帧期间T当中，仅在不足数据量γ的补充所必需的期间Te内，将第二个镜头的缓冲器输入速率(数据存储媒体12的读出速率)Ri(2)提高到最大速率Rimax。就是说，在满足
γ＝(Rimax-Ri)×Te ... (5)的期间Te内，提高缓冲器输入速率Ri(2)。在补充完所不足的数据量γ之后，又恢复到原来的速率Ri。就这样，在收到镜头结合要求之后，通过一个简单的控制，就可对第二个镜头无间断地结合第三个镜头，缓冲器15中也不发生下溢现像。
图7表示图5的解码用缓冲器15中的数据量随时间的变化情况的其他例。图7中的实线轨迹表示：和图6的情况一样，在第二个镜头的再生中，给出有结合第三个镜头的要求时，若根据镜头结合要求来使第二个镜头的剩余帧的缓冲器输入速率(数据存储媒体12的读出速率)Ri(2)均匀地增加到某一速率Rie，那么在缓冲器15中不会发生下溢现象。
由图7中的实线轨迹可知，在从收到镜头结合要求后的时刻t22开始的多个帧期间，第二个镜头的缓冲器输入速率Ri(2)被增加到补充所不足的数据量γ所必需的速率Rie。换句话说，假设在给出有镜头结合要求时，当前镜头(第二个镜头)中所剩下的帧数为Nr(2)，可花费在从数据存储媒体12中的当前镜头的读出上的时间则为T×Nr(2)，于是可采用满足下式：
Rie＝Ri+γ/(T×Nr(2)) ... (6)的速率Rie作读出剩余帧时的读出速率。因此，和图6的情况一样，可对第二个镜头无间断地结合第三个镜头，缓冲器15中也不产生下溢。
如上所述，按照图5的结构，在给出了镜头结合要求时，根据所预测到的不足数据量γ来控制从数据存储媒体12中读出当前镜头的剩余帧的读出速率，就这样，仅用解码器也可实现多个镜头的无间断再生。
需要说明的是，因在图6的例中Te＜T，所以仅对第二个镜头的剩余帧中，一帧的读出速率进行控制。但是，在T＜Te＜2T的情况下，对两帧的读出速率进行控制即可。