代码转换器和使用它的摄像装置及信号处理装置.pdf

本发明提供一种代码转换器，在将编码图像信号按不同的编码方式进行代码转换时，缩短代码转换所需要的时间。该代码转换器包括：图像选择部(4)，从第一图像信号(MPEG2流)中提取特定种类的图像(I、P图像)并生成部分图像信号；第一解码部(5)，对部分图像信号进行解码；以及第一编码部(7)，将解码后的图像信号编码为第二图像信号(MPEG4流)。这里，图像选择部(4)使用提取的图像生成将有效长度缩短的部分图像信号。

1.  一种代码转换器，输入按第一压缩编码方式编码的第一图像信号，将其变换成按第二压缩编码方式编码的第二图像信号，其特征在于，包括：
从所述第一图像信号中提取构成该图像信号的以帧或场为单位的特定种类的图像，并生成部分图像信号的图像选择部；
对由该图像选择部生成的部分图像信号进行解码的第一解码部；以及
对该解码过的图像信号按第二压缩编码方式编码的第一编码部，
所述图像选择部使用提取的图像生成将图像信号的有效长度进行压缩的部分图像信号。

2.  一种代码转换器，从记录媒体中读取按第一压缩编码方式编码的第一图像信号，并将其变换成按第二压缩编码方式编码的第二图像信号，其特征在于，包括：
在所述第一图像信号中，提取并读出构成该图像信号的以帧或场为单位的特定种类的图像，并生成部分图像信号的接口部；
对由该接口部生成的部分图像信号进行解码的第一解码部；以及
对该解码的图像信号按第二压缩编码方式编码的第一编码部，
所述接口部使用提取的图像生成将图像信号的有效长度进行压缩的部分图像信号。

3.  如权利要求1所述的代码转换器，其特征在于，
所述部分图像信号具有将提取的图像连续配置，将图像信号的有效长度压缩的结构。

4.  如权利要求2所述的代码转换器，其特征在于，
所述接口部参照所述第一图像信号和记录在所述记录媒体中的管理信息，提取并读取特定种类的图像。

5.  如权利要求1所述的代码转换器，其特征在于，
所述图像选择部以提取后的各图像中包含用于相互作用补偿的参照目的地的图像来提取。

6.  如权利要求1所述的代码转换器，其特征在于，
所述第一、第二压缩编码方式分别是MPEG2、MPEG4方式，
所述图象选择部抽取I图象和P图象而生成部分图象信号。

7.  如权利要求1所述的代码转换器，其特征在于，
所述图像选择部可由用户指定要提取的图像种类。

8.  如权利要求1所述的代码转换器，其特征在于，
对供给所述图像选择部的所述第一图像信号设定比特率，以补充所述部分图像信号生成时没有提取的图像的编码量部分。

9.  如权利要求1所述的代码转换器，其特征在于，包括：
存储由所述第一解码部解码的图像信号的帧存储器；以及
从该帧存储器中读取图像信号并将其显示在显示装置上的显示部，
将代码转换器中的图像显示在该显示装置上。

10.  一种摄像装置，使用权利要求1所述的代码转换器，其特征在于，该摄像装置包括：
对被摄体摄像的摄像部；
将从摄像部供给的图像信号按所述第一压缩编码方式编码的第二编码部；以及
将由该第二编码部编码的第一图像信号记录在记录媒体中并进行再现的记录再现部，
将从该记录媒体中再现的第一图像信号供给所述代码转换器。

11.  如权利要求10所述的摄像装置，其特征在于，
包括接收从外部输入的图像信号的接收部，
所述第二编码部将从该接收部供给的图像信号按所述第一压缩编码方式编码。

12.  如权利要求10所述的摄像装置，其特征在于，
包括接收从外部输入的按第一压缩编码方式编码的第一图像信号的接收部，
所述记录再现部将从该接收部供给的第一图像信号记录在记录媒体中并进行再现。

13.  如权利要求10所述的摄像装置，其特征在于，
所述记录再现部从记录在所述记录媒体中的第一图像信号中生成管理信息，并将其存储在该记录媒体中。

14.  一种信号处理装置，使用权利要求1所述的代码转换器，其特征在于：
输入按第一压缩编码方式编码的第一图像信号，将其变换为按第二压缩编码方式编码的第二图像信号并输出到外部机器。

代码转换器和使用它的摄像装置及信号处理装置
技术领域
本发明涉及变换图像信号的编码方式的代码转换器及使用它的摄像装置和信号处理装置。
背景技术
近年来，将活动图像信号通过MPEG等压缩方式进行压缩变码后记录在记录媒体中的技术、或将压缩编码的信号通过因特网和无线等通信媒体传送的技术被用于各种领域。例如，在DVD的记录再现中使用MPEG2-Video(ISO/IEC13818-2)。此外，在无线通信或因特网用途中采用MPEG4-Video(ISO/IEC14496-2)。除此以外，还提出各种各样的编码方式。随着编码方式的多样化，需要在这些方式之间进行数据变换的代码转换器，并寻求提高其功能。特别是缩短代码转换处理所需的时间关系到提高用户侧的便利性。
关于代码转换的高速化，有公开在(日本)特开2002-152755号公报中的技术。这种技术通过‘从输入图像流中除去双方向预测帧来降低时间解像度，不对变换系数实施逆变换来缩小时间解像度降低后的图像流的图像尺寸，降低空间解像度’，以‘通过将变换编码后的频率区域的变换系数不进行一次逆变换就向不同种类图像数据变换，从而缩短代码转换处理时间’为目的。
根据特开2002-152755号公报中公开的技术，通过不进行解码处理(具体地说是变换系数的逆变换)，从而缩短代码转换的处理时间。但是，例如在将对MPEG流进行解码并作为图像信号显示的解码器和对输入图像编码并压缩为MPEG流的编码器组合，具有需要1帧时间对1个图像进行代码转换的结构的代码转换器中，通过省略变换系数的逆变换并没有大幅度地缩短代码转换本身所需的时间。
发明内容
本发明的目的在于解决上述课题，缩短图像信号代码转换所需要的时间，提高用户的使用方便性。
为了解决上述课题，在本发明中，提供一种代码转换器，输入按第一压缩编码方式编码的第一图像信号，将其变换成按第二压缩编码方式编码的第二图像信号，它包括：图像选择部，从第一图像信号中提取构成该图像信号的以帧或场为单位的特定种类的图像，并生成部分图像信号；第一解码部，对由该图像选择部生成的部分图像信号进行解码；以及第一编码部，对该解码的图像信号按第二压缩编码方式编码。而且，图像选择部使用提取的图像生成将图像信号的有效长度进行压缩的部分图像信号。
在本发明中，提供一种代码转换器，从记录媒体中读取按第一压缩编码方式编码的第一图像信号，并将其变换成按第二压缩编码方式编码的第二图像信号，它包括：接口部，在第一图像信号中，提取并读取构成该图像信号的帧或以场为单位的特定种类的图像，并生成部分图像信号；第一解码部，对由接口部生成的部分图像信号进行解码；以及第一编码部，对该解码的图像信号按第二压缩编码方式编码。而且，接口部使用提取的图像生成将图像信号的有效长度压缩的部分图像信号。
附图说明
通过下面结合附图进行的详细描述，本发明的上述和其他目的、特征及优点将会变得更加清楚。
图1是本发明实施方式1的代码转换器的方框图。
图2是表示图1中的图像选择部4的结构的图。
图3是表示图1中的一例图像选择的图像图。
图4是表示图1中的优选的图像提取条件的图。
图5是本发明实施方式2的代码转换器的方框图。
图6是表示图5中的记录媒体1的一例文件结构的图。
图7是本发明实施方式3的摄像装置的方框图。
具体实施方式
图1是表示本发明实施方式1的代码转换器的方框图。在图1中，由代码转换器3将从记录媒体1中读取地流进行编码变换，从输出端子50输出。代码转换器3由图像选择部4、MPEG2解码器5、帧存储器6、MPEG4编码器7构成。此外，存储在帧存储器6中的信号通过显示部8显示在显示装置9上。
图1所示的代码转换器将存储在记录媒体1中的MP@ML(mainprofile at main level：主类主级)的MPEG2流(以下略记为MPEG2/MP@ML)代码转换为SP(simple profile：简单类)的MPEG4流(以下略记为MPEG4/SP)并输出。
以下具体地说明将30帧/秒的MPEG2/MP@ML流代码转换为10帧/秒的MPEG4/SP流的情况下的动作。首先，由接口部2读取存储在DVD等记录媒体1中的MPEG2流，将其供给图像选择部4。图像选择部4对输入的MPEG2流的图像首标进行检索，提取构成流的以帧或场为单位的特定种类的图像，并生成将图像数减少至1/3的MPEG2流。有关图像选择部4的详细结构将后述。将实施了提取处理的MPEG2流从图像选择部4输出，供给MPEG2解码器5。MPEG2解码器5对输入的MPEG流进行解码，将其变换成数字视频信号的像素值数据。像素值数据被存储在帧存储器6中，随着显示用步信号被显示部8读取，显示在显示装置9上。同时，将帧存储器6中的数据供给MPEG4编码器7，将其变换为MPEG4流，输出到输出端子51。
图2表示图1中的图像选择部4的结构。图像选择部4包括分离部41、缓冲存储器42、缓冲存储器读取电路43。MPEG2的流是音频、视频、附加数据等被多重化，由分离部41将其按数据的每个种类分离，进行系统解码后生成ES(Elementary Stream：基本流)。视频的ES被存储在缓冲存储器42中。缓冲存储器读取电路43具有图像首标检索功能，对缓冲存储器42内部顺序地检索，检测图像首标，判别该图像的种类。在判别后的图像种类是要提取的图像种类时，读取下个图像首标前的数据。通过上述步骤，实现基于图像种类的图像提取。
图3是表示本实施方式的一例图像选择的图像图。MPEG2流由通过帧内编码方式编码的I图像、使用过去的帧进行预测编码的P图像、使用过去和将来的帧进行预测编码的B图像的三种图像构成。图3(a)表示存储在缓冲存储器42中的视频ES300，图3(b)表示由读取电路43从缓冲存储器42中进行了图像选择后的视频ES301。有时在输入的视频ES中仅提取I图像和P图像，并抽除B图像。如果视频ES300的图像结构是<IBBPBBPBBPBBPBBIBB……>，则视频ES301的图像结构为<IPPPPI……>。
缓冲存储器读取电路43首先检测视频300的图像首标302，判别图像种类是要提取的I图像后，开始数据的读取。然后，检测下一个图像首标303，判别图像种类是要抽除的B图像，在图像首标303之前结束数据的读取。读取电路43再次开始首标检索，检测图像首标304、305，检测图像首标305开始的图像种类是要提取的P图像后，开始数据的读取。重复进行上述步骤，生成从视频ES300中仅提取I图像和P图像的视频ES301。
如图3所示，在视频ES301中，将接续I图像的数据之后下次提取的P图像的数据紧邻连续地配置。其结果，相对于视频ES300的长度，视频ES301的长度为缩短的部分图像信号。再有，虽然没有图示，但部分图像信号将没有提取的B图像的位置作为空白数据来构成，在其后的信号处理(解码处理)中可跳过空白部分进行处理，所以有效的长度被缩短，没有障碍。
MPEG2解码器5对供给的MPEG2流进行解码，并存储在帧存储器6中，用于显示解码后的图像信号。存储的图像信号被保存，直至将其显示。此时，为了帧存储器不产生上溢或下溢，需要使显示速度和解码速度相同。因此，如果解码的流中包含的图像总数多，则显示的图像多，解码上需要的时间与图像总数成正比地增长。
在按现有的方式对视频300进行代码转换时，MPEG2解码器5对抽除前的所有图像<IBBPBBPBBPBBPBBI……>进行解码，然后抽除B图像形成<IPPPPI……>的结构，并供给MPEG4的编码器7进行编码。因此，代码转换所需要的时间与对包含抽除前所有的图像的视频ES300进行解码并显示所需要的时间相等。
在本发明中，在从视频ES300中抽除B图像，生成部分图像信号的视频ES301后进行上述代码转换处理。MPEG解码器5仅对视频ES301、即<IPPPPI……>的图像进行解码，将解码后的图像信号原封不动地供给MPEG4编码器就可以。视频ES301中包含的的图像总数通过图像提取电路4减少到视频ES300中包含的图像总数的1/3。因此，代码转换所需的时间为对视频ES300进行解码并显示所需时间的1/3，根据本实施方式，可以大幅度地缩短代码转换所需的时间。这种情况下，与将图像抽除前的流原封不动地再现的情况比较，经由显示部8显示的图像成为3倍速的图像。
图4是表示图像选择部4的优选图像提取条件的图。在MPEG预测编码中，需要用于图像间的动作补偿的图像间的参照关系。如图4(a)所示，在提取前的流中，例如B图像102参照P图像101和P图像103进行预测编码。图4(b)、图4(c)是使用图像选择部4提取出的流的例子。图4(b)是在抽除B图像，提取I图像和P图像的情况下，提取出的P图像可参照另一提取出的图像，是一个优选的提取条件。但是，在图4(c)那样的提取中应参照，提取出的B图像111、113、P图像114应参照的P图像112被抽除而不能参照。为此，不能对这些提取出的图像进行解码。因此，图像选择部4从流中提取图像的条件是提取后的各图像所参照的图像必须存在。
作为另一优选的提取条件，可应用于在从I、P、B图像构成的视频流中仅提取I图像的情况、从I图像和P图像构成的流中提取I图像的情况下、从仅由I图像构成的流中提取特定的I图像来进行代码转换的情况。而且，可以获得可由用户指定要提取的图像的结构。
上述实施方式中，关于图像选择部4的处理速度，也有特征。如前面说明的那样，在将图3(a)的流(视频ES)300抽除为图3(b)的流301的情况下，各流中包含的图像总数减少到1/3。该图像数的减少结果，可以缩短其后的解码处理时间，但为了不停滞地进行图像选择部4的提取、抽除，在图像选择部4中需要比解码处理处理的速率快地高速供给数据。从具有前述的<IBBPBBPBBPBBPBBI……>的图像结构的流中抽除B图像，抽取<IPPPPI……>的例子，假设在I、P、B图像的代码量相同的情况下，为了不停滞地进行图像选择部4的提取、抽除处理，需要对图像选择部4按解码处理的3倍比特率供给流。但是，一般来说，由于有I图像的代码量最大，其次为P图像，再者为B图像的顺序，所以供给的流的比特率比3倍小也可以。MPEG2/MP@ML的比特率被规定最大为15Mbit/sec，所以对图像选择部4按其3倍的45Mbit/sec的比特率供给流就可以。
作为一例，作为记录媒体1，假设来自DVD-ROM的供给，经由接口部2可输入到图像选择部4的数据的比特率最大为160Mbit/sec。因此，图像选择部4可按上述必要的输入比特率供给MPEG2流数据。此外，读取电路43的能力在81MHz动作、16bit处理的情况下，可进行首标检索的最大比特率大约为1Gbit/sec。因此，相对于上述输入比特率具有裕度，可进行首标检索处理。在用软件进行同样的首标检索的情况下，例如使用200MHz动作的CPU，如果在1字的处理上需要30个周期，则可进行首标检索处理的最大比特率为106Mbit/sec，这种情况相对于输入比特率也可充分进行处理。
图5是表示本发明实施方式2的代码转换器的方框图。本实施方式没有实施方式1(图1)中的图像选择部4，使用接口部2来取代它，在从记录媒体1读取时进行图像的提取、抽除。将从输入端子51输入的流通过接口部2存储在记录媒体1中。
在DVD等的记录媒体1中，存储有MPEG2流和管理信息文件。管理文件在将从输入端子51输入的流存储在记录媒体1中时在接口部2中形成，与流一起被记录。在管理信息文件中，记录各图像的图像类型、存储位置、大小。接口部2参照该管理信息文件来确定提取的图像位置，从流中提取该图像。将提取的图像供给MPEG2解码器5，通过与上述实施方式1同样的处理，进行代码转换。
作为记录媒体的一例，图6表示DVD Video Recording(DVD视频录制)规格规定的文件结构。在记录媒体上有DVD_RTAV目录200，在其下位的分层中分别有VR_MANGR.IFO201和VR_MOVIE.VR202的文件。VR_MOVIE.VR202是MPEG2流数据，分割为称为VOBU(Video Obiect Unit：视频目标单元)的小单位并被存储。各VOBU分别有一张I图像。VR_MANGR.IFO201是管理信息文件，用于快进-快退等特殊的再现，将VOBU中的I图像的位置和大小作为表来记录。因此，在仅提取I图像的情况下，首先参照VR_MANGR.IFO201来确定I图像的位置，从那里读取图像大小部分的数据就可以。
根据本实施方式，在从记录媒体1中的读取阶段生成缩短的部分图像信号，所以可缩短后续处理所需的时间。
上述例涉及以DVD Video Recording规格为基准的记录媒体，但同样也可应用于具有表示图像种类和其存储位置的管理信息的其他记录媒体。
再有，在记录媒体1是可移动的记录媒体，在该记录媒体中使用其他装置进行流的写入时，有不存在管理信息文件的可能性。此时具有如下的功能就可以：接口部2具有可读取这种情况下具备的、存储的流，进行流解析，形成管理信息文件并存储在记录媒体中。
图7是表示本发明实施方式3的摄像装置的方框图。本实施方式是使用实施方式1(图1)所示的代码转换器的摄像装置。除了实施方式1的结构以外，摄像装置30还包括摄象机部10、用户接口部20。摄象机部10由摄像部11、MPEG2编码器12构成。
在用户将MPEG2活动图像记录在记录媒体1中时，从用户接口20输出记录指示，在摄象机部10的摄像部11中生成数字视频信号，在MPEG2编码器12中对所述数字视频信号进行编码并生成MPEG2流。然后，所述MPEG2流经由接口部2记录在记录媒体1中。
此外，在将记录于记录媒体1中的MPEG2流代码转换为MPEG4流时，从用户接口20输出代码转换指示，经由实施方式1所示的处理被代码转换为MPEG4流并输出。
这样，根据本实施方式的摄像装置，可将摄像的图像以图像质量高的MPEG2流方式记录保存，同时在外部变换为比特率低的MPEG4流来输出。
在图7中，是使用了实施方式1(图1)的代码转换器的摄像装置，但也可以使用实施方式2(图5)的代码转换器构成摄像装置来取代它。在本实施方式的摄象机部10中存在摄像部11，但也可以从外部连接接收图像信号的接收部，形成从外部接收图像信号的结构。此外，也可以连接从外部接收MPEG2流的接收部，形成从外部接收MPEG2流的结构。
在以上实施方式1～3中，以从MPEG2压缩编码方式向MPEG4的代码转换为前提进行了说明，但本发明不限于此，也可以应用于使用其他压缩编码方式的情况。
而且，除了上述摄像装置以外，本发明的代码转换器还可用于接收图像信号(流)并对其进行代码转换后输出到显示装置等的接收装置(机顶盒)、对输入的图像信号进行代码转换并显示的图像显示装置(显示器)、对输入的图像信号进行代码转换后记录在记录媒体(硬盘、光盘等)中的图像记录装置、或连接各种图像机器并供给图像信号的家用服务器等。
根据本发明，可以提供使用户使用方便性提高的代码转换器和摄像装置。
在不脱离其精神和基本特征的范围内，本发明可以以其他特定方式实施。当前的这些实施方式本身都是说明性的和非限制性的，因此由所附的权利要求书而非上述说明表示的本发明的范围和权利要求的等效范围意味着包含于其中。