动态向量检出装置及其检出方法以及图象符号化装置 本发明涉及动态向量检出技术，可以高效率地检出在进行移动图象动态补偿符号化时的动态向量。
作为移动图象检出动态向量的方法，一般使用块匹配法。图8所示为块匹配法的概念图。如图8所示那样，在块匹配法中，首先，在作为动态向量检出的对象的符号化对象块和搜索范围内的符号化对象块和同一尺寸的各候补块之间，分别运算表示图象相关度的评价值。然后，求出从符号化对象块和同一位置块到评价值所示相关度最高的候补块为止的变位，作为动态向量。作为相关度的评价值，例如，可以用块相互间对应的象素的差分绝对值的总和。在这种场合，图象的相关度越高，评价值越小。
在块匹配法中，由于对一符号化对象块要进行与搜索范围的各候补块地评价值运算，所以作为评价值运算的整体，其运算量就很庞大。因此，动态向量检出装置消耗的电力要增加，装置本身也变大。
使用块匹配法进行动态向量检出时，为了减少评价值的运算量，降低消耗的电力，有一些方法，其中的一种方法是局部取样(间拔)的方法。局部取样的方法是在符号化对象块及搜索范围内，对象素进行间拔。使用这种局部取样的方法，符号化对象块的象素数由于间拔后成为1/N(N是正数)时，评价值的运算量出同样地成为1/N，这样，消耗的电力也几乎为1/N。
但是由于使用局部取样手法，在符号化对象块及在搜索范围内的象素间拔，间拔后的图象，可能不保留原图象细目的特征。这样，与不使用局部取样的方法相比，评价值的运算量可以减少，而动态向量检出性能方面可能恶化。另一方面，也有时稍微将动态向量检出的性能降低一些，而减少评价运算的运算量、降低消耗电力。
鉴于上述的问题，本发明提出一种动态向量检出技术，在动态向量检出时，从检出性能和消耗电力两方面出发，设定局部取样，比现有技术更加切实可行地检出动态向量。
为解决上述的课题，本发明提出一种动态向量检出的解决手段之一是作为动态检出装置，它设有：存储符号化对象块的图象的第1图象存储手段、存储搜索范围的图象的第2图象存储手段、相关度运算手段、控制部和相关度决定手段；其中，相关度运算手段具有运算符号化对象块和搜索范围内候补块的相关度的多个相关运算块，各相关运算块分别在所供给的象素群之间进行相关度运算，符号化对象块的象素中的不同象素群由上述第1图象存储手段供给的同时，对应该供给的象素群的候补块的象素群由上述第2图象存储手段供给；对上述相关度运算手段，控制部在上述多个相关度运算块中至少选择1个使其动作；相关度决定手段以由上述控制部的控制而动作的相关度运算块的输出为基础，求出符号化对象块和候补块的相关度。
通过上述的本发明，动作的相关度运算块是由控制部进行选择，以动作的相关度运算的输出为基础，求出符号化对象块和候补块的相关度，因此，可以在所需要最小的电力条件下进行动态向量的检出。
在上述本发明中动态向量检出装置中的相关度决定手段设有选择器和运算器。选择器将上述各相关度运算块的输出作为输入，选择通过上述控制部的控制而动作的相关度运算的输出后输出；运算器以上述选择器的输出为基础，运算符号化对象块和候补块的相关度。
在上述本发明的动态向量检出装置中的控制部，在检出动态向量时当进行局部取样时，使上述多个相关度运算块的一部分运算动作，而当不进行局部取样时，上述多个相关度运算块全部动作。
在上述本发明的动态向量检出装置中的控制部，对应符号化对象块的图象特征信息，对上述相关度运算块进行选择。
在上述本发明的动态向量检出装置中的的图象特征信息是作为该符号化对象块的图象的频率成分信息。
在上述本发明的动态向量检出装置中的控制部，对应该动态向量检出装置的使用情况信息，对上述相关度运算块进行选择。
在上述本发明的动态向量检出装置中的使用情况信息是作为对该动态向量检出装置供给电力的信息。
在上述本发明中任何一个动态向量检出装置中的相关度运算块的个数是4个。
在本发明中提出的另一种动态向量检出的解决手段是作为动态向量检出方法，它有运算对象框的符号化对象块和搜索框的搜索范围内各候补块的相关度的第1步骤和以上述第1步骤中运算出的相关度为基础，检出上述符号化对象块的动态向量第2步骤。上述第1步骤以符号化对象块的图象特征信息为基础，进行对相关度运算时的局部取样的设定。
在上述本发明中的动态向量检出方法是将上述符号化对象块的频率成分作为上述图象特征信息使用的方法。
在上述本发明中的动态向量检出方法是将在对象框的前一框的该符号化对象块和同一位置或临近块的DCT成分作为上述图象特征信息使用方法。
在上述本发明中的动态向量检出方法是将在对象框的前一框的该符号化对象块和同一位置或临近的动态向量作为上述图象特征信息使用的方法。
在上述本发明中的动态向量检出方法的局部取样的设定，是以上述图象特征信息和实施这种方法的装置的使用情况信息为基础进行设定的。
在上述本发明中的动态向量检出方法是将表示实施该方法的装置是携带使用还是放置使用的信息作为上述使用情况信息的。
在上述本发明中的动态向量检出方法是将作为实施该方法装置电源的电池的残余量作为上述使用情况信息的。
在本发明所提供的动态向量检出的解决手段中包括另一种作为动态向量检出方法，它设有运算对象框的符号化对象块和在搜索框的搜索范围内的各候补块的相关度的第1步骤及以上所述第1步骤运算得到的相关度为基础，检出上述符号化对象块的动态向量的第2步骤。上述第1步骤，以实施该方法装置的使用情况为基础，进行相关度运算时的局部取样的设定。
在上述本发明中另一种的动态向量检出方法是将表示实施该方法装置是携带使用还是放置使用的信息作为上述使用情况信息的。
在上述本发明中另一种的动态向量检出方法是将作为实施该方法装置电源的电池的残余量作为上述使用情况信息的。
在本发明所提出的动态向量检出的解决手段中，包括一种作为进行移动图象的动态补偿符号化的图象符号化装置，它设有动态向量检出部，运算对象框的符号化对象块和在搜索范围内的各候补块的相关度，以运算出的相关度为基础，检出上述符号化对象块的动态向量。上述动态向量检出部，以符号化对象块的图象特征信息为基础，进行相关度运算时的局部取样的设定。
在上述本发明中的图象符号化装置设有对图象进行离散余弦变换的DCT部，上述动态向量检出部将由上述DCT部求出的在对象框的前一框的该符号化对象块和同一位置或临近块的DCT成分，作为上述图象特征信息，进行局部取样的设定。
在上述本发明中的图象符号化装置的动态向量检出部是将在对象框的前一框的该符号化对象块和同一位置或者临近块的动态向量作为上述图象特征信息，进行局部取样的设定。
下面对附图进行简单的说明。
图1是本发明一实施例的动态向量检出装置构成的框图。
图2是图1中相关度决定手段构成的框图。
图3是设有在图1中所示的动态向量检出装置的图象符号装置的一例框图。
图4(a)、(b)是图象和频率成分的关系图。
图5(a)是一例符号化对象块的图像。(b)是对(a)的图象在水平方向每隔1个象素进行局部取样的结果。(c)是对(a)的图象在垂直方向每隔1个象素进行局部取样的结果。
图6是本发明的一实施例的局部取样设定处理的流程图。
图7是一例对于符号化对象块的DCT成分图。
图8是块匹配法的概念图。
图中，10：动态向量检出部；11：第一图象存储手段；12：第二图象存储手段；13：相关度运算手段；13a～13d：第1～第4的相关度运算块；14：相关度决定手段；14a选择器；14b：加法器(运算器)；20：控制部；30：控制器；32：DCT部；42：CPU部；S1：图象特征信息；S2：使用特征信息；MV：动态向量。
下面结合附图和实施例对本发明给予进一步的说明。
图1是本发明一个实施例的动态向量检出装置构成的框图。在图1中，11是存储符号化对象块的图像的第一图象存储手段，12是存储搜索范围图象的第2图象存储手段。13是相关度运算手段，由4个相关度运算块13a～13d组成，用以运算符号化对象块和搜索范围内的候补块的相关度。第1～第4的相关度运算块13a～13d分别在所供给的象素群之间进行相关度的运算，其中，符号化对象块的象素中不同的象素群由第1图象存储手段11提供的同时，第2图象存储手段12提供对应第1图象存储手段提供的象素群。作为相关度的评价值，使用象素的差分绝对值的总和。
在本实施例中，象素的局部取样，在水平方向和垂直方向都可以每隔1个象素进行取样。为此，将存储在第1图象存储手段11中的符号化对象块的各象素分成象素○群、象素◇群、象素●群、和象素◆群4种。象素○群提供给第1相关度块13a、象素◇群提供给第2相关度块13b，象素●群提供给第3相关度块13c，象素◆群提供给第4相关度块13d。存储在第2图象存储手段12中的搜索范围的各象素群的供给目的地对应候补块的设定而变化。第2图象存储手段12的地址指定通过地址生成部15进行。
20是控制部，它通过启动信号EN选择使第1～第4的相关度运算块13a～13d中的全部或其中的一部分使其动作。控制部20对应符号化对象块的图象特征信息S1或动态向量检出装置的使用状况信息S2选择使第1～第4的相关度运算块13a～13d全部动作的方式或一部分动作方式。在动态向量检出时，不进行局部取样时，第1～第4的相关度运算块13a～13d全部动作，而进行局部取样时，只是其中的一部分动作。
14是相关度决定手段，它以由控制部20控制而动作的第1～第4相关度运算块13a～13d的输出EC1-EC2为基础，求出符号化对象块和候补块的相关度。相关度决定手段14以符号化对象块和各候补块的相关度为基础，输出动态向量MV。
图2所示为图1中相关度决定手段14的构成的框图。14a是选择器，它根据由第1～第4的相关度运算块13a～13d的输出EC1～EC4或者数值为“0”的启动信号EN选择输出。14b是加法器，它作为运算器，将相加选择器14a的输出值；14c是从加法器14b的输出中检出最小值的最小值检出电路。
以下说明图1及图2所示的动态向量检出装置的动作。符号化对象块的图象及搜索范围的图象从第1及第2图象存储手段11、12将象素○群、象素◇群、象素●群、和象素◆群分别供给第1～第4的相关度运算块13a～13d。第1～第4的相关度运算块13a～13d，根据从控制部20的启动信号EN被指示动作时，在被供给的符号化对象块的象素群和搜索范围的象素群之间，运算象素的差分绝对值的总和。由此，第1相关度运算块13a输出在动作时象素○群相互间的差分绝对值的总和EC1，同样的，第2相关度运算块13b输出在动作时象素◇群相互间的差分绝对值的总和EC2，第3相关度运算块13c输出在动作时象素●群相互间的差分绝对值的总和EC3，第4相关度运算块13d输出在动作时象素◆群相互间的差分绝对值的总和EC4。
相关度决定手段14，如图2所示，选择器14a根据第1～第4相关度运算块13a～13d的输出EC1～EC4或者数值为“0”的启动信号EN进行选择，加法器14b相加该选择值。这时，选择器14a只选择第1～第4相关度运算块中的动作块的输出，不动作块输出用“0”代替。因此，从加法器14b只输出第1～第4相关度运算块13a～13d中动作块的输出总和。在此，象素A群相互间的差分绝对值的总和和象素B群相互间的差分绝缘对值总和的相加值相当于包含在象素A群及象素B群中的象素相互间的差分绝对值的总和。因而，加法器14b的输出是相当于包含在动作的相关度运算块中，所被供给的象素群中的象素相互间的差分绝对值总和，即相当于相关度评价值。
最小值检出电路14c从加法器14b输出的相关度评价值中检出最小值，同时检出对应相关度评价值最小的候补块的动作向量。
控制部20以符号化对象块的图象特征信息S1及动态向量检出装置的使用情况信息S2为基础，选择在相关度评价值的运算中所必要的象素群。然后，根据启动信号EN，只使被供给必要的象素群的相关度运算块动作。
这样，本实施例形式的动态向量检出装置，以图象特征信息S1及使用情况信息S2为基础，在符号化对象块及搜索范围中选择相关度评价值运算中所必要的象素群，只有这些被选择的象素群进行相关度评价值的运算，检出动态向量。换个说法，没有被选择的象素群从符号化对象块及搜索范围中被间拔掉，所以，可以检出使用了局部取样后的动态向量。
另外，由于没有选择象素群供给的相关度运算块不动作，就可以在所需最低电力下进行动态向量检出。
图3是设有在图1中所示的动态向量检出装置的图象符号化装置的一例框图。在图3中，1是从图象数据生成符号化数据的图象符号化装置，41是作为图象符号化装置1的电源的电池，42是控制图象符号化装置1的CPU,43是予先处理输入图象符号化装置1的图象数据的前处理部，44是存储从图象符号化装置1输出的图象数据的基础存储器。
图象符号化装置1，作为处理块，设有图象输入部31，动态向量检出部10，离散余弦变换(DCT)部32、量子化部33，可变长符号化(VLC)部34及局部再生部35。动态向量检出部10的构成如图1所示。局部再生部35对量子化后的数据进行逆量子化及逆DCT后再构成图象。控制器30控制各处理块，存储器接口(I/F)部36对各处理块和基础存储器44之间的数据进行传送。
图1中控制部20的功能由图3中的控制器30和CPU42实现。也就是说，接收到从DCT部或动态向量检出部10或者前处理部43传来的图象特征信息S1的同时，也接到电池41的残余量等使用情况信息S2，以这些信息情报S1、S2为基础，控制在动态向量检出部10的局部取样的设定。
以下说明以图象特征信息S1以及使用情部时信息S2为基础的局部取样的设定。
图4(a)、(b)是图象和频率成分的关系图。横轴表示象素的位置，纵轴表示各象素的值。在同一图中，(a)图所示为各象素将象素值A、B每隔1个象素的图象，该图象将象素间隔2个就有作为周期的频率成分。图4(b)是对图4(a)的图象每隔1个象素进行局部取样结果的图象。比较图4(a)、(b)可以清楚，图4(a)是有图象的，有每隔1个象素象素值不同的这一特征，而由于每隔1个象素的局部取样后这一特征消失。
另外，根据图象，其特征对应局部取样的方向也有消失的场合，也不不消失的场合。例如：如图5(a)所示那样，对于符号化对象块的图象，如果在水平方向进行每隔1个象素的局部取样，就如图5(b)那样。在这种场合，由于原有的符号化对象块的图象特征在局部取样以后仍残留着，所以，动态向量检出的性能几乎不降低。但是，如果对于图5(a)的图象在垂直方向进行每隔1个象素的局部取样，如图5(c)所示，局部取样后，没有留下原有的符号化对象块的图象特征，在这种场合，动态向量检出的性能降低，恐怕会检出错误的动态向量。
也就是说，在局部取样的场合，当局部取样后，没有留下原有的图象特征时，会检出错误的动态向量。因此，在本实施例中，将符号化对象的频率成分作为图象特征信息S1，设定局部取样。
在图1的构成中，着眼图象的垂直方向时，用象素○群及象素◇群(或者使用象素●群和象素◆群)进行评价值运算时，相当于进行没有局部取样的动态向量的检出，只使用象素○群进行评价值运算时，相当于进行每隔1个象素局部取样的动态向量检出。
在此，假如符号化对象块的图象在垂直方向，周期是间隔2个象素就有频率成分时，该频率成分不消失，就不进行垂直方向的局部取样。所以，就用象素○群和象素◇群(或者使用象素●群和象素◆群)进行评价值运算。另一方面，符号化对象块的图象，在垂直方向，周期每2个象素间隔没有频率成分时，只使用象素○群进行评价值运算。着眼于图象水平方向时，同样地可以进行局部取样的设定。
作为使用情况信息S2，图象符号化装置，可以考虑携带使用或放置使用这种信息。即，在放置使用的场合，通常由于可以稳定供电，不进行局部取样，可以最大限度地提高动态向量检出的性能。另一方面，携带使用的场合，对应电池的残余量和预定使用残余量的时间，进行局部取样也是所希望的。
具体说明有关局部取样的设定。图6是本实施例的局部取样设定处理的流程图。
在步骤11，CPU42将电池41的残余量作为使用情况信息S 2接收，与事先设定的使用时间等的信息相对应，指示图象符号化装置1是否要降低电力的消耗。当不需要降低消耗的电力时，与降低消耗电力相比更重视动态向量检出的性能，实行不进行局部取样，动态向量的检出。
需要降低消耗电力时，控制器30以图象特征信息S1为基础，设定局部取样。在此，将对于符号对象块通过DCT部32求出DCT成分作为图象特征信息S1使用。离散余弦变换是将余弦函数作为基础函数垂直变换，是求包含在该变换对象的频率成分的运算。
图7是一例对于符号化对象块的DCT成分图。如图7所示的DC T成分表示该符号对象块的频率成分的分布。即，在图7中，靠近左上方的成分值越大，低频成分越多，相反，靠近右下方成分值越大，高频成分越多。
另外，横向成分值的变化表示水平方向频率分布，纵向成分值的变化表示纵向频率分布，在图7的例子中，由于水平方向的频率低，垂直方向的频率高，所以，最好在水平方向进行局部取样而在垂直方向不进行局部取样。在这种场合，在图1的构成中，可以通过只使第1及第2相关度运算块13a、13b动作，实现降低消耗的电力。
在这里，将最上行最左边的2个成分值的和作为水平频率数值∑fH。最左行的最上面的2个成分值的和作为重直频率数值∑fV。然后，用水平频率值∑fH和垂直频率数值∑fV，在水平方向和垂直方向分别设定局部取样。
在步骤12，当水平频率数值∑fH为所定值HO以上时，判断符号化对象块水平方向的频率低，进行水平方向的局部取样(步骤S1 3)。另一方面，当水平频率数值∑fH比所定值HO小时，判断符号化对象块水平方向的频率高，不进行水平方向的局部取样。
在步骤14，当垂直频率值∑fV在所定值VO以上时，判断符号化对象块垂直方向的频率低、进行垂直方向的局部取样(步骤S15)。相反，当垂直频率值∑fV比所定值VO小时，判断符号化对象块垂直方向的频率高，不进行垂直方向的局部取样。
在步骤16，用已设定的局部取样，进行动态向量的检出。
进行动态向量检出的图象符号化装置，一般都设有DCT部，所以，没有必要再设置用于DCT成分运算的新装置。但是，在通常图象符号化处理的流程中，DCT运算是在动态向量检出后进行的。为此，如本实施例中那样，如果为了设定局部取样要使用DCT成分时，除了要进行原来实行的DCT运算以外，还必须进行用于局部取样设定的DCT运算。这样，运算量加大是我们所不希望的。
这里，通过前处理部43，预先取出符号化对象块的DCT成分等的图象特征，可以用这种办法进行局部取样的设定。例如：CPU42以从前处理部43提供的图象特征信号S1为基础，经控制器30设定在动态向量检出的局部取样方式。控制器30也可以从前处理部43经图象输入部31所提供的图象特征信息S1为基础，设定检出动态向量的局部取样方式。
另外，即使是动态图象，由于在短时间内图象几乎没有变化，可以全部运算。所以将在对象框的前一框的符号化对象块和对于同一位置的块的DCT成分，用于局部取样的设定也是可以的。另外，由于某个块和它临近的块，在一般的场合，图象特征相同，所以，也可以将符号化对象块的临近块，或者在对象框的前1个框的符号化对象块和同一位置的临近块的DCT成分，用于局部取样的设定。
作为图象特征信息S1，除频率成分外，也可以考虑利用图象的动态信息，也就是说，利用人的眼睛对于移动快的东西析象能力差这种特性，可以在符号化对象块的移动大时，进行局部取样，在移动小时不进行局部取样。作为表示符号化对象块移动的图象特征信息S1可以用作有检出的在对象框的前一框的该符号化对象块和同一位置或临近块的动态向量。
在本实施例中，将符号化对象块及搜索范围的图象分成4种象素群，相关度运算手段13由4个相关度运算块构成，但是，本发明也不只限于这样的构成，例如：如果将局部取样的象素的间拔方法，在水平方向每隔1个象素，垂直方向每隔2个象素，就必须将符号化对象块及搜索范围的图象分成6(=2×3)种象素群。在这种情况下，对应各象素群最好设置6个相关度运算块。另外，关于复数象素群，也可以共用相关度运算块。在这种场合，相关度运算块的个数比象素群的个数少。
在此，动态向量检出部10的运算量是图象符号化装置1中其他处理块的运算量的100-1000倍。用具体的数值表示如下那样：取匹配法的评价值运算的运算量是(1个象素需要的运算数)×(符号化对象块的象素数)×(候补块数)。设1个象素的运算(差分绝对值运算)的运算数为3、符号化对象块的象素数为256(=16×16)、候补块数为1024，那末1个符号化对象块所必须的运算量为“786432”。在以水平720个象素、垂直480个象素、每秒30个图象表示的移动图象中，16×16的符号化对象块在1秒中有40500个。这一结果，必须由动态向量检出部10进行约31GOP的庞大运算，为此要消耗大量电力。在全部发表图象符号化LSI的设计方案中，必须考虑到动态向量检出部10所消耗的电力约是装置整体的1/2-1/4。
为此，本发明者为实现降低图象符号化装置整体的电力，特别着眼电力消耗大的动态向量检出部10。并且，为了降低动态向量检出部电力的消耗，其方法之一是采用局部取样，然后以应图象符号化装置的使用情况和图象的特征，相应地设定局部取样。即：携带机器的电池残余量变少时，需要降低所消耗的电力，原则上采用局部取样，对于有高频成分的图象，为避免图象质量恶化，不使用局部取样，虽维持图象质量，但实现降低耗电量，这是本发明的特征。因此，在使用携带机器中装入电池的装置时，对应长时间使用方式和电池残余量，控制所消耗的电力等，本发明也是有效的。
如上所述，由于本发明是符号化对象块的频率成分等的图象特征信息以及电池残余量等的使用情况信息为基础进行局部取样的设定。所以，与现有的方法相比，在检出性能和消耗电力方面，更能检出相应的对态向量。又由于对应局部取样的设定相关度运算块，这样，就可以在最小所需电力条件下进行动态向量的检出。