图像形成装置、图像处理装置、系统以及方法.pdf

本发明涉及图像处理装置、图像形成装置、图像处理系统以及图像处理方法。文档核对处理单元基于第1比较处理的结果和第2比较处理的结果，进行相似图像的检索，所述第1比较处理对从在特征量存储单元中存储的第1分辨率的核对关键字图像提取的特征量、和核对对象图像的特征量进行比较，所述第2比较处理从图像数据存储单元中存储的第2分辨率的核对关键字图像提取特征量，并对该提取的特征量和在特征量存储单元中存储的核对对象图像的特征量进行比较。这样，即使核对关键字图像为变倍图像、分配图像、或者低分辨率图像，也能够高精度地检索与该核对关键字图像相似的核对对象图像。

1、  一种图像处理装置，其包括：
特征量提取单元，从图像数据提取该图像数据包含的图像的特征量；
特征量存储部件，将注册图像的特征量和该注册图像的识别信息相对应地存储；以及
相似图像检索单元，将作为核对关键字图像而被指定的图像的特征量、和在所述特征量存储部件中存储有特征量的注册图像中作为设为核对对象的图像的一个以上的核对对象图像的特征量进行比较，从而计算所述核对关键字图像和所述各个核对对象图像的相似度，并基于计算的相似度来检索与所述核对关键字图像相似的相似图像，
所述图像处理装置的特征在于，包括
分辨率变换单元，将核对关键字图像的分辨率变换为第1分辨率和与第1分辨率不同的第2分辨率，
所述相似图像检索单元基于第1比较处理的结果和第2比较处理的结果来进行相似图像的检索，所述第1比较处理将所述特征量提取单元从变换为所述第1分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较，所述第2比较处理将所述特征量提取单元从变换为所述第2分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较。

2、  如权利要求1所述的图像处理装置，其特征在于，
所述相似图像检索单元进行基于所述第1比较处理的结果来检索相似图像的第1检索处理，
在以所述第1检索处理不能确定相似图像的情况下，所述相似图像检索单元进行基于所述第2比较处理的结果来检索相似图像的第2检索处理。

3、  如权利要求1所述的图像处理装置，其特征在于，
所述相似图像检索单元进行：
第1相似度计算处理，基于所述第1比较处理的结果来计算所述核对关键字图像和所述各个核对对象图像的相似度；以及
第2相似度计算处理，基于所述第2比较处理的结果来计算所述核对关键字图像和所述各个核对对象图像的相似度，
基于将通过所述第1相似度计算处理计算的相似度和通过所述第2相似度计算处理计算的相似度按每个核对对象图像进行加法运算得到的相似度，检索相似图像。

4、  如权利要求1所述的图像处理装置，其特征在于，
所述相似图像检索单元进行：
第1相似度计算处理，基于所述第1比较处理的结果来计算所述核对关键字图像和所述各个核对对象图像的相似度；以及
第2相似度计算处理，基于所述第2比较处理的结果来计算所述核对关键字图像和所述各个核对对象图像的相似度，
基于在通过所述第1相似度计算处理以及所述第2相似度计算处理计算的相似度中具有最大值的相似度，检索相似图像。

5、  如权利要求1所述的图像处理装置，其特征在于，包括
图像数据存储部件，将所述注册图像的图像数据和该注册图像的识别信息相对应地存储；
显示单元，显示与在所述图像数据存储部件中存储的图像数据对应的图像；
操作输入单元，接受从所述显示单元中显示的图像中选择设为核对关键字图像的图像的、来自用户的选择指示；以及
注册处理单元，在所述特征量存储部件中存储注册图像的特征量时，将通过所述分辨率变换单元变换为第1分辨率的所述注册图像的特征量、和该注册图像的识别信息相对应地存储在所述特征量存储部件，将通过所述分辨率变换单元变换为第2分辨率的所述注册图像的图像数据、和该注册图像的识别信息相对应地存储在所述图像数据存储单元，
在进行所述第1比较处理时，
所述相似图像检索单元对从与在所述特征量存储部件中存储的所述核对关键字图像对应的第1分辨率的图像提取的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较，
在进行所述第2比较处理时，
所述特征量提取单元基于与在所述图像数据存储部件中存储的所述核对关键字图像对应的第2分辨率的图像数据进行核对关键字图像的特征量的提取，
所述相似图像检索单元对所述特征量提取单元从与所述核对关键字图像对应的第2分辨率的图像数据提取的所述特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较。

6、  如权利要求5所述的图像处理装置，其特征在于，
所述第2分辨率是比所述第1分辨率还要低的分辨率。

7、  一种图像形成装置，包括图像处理装置、和在记录片材上形成与图像数据对应的图像的图像输出单元，所述图像形成装置的特征在于，
所述图像处理装置包括：
特征量提取单元，从图像数据提取该图像数据中包含的图像的特征量；
特征量存储部件，将注册图像的特征量和该注册图像的识别信息相对应地存储；
相似图像检索单元，通过对作为核对关键字图像而被指定的图像的特征量、和在所述特征量存储部件中存储有特征量的注册图像中作为设为核对对象的图像的一个以上的核对对象图像的特征量进行比较，从而计算所述核对关键字图像和所述各个核对对象图像的相似度，并基于计算的相似度，检索与所述核对关键字图像相似的相似图像；以及
分辨率变换单元，将核对关键字图像的分辨率变换为第1分辨率和与第1分辨率不同的第2分辨率，
所述相似图像检索单元基于第1比较处理的结果和第2比较处理的结果来进行相似图像的检索，所述第1比较处理将所述特征量提取单元从变换为所述第1分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较，所述第2比较处理将所述特征量提取单元从变换为所述第2分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较。

8、  一种图像处理系统，包括对图像数据实施规定的处理的图像处理装置、和对该图像处理装置可通信地连接的服务器装置，所述图像处理系统的特征在于，
在上述图像处理装置或上述服务器装置中包括、或者在上述图像处理装置和上述服务器装置中分散地包括：
特征量提取单元，从图像数据提取该图像数据中包含的图像的特征量；
特征量存储部件，将注册图像的特征量和该注册图像的识别信息相对应地存储；
相似图像检索单元，将作为核对关键字图像而被指定的图像的特征量、和在所述特征量存储部件中存储有特征量的注册图像中作为设为核对对象的图像的一个以上的核对对象图像的特征量进行比较，从而计算所述核对关键字图像和所述各个核对对象图像的相似度，并基于计算的相似度来检索与所述核对关键字图像相似的相似图像；以及
分辨率变换单元，将核对关键字图像的分辨率变换为第1分辨率和与第1分辨率不同的第2分辨率，
所述相似图像检索单元基于第1比较处理的结果和第2比较处理的结果来进行相似图像的检索，所述第1比较处理将所述特征量提取单元从变换为所述第1分辨率的核对关键字图像提取的所述核对对象图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较，所述第2比较处理将所述特征量提取单元从变换为所述第2分辨率的核对关键字图像提取的所述核对对象图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较。

9、  一种图像处理方法，进行相似图像检索处理，所述相似图像检索处理对核对关键字图像的特征量、和预先注册的一个以上的核对对象图像的特征量进行比较，从而计算所述核对关键字图像和所述核对对象图像的相似度，并基于计算的相似度检索与所述核对关键字图像相似的相似图像，所述图像处理方法的特征在于，
分辨率变换步骤，将核对关键字图像的分辨率变换为第1分辨率和与第1分辨率不同的第2分辨率；
第1特征量提取步骤，从变换为所述第1分辨率的核对关键字图像提取所述核对关键字图像的特征量；
第2特征量提取步骤，从变换为所述第2分辨率的核对关键字图像提取所述核对关键字图像的特征量；以及
相似图像检索步骤，基于第1比较处理的结果和第2比较处理的结果，进行相似图像的检索，所述第1比较处理对在所述第1特征量提取步骤中提取的特征量和所述核对对象图像的特征量进行比较，所述第2比较处理对在所述第2特征量提取步骤中提取的特征量和所述核对对象图像的特征量进行比较。

图像形成装置、图像处理装置、系统以及方法
技术领域
本发明涉及通过对核对关键字图像的特征量和核对对象图像的特征量进行比较，从而进行两个图像的相似判定的图像处理装置、图像形成装置、图像处理系统、以及图像处理方法。
背景技术
以往，提出了多种通过对由扫描仪读取原稿图像而得到的图像数据和事先注册的图像数据进行比较，从而判定两者的相似度的技术。
作为相似度判定方法，提出了例如根据字符图像由OCR(OpticalCharacter Reader)等提取关键字从而进行匹配的方法、提取在图像中包含的格线的特征从而进行匹配的方法、将图像数据中包含的字符串等置换为点(特征点)，并利用基于这些点的位置关系来计算的特征量来进行匹配的方法等。
此外，在专利文献1(作为日本公开专利公报的特开平7-282088号公报(1995年10月27日公开))中公开了以下技术，即根据输入文档的特征生成对于由于文档的数字化而产生的失真、以及对于输入文档和文档数据库中的匹配的文档之间的差异成为不变而选取的描述符，并利用该描述符和描述符数据库，进行输入文档和文档数据库中的文档之间的匹配，所述描述符数据库记录描述符并用于指示包含提取描述符的特征的文档的列表。在该技术中，在描述符数据库被扫描时，合计对文档数据库中的各个文档的投票结果，并将最高得票数的一个文档或得票数超过了某阈值的文档设为匹配文档。
此外，在专利文献2(国际公开第WO2006/092957A1号小册子(公开日：2006年9月8日))中公开了以下技术，即提取英文文档中的单词的重心、黑像素的连接分量的重心、汉字的闭锁空间、图像中反复出现的特定部位等作为特征点，并对提取出的各个特征点决定局部的特征点的集合，从所决定的各个集合选择特征点的子集，并将选择的各个子集作为特征赋予量，对子集中的特征点的多个组合分别求出对于几何学变换的不变量，将求出的各个不变量作为特征量，基于这样求出的特征量进行文档核对。
但是，在上述的以往的技术中，在核对关键字图像的分辨率和核对对象图像的分辨率不同的情况下，存在不能高精度地判定这两个图像的相似性的问题。
详细说明上述的问题点。另外，在本说明书中，“核对关键字(key)图像”是指成为对于预先注册的图像的核对处理的关键字的图像，“核对对象图像”是指成为进行上述核对处理时的检索对象的图像。例如，在判定与图像数据A中包含的原稿图像相似的图像是否包含在预先注册的图像组中的情况下，在上述图像数据A中包含的原稿图像为核对关键字图像，属于上述图像组的图像成为核对对象图像。此外，在本说明书中，“注册图像”是指在图像处理装置或者图像处理系统中注册的所有的图像。从而，在核对关键字图像为在图像处理装置或图像处理系统中注册的图像的情况下，该核对关键字图像也相当于注册图像。
在利用图像的特征量来判定图像之间的相似性的情况下，通过使图像之间的分辨率相同而进行核对，从而判定精度最高。这是因为使图像之间的分辨率一致，从而能够在相同的条件下进行成为判定的基准的特征量的提取。
但是，在核对关键字图像为读取变倍原稿或布置(layout)原稿而得到的图像的情况下、或者由FAX作业来取得的图像的情况等，核对关键字图像中的原稿图像的图像尺寸和该原稿图像的原来的图像尺寸不同。特别是，将读入的原稿依次注册的图像作业记录系统等中，一般，将读取变倍原稿或布置原稿而得到的图像或由FAX作业而取得的图像以取得时的分辨率存储，所以这些图像中包含的原稿图像的尺寸与该原稿图像的原来的图像尺寸(上述原稿图像被默认处理时的图像尺寸)不同的情况较多。
因此，在核对对象图像的特征量为基于原稿图像的原来的图像尺寸(上述原稿图像被默认处理时的图像尺寸)来计算的特征量的情况下，即使以与取得核对对象图像时相同的分辨率(默认的分辨率)读取核对关键字图像，实际的分辨率也不同。
然后，若核对对象图像和核对关键字图像的实际分辨率不同，则产生例如对于实际上没有互相连接的多个像素连接区域，在高分辨率的图像中识别为互相不同的像素连接区域，却在低分辨率的图像中识别为一个像素连接区域的缺陷。其结果，产生相似性的判定精度下降，判定结果不同的问题。
作为一例，对以下情况进行说明，即将A4尺寸的原稿A、B分别以600dpi读取的图像数据(核对对象图像)、和同样以600dpi读取将A4尺寸的上述两张原稿(原稿A、B)的图像布置在一张A4尺寸的布置原稿的图像数据(核对关键字图像)进行比较。
两张A4尺寸的原稿布置为一张A4尺寸的布置原稿的情况下，被布置的两个原稿图像分别相对于原来的尺寸(A4尺寸)缩小至约0.7倍。从而，在该布置原稿中包含的各个原稿图像(原稿A、B)的实际的分辨率成为约420dpi。
因此，会比较分别以600dpi读取A4尺寸的原稿A、B而得到的特征量、和以600dpi读取布置图像而得到的特征量(以约420dpi读取原稿A、B而得到的特征量的组合)。此时，对于各个原稿的特征量的提取结果不同，不能高精度地判定核对关键字图像(原稿A、B的布置图像)和核对对象图像(原稿A、B的原来尺寸的图像)的相似性。其结果，例如会产生判定为与原稿A、B的任一个都不相似，或判定为只与原稿A、B中的一个相似的误判定。
发明内容
本发明鉴于上述的问题点而完成，其目的在于，即使核对关键字图像为变倍图像、分配图像、或者低分辨率图像，也能够高精度地判定该核对关键字图像和预先注册的核对对象图像之间的相似性。
本发明的图像处理装置为了解决上述的课题，包括：特征量提取单元，从图像数据提取该图像数据中包含的图像的特征量；特征量存储部件，将注册图像的特征量和该注册图像的识别信息相对应地存储；以及相似图像检索部件，将作为核对关键字图像而被指定的图像的特征量、和在所述特征量存储部件中存储有特征量的注册图像中作为设为核对对象的图像的一个以上的核对对象图像的特征量进行比较，从而计算所述核对关键字图像和所述各个核对对象图像的相似度，并基于计算的相似度来检索与所述核对关键字图像相似的相似图像，所述图像处理装置的特征在于，包括分辨率变换单元，将核对关键字图像的分辨率变换为第1分辨率和与第1分辨率不同的第2分辨率，所述相似图像检索部件基于第1比较处理的结果和第2比较处理的结果来进行相似图像的检索，所述第1比较处理将所述特征量提取单元从变换为所述第1分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较，所述第2比较处理将所述特征量提取单元从变换为所述第2分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较。
根据上述的结构，基于对所述特征量提取单元从变换为所述第1分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较的第1比较处理的结果，和对所述特征量提取单元从变换为所述第2分辨率的核对关键字图像提取的所述核对关键字图像的特征量、和在所述特征量存储部件中存储的所述核对对象图像的特征量进行比较的第2比较处理的结果，进行相似图像的检索。由此，能够基于对于核对关键字图像的多个分辨率的图像数据进行相似检索处理，所以即使核对关键字图像为变倍图像、分配图像或者低分辨率图像，也能够高精度地检索与该核对关键字图像相似的核对对象图像。
本发明的其它目的、特征、以及优点可由以下所示的记载充分了解。此外，本发明的优点通过参照了附图的以下说明会很清楚。
附图说明
图1是表示在本发明的一实施方式的图像处理系统中包含的服务器装置的概略结构的方框图。
图2是表示本发明的一实施方式的图像处理系统的概略结构的说明图。
图3是表示本发明的一实施方式的图像处理系统中包含的复合机的概略结构的方框图。
图4是表示本发明的一实施方式的图像处理系统中包含的终端装置的概略结构的方框图。
图5是表示图1的服务器装置中包含的文档核对处理单元的结构的方框图。
图6是表示图5所示的文档核对处理单元中包含的特征点计算单元的结构的方框图。
图7是表示在图5所示的特征点计算单元的MTF处理单元中所使用的混合滤波器的滤波系数的一例的说明图。
图8是表示通过图5所示的特征点计算单元从输入图像数据提取的连接区域以及该连接区域的重心的一例的说明图。
图9是表示通过图5所示的特征点计算单元从输入图像数据中包含的字符串提取的多个连接区域的各个重心(特征点)的一例的说明图。
图10是表示图5所示的文档核对处理单元中包含的特征量计算单元的结构的方框图。
图11是表示通过图10所示的特征量计算单元计算特征量时提取的关注特征点以及周边特征点的一例的说明图。
图12(a)～图12(d)是表示通过图10所示的特征量计算单元计算特征量时提取的关注特征点以及周边特征点的组合的一例的说明图。
图13(a)～图13(d)是表示通过图10所示的特征量计算单元计算特征量时提取的关注特征点以及周边特征点的组合的一例的说明图。
图14(a)以及图14(b)是表示对于注册在散列表的各个特征点的散列值以及用于表示输入图像数据的索引的一例的说明图。
图15是表示在图5所示的文档核对处理单元中包含的特征量存储单元中存储的各个注册图像的原稿ID、各个注册图像的特征点、这些各个特征点的坐标之间的关系的说明图。
图16是用于说明在图5所示的文档核对处理单元中包含的投票处理单元中进行的投票处理的说明图。
图17是表示在图5所示的文档核对处理单元中包含的投票处理单元中进行的、对于各个核对对象图像的投票数的一例的图表。
图18是用于说明使核对对象图像的特征点的坐标系统和核对关键字图像的特征点的坐标系统一致的坐标变换处理的说明图。
图19是表示在图1所示的服务器装置中的特征量注册处理的流程的流程图。
图20是表示在图1所示的服务器装置中的相似图像检索处理的流程的流程图。
图21是表示本发明的一实施方式的图像处理系统的变形例的说明图。
具体实施方式
说明本发明的一实施方式。另外，在本实施方式中，主要说明适用于将在复合机中处理的原稿图像的特征量和该原稿图像的图像ID相对应，从而依次注册到服务器装置的图像作业记录(log)系统(图像处理系统)的情况。
图2是表示本实施方式的图像处理系统100的概略结构的说明图。如图1所示，图像处理系统100包括复合机200、服务器装置(复合机监视服务器)300、以及终端装置400，这些各个装置经由网络可通信地连接。另外，在本实施方式中，说明复合机200和服务器装置300经由网络连接的结构，但并不限于此，也可以将服务器装置300设置在复合机200内。
复合机200具有复印功能、打印机功能、传真功能、扫描功能、scan toe-mail功能等。此外，复合机200将对图像数据进行的操作的操作内容以及进行了操作的图像数据发送到服务器装置300。
服务器装置300保存从复合机200接收到的图像数据和对该图像数据进行的操作的操作内容作为附带处理图像的记录。
终端装置400是用于检索或阅览在服务器装置300中保存的记录的装置。此外，终端装置400对服务器装置300发送用于请求检索在服务器装置300中是否保存与核对关键字图像相似的核对注册图像的相似图像检索请求。
作为终端装置400例如可利用个人计算机等。
图3是表示复合机200的概略结构的方框图。如图3所示，复合机200包括彩色图像输入装置2、彩色图像处理装置3、彩色图像输出装置4、通信装置5、以及操作面板6，其具有复印功能、打印机功能、传真功能、扫描仪功能、scan to e-mail功能等。
彩色图像输入装置2是读取原稿的图像并生成图像数据的装置，例如由包括CCD(Charge Coupled Device)等将光学信息变换为电信号的设备的扫描单元(未图示)构成。这里，彩色图像输入装置2将来自原稿的反射光像作为RGB(R：红、G：绿、B：蓝)的模拟信号输出给彩色图像处理装置3。
彩色图像处理装置3对从彩色图像输入装置2输入的模拟信号施加各种处理，并变换为彩色图像输出装置4可操作的形式，从而输出到彩色图像输出装置的装置，其包括A/D(模拟/数字)转换单元11、黑斑校正单元12、输入色阶校正单元13、区域分离处理单元14、颜色校正单元15、黑版生成底色去除单元16、空间滤波器处理单元17、输出色阶校正单元18、以及色阶再现处理单元19。由彩色图像输入装置2读取的模拟信号以A/D转换单元11、黑斑校正单元12、输入色阶校正单元13、区域分离处理单元14、颜色校正单元15、黑版生成底色去除单元16、空间滤波器处理单元17、输出色阶校正单元18、以及色阶再现处理单元19的顺序在彩色图像处理装置3内传送，最终成为数字信号的CMYK信号。然后，由色阶再现处理单元19输出的数字信号的CMYK信号暂时存储在未图示的存储器之后，输出到彩色图像输出装置4或通信装置5。
A/D转换单元11是将RGB的模拟信号转换为数字信号的单元，在黑斑校正单元12，对由A/D转换单元11送来的数字RGB信号施加用于去除在彩色图像输入装置2的照明系统、成像系统、拍摄系统中产生的各种失真的处理。
输入色阶校正单元13对在黑斑校正单元12被除去了各种失真的RGB信号进行彩色平衡的调整、以及变换为浓度信号等彩色图像处理装置所采用的、图像处理系统易操作的信号的处理。
区域分离处理单元14根据RGB信号，将输入图像中的各个像素分离为字符区域、网点区域、照片区域的任一个。区域分离处理单元14基于分离结果，将表示像素属于哪个区域的区域识别信号输出到黑版生成底色去除单元16、空间滤波器处理单元17、以及色阶再现处理单元19。此外，区域分离处理单元14将从输入色阶校正单元13输出的输入信号原样输出到后级的颜色校正单元15。
颜色校正单元15为了实现颜色再现的忠实性，进行用于除去基于包含不需要吸收分量的CMY(C：青，M：品红，Y：黄)色材的分光特性的色浊的处理。
黑版生成底色去除单元16进行由色校正后的CMY的三色信号生成黑(K)信号的黑版生成、从原来的CMY信号中减去由黑版生成得到的K信号从而生成新的CMY信号的处理。由此，CMY的三色信号被转换为CMYK的四色信号。
空间滤波器处理单元17对由黑版生成底色去除单元16输入的CMYK信号的图像数据，基于区域识别信号进行数字滤波器的空间滤波处理，校正空间频率特性。由此，能够减少输出图像的模糊或粒状性恶化。色阶再现处理单元19与空间滤波器处理单元17同样地，对CMYK信号的图像数据基于区域识别信号施加规定的处理。
例如，为了提高字符的再现性，在空间滤波器处理单元17利用高频分量的增强量大的空间滤波器对在区域分离处理单元14中被分离为字符的区域进行滤波处理。此外，在色阶再现处理单元19中，实施基于适合高频分量的再现的高分辨率的网屏(screen)的二值化或多值化处理。
此外，关于在区域分离处理单元14分离为网点的区域，在空间滤波器处理单元17实施用于去除输入网点分量的低通滤波处理。然后，在输出色阶校正单元18，进行了将浓度信号等信号变换为作为彩色图像输出装置4的特性值的网点面积率的输出色阶校正处理后，在色阶再现处理单元19，施加色阶再现处理，最终将图像分离为像素从而能够再现各个色阶。关于在区域分离处理单元14分离为照片的区域，进行在重视色阶再现性的网屏下的二值化或多值化处理。
被施加了上述的各个处理的图像数据暂时存储在未图示的存储器之后，在规定的定时被读出从而输入到彩色图像输出装置4或通信装置5。例如，在执行复印功能或打印机功能时，上述图像数据被送至彩色图像输出装置4，在执行传真功能或scan to e-mail功能时上述图像数据被送至通信装置5。
彩色图像输出装置4将从彩色图像处理装置3输入的图像数据输出到记录材料(例如纸等)上。彩色图像输出装置4的结构并没有特别限定，例如可使用利用了电子照片方式和喷墨方式的彩色图像输出装置。
通信装置5例如由调制解调器或网卡构成。在进行传真发送时，在由调制解调器进行与对方地址的发送手续并确保可发送的状态时，从存储器读出以规定的形式压缩的图像数据(由扫描仪读入的图像数据)，并施加压缩形式的变更等必要的处理，从而经由通信线路对对方地址依次发送。
在接收传真时，通信装置5进行通信手续的同时接收从对方地址发送来的图像数据从而输入到彩色图像处理装置3。在彩色图像处理装置3中，对接收到的图像数据由未图示的压缩/解压缩处理单元施加解压缩处理。被解压的图像数据根据需要进行旋转处理和分辨率变换处理，并施加输出色阶校正、色阶再现处理，并由彩色图像输出装置4输出。
此外，在实施scan to e-mail功能时，通信装置5从存储器读出以规定的形式压缩的图像数据(由扫描仪读入的图像数据)，并附加到e-mail而发送到规定的地址。
此外，通信装置5经由网卡、LAN电缆等，与连接到网络的服务器装置300、终端装置400、或者其它的各种设备进行数据通信。
操作面板6例如由液晶显示器等显示单元和设定按钮等构成(都没有图示)，将与复合机200的主控制单元(未图示)的指示对应的信息显示在上述显示单元，并将经由上述设定按钮由用户输入的信息传送给上述主控制单元。用户能够经由操作面板6输入对输入图像数据的处理请求、处理张数等。
上述主控制单元例如由CPU(Central Processing Unit)等构成，基于在未图示的ROM等存储的程序和各种数据、从操作面板6输入的信息等，控制复合机200的各个单元的动作。
此外，在复合机200中进行对图像数据的处理时，主控制单元将该图像数据和对于该图像数据的操作记录信息经由通信装置5发送给服务器装置300。另外，上述操作记录信息也可以包含例如对图像数据进行了处理的时刻、用户、处理模式、处理的执行结果等。
图1是表示服务器装置300的概略结构的方框图。如图1所示，服务器装置300包括数据接收单元311、分辨率变换处理单元312、图像数据存储单元313、文档核对处理单元314、特征量存储单元315、作业信息存储单元316、WebUI317、以及服务器控制单元318。
数据接收单元311从复合机200接收图像数据以及对该图像数据的操作记录信息(时间、用户、处理模式、执行结果等)。
分辨率变换处理单元312将从复合机200接收到的图像的分辨率(例如600dpi)变换为规定的第1分辨率(例如300dpi)而输出给文档核对处理单元314。此外，在文档核对处理单元314中，对于变倍为第1分辨率的图像数据的特征量提取处理以及注册处理结束后，分辨率变换处理单元312将第1分辨率的上述图像数据变倍为比第1分辨率低的第2分辨率(例如150dpi)从而存储到图像数据存储单元313。另外，第1分辨率以及第2分辨率的值不限定于上述的例子，只要适当设定即可。
分辨率的变换方法没有特别限定，例如可利用最近的临近区域法(nearestneighbor)、双线性法(bi-Linear)、或者双立方法(bi-Cubic)等。最近的临近区域法是指，将离要插补的像素最近、或者对要插补的像素处于规定的位置关系的已有像素的值设为该插补像素的值的方法。双线性法是指，求出以与围绕要插补的像素的周围4个点的已有像素的距离成比例的形式加权的值的平均值，并将该值设为插补像素的方法。双立方法是指，利用除了围绕要插补的像素的4个点之外，还加上围绕它们的12个点的总计16个点的像素的值，进行插补运算的方法。
图像数据存储单元313存储从分辨率变换处理单元312输出的上述第2分辨率的图像数据。另外，在图像数据存储单元313存储的图像数据用于用户或系统的管理员检索、预览操作记录信息时的显示等。
文档核对处理单元314在进行图像的注册处理时，计算对于从分辨率变换处理单元312输入的第1分辨率的图像数据的特征量，并与图像ID相对应地存储在特征量存储单元315。此外，在进行相似图像的提取处理时，计算对于从图像数据存储单元313输入的第2分辨率的图像数据的特征量，利用根据该第2分辨率的图像数据计算的特征量和在特征量存储单元315中存储的对第1分辨率的图像数据计算的特征量，进行相似图像的提取处理。对于文档核对处理单元314的细节，将在后面叙述。
特征量存储单元315将由文档核对处理单元314计算的图像数据的特征量和该图像数据的图像ID相对应地存储。
作业信息存储单元316将从复合机200接收的图像数据的图像ID和对于该图像数据的操作记录信息相对应地存储。另外，在本实施方式中将操作记录信息以复合机200中的作业为单位存储。
WebUI317是经由Web浏览器与其它装置进行通信的接口。在本实施方式中，由该WebUI317接受从终端装置400发送的相似图像检索请求，并经由WebUI317对终端装置400返回检索结果。
服务器控制单元318控制在服务器装置300包含的各个单元的动作。
图4是表示终端装置400的概略结构的方框图。如图4所示，终端装置400包括控制单元401、操作输入单元402、WebUI403、以及显示单元404。
操作输入单元402是接受来自用户的输入指示的单元，例如由键盘、鼠标、笔输入装置等指示(pointing)设备、或者触摸面板等构成。
WebUI403是经由Web浏览器与其它装置进行通信的接口。
显示单元404是显示用于支持用户的输入指示操作的信息、与图像数据对应的图像等的单元，可利用例如液晶显示器、CRT显示器、等离子显示器、有机EL显示器等。
控制单元401根据经由操作输入单元402输入的来自用户的输入指示等，控制终端装置400的各个部分的动作，例如由CPU等构成。
在本实施方式中，控制单元401经由WebUI403，从服务器装置300取得在该服务器装置300的图像数据存储单元313中存储的第2分辨率的图像数据，从而显示在显示单元404。然后，用户经由操作输入单元402基于在显示单元404显示的第2分辨率的图像数据选择进行相似图像的检索处理的图像。然后，基于该选择指示，控制单元401对服务器装置300通知用于进行检索处理的图像(核对关键字图像)，经由WebUI403，发送用于请求检索在服务器装置300中是否存储与该核对关键字图像相似的核对对象图像的相似图像检索请求。
接着，说明文档核对处理单元314。图5是表示文档核对处理单元314的一结构例的方框图。图5所示的文档核对处理单元314包括特征点计算单元31、特征量计算单元32、投票处理单元33、相似度判定处理单元34、注册处理单元35、控制单元36、以及存储器37。
控制单元36控制文档核对处理单元314的各个部分的动作以及对存储器37的存取。另外，控制单元36也可以包含在用于控制服务器装置300的各个部分的动作的服务器装置300的主控制单元(未图示)中，也可以与该主控制单元分开设置，与主控制单元协作地控制文档核对处理单元314的动作。
存储器37存储在文档核对处理单元314的各个部分的处理中所使用的各种数据、处理结果等。
特征点计算单元31根据输入图像数据(由分辨率变换处理单元312输入的第1分辨率的图像数据或从图像数据存储单元313读出的第2分辨率的图像数据)，提取字符串和网线的连接部分，并计算连接部分的重心作为特征点。此外，特征点计算单元31计算各个特征点的坐标。
图6是表示特征点计算单元31的概率结构的方框图。如图6所示，特征点计算单元31包括信号变换处理单元(无色化处理单元)41、MTF处理单元42、二值化处理单元43、以及重心计算单元44。
在从分辨率变换处理单元312或图像数据存储单元313输入的图像数据(RGB信号)为彩色图像的情况下，信号变换处理单元41对该图像数据进行无色化，从而变换为明度信号或亮度信号。
例如，信号变换处理单元41根据下述算式(1)，将RGB信号变换为亮度信号Y。
Yj＝0.30Rj+0.59Gj+0.11Bj  ...(1)
其中，Yj是各个像素的亮度信号，Rj、Gj、Bj是各个像素的RGB信号中的各个颜色分量，下标j是对每个像素附加的值(j是1以上的整数)。
或者，也可以将RGB信号变换为CIE1976L^*a^*b^*信号(CIE：CommissionInternational de l’Eclairage，L^*：明度，a^*、b^*：色度)。
MTF(modulation transfer function)处理单元42用于吸收(调整)图像输入装置的空间按频率特性按机种而不同的状态。CCD输出的图像信号由于透镜或反射镜等光学元件、CCD的受光面的数值孔径(aperture)开口度、转移效率或残留图像、物理扫描引起的积分效应及操作不均等，产生MTF的劣化。由于该MTF的劣化，读入的图像变得模糊。
MTF处理单元42通过施加适当的滤波处理(增强处理)，进行修复由于MTF的劣化而引起的模糊的处理、以及用于抑制在后级的重心计算单元44中的特征点提取处理中不需要的高频分量的处理。具体地说，利用混合滤波器(未图示)进行增强以及平滑处理。另外，图7表示该混合滤波器中的滤波系数的一例。
二值化处理单元43通过对被无色化的图像数据(亮度值(亮度信号)或者明度值(明度信号))和预先设定的阈值进行比较，从而将图像数据二值化。
重心计算单元44基于在二值化处理单元43中被二值化的图像数据(例如由“1”、“0”表示)，对各个像素进行标示(标示处理)。然后，确定连接了被附于相同标示的像素的连接区域，提取确定了的连接区域的重心作为特征点。而且，将提取的特征点输出到特征量计算单元32。另外，上述特征点作为二值图像中的坐标值(x坐标、y坐标)而计算。
图8是表示从输入图像数据提取的连接区域以及该连接区域的重心的一例的说明图，表示与“A”字符串对应的连接区域以及重心。此外，图9是表示从在输入图像数据中包含的字符串提取的多个连接区域的各个重心(特征点)的一例的说明图。
特征量计算单元32利用在特征点计算单元31计算的特征点，计算作为对于原稿图像的旋转、放大、缩小、平移等几何变形不变的量的特征量(散列值和/或不变量)。
图10是表示特征量计算单元32的概略结构的方框图。如图10所示，特征量计算单元32包括特征点提取单元32a、不变量计算单元32b、散列值计算单元32c。
如图11所示，特征点提取单元32a将一个特征点作为关注特征点，将该关注特征点周边的特征点从与关注特征点的距离近的特征点开始依次提取规定数(这里为4点)作为周边特征点。在图11的例子中，在将特征点a设为关注特征点的情况下提取特征点b、c、d、e四个点作为周边特征点，在将特征点b作为关注特征点的情况下，提取特征点a、c、e、f四个点作为周边特征点。
此外，特征点提取单元32a提取能够从上述那样提取的四个周边特征点中选择的三个点的组合。例如，如图12(a)～图12(d)所示，在将图11所示的特征点a作为关注特征点的情况下，提取周边特征点b、c、d、e中的三个点的组合，即、周边特征点b、c、d、周边特征点b、c、e、周边特征点b、d、e、周边特征点c、d、e的各个组合。
接着，不变量计算单元32b对提取的各个组合，计算对于几何变形的不变量(特征量之一)Hij。
其中，i是表示关注特征点的数(i为1以上的整数)，j是表示周边特征点3点的组合的数(j是1以上的整数)。在本实施方式中，将连接周边特征点之间的线段的长度中的两个之比设为不变量Hij。
上述线段的长度能够基于各个周边特征点的坐标值来计算。例如，在图12(a)的例子中，若将连接特征点b和特征点c的线段的长度设为A11，将连接特征点b和特征点d的线段的长度设为B11，则不变量H11是H11＝A11/B11。
此外，在图12(b)的例子中，若将连接特征点b和特征点c的线段的长度设为A12，将连接特征点b和特征点e的线段的长度设为B12，则不变量H12是H12＝A12/B12。此外，在图12(c)的例子中，若将连接特征点b和特征点d的线段的长度设为A13，将连接特征点b和特征点e的线段的长度设为B13，则不变量H13是H13＝A13/B13。此外，在图12(d)所示的例子中，若将连接特征点c和特征点d的线段的长度设为A14，将连接特征点c和特征点e的线段的长度设为B14，则不变量H14是H14＝A14/B14。这样，在图12(a)～图12(d)的例子中，计算不变量H11、H12、H13、H14。
另外，在上述的例子中，将连接离关注特征点最近的周边特征点和第2近的周边特征点的线段设为Aij，将连接离关注特征点最近的周边特征点和第3近的周边特征点的线段设为Bij，但并不限于此，在不变量Hij的计算中所使用的线段可以由任意的方法来选定。
接着，散列值计算单元32c计算下式
Hi＝(Hi1×10³+Hi2×10²+Hi3×10¹+Hi4×10⁰)/D
中的余数的值作为散列值(特征量之一)Hi，并存储到存储单元37。另外，上述D是根据将余数可取的值的范围设定为何种程度来预先设定的常数。
另外，不变量Hij的计算方法没有特别限定，例如，也可以将关注特征点的相邻5个点的复比、从相邻n个点(n为n≥5的整数)提取的5个点的复比、基于从相邻n个点提取的m个点(m为m＜n且m≥5的整数)的配置及从m个点提取的5个点的复比所计算的值等设为对于关注特征点的上述不变量Hij。另外，复比是从直线上的4个点或平面上的5个点求出的值，已知为对于几何变换的一种的映射变形的不变量。
此外，对于计算散列值Hi的算式，也不限于上述算式，例如也可以利用上述以外的一般已知的散列函数。
此外，在对于一个关注特征点的周边特征点的提取以及散列值Hi的计算结束时，特征量计算单元32的各个部分将关注特征点变更为其它的特征点，从而进行周边特征点的提取以及散列值的计算，计算对于所有的特征点的散列值。
在图11的例子中，在将特征点a作为关注特征点时的周边特征点以及散列值的提取结束时，接着进行将特征点b作为关注特征点时的周边特征点以及散列值的提取。在图11的例子中，在将特征点b作为关注特征点的情况下，提取特征点a、c、e、f的四个点作为周边特征点。
然后，如图13(a)～图13(d)所示，提取从这些周边特征点a、c、e、f中选择的3个点的组合(周边特征点a、e、f，周边特征点a、e、c，周边特征点a、f、c，周边特征点e、f、c)，并对各个组合计算散列值Hi，存储到存储器37。然后，对各个特征点重复进行该处理，分别求出将各个特征点作为关注特征点时的散列值而存储到存储器37。
此外，在进行图像数据的注册处理时，即进行了特征量的提取的图像数据为从分辨率变换处理单元312输入的第1分辨率的图像数据的情况下，特征量计算单元32将上述那样计算的对于各个特征点的散列值(特征量)和特征点计算单元31计算的各个特征点的坐标送到注册处理单元35。此时，直通(through不进行任何处理)投票处理单元、相似度判定处理单元的处理。
此外，在进行图像数据的核对处理时，即进行了特征量的提取的图像数据为从图像数据存储单元313读出的第2分辨率的图像数据的情况下，特征量计算单元32将上述那样计算的对于各个特征点的散列值(特征量)和特征点计算单元31计算的各个特征点的坐标送到投票处理单元33。
注册处理单元35将特征量计算单元32计算的对于各个特征点的散列值(特征量)、和用于表示进行了散列值计算的图像数据的图像的索引(图像ID)相对应地注册在存储器37(参照图14(a))。另外，在散列值已注册的情况下，与该散列值对应地注册图像ID。图像ID是不重复地依次分配号码。
此外，存储器37中注册的图像的数量比规定值(例如，可注册的图像的数量的80％)多的情况下，可以检索旧图像ID从而依次删除。此外，被删除的图像ID也可以作为新的图像数据的图像ID来再度使用。此外，在计算的散列值为相同值的情况下(在图14(b)的例子中是H1＝H5)，可以将它们汇总为一个来注册到散列表中。
此外，在图14(b)的例子中，H1＝H5，并将它们汇总为一个H1而注册到散列表，但在这样的表格值中，在根据图像数据计算的散列值中有H1的情况下，在对原稿ID1进行投票处理时投2票。
此外，如图15所示，注册处理单元35将图像数据中的各个特征点的识别号(表示特征点的索引)和这些各个特征点的坐标相对应地存储到存储器37。
投票处理单元33，将对于核对关键字图像的各个特征点的散列值、与注册在存储器37的注册图像中除了核对关键字图像的图像(核对对象图像)的散列值进行比较，对具有相同散列值的注册图像进行投票。作为核对判定处理的方法，例如可利用在非专利文献1(中居  友弘、黄瀬  浩一、岩村  雅一著、「複比の投票に基づく文書画像検索と射影歪み補正」、画像の識·理解シンポジウム(MIPU2005)(情報処理学会コンピユ一タビジヨンとイメ一ジメデイア研究会主催)予稿集、p p.538-p p.545)中记载的方法。另外，上述的核对关键字图像是与在从终端装置400接收的相似图像检索请求中指定的图像ID对应的图像，存在在图像数据存储单元313中存储的第2分辨率的图像和将特征量存储在特征量存储单元315中的第1分辨率的图像。即，在本实施方式中，进行基于从与在相似图像检索请求中指定的图像ID对应的、在图像数据存储单元313中存储的第2分辨率的核对关键字图像提取的特征量的投票处理，和基于与在相似图像检索请求中指定的图像ID对应的、在特征量存储单元315中存储特征量的第1分辨率的核对关键字图像的特征量的投票处理。
然后，如图16所示，投票处理单元33在存储器37中存储对核对关键字图像中的各个特征点p1、p2、...，投票给哪个核对对象图像的哪个特征点的情况。在图16的例子中，判定为对核对关键字图像的特征点p1所求出的特征量(散列值)与核对对象图像ID1的特征点f1的特征量一致，对核对关键字图像的特征点p2所求出的特征量(散列值)与核对对象图像ID3的特征点f2的特征量一致。图17是表示对于核对对象图像ID1、ID2、ID3的投票结果(投票数)的一例的图表。
相似度判定处理单元34基于投票处理单元33的上述两种投票结果，即基于第1分辨率的核对关键字图像的特征量的投票处理结果和基于从第2分辨率的核对关键字图像提取的特征量的投票处理结果，计算对于各个核对对象图像的相似度。
例如，相似度判定处理单元34基于上述两种投票结果，判断为得票数越多的核对对象图像对于核对关键字图像的相似度越高。此时，能够以得票数合计来分类从而判定相似度。
或者，也可以将投票处理单元33的投票结果中的核对对象图像的得票数除以该核对对象图像能够获得的最大得票数而进行归一化，并利用标准化的结果来判断相似度。通过利用这样标准化的结果，即使是特征点数量少的核对对象图像也能够适当地评价相似度。
另外，上述的最大得票数由“特征点的数量”ד从一个特征点(关注特征点)计算的散列值的数值”来表示。其中，在本实施方式中，设为对一个特征点(关注特征点)计算一个散列值，但并不限于此，也可以对一个特征点(关注特征点)计算多个散列值。例如，也可以利用以下方法，即提取6个点作为关注特征点的周边特征点，并对从该6个点提取了5个点的6个组合的每一个组合，从5个点提取3个点求出不变量从而计算散列值的方法。此时，成为对1个特征点计算6个散列值。
但是，在Nin1原稿等中，原来的原稿被缩小并旋转。因此，也可以进行核对对象图像的特征点和核对关键字图像的特征点的位置对齐，并基于上述的投票处理结果和上述的位置对齐结果来判定两个图像的相似度。此时，例如，对于获得最初预先决定的规定的得票数以上(例如，在标准化的值80％以上)的图像判定为相似度高，仅对得票数低的图像进行特征点之间的位置对齐，并进行是否为相似图像的判定。这样，能够高精度地拾取(pick-up)与核对关键字图像部分一致的图像。例如，即使在核对关键字图像为仅仅剪下核对对象图像中的重要数据部分而复制的图像的情况下，也能够在核对处理中拾取包含该重要数据部分的核对对称图像。
作为具体的处理方法，例如，投票处理单元33利用如图15所示那样预先注册的核对对象图像的各个特征点的坐标，求出核对关键字图像的特征点和核对对象图像的特征点的位置关系，进行使核对对象图像的特征点的坐标系统和核对关键字图像的特征点的坐标系统统一的处理。
例如，在图16所示的例子中，在判定为核对关键字图像与核对对象图像ID1相似的情况下，将该核对对象图像ID1中的各个特征点在核对对象图像ID1的坐标系统中的坐标变换为核对关键字图像的坐标系统中的坐标。表1表示两个坐标系统中的特征点的坐标的对应关系。
(表1)