《图像检索系统以及图像检索方法.pdf》由会员分享，可在线阅读，更多相关《图像检索系统以及图像检索方法.pdf（14页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 (43)申请公布日 (21)申请号 201380020159.3(22)申请日 2013.05.212012-118411 2012.05.24 JPG06F 17/30(2006.01)G06T 1/00(2006.01)(71)申请人松下知识产权经营株式会地址日本大阪(72)发明人松川隆行 由雄宏明 山田伸西村纯(74)专利代理机构中原信达知识产权代理有限责任公司 11219代理人穆德骏 谢丽娜(54) 发明名称图像检索系统以及图像检索方法(57) 摘要本发明提供能够在保持检索精度的同时抑制传输量的图像检索系统。检索服务器(300)通常从记录器(200)仅获得数据量较少。
2、的低维数据。检索服务器(300)在低维图像数据的在特征空间内的密度为规定的阈值以上的情况下，即，在如果只是低维数据则用于进行图像之间的识别的维数不够的情况下，从记录器(200)获得关于该低维图像数据的高维图像数据。由此，能够在保持检索精度的同时抑制通信路径(130)的数据传输量。(30)优先权数据(85)PCT国际申请进入国家阶段日2014.10.15(86)PCT国际申请的申请数据PCT/JP2013/003233 2013.05.21(87)PCT国际申请的公布数据WO2013/175771 JA 2013.11.28(51)Int.Cl.(19)中华人民共和国国家知识产权局(12)发明专。
3、利申请权利要求书1页 说明书6页 附图6页(10)申请公布号 CN 104380288 A(43)申请公布日 2015.02.25CN 104380288 A1/1页21.图像检索系统，具有：图像存储装置，其存储图像数据；以及检索装置，其通过通信路径与所述图像存储装置连接，从存储于所述图像存储装置的图像中检索与由检索终端查询过的检索查询图像对应的图像，所述检索装置具备：低维数据获得单元，其通过所述通信路径从所述图像存储装置获得包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据；判定单元，其判定所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据是否相似；以及高维。
4、数据获得单元，其在由所述判定单元得到了所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置获得所述关于第一物体的高维图像数据和所述关于第二物体的高维图像数据。2.如权利要求1所述的图像检索系统，所述判定单元对所述低维图像数据进行分群，计算同一群内的所述低维图像数据的密度，在所述密度为规定的阈值以上的情况下，判定为同一群内的所述低维图像数据相似。3.如权利要求1或2所述的图像检索系统，基于所述低维图像数据与所述检索查询图像之间的特征空间内距离，对所述低维图像数据的与所述检索查询图像之间的相似性进行排序，基于所述高维图像数据与所述。
5、检索查询图像之间的特征空间内距离，对存在所述高维图像数据的所述低维图像数据进行重新排序。4.图像检索方法，其中，检索装置从通过通信路径连接的图像存储装置中存储的图像中检索与由检索终端查询过的检索查询图像对应的图像，该图像检索方法包括如下步骤：通过所述通信路径从所述图像存储装置向所述检索装置传输包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据的步骤；判定所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据是否相似的步骤；以及在得到所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置向所述检索装置。
6、传输所述关于第一物体的高维图像数据和所述关于第二物体的高维图像数据的步骤。权 利 要 求 书CN 104380288 A1/6页3图像检索系统以及图像检索方法技术领域0001 本发明涉及图像检索系统以及图像检索方法，涉及检索服务器等的检索装置从记录器等图像存储装置获得图像数据并进行与特定图像对应的图像的检索的系统。背景技术0002 以往，有如图1所示那样的图像检索系统。图1的图像检索系统将监视摄像机等多个摄像机10的图像存储在作为图像存储装置的记录器11。记录器11从摄像机10的图像提取图像特征数据(辉度和图像的频率信息、轮廓信息等)，将其通过网络等通信路径12传输到检索服务器13。另外，从个。
7、人电脑等检索终端14例如将特定人物的脸部图像作为检索询问图像输入到检索服务器13。检索服务器13对来自记录器11的图像特征数据和检索询问图像进行核对，由此检索与检索询问图像对应的图像。0003 这样，通过在检索服务器汇集多个图像特征数据，从而可以从存储于多个记录器11的存储映像检索询问图像。0004 在此，作为与在检索服务器13中进行的图像的核对以及检索有关的现有技术，例如有专利文献1中公开的技术。专利文献1中，公开了能够使核对高速化，能够高效地生成索引的技术。0005 现有技术文献0006 专利文献0007 专利文献1：日本特开平11-338866号公报发明内容0008 发明要解决的问题00。
8、09 然而，由于将多个摄像机10拍摄到的图像数据传输到检索服务器13，因此，其传输数据量庞大。其结果，有可能通信路径12的传输成本(线路費用)变高。例如，当在多个分店配置作为监视摄像机的摄像机10，使用配置于监视中心的检索终端14访问检索服务器13，由此在监视中心对多个分店的映像进行监视的情况下，通信路径12的线路費用有可能非常高。0010 在此，为了抑制通信路径12的线路費用，若削减从记录器11向检索服务器13传输的图像特征数据，则产生检索服务器13中的检索精度降低的问题。0011 本发明的目的在于，提供能够在保持检索精度的同时抑制传输量的图像检索系统以及图像检索方法。0012 解决问题的方。
9、案0013 本发明的图像检索系统的一个形态，具有：存储图像数据的图像存储装置；以及通过通信路径与所述图像存储装置连接的、从存储于所述图像存储装置的图像中检索与存在来自检索终端的询问的检索询问图像对应的图像，所述检索装置具备：低维数据获得单元，其通过所述通信路径从所述图像存储装置获得包含关于第一物体的低维图像数据和关说 明 书CN 104380288 A2/6页4于第二物体的低维图像数据的低维图像数据；判定单元，其对关于所述第一物体的低维图像数据和关于所述第二物体的低维图像数据是否相似进行判定；以及高维数据获得单元，其在利用所述判定单元得到了关于所述第一物体的低维图像数据与关于所述第二物体的低维。
10、图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置获得关于所述第一物体的高维图像数据和关于所述第二物体的高维图像数据。0014 本发明的图像检索方法的一个形态，其中，检索装置从通过通信路径连接的图像存储装置中存储的图像中检索与存在来自检索终端的询问的检索询问图像对应的图像，该图像检索方法包括：通过所述通信路径从所述图像存储装置向所述检索装置传输包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据的步骤；对关于所述第一物体的低维图像数据和关于所述第二物体的低维图像数据是否相似进行判定的步骤；以及在得到关于所述第一物体的低维图像数据与关于所述第二物体的低维图像数。
11、据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置向所述检索装置传输关于所述第一物体的高维图像数据和关于所述第二物体的高维图像数据的步骤。0015 发明效果0016 根据本发明，能够在保持检索精度的同时抑制传输量。附图说明0017 图1是表示以往的图像检索系统的结构例的图。0018 图2是表示实施方式的图像检索系统的概略结构的图。0019 图3是表示图像检索系统的详细结构的方框图。0020 图4是表示对是否获得特征数据进行判定的处理的流程的流程图。0021 图5中，图5A是表示低维空间中的数据的情况的图，图5B是表示高维空间中的数据的情况的图。0022 图6是表示检索处理的流程的流程。
12、图。0023 图7中，图7A是表示低维数据的检索结果的例的图，图7B是表示按特征数据的距离顺序重新排序后的检索结果的例的图。具体实施方式0024 下面，参照附图对本发明的实施方式详细地进行说明。0025 图2表示本实施方式的图像检索系统的概略结构。0026 图像检索系统100具有作为拍摄装置的摄像机110、作为图像存储装置的记录器200、作为检索装置的检索服务器300、和检索终端120。图像检索系统100例如是摄像机110配置在各分店，检索服务器300以及检索终端120配置在监视中心的监视系统。0027 对于摄像机110的数量，是单个或多个。一般地，记录器200连接有多个摄像机110。通过摄像。
13、机110拍摄到的图像数据存储在记录器200中。0028 对于记录器200的数量，是单个或多个。记录器200从自摄像机110输入的图像数据中提取由图像的辉度信息、频率信息、轮廓信息等构成的图像特征数据(以下将其简称为特征数据)，并将其存储。另外，记录器200提取与特征数据相比低维的数据即低维图像数据(以下将其简称为低维数据)，并将其存储。低维数据是从特征数据只提取主成分而说 明 书CN 104380288 A3/6页5得到的数据，维数比特征数据小，数据量比特征数据少。0029 检索服务器300通常获得数据量较少的低维数据，只对于判断为如果只是低维数据则用于进行图像之间的识别的维数不够的对象，获得。
14、作为高维数据的特征数据。这样，检索服务器300通常获得数据量较少的低维数据，根据需要获得最小限的特征数据，通过这样做，能够在保持检索精度的同时抑制通过通信路径130的数据传输量。0030 另外，从个人电脑等检索终端120向检索服务器300例如输入人物的脸部图像等检索询问图像。检索服务器300通过将检索询问图像、和从记录器200获得的低维数据、特征数据进行核对，来检索与检索询问图像对应的图像，并将检索结果发送到检索终端120。0031 图3表示图像检索系统100的详细结构。图3中，只表示了图像检索系统的构成中的记录器200以及检索服务器300的结构。0032 首先，对记录器200的结构进行说明。。
15、记录器200将由摄像机110拍摄到的图像数据通过图像获得单元201输入到特征数据提取单元202。特征数据提取单元202从图像提取作为检索对象的部分的特征数据。特征数据提取单元202例如从图像检测脸部的部分区域，对部分图像计算出Haar-wavelet等滤波器响应值，将矢量化的数据设为特征数据。特征数据存储于特征数据存储单元203。0033 低维数据提取单元204从由特征数据提取单元202提取的特征数据中提取维数较低的低维数据。低维数据提取单元204例如预先通过主成分分析根据多个特征数据计算低维的固有空间，将把所输入的特征数据投影到低维的固有空间后而得到的数据设为低维数据。0034 接着，对检索。
16、服务器300的结构进行说明。检索服务器300大体上具有对图像数据进行登记的登记系统、和进行检索的检索系统。登记系统具有低维数据获得单元301、低维数据存储单元302、特征数据获得判定单元303、特征数据获得单元304以及特征数据存储单元305。检索系统具有特征数据提取单元311、低维数据提取单元312、低维数据检索单元313以及特征数据检索单元314。0035 登记系统的低维数据获得单元301通过网络等通信路径130获得由低维数据提取单元204提取出的低维数据。在本实施方式的情况下，通信路径130是网络和电话线路等公众线路，是产生线路使用费的通信路径。0036 低维数据存储单元302存储低维数。
17、据。0037 特征数据获得判定单元303计算低维数据存储单元302中存储的低维数据中的、检索时分离性能差的对象(即，在特征空间中紧密地分布的数据群)，判定为需要获得关于该对象的特征数据(即高维数据)。关于该特征数据获得判定单元303的处理，在后面详细地进行说明。0038 特征数据获得单元304从特征数据存储单元203通过通信路径130获得在特征数据获得判定单元303中判定为需要获得的特征数据。0039 特征数据存储单元305存储由特征数据获得单元304获得的特征数据。即，在特征数据存储单元305中只存储在记录器200侧的特征数据存储单元203中存储的特征数据中的、由特征数据获得判定单元303判。
18、定为需要的特征数据。0040 检索系统的特征数据提取单元311从来自检索终端120(图2)的检索询问图像中提取作为检索对象的特征数据。说 明 书CN 104380288 A4/6页60041 低维数据提取单元312从由特征数据提取单元311提取的特征数据中提取维数较低的低维数据。由低维数据提取单元312进行的处理与由低维数据提取单元204进行的处理相同。0042 低维数据检索单元313从存储在低维数据存储单元302的低维数据中检索与检索询问图像的低维数据相似的低维数据。0043 特征数据检索单元314对由低维数据检索单元313检索出的低维数据中的、存在特征数据的对象，再次使用特征数据判定相似性。
19、，并将检索结果输出到检索终端120。0044 图4是表示由特征数据获得判定单元303进行的处理的流程的流程图。0045 特征数据获得判定单元303若在步骤S0中开始了处理，则在步骤S1中从低维数据存储单元302获得低维数据。特征数据获得判定单元303在步骤S2中通过k-means法对低维数据进行分群。对于群数，群数wN(在此，N：全部数据数，0w1)。此外，分群的方法不限于k-means法。0046 接着，特征数据获得判定单元303在步骤S3中计算群的密度。可以通过Dn/(在此，n：群内数据数，：群内方差)求群的密度D。0047 接着，特征数据获得判定单元303在步骤S4中，对密度是否为阈值以。
20、上进行判断。特征数据获得判定单元303在密度为阈值以上的情况下，转到步骤S5，判定为需要获得特征数据。另一方面，特征数据获得判定单元303在密度不是阈值以上的情况下，转到步骤S6。0048 在此，图5A所示那样的密度较大的群的数据间的分离性能较低。因此，在密度较大的群中的数据之间，距检索关键词的、在特征空间中的距离之差较小，因此，容易产生检索误差。因此，在本实施方式中，在密度为阈值以上的情况下，关于该群中包含的低维数据，获得维更高的数据、即设为低维数据之前的原来的特征数据，由此，提高数据之间的分离性能。图5B中表示高维数据的例。可知，即使是在图5A所示的低维空间中距检索关键词的距离之差较小的数。
21、据(即低维数据)，在图5B所示的高维空间中，距检索关键词的距离之差变大。0049 特征数据获得判定单元303在步骤S6中，判断是否对全部群进行了处理，若得到否定结果，则返回到步骤S3。这样，直到全部群的处理结束为止，反复进行步骤S3-S4-(S5)-S6-S3的处理。而且，若在步骤S6中得到肯定结果，则转到步骤S7，结束判定处理。0050 图6是表示在检索服务器300的检索系统中进行的检索处理的流程的流程图。0051 检索服务器300若在步骤S10中开始了检索处理，则在步骤S11中通过低维数据检索单元313从低维数据存储单元302检索与来自检索终端120的询问图像相似的低维数据。具体而言，低维。
22、数据检索单元313在步骤S11中，对存储在低维数据存储单元302的全部的低维数据计算与被检索终端120询问的低维数据之间的距离。0052 接着，在步骤S12中，低维数据检索单元313按距离顺序对低维数据进行排序，将候选缩选到被指定的件数。0053 接着，在步骤S13中，特征数据检索单元314判断候选中是否存在在特征数据存储单元305中存在特征数据的候选。在存在特征数据的情况下，在步骤S14中从特征数据存储单元305读出特征数据，并计算被询问的数据和特征数据之间的距离。说 明 书CN 104380288 A5/6页70054 接着，在步骤S15中，判断是否对全部的候选进行了处理，若得到否定结果，。
23、返回到步骤S13。这样，直到全部的候选的处理结束为止，反复进行步骤S13-(S14)-S15-S13的处理。而且，若在步骤S15得到肯定结果，则转到步骤S16。0055 在步骤S16中，特征数据检索单元314利用与特征数据之间的距离对候选中的、属于相同群的对象重新排序。在接着的步骤S17中结束检索处理。0056 图7A表示由低维数据检索单元313得到的低维数据的检索结果的例。图7B表示由特征数据检索单元314得到的按特征数据的距离顺序重新排序的检索结果的例。0057 在图7A以及图7B中，所谓“数据编号”，表示用于识别对象的识别编号。在图7A中，所谓“群编号”的“无”是表示没有特征数据(即高维。
24、数据)。0058 如根据图7B也可以知道那样，若在同一群中，按特征数据的距离顺序进行了重新排序，则也有成为与低维数据的距离顺序的排序不同的“结果位次”的对象。由此，能够比使用低维数据的检索精度高地进行检索。“检索位次”作为检索结果发送到检索终端120，在检索终端120显示。此外，检索服务器300也可以发送检索位次的顺序的缩略图等，作为检索结果。0059 如以上说明的那样，根据本实施方式，检索服务器300通常获得数据量较少的低维数据，只对判断为如果只是低维数据则用于进行图像之间的识别的维数不够的对象，获得作为高维数据的特征数据。由此，能够在保持检索精度的同时抑制通信路径130的数据传输量。006。
25、0 此外，在上述的实施方式中，对存储图像数据的图像存储装置是记录器的情况进行了描述，但是，图像存储装置也可以是摄像机。0061 另外，可以通过CPU读出存储在存储器上的计算机程序并进行执行处理来实现图3所示的构成记录器200以及检索服务器300的各构成部件的功能。0062 在2012年5月24日提出的日本专利申请特愿2012-118411号中包含的说明书、附图以及摘要的公开内容全部引用于本申请。0063 工业实用性0064 本发明具有能够在保持检索精度的同时抑制传输量这样的效果，例如，适用于对特定人物进行监视的监视系统等是适宜的。0065 符号说明0066 10、110 摄像机0067 11、。
26、200 记录器0068 12、130 通信路径0069 13、300 检索服务器0070 14、120 检索终端0071 202、311 特征数据提取单元0072 203、305 特征数据存储单元0073 204、312 低维数据提取单元0074 301 低维数据获得单元0075 302 低维数据存储单元0076 303 特征数据获得判定单元说 明 书CN 104380288 A6/6页80077 304 特征数据获得单元0078 313 低维数据检索单元0079 314 特征数据检索单元说 明 书CN 104380288 A1/6页9图1说 明 书 附 图CN 104380288 A2/6页10图2说 明 书 附 图CN 104380288 A10。