一种图像、视频检索方法.pdf

一种图像、视频检索方法，其方法包括，对图像源的图像解码，对目标图像裁剪、转换、缩放，灰度图处理，统计灰度图的灰度直方图，灰度图转换为黑白图，黑白图分割，求和，存入数据库，形成查询范围、查询，比对，计算误差，字段索引，查询，比对，得到匹配结果。本发明通过对图像、视频帧图像的特征归纳和准确计算，使得对图像、视频的检索速度快，检索准确性高，在图像质量、清晰度、色调、水印、字幕发生变化的时候，不影响检索准确度和速度，检索过程快捷，方法简单，效果明显。

1、  一种图像、视频的检索方法，其特征在于，包括如下步骤：
第1步：对图像、视频源中的图像进行解码得到目标图像；
第2步：将目标图像按设定比例裁剪，并且转换到8位灰度图的格式，缩放该灰度图到一个设定尺寸；
第3步：使用自动色阶和高斯模糊算法将灰度图进行处理；
第4步：统计灰度图的灰度直方图；
第5步：将灰度图转换为1位黑白图，把黑白图保存到硬盘上；
第6步：按照设定的水平、垂直分割份数，将1位黑白图分割，计算每个分割区域的像素值总和LIGHT_SEG_VALUE，设这样一组LIGHT_SEG_VALUE为LIGHT_SEG_VALUES；
第7步：按照设定的分割份数，将直方图平均分割，求每个分割区间值的总和占全部区间值总和的百分比值HIST_SEG_VALUE，设这样一组HIST_SEG_VALUE为HIST_SEG_VALUES；
第8步：将目标图像的基本信息以及特征信息LIGHT_SEG_VALUES、HIST_SEG_VALUES作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES和HIST_SEG_VALUES所涉及的字段索引，设该索引为IDX_IMG_FEATURE；
第9步：利用每个LIGHT_SEG_VALUE和HIST_SEG_VALUE做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第10步：根据查询到的记录中所存储的具体信息，解码该记录所对应的黑白图，与由目标图像生成的黑白图做比对，得到匹配结果；
第11步：视频中每一帧的图像检索方法与所述步骤1至10相同，解码目标视频的必要帧的图像，按照图像检索步骤1至10，计算得到视频帧图像的LIGHT_SEG_VALUES和HIST_SEG_VALUES后，计算从必要帧开始多个相邻帧之间关于每个LIGHT_SEG_VALUE，HIST_SEG_VALUE的误差LIGHT_ERROR和HIST_ERROR，设这样两组误差分别为LIGHT_ERRORS和HIST_ERRORS；
第12步：将一幅必要帧的图像的基本信息以及特征信息LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS信息作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS所涉及的字段索引，设索引为IDX_IMG_FEATURE；
第13步：利用每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该组查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第14步：根据查询到的记录中存储的具体信息，从此记录对应的当前帧开始按照向前、向后顺序，将两个视频的帧的图像所生成的黑白图逐个比对，直到比对结果不满足设定的最差比对结果的条件，最后得到匹配结果。

一种图像、视频检索方法
技术领域
本发明涉及一种检索方法，特别是涉及一种依据图像、视频源实现快速检索近似图像和近似目标视频片段的检索方法。属于图像、视频检索技术领域。
背景技术
随着互联网技术的不断提高，其中的信息量越来越大，为人们的生活、工作及学习带来了极大的方便，特别是视觉效果极佳的视频和图像给人们提供了丰富多彩的观赏和保存资源。但是，要想从互联网上海量的视频、图像中找到自己所需要的或者自己所想像的或者与自己所需要相近似的还很难。为了能够快速检索图像和视频，在现有技术中，提出了如下两种对图像或视频进行检索的方法。如申请号为：200510069513.9，专利名称为：基于视频特征曲线的视频检索的方法发明，该方法用视频采集设备采集视频信号，视频信号通过输入设备采集到计算机保存，为视频特征曲线的检索做好准备，从采集的视频信号当中提取视频特征曲线，即提取视频序列单帧静态图像各个子区域的平均灰度值或分通道提取视频序列单帧静态图像各个子区域的平均颜色值绘制视频特征曲线，将提取出的视频特征曲线数据存储在硬盘当中，在存取的视频特征曲线的数据集中检索和样例视频的视频特征曲线相匹配的视频特征曲线，采用例子查询方式，在对视频特征曲线进行匹配和检索结束后，返回视频特征曲线检索结果，保存并显示匹配结果。该方法的缺点是索引数据量相对较小，而且由于只是单纯考虑帧与帧之间灰度值特征的变化，而忽略了帧中的具体内容，从而容易导致视频片段的错误匹配，和匹配量过大的问题，在一定程度上依赖于帧图像的彩色信息，在帧图像为非彩色的情况下就会完全失去作用。
又如申请号为：03149998.8发明名称为：一种通过视频片段进行视频检索的新方法，该发明提出在图论最优匹配的框架下来同时解决自动获取相似片段和评价两个片段的相似度，建立片段检索的带权二分图模型，通过考察相似镜头的连续性初步得到一个个相似片段，再运用最优匹配的Kuhn_Munkres方法计算这些片段和查询片段的最大权匹配，匹配用于判断两个片段是否相似和确定相似片段的边界，最大权用于表示两个相似片段的相似度。该方法的缺点是，进行镜头边界检测的时候，将视频分割为镜头，并且只采用每个镜头的首帧来表示每个镜头的内容，这样检索的准确性依赖于镜头检测的准确性和视频的完整性，如果一个视频不完整很容易导致镜头分割错误，从而导致最终检索的准确率低。另外该方法在考察相似镜头连续性之前，要进行视频中所有镜头的相似性计算，导致运算量过大。由于此技术没有提出合适的方法，所以在检索或被检索的视频的质量(压缩比、清晰度、亮度、对比度、色调)及辅助内容(字幕、水印等)发生变化时，检索的准确率比较低。
通过前述的现有技术检索视频和图像中不难看出，这些方法相当程度存在着检索过程中运算量过大，匹配过程中无效匹配过多，最后的检索效果不好的缺点。
发明内容
本发明的目的是克服上述现有技术的不足，提供一种图像、视频的快速、准确地检索近似目标图像及近似目标视频片段信息的检索方法。
本发明的技术方案是这样实现的：
本发明的一种图像、视频检索方法，包括如下步骤：
第1步：对图像、视频源中的图像进行解码，得到目标图像，图像、视频源为从照相机、网络、DV、电视电影中所得到的，作为数据源。
第2步：将目标图像按设定比例裁剪，并且转换到8位灰度图的格式，缩放该灰度图到一个设定尺寸；
第3步：使用自动色阶和高斯模糊算法将灰度图进行处理；
第4步：统计灰度图的灰度直方图；
第5步：将灰度图转换为1位黑白图，把黑白图保存到硬盘上；
第6步：按照设定的水平、垂直分割份数，将1位黑白图分割，计算每个分割区域像素值总和LIGHT_SEG_VALUE，设这样一组LIGHT_SEG_VALUE为LIGHT_SEG_VALUES；
第7步：按照设定的分割份数，将直方图平均分割，求每个分割区间值的总和占全部区间值总和的百分比值HIST_SEG_VALUE，设这样一组HIST_SEG_VALUE为HIST_SEG_VALUES；
第8步：将目标图像的基本信息以及特征信息LIGHT_SEG_VALUES、HIST_SEG_VALUES信息作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES和HIST_SEG_VALUES所涉及的字段索引，设该索引为IDX_IMG_FEATURE，其中基本信息包括：图像的来源、图像的尺寸、黑白图的保存路径等；
第9步：利用每个LIGHT_SEG_VALUE和HIST_SEG_VALUE做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第10步：根据查询到的记录中所存储的具体信息，读取黑白图的保存路径，解码该黑白图，与由目标图像生成的黑白图做比对，得到匹配结果；
第11步：视频中每一帧的图像检索方法与所述步骤1至10相同，按照设定的必要帧的时间间隔，解码目标视频的必要帧的图像，按照图像检索步骤1至10，计算得到视频帧图像的LIGHT_SEG_VALUES和HIST_SEG_VALUES后，按照设定的相邻帧的时间间隔及相邻帧的数量，计算从必要帧开始的多个相邻帧之间关于每个LIGHT_SEG_VALUE，HIST_SEG_VALUE的误差LIGHT_ERROR和HIST_ERROR，设这样两组误差分别为LIGHT_ERRORS和HIST_ERRORS；
第12步：将一幅必要帧的图像的基本信息以及特征信息LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS信息作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS所涉及的字段索引，设索引为IDX_IMG_FEATURE。一个目标视频中的全部必要帧的图像都按此步骤处理，其中基本信息包括：视频的来源、视频画面的尺寸、黑白图的保存路径、视频的总时间、该帧的时间起点等；
第13步：利用每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该组查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录。对于整个目标视频而言，分别利用各个必要帧的图像的每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该组查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第14步：根据查询到的记录中存储的具体信息，从此记录对应的当前帧开始按照向前、向后顺序，将两个视频的帧的图像所生成的黑白图逐个比对，直到比对结果不满足设定的最差比对结果的条件，最后得到片段匹配结果。
本发明的一种图像、视频检索方法相对于现有技术具有如下优点：
1、本发明通过对图像、视频帧的图像的特征归纳和准确计算，使得对图像、视频的检索速度快，检索准确性高。
2、本发明在图像质量(压缩比、清晰度、亮度、对比度、色调等)以及画面辅助内容(字幕、水印)发生变化的时候，不影响检索准确度和速度。
3、本发明在检索过程中不依赖图像、视频帧图像中的彩色信息，对灰度图像(或视频)和彩色图像(或视频)并存的环境下，优势明显。
4、本发明在检索图像或视频过程中不依赖任何文字描述信息和画面中的字幕信息。
附图说明
图1为本发明的一种图像、视频检索方法流程图；
图2为本发明的一种图像、视频检索方法的直方图分割方式图。
图3为本发明的一种图像、视频检索方法的黑白图分割方式图；
具体实施方式
为了使本领域的一般技术人员能够清楚理解本发明的技术方案，现结合附图对本发明作进一步说明：
本发明的一种视频、图像检索方法，包括如下步骤，如图1：
第1步：对图像、视频源中的图像进行解码，得到目标图像，图像、视频源为从照相机、网络、DV、电视电影中所得到的，作为数据源。
第2步：将目标图像按设定比例裁剪，并且转换到8位灰度图的格式，缩放该灰度图到一个设定尺寸；
第3步：使用自动色阶和高斯模糊算法将灰度图进行处理；
第4步：统计灰度图的灰度直方图，如图2所示；
第5步：将灰度图转换为1位黑白图，把黑白图保存到硬盘上；
第6步：按照设定的水平、垂直分割份数，将1位黑白图分割，计算每个分割区域像素值总和LIGHT_SEG_VALUE，设这样一组LIGHT_SEG_VALUE为LIGHT_SEG_VALUES，如图3所示；
第7步：按照设定的分割份数，将直方图平均分割，求每个分割区间值的总和占全部区间值总和的百分比值HIST_SEG_VALUE，设这样一组HIST_SEG_VALUE为HIST_SEG_VALUES；
第8步：将目标图像的基本信息以及LIGHT_SEG_VALUES、HIST_SEG_VALUES信息作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES和HIST_SEG_VALUES所涉及的字段索引，设该索引为IDX_IMG_FEATURE，其中基本信息包括：图像的来源、图像的尺寸、黑白图的保存路径等；
第9步：利用每个LIGHT_SEG_VALUE和HIST_SEG_VALUE做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第10步：根据查询到的记录中所存储的具体信息，读取黑白图的保存路径，解码该黑白图，与由目标图像生成的黑白图做比对，得到匹配结果；
第11步：视频中每一帧的图像检索方法与所述步骤1至10相同，按照设定的必要帧的时间间隔，解码目标视频的必要帧的图像，按照图像检索步骤1至10，计算得到视频帧图像的LIGHT_SEG_VALUES和HIST_SEG_VALUES后，按照设定的相邻帧的时间间隔及相邻帧的数量，计算从必要帧开始的多个相邻帧之间关于每个LIGHT_SEG_VALUE，HIST_SEG_VALUE的误差LIGHT_ERROR和HIST_ERROR，设这样两组误差分别为LIGHT_ERRORS和HIST_ERRORS；
第12步：将一幅必要帧的图像的基本信息以及LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS信息作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS所涉及的字段索引，设索引为IDX_IMG_FEATURE。一个目标视频中的全部必要帧的图像都按此步骤处理，其中基本信息包括：视频的来源、视频画面的尺寸、黑白图的保存路径、视频的总时间、该帧的时间起点等；
第13步：利用每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该组查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录。对于整个目标视频而言，分别利用各个必要帧的图像的每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，利用该组查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第14步：根据查询到的记录中存储的具体信息，从此记录对应的当前帧开始按照向前、向后顺序，将两个视频的帧的图像所生成的黑白图逐个比对，直到比对结果不满足设定的最差比对结果的条件，最后得到片段匹配结果。
具体操作方法：以一首歌曲的MTV视频为例，该视频为4分钟，画面尺寸为320×240像素，颜色格式为彩色。设定2秒为必要帧的时间间隔：
按照此设定，依次从每个视频必要帧开始，对该视频进行检索，检索步骤如下：
第1步：对一个必要的帧的图像进行解码，得到目标图像；
第2步：将目标图像按设定比例裁剪，截取图像中央的部分，并且转换到8位灰度图的格式，缩放该灰度图到一个120×90像素的尺寸；
第3步：使用自动色阶和高斯模糊算法将灰度图进行处理，高斯模糊算法可以采用中等强度；
第4步：统计灰度图的灰度直方图；
第5步：将灰度图转换为1位黑白图，并将该黑白图存到硬盘上；
第6步：按照水平2份、垂直2份的分割份数，将1位黑白图平均分割成4份，计算每个分割区域的像素值总和LIGHT_SEG_VALUE，设这样一组LIGHT_SEG_VALUE为LIGHT_SEG_VALUES；
第7步：按照4份分割份数，将直方图平均分割，求每个分割区间值的总和占全部区间值总和的百分比值HIST_SEG_VALUE，设这样一组HIST_SEG_VALUE为HIST_SEG_VALUES，HIST_SEG_VALUE值的实际范围是0~1(即：0％~100％)；
第8步：当前是在处理一个视频的桢的图像，所以相关基本信息和特征信息LIGHT_SEG_VALUES和HIST_SEG_VALUES暂时不用存入数据库；
第9步：当前是在处理一个视频的帧的图像，不具备在数据库中查询的必要条件，此时暂时不在数据库中查询；
第10步：当前是在处理一个视频的帧的图像，因为没有查询到必要的记录，所以暂时不能做黑白图的比对；
第11步：按照设定的相邻帧的时间间隔2秒及相邻帧的数量3帧，计算从必要帧开始的多个相邻帧之间关于每个LIGHT_SEG_VALUE，HIST_SEG_VALUE的误差LIGHT_ERROR和HIST_ERROR，其中LIGHT_ERROR和HIST_ERROR的值的范围为0~1(既：0％~100％)，设这样两组误差分别为LIGHT_ERRORS和HIST_ERRORS；
第12步：将一幅必要帧的图像的基本信息以及LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS信息作为一个数据库记录存入数据库，并且将LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS所涉及的字段索引，设索引为IDX_IMG_FEATURE。其中基本信息包括：视频的来源、视频画面的尺寸、黑白图的保存路径、视频的总时间、该帧的时间起点等；
第13步：利用每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，按照预先设定，减去和加上一定量的值，形成一组查询范围，利用查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录，在LIGHT_SEG_VALUES、LIGHT_ERRORS、HIST_SEG_VALUES、HIST_ERRORS每个值的基础上加上和减去一定量的值，得到每个数据库字段的最大值和最小值，即：查询范围；
第13步：利用每个LIGHT_SEG_VALUE、LIGHT_ERROR、HIST_SEG_VALUE、HIST_ERROR做基值，减去、加上设定的值，得到以基值为基础的最小值及最大值，形成一组查询范围，关于LIGHT_SEG_VALUE的减去和加上的设定值均为270，关于LIGHT_ERROR的减去和加上的设定值均为0.1(即：10％)，关于HIST_SEG_VALUE的减去和加上的设定值均为0.1(即10％)，关于HIST_ERROR的减去和加上的设定值均为0.1(即10％)，利用该查询范围和索引IDX_IMG_FEATURE在数据库中查询到所有符合条件的记录；
第14步：访问每个符合条件的记录，从每个记录表示的视频帧的时间起点开始，按照2秒每帧的间隔，向前和向后，依次解码该视频的相应黑白图，并且和本视频的对应黑白图比对，得到匹配结果SIM，SIM的范围为0~1(即：0％~100％)，直到达到最差比对条件，或者本视频和被检索到的视频中的任意一个的全部帧图像比对完毕，退出比对。符合比对条件的已比对的视频起始位置和比对总长度，就是这两个视频的片段匹配信息，这个片段的近似比就是所有符合比对条件的结果SIM的总和除以符合比对条件的结果的数量。最差比对条件设定为：连续5次比对中有3次的匹配结果SIM小于75％。