视频搜索方法、装置、设备及介质.pdf

上传人:倪** 文档编号:9327463 上传时间:2021-05-14 格式:PDF 页数:15 大小:642.89KB
收藏 版权申诉 举报 下载
视频搜索方法、装置、设备及介质.pdf_第1页
第1页 / 共15页
视频搜索方法、装置、设备及介质.pdf_第2页
第2页 / 共15页
视频搜索方法、装置、设备及介质.pdf_第3页
第3页 / 共15页
文档描述:

《视频搜索方法、装置、设备及介质.pdf》由会员分享,可在线阅读,更多相关《视频搜索方法、装置、设备及介质.pdf(15页完成版)》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010031197.0 (22)申请日 2020.01.13 (71)申请人 上海极链网络科技有限公司 地址 202163 上海市崇明区中兴镇汲浜公 路39号21号楼1103室 (72)发明人 刘聪 (74)专利代理机构 北京品源专利代理有限公司 11332 代理人 孟金喆 (51)Int.Cl. G06F 16/732(2019.01) G06F 16/783(2019.01) G06K 9/62(2006.01) (54)发明名称 一种视频搜索方法、 装置、 设备及介质。

2、 (57)摘要 本发明实施例公开了一种视频搜索方法、 装 置、 设备及介质, 所述方法包括: 当检测到视频搜 索指令时, 获取所述视频搜索指令中包含的目标 图片信息, 根据所述目标图片信息确定图片特征 数据; 将所述图片特征数据与候选场景片段的场 景特征数据进行匹配, 根据匹配结果确定与所述 目标图片信息相匹配的目标场景片段; 将所述目 标场景片段对应的视频作为所述视频搜索指令 的响应信息。 本发明实施例所提供的视频搜索方 法可以根据视频搜索指令中的图片信息确定对 应的视频内容, 提高了视频搜索的准确性, 丰富 了视频搜索的搜索方式。 权利要求书2页 说明书9页 附图3页 CN 1112094。

3、31 A 2020.05.29 CN 111209431 A 1.一种视频搜索方法, 其特征在于, 包括: 当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目标图片信息, 根据所述 目标图片信息确定图片特征数据; 将所述图片特征数据与候选场景片段的场景特征数据进行匹配, 根据匹配结果确定与 所述目标图片信息相匹配的目标场景片段; 将所述目标场景片段对应的视频作为所述视频搜索指令的响应信息。 2.根据权利要求1所述的方法, 其特征在于, 所述将所述图片特征数据与候选场景片段 的场景特征数据进行匹配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景片 段, 包括: 计算所述图片特征数据与。

4、所述候选场景片段的场景特征数据之间的相似度; 若所述图片特征数据与所述候选场景片段的场景特征数据之间的相似度高于设定的 相似度阈值, 则将所述候选场景片段作为所述目标场景片段。 3.根据权利要求1所述的方法, 其特征在于, 所述场景特征数据包括所述候选场景片段 的场景二值化数据, 所述获取所述视频搜索指令中包含的目标图片信息, 根据所述目标图 片信息确定图片特征数据, 包括: 获取所述视频搜索指令中包含的图片二进制数据, 根据所述图片二进制数据确定目标 图片的单通道数据; 对所述单通道数据进行二值化处理, 得到所述目标图片的图片二值化数据, 将所述图 片二值化数据作为所述图片特征数据; 相应的。

5、, 所述将所述图片特征数据与候选场景片段的场景特征数据进行匹配, 包括: 将所述图片二值化数据与所述场景二值化数据进行匹配。 4.根据权利要求3所述的方法, 其特征在于, 所述根据所述图片二进制数据确定目标图 片的单通道数据, 包括: 将所述图片二进制数据转化为三维数组数据, 将所述三维数组数据转化为所述单通道 数据。 5.根据权利要求1所述的方法, 其特征在于, 所述场景特征数据包括所述候选场景片段 的场景哈希值, 所述根据所述目标图片信息确定图片特征数据, 包括: 将所述目标图片信息输入至预先训练好的特征值确定模型中, 获取所述特征值确定模 型输出的图片哈希值; 相应的, 所述将所述图片特。

6、征数据与候选场景片段的场景特征数据进行匹配, 包括: 将所述图片哈希值与所述场景哈希值进行匹配。 6.根据权利要求1所述的方法, 其特征在于, 在将所述图片特征数据与候选场景片段的 场景特征数据进行匹配之前, 还包括: 获取所述视频搜索指令中包含的搜索条件, 根据搜索条件确定所述视频搜索指令对应 的候选视频, 将所述候选视频对应的场景片段作为所述候选场景片段。 7.根据权利要求1所述的方法, 其特征在于, 还包括: 获取待存储视频, 对所述待存储视频进行场景识别, 确定所述待存储视频中包含的场 景片段; 针对所述场景片段中包含的每个视频帧, 根据所述视频帧的图片信息确定所述视频帧 权利要求书 。

7、1/2 页 2 CN 111209431 A 2 的单帧特征数据; 根据所述场景片段中各视频帧的单帧特征数据确定所述场景片段的场景特征数据, 并 将所述待存储视频、 所述场景片段以及所述场景特征数据对应存储至数据库中。 8.一种视频搜索装置, 其特征在于, 包括: 图片特征确定模块, 用于当检测到视频搜索指令时, 获取所述视频搜索指令中包含的 目标图片信息, 根据所述目标图片信息确定图片特征数据; 目标片段确定模块, 用于将所述图片特征数据与候选场景片段的场景特征数据进行匹 配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景片段; 响应信息确定模块, 用于将所述目标场景片段对应的视频作为。

8、所述视频搜索指令的响 应信息。 9.一种计算机设备, 其特征在于, 所述设备包括: 一个或多个处理器; 存储装置, 用于存储一个或多个程序; 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实 现如权利要求1-7中任一所述的视频搜索方法。 10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 该程序被处理器 执行时实现如权利要求1-7中任一所述的视频搜索方法。 权利要求书 2/2 页 3 CN 111209431 A 3 一种视频搜索方法、 装置、 设备及介质 技术领域 0001 本发明实施例涉及多媒体领域, 尤其涉及一种视频搜索方法、 装置、 设备及。

9、介质。 背景技术 0002 随着互联网的快速发展, 越来越多视频类服务和应用出现, 用户可以通过视频类 服务搜索希望观看的视频并进行观看。 但是, 目前的视频类应用搜索时大部分都是基于文 字匹配来检索的, 因此必须给这些视频做大量的文字标签, 或者只能搜索视频的标题及描 述。 由此可见, 单纯基于文字的搜索方式较单一, 且无法准确描述视频内容, 而且很容易由 于标题与内容不匹配而导致搜索结果不匹配的情况。 发明内容 0003 本发明实施例提供了一种视频搜索方法、 装置、 设备及介质, 以实现提高视频搜索 的准确性, 丰富视频资源的搜索方式。 0004 第一方面, 本发明实施例提供了一种视频搜索。

10、方法, 包括: 0005 当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目标图片信息, 根据 所述目标图片信息确定图片特征数据; 0006 将所述图片特征数据与候选场景片段的场景特征数据进行匹配, 根据匹配结果确 定与所述目标图片信息相匹配的目标场景片段; 0007 将所述目标场景片段对应的视频作为所述视频搜索指令的响应信息。 0008 第二方面, 本发明实施例还提供了一种视频搜索装置, 包括: 0009 图片特征确定模块, 用于当检测到视频搜索指令时, 获取所述视频搜索指令中包 含的目标图片信息, 根据所述目标图片信息确定图片特征数据; 0010 目标片段确定模块, 用于将所述图片特。

11、征数据与候选场景片段的场景特征数据进 行匹配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景片段; 0011 响应信息确定模块, 用于将所述目标场景片段对应的视频作为所述视频搜索指令 的响应信息。 0012 第三方面, 本发明实施例还提供了一种计算机设备, 所述设备包括: 0013 一个或多个处理器; 0014 存储装置, 用于存储一个或多个程序; 0015 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理 器实现如本发明任意实施例所提供的视频搜索方法。 0016 第四方面, 本发明实施例还提供了一种计算机可读存储介质, 其上存储有计算机 程序, 该程序被处理器执。

12、行时实现如本发明任意实施例所提供的视频搜索方法。 0017 本发明实施例通过当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目 标图片信息, 根据所述目标图片信息确定图片特征数据; 将所述图片特征数据与候选场景 片段的场景特征数据进行匹配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景 说明书 1/9 页 4 CN 111209431 A 4 片段; 将所述目标场景片段对应的视频作为所述视频搜索指令的响应信息, 通过根据视频 搜索指令中的图片信息确定对应的视频内容, 提高了视频搜索的准确性, 丰富了视频搜索 的搜索方式。 附图说明 0018 图1是本发明实施例一所提供的一种视频搜索。

13、方法的流程图; 0019 图2是本发明实施例二所提供的一种视频搜索方法的流程图; 0020 图3是本发明实施例三所提供的一种视频搜索装置的结构示意图; 0021 图4是本发明实施例四所提供的计算机设备的结构示意图。 具体实施方式 0022 下面结合附图和实施例对本发明作进一步的详细说明。 可以理解的是, 此处所描 述的具体实施例仅仅用于解释本发明, 而非对本发明的限定。 另外还需要说明的是, 为了便 于描述, 附图中仅示出了与本发明相关的部分而非全部结构。 0023 实施例一 0024 图1是本发明实施例一所提供的一种视频搜索方法的流程图。 本实施例可适用于 响应检测到的视频搜索指令时的情形。。

14、 该方法可以由视频搜索装置执行, 该视频搜索装置 可以采用软件和/或硬件的方式实现, 例如, 该视频搜索装置可配置于计算机设备中。 如图1 所示, 所述方法包括: 0025 S110、 当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目标图片信息, 根据所述目标图片信息确定图片特征数据。 0026 在本实施例中, 视频搜索指令可以为用户通过客户端发起的, 用于指示搜索指定 视频内容的搜索指令。 目标图片信息可以为视频搜索指令中包含的, 可以代表用户需要搜 索的视频特征的图片信息。 0027 示例性的, 当用户需要搜索某一图片对应的视频时, 将该图片作为搜索条件输入 至视频搜索客户端中, 。

15、触发视频搜索请求, 视频搜索客户端检测到用户触发的视频搜索请 求后, 根据用户输入的图片生成视频搜索指令, 并将生成的视频搜索指令发送至视频搜索 装置, 视频搜索装置检测到客户端发送的视频搜索指令后, 对视频搜索指令进行解析, 获得 视频搜索指令中包含的图片, 将其作为目标图片, 获得目标图片对应的目标图片信息, 根据 预先设定的特征提取算法提取出目标图片信息中包含的图片特征数据。 可选的, 目标图片 信息可以为目标图片的图片二进制数据, 图片特征数据可以为目标图片的图片哈希值, 其 中, 图片哈希值与图片一一对应。 0028 S120、 将所述图片特征数据与候选场景片段的场景特征数据进行匹配。

16、, 根据匹配 结果确定与所述目标图片信息相匹配的目标场景片段。 0029 在本实施例中, 数据库中存储有视频内容、 视频内容对应的场景片段, 以及场景片 段的场景特征数据, 通过将图片特征数据与场景特征数据进行匹配, 根据匹配结果确定与 图片特征数据相匹配的目标场景片段, 进而确定与目标图片对应的视频内容。 0030 在本发明的一种实施方式中, 所述将所述图片特征数据与候选场景片段的场景特 征数据进行匹配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景片段, 包括: 计 说明书 2/9 页 5 CN 111209431 A 5 算所述图片特征数据与所述候选场景片段的场景特征数据之间的相似。

17、度; 若所述图片特征 数据与所述候选场景片段的场景特征数据之间的相似度高于设定的相似度阈值, 则将所述 候选场景片段作为所述目标场景片段。 0031 可选的, 可以根据图片特征数据与场景特征数据之间的相似度确定图片特征数据 与场景特征数据之间是否匹配。 具体的, 可以预先设定相似度阈值, 当图片特征数据与场景 特征数据之间的相似度高于预先设定的相似度阈值时, 判定图片特征数据与场景特征数据 相匹配, 将场景特征数据对应的目标场景片段作为与图片特征数据相匹配的目标场景片 段。 其中, 相似度阈值可以根据实际需求设置。 示例性的, 假设相似度阈值为0.7, 图片特征 数据与某一场景特征数据之间的相。

18、似度为0.8, 则将该场景特征数据对应的场景片段作为 与图片特征数据相匹配的目标场景片段。 0032 可选的, 本实施例中图片特征数据与场景特征数据之间的相似度的计算方法不做 限定。 示例性的, 可以通过欧几里得距离、 马哈拉诺比斯距离、 曼哈顿距离、 切比雪夫距离、 明可夫斯基距离、 汉明距离等算法计算图片特征数据与场景特征数据之间的相似度。 0033 在本发明的一种实施方式中, 所述场景特征数据包括所述候选场景片段的场景二 值化数据, 所述获取所述视频搜索指令中包含的目标图片信息, 根据所述目标图片信息确 定图片特征数据, 包括: 获取所述视频搜索指令中包含的图片二进制数据, 根据所述图片。

19、二 进制数据确定目标图片的单通道数据; 对所述单通道数据进行二值化处理, 得到所述目标 图片的图片二值化数据, 将所述图片二值化数据作为所述图片特征数据。 0034 可选的, 场景特征数据可以为场景二值化数据, 相应的, 图片特征数据为目标图片 的图片二值化数据。 一般的, 用户输入的目标图片为彩色图片, 为了简化特征匹配时的算法 复杂度, 在进行特征匹配之前, 将目标图片的彩色二进制数值转化为图片二值化数据, 计算 图片二值化数据与场景二值化数据之间的匹配度。 相应的, 所述将所述图片特征数据与候 选场景片段的场景特征数据进行匹配, 包括: 将所述图片二值化数据与所述场景二值化数 据进行匹配。

20、。 可选的, 可以通过计算图片二值化数据与场景二值化数据之间的相似度确定 与图片二值化数据相匹配的场景二值化数据, 进而确定与目标图片相匹配的目标场景片 段。 0035 可选的, 将彩色二进制数值转化为图片二值化数据的方法可以为: 根据图片二进 制数据确定目标图片的单通道数据, 对单通道数据进行二值化处理, 得到目标图片的图片 二值化数据。 其中, 根据图片二进制数据确定目标图片的单通道数据包括: 将图片二进制数 据转化为三维数组数据, 将三维数组数据转化为单通道数据。 示例性的, 假设彩色图片二进 制数据通过三维数组h,w,3表示, 可以根据需求缩小h, w的值, 并简化彩色图片中的色彩 信。

21、息, 将三通道数据转化为单通道数据, 然后通过阈值分割算法对单通道数据中的像素值 进行阈值分割, 将单通道数据转化为像素点的像素值为0或1的图片二值化数据。 其中阈值 可以为像素点的像素平均值。 0036 在本发明的另一种实施方式中, 所述场景特征数据包括所述候选场景片段的场景 哈希值, 所述根据所述目标图片信息确定图片特征数据, 包括: 将所述目标图片信息输入至 预先训练好的特征值确定模型中, 获取所述特征值确定模型输出的图片哈希值。 0037 可选的, 场景特征数据可以为场景哈希值, 相应的, 图片特征数据为目标图片的图 片哈希值。 考虑到二值化数据可能会造成目标图片的图片特征丢失, 为了。

22、最大限度的减少 说明书 3/9 页 6 CN 111209431 A 6 图片信息损失, 可以使用图片哈希值作为目标图片的图片特征数据。 相应的, 所述将所述图 片特征数据与候选场景片段的场景特征数据进行匹配, 包括: 将所述图片哈希值与所述场 景哈希值进行匹配。 可选的, 可以通过计算图片哈希值与场景哈希值之间的相似度确定与 图片哈希值相匹配的场景哈希值, 进而确定与目标图片相匹配的目标场景片段。 0038 可选的, 可以通过训练好的特征值确定模型确定目标图片的图片哈希值。 其中, 特 征值确定模型的训练方式可以为: 获取一定数量的样本图片, 预先对样本图片进行人工标 注, 使用标注后的样本。

23、图片对预先构建的特征值确定模型进行训练, 得到训练好的特征值 确定模型。 可选的, 特征值确定模型是基于神经网络构建的。 示例性的, 特征值确定模型可 以基于卷积神经网络进行构建。 0039 S130、 将所述目标场景片段对应的视频作为所述视频搜索指令的响应信息。 0040 在本实施中, 目标场景片段与视频之间为一一对应的关系, 确定与目标图片相匹 配的目标场景片段后, 将目标场景片段所属视频作为与目标图片相匹配的视频, 将与目标 图片相匹配的视频作为视频搜索指令的响应信息反馈至客户端。 0041 本发明实施例通过当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目 标图片信息, 根据所述。

24、目标图片信息确定图片特征数据; 将所述图片特征数据与候选场景 片段的场景特征数据进行匹配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景 片段; 将所述目标场景片段对应的视频作为所述视频搜索指令的响应信息, 通过根据视频 搜索指令中的图片信息确定对应的视频内容, 提高了视频搜索的准确性, 丰富了视频搜索 的搜索方式。 0042 在上述方案的基础上, 在将所述图片特征数据与候选场景片段的场景特征数据进 行匹配之前, 还包括: 获取所述视频搜索指令中包含的搜索条件, 根据搜索条件确定所述视 频搜索指令对应的候选视频, 将所述候选视频对应的场景片段作为所述候选场景片段。 0043 可选的, 用。

25、户进行视频搜索时, 在输入图片进行搜索之外, 还可能输入图片之外的 搜索条件进行搜索, 如 “喜剧” 等搜索条件, 可以根据视频的标签以及用户输入的搜索条件 筛选出符合用户需求的候选视频, 将候选视频对应的场景片段作为候选场景片段。 示例性 的, 若搜索条件为 “喜剧” , 则将 “喜剧” 标签对应的视频作为候选视频, 将候选视频对应的场 景片段作为候选场景片段。 根据搜索条件对数据库中的视频进行过滤获取候选视频可以减 少特征匹配次数, 加快视频搜索指令的响应速度。 0044 在上述方案的基础上, 还包括: 获取待存储视频, 对所述待存储视频进行场景识 别, 确定所述待存储视频中包含的场景片段。

26、; 针对所述场景片段中包含的每个视频帧, 根据 所述视频帧的图片信息确定所述视频帧的单帧特征数据; 根据所述场景片段中各视频帧的 单帧特征数据确定所述场景片段的场景特征数据, 并将所述待存储视频、 所述场景片段以 及所述场景特征数据对应存储至数据库中。 0045 可选的, 在根据图片的图片特征进行视频搜索之前, 需要对视频资源中的视频进 行场景分析及特征分析, 确定视频对应的场景片段及场景片段对应的场景特征数据。 可选 的, 对视频进行场景划分得到场景片段, 针对场景片段中的每一视频帧, 根据预先设定的特 征提取算法获取该视频帧的单帧特征数据(如单帧二值化数据或单帧哈希值等), 将场景片 段中。

27、各视频帧的单帧特征数据进行融合, 得到场景片段的场景特征数据。 确定场景片段对 应的场景特征数据后, 构建视频、 场景片段以及场景特征数据之间的关联关系, 根据关联关 说明书 4/9 页 7 CN 111209431 A 7 系将视频、 场景片段以及场景特征数据对应存储至数据库中, 以使后续搜索视频时可以根 据存储的关联关系确定视频搜索指令对应的响应数据。 0046 实施例二 0047 图2是本发明实施例二所提供的一种视频搜索方法的流程图。 本实施例在上述实 施例的基础上提供了一种优选实施例。 如图2所示, 所述方法包括: 0048 S210、 客户端将目标图片及搜索条件上传至服务端。 004。

28、9 S220、 服务端进行目标图片的特征提取, 获得图片特征数据。 0050 可以通过不同的方法获得目标图片的图片特征数据。 0051 一个实施例中, 将彩色图片二进制数值可以使用三维数组来表示h,w,3, 将三通 道数据转成单通道数据, 然后计算像素平均值, 将各像素点的像素值与平均值比较, 小于平 均值记为0, 大于平均值记为1, 得到包含图片二值化数据。 0052 一个实施例中, 通过预先训练好的神经网络模型提取出目标图片中的图片哈希 值, 以减少图片信息损失。 可选的, 可以将目标图片转化为512位的图片哈希值。 0053 S230、 服务端将图片特征数据发送至elasticsearc。

29、h工具, 以进行视频搜索。 0054 在本实施例中, 通过elasticsearch工具的分布式检索特点, 将大量的计算分散到 各个节点上, 加快视频搜索速度。 0055 S240、 elasticsearch工具根据搜索条件进行视频过滤。 0056 可以利用lasticsearch工具的全文索引功能, 对于目标图片的一些描述、 名称信 息以及用户输入的搜索条件进行筛选, 缩小计算范围以达到提升检索速度的目的。 0057 S250、 elasticsearch工具调用特征比对插件将过滤得到的视频对应的场景特征 数据与图片特征数据进行比对。 0058 考虑到elasticsearch本身的搜索功。

30、能并不支持字符串之间的比对, 通过添加特 征比对插件实现场景特征数据与图片特征数据之间的相似度计算。 0059 S260、 若比对结果满足设定条件, 则服务端将场景特征数据对应的视频作为搜索 结果发送至客户端。 0060 若场景特征数据与图片特征数据之间的相似度高于设定的相似度阈值, 则判定比 对结果满足设定条件, 将场景特征数据对应的视频作为搜索结果返回。 0061 本发明实施例通过图片检索提高了视频搜索的准确度, 通过分布式搜索系统搜索 提高了图片检索的速度。 0062 在上述方案的基础上, 服务端在获取目标图片之间, 需要对视频资源进行分析获 得视频对应的场景片段即场景特征数据, 并进行。

31、存储。 可选的, 将所有视频资源按照预先设 定的场景算法扫描出所有的场景片段, 并对得到的场景片段进行处理, 得到每个场景片段 的场景特征数据存入数据库, 然后将所有的场景片段、 视频、 场景特征数据导入 eilasticsearch工具, 并根据视频的相关信息建立索引。 0063 实施例三 0064 图3是本发明实施例三所提供的一种视频搜索装置的结构示意图。 该视频搜索装 置可以采用软件和/或硬件的方式实现, 例如该视频搜索装置可以配置于计算机设备中。 如 图3所示, 所述装置包括图片特征确定模块310、 目标片段确定模块320和响应信息确定模块 330, 其中: 说明书 5/9 页 8 C。

32、N 111209431 A 8 0065 图片特征确定模块310, 用于当检测到视频搜索指令时, 获取所述视频搜索指令中 包含的目标图片信息, 根据所述目标图片信息确定图片特征数据; 0066 目标片段确定模块320, 用于将所述图片特征数据与候选场景片段的场景特征数 据进行匹配, 根据匹配结果确定与所述目标图片信息相匹配的目标场景片段; 0067 响应信息确定模块330, 用于将所述目标场景片段对应的视频作为所述视频搜索 指令的响应信息。 0068 本发明实施例通过图片特征确定模块当检测到视频搜索指令时, 获取所述视频搜 索指令中包含的目标图片信息, 根据所述目标图片信息确定图片特征数据; 。

33、目标片段确定 模块将所述图片特征数据与候选场景片段的场景特征数据进行匹配, 根据匹配结果确定与 所述目标图片信息相匹配的目标场景片段; 响应信息确定模块将所述目标场景片段对应的 视频作为所述视频搜索指令的响应信息, 通过根据视频搜索指令中的图片信息确定对应的 视频内容, 提高了视频搜索的准确性, 丰富了视频搜索的搜索方式。 0069 可选的, 在上述方案的基础上, 所述目标片段确定模块320具体用于: 0070 计算所述图片特征数据与所述候选场景片段的场景特征数据之间的相似度; 0071 若所述图片特征数据与所述候选场景片段的场景特征数据之间的相似度高于设 定的相似度阈值, 则将所述候选场景片。

34、段作为所述目标场景片段。 0072 可选的, 在上述方案的基础上, 所述场景特征数据包括所述候选场景片段的场景 二值化数据, 所述图片特征确定模块310具体用于: 0073 获取所述视频搜索指令中包含的图片二进制数据, 根据所述图片二进制数据确定 目标图片的单通道数据; 0074 对所述单通道数据进行二值化处理, 得到所述目标图片的图片二值化数据, 将所 述图片二值化数据作为所述图片特征数据; 0075 相应的, 所述目标片段确定模块320具体用于: 0076 将所述图片二值化数据与所述场景二值化数据进行匹配。 0077 可选的, 在上述方案的基础上, 所述图片特征确定模块310具体用于: 0。

35、078 将所述图片二进制数据转化为三维数组数据, 将所述三维数组数据转化为所述单 通道数据。 0079 可选的, 在上述方案的基础上, 所述场景特征数据包括所述候选场景片段的场景 哈希值, 所述图片特征确定模块310具体用于: 0080 将所述目标图片信息输入至预先训练好的特征值确定模型中, 获取所述特征值确 定模型输出的图片哈希值; 0081 相应的, 所述目标片段确定模块320具体用于: 将所述图片哈希值与所述场景哈希 值进行匹配。 0082 可选的, 在上述方案的基础上, 所述装置还包括候选片段确定模块, 用于: 0083 在将所述图片特征数据与候选场景片段的场景特征数据进行匹配之前, 。

36、获取所述 视频搜索指令中包含的搜索条件, 根据搜索条件确定所述视频搜索指令对应的候选视频, 将所述候选视频对应的场景片段作为所述候选场景片段。 0084 可选的, 在上述方案的基础上, 所述装置还包括视频信息存储模块, 用于: 0085 获取待存储视频, 对所述待存储视频进行场景识别, 确定所述待存储视频中包含 说明书 6/9 页 9 CN 111209431 A 9 的场景片段; 0086 针对所述场景片段中包含的每个视频帧, 根据所述视频帧的图片信息确定所述视 频帧的单帧特征数据; 0087 根据所述场景片段中各视频帧的单帧特征数据确定所述场景片段的场景特征数 据, 并将所述待存储视频、 。

37、所述场景片段以及所述场景特征数据对应存储至数据库中。 0088 本发明实施例所提供的视频搜索装置可执行任意实施例所提供的视频搜索方法, 具备执行方法相应的功能模块和有益效果。 0089 实施例四 0090 图4是本发明实施例四所提供的计算机设备的结构示意图。 图4示出了适于用来实 现本发明实施方式的示例性计算机设备412的框图。 图4显示的计算机设备412仅仅是一个 示例, 不应对本发明实施例的功能和使用范围带来任何限制。 0091 如图4所示, 计算机设备412以通用计算设备的形式表现。 计算机设备412的组件可 以包括但不限于: 一个或者多个处理器416, 系统存储器428, 连接不同系统。

38、组件(包括系统 存储器428和处理器416)的总线418。 0092 总线418表示几类总线结构中的一种或多种, 包括存储器总线或者存储器控制器, 外围总线, 图形加速端口, 处理器416或者使用多种总线结构中的任意总线结构的局域总 线。 举例来说, 这些体系结构包括但不限于工业标准体系结构(ISA)总线, 微通道体系结构 (MAC)总线, 增强型ISA总线、 视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总 线。 0093 计算机设备412典型地包括多种计算机系统可读介质。 这些介质可以是任何能够 被计算机设备412访问的可用介质, 包括易失性和非易失性介质, 可移动的和不可。

39、移动的介 质。 0094 系统存储器428可以包括易失性存储器形式的计算机系统可读介质, 例如随机存 取存储器(RAM)430和/或高速缓存存储器432。 计算机设备412可以进一步包括其它可移动/ 不可移动的、 易失性/非易失性计算机系统存储介质。 仅作为举例, 存储装置434可以用于读 写不可移动的、 非易失性磁介质(图4未显示, 通常称为 “硬盘驱动器” )。 尽管图4中未示出, 可以提供用于对可移动非易失性磁盘(例如 “软盘” )读写的磁盘驱动器, 以及对可移动非易 失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。 在这些情况下, 每个 驱动器可以通过一个。

40、或者多个数据介质接口与总线418相连。 存储器428可以包括至少一个 程序产品, 该程序产品具有一组(例如至少一个)程序模块, 这些程序模块被配置以执行本 发明各实施例的功能。 0095 具有一组(至少一个)程序模块442的程序/实用工具440, 可以存储在例如存储器 428中, 这样的程序模块442包括但不限于操作系统、 一个或者多个应用程序、 其它程序模块 以及程序数据, 这些示例中的每一个或某种组合中可能包括网络环境的实现。 程序模块442 通常执行本发明所描述的实施例中的功能和/或方法。 0096 计算机设备412也可以与一个或多个外部设备414(例如键盘、 指向设备、 显示器 424。

41、等)通信, 还可与一个或者多个使得用户能与该计算机设备412交互的设备通信, 和/或 与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡, 调 制解调器等等)通信。 这种通信可以通过输入/输出(I/O)接口422进行。 并且, 计算机设备 说明书 7/9 页 10 CN 111209431 A 10 412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN), 广域网(WAN)和/或 公共网络, 例如因特网)通信。 如图所示, 网络适配器420通过总线418与计算机设备412的其 它模块通信。 应当明白, 尽管图中未示出, 可以结合计算机设备412使用。

42、其它硬件和/或软件 模块, 包括但不限于: 微代码、 设备驱动器、 冗余处理单元、 外部磁盘驱动阵列、 RAID系统、 磁 带驱动器以及数据备份存储系统等。 0097 处理器416通过运行存储在系统存储器428中的程序, 从而执行各种功能应用以及 数据处理, 例如实现本发明实施例所提供的视频搜索方法, 该方法包括: 0098 当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目标图片信息, 根据 所述目标图片信息确定图片特征数据; 0099 将所述图片特征数据与候选场景片段的场景特征数据进行匹配, 根据匹配结果确 定与所述目标图片信息相匹配的目标场景片段; 0100 将所述目标场景片段对应。

43、的视频作为所述视频搜索指令的响应信息。 0101 当然, 本领域技术人员可以理解, 处理器还可以实现本发明任意实施例所提供的 视频搜索方法的技术方案。 0102 实施例五 0103 本发明实施例五还提供了一种计算机可读存储介质, 其上存储有计算机程序, 该 程序被处理器执行时实现如本发明实施例所提供的视频搜索方法, 该方法包括: 0104 当检测到视频搜索指令时, 获取所述视频搜索指令中包含的目标图片信息, 根据 所述目标图片信息确定图片特征数据; 0105 将所述图片特征数据与候选场景片段的场景特征数据进行匹配, 根据匹配结果确 定与所述目标图片信息相匹配的目标场景片段; 0106 将所述目。

44、标场景片段对应的视频作为所述视频搜索指令的响应信息。 0107 当然, 本发明实施例所提供的一种计算机可读存储介质, 其上存储的计算机程序 不限于如上所述的方法操作, 还可以执行本发明任意实施例所提供的视频搜索方法中的相 关操作。 0108 本发明实施例的计算机存储介质, 可以采用一个或多个计算机可读的介质的任意 组合。 计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。 计算机可读 存储介质例如可以是但不限于电、 磁、 光、 电磁、 红外线、 或半导体的系统、 装置或 器件, 或者任意以上的组合。 计算机可读存储介质的更具体的例子(非穷举的列表)包括: 具 有一个或多个导线的电连。

45、接、 便携式计算机磁盘、 硬盘、 随机存取存储器(RAM)、 只读存储器 (ROM)、 可擦式可编程只读存储器(EPROM或闪存)、 光纤、 便携式紧凑磁盘只读存储器(CD- ROM)、 光存储器件、 磁存储器件、 或者上述的任意合适的组合。 在本文件中, 计算机可读存储 介质可以是任何包含或存储程序的有形介质, 该程序可以被指令执行系统、 装置或者器件 使用或者与其结合使用。 0109 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号, 其中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形式, 包括但不限 于电磁信号、 光信号或上述的任意合适的组合。 计算机。

46、可读的信号介质还可以是计算机可 读存储介质以外的任何计算机可读介质, 该计算机可读介质可以发送、 传播或者传输用于 由指令执行系统、 装置或者器件使用或者与其结合使用的程序。 说明书 8/9 页 11 CN 111209431 A 11 0110 计算机可读介质上包含的程序代码可以用任何适当的介质传输, 包括但不限 于无线、 电线、 光缆、 RF等等, 或者上述的任意合适的组合。 0111 可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机 程序代码, 所述程序设计语言包括面向对象的程序设计语言诸如Java、 Smalltalk、 C+, 还包括常规的过程式程序设计语言诸如 。

47、“C” 语言或类似的程序设计语言。 程序代码可以 完全地在用户计算机上执行、 部分地在用户计算机上执行、 作为一个独立的软件包执行、 部 分在用户计算机上部分在远程计算机上执行、 或者完全在远程计算机或服务器上执行。 在 涉及远程计算机的情形中, 远程计算机可以通过任意种类的网络包括局域网(LAN)或 广域网(WAN)连接到用户计算机, 或者, 可以连接到外部计算机(例如利用因特网服务提 供商来通过因特网连接)。 0112 注意, 上述仅为本发明的较佳实施例及所运用技术原理。 本领域技术人员会理解, 本发明不限于这里所述的特定实施例, 对本领域技术人员来说能够进行各种明显的变化、 重新调整和替代而不会脱离本发明的保护范围。 因此, 虽然通过以上实施例对本发明进行 了较为详细的说明, 但是本发明不仅仅限于以上实施例, 在不脱离本发明构思的情况下, 还 可以包括更多其他等效实施例, 而本发明的范围由所附的权利要求范围决定。 说明书 9/9 页 12 CN 111209431 A 12 图1 说明书附图 1/3 页 13 CN 111209431 A 13 图2 说明书附图 2/3 页 14 CN 111209431 A 14 图3 图4 说明书附图 3/3 页 15 CN 111209431 A 15 。

展开阅读全文
内容关键字: 视频 搜索 方法 装置 设备 介质
关于本文
本文标题:视频搜索方法、装置、设备及介质.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/9327463.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1