基于卷积神经网络与尺度不变特征变换的商标检索方法以及装置.pdf

《基于卷积神经网络与尺度不变特征变换的商标检索方法以及装置.pdf》由会员分享，可在线阅读，更多相关《基于卷积神经网络与尺度不变特征变换的商标检索方法以及装置.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910259887.9 (22)申请日 2019.04.02 (71)申请人 北京市天元网络技术股份有限公司 地址 100193 北京市海淀区西北旺东路10 号院东区20号楼202室 (72)发明人 谭智峰李林 (51)Int.Cl. G06K 9/62(2006.01) G06K 9/46(2006.01) G06F 16/55(2019.01) (54)发明名称 一种基于卷积神经网络与尺度不变特征变 换的商标检索方法以及装置 (57)摘要 本公开是关于一种基于卷积神经网。

2、络与尺 度不变特征变换的商标检索方法、 装置、 电子设 备以及存储介质。 其中， 该方法包括： 通过爬虫在 网络上爬取第一预设数量的全类别商标图像， 建 立商标图像数据库； 将所述商标图像数据库中全 类别商标图像分别进行基于卷积神经网络的训 练、 验证及测试， 提取出卷积神经网络特征； 确定 商标图像的关键点及兴趣点方向， 并通过商标图 像描述符计算提取出尺度不变特征； 将卷积神经 网络特征与尺度不变特征首尾拼接， 得到商标图 像的融合特征； 通过计算所述商标图像的融合特 征与所述商标图像数据库中商标图像的特征向 量的欧式距离判断相似度。 本公开通过多种商标 图像特征融合对比的方式实现商标的更。

3、准确识 别。 权利要求书2页 说明书10页 附图3页 CN 109978067 A 2019.07.05 CN 109978067 A 1.一种基于卷积神经网络与尺度不变特征变换的商标检索方法， 其特征在于， 所述方 法包括： 建立商标图像数据库步骤， 通过爬虫在网络上爬取第一预设数量的全类别商标图像， 建立商标图像数据库； 卷积神经网络特征提取步骤， 将所述商标图像数据库中的第一预设数量的全类别商标 图像切分为训练集、 验证集及测试集， 分别进行基于卷积神经网络的训练、 验证及测试， 提 取出卷积神经网络特征； 尺度不变特征提取步骤， 确定商标图像的关键点及兴趣点方向， 并通过商标图像描述 。

4、符计算提取出尺度不变特征； 融合特征生成步骤， 将卷积神经网络特征与尺度不变特征首尾拼接， 得到商标图像的 融合特征； 融合特征对比步骤， 通过计算所述商标图像的融合特征与所述商标图像数据库中商标 图像的特征向量的欧式距离判断相似度。 2.如权利要求1所述的方法， 其特征在于， 所述卷积神经网络特征提取步骤还包括： 将所述商标图像数据库中的第一预设数量的全类别商标图像切分为第二预设数量商 标图像的训练集、 第三预设数量商标图像的验证集、 第四预设数量商标图像的测试集， 所述 第二预设数量、 第三预设数量与第四预设数量之和为第一预设数量。 3.如权利要求2所述的方法， 其特征在于， 所述方法还包。

5、括： 将所述第二预设数量商标图像进行数据增强得到第五预设数量商标图像训练集： 所述数据增强包括五种方式： 采用水平镜像将图像左半部分和右半部分以图像竖直中 轴线为中心轴进行对换； 在原图中随机剪裁一定范围内图像； 图像水平位置平移； 图像上下 位置平移； 图像在0， 15度范围内随机小角度旋转； 所述第五预设数量为第二预设数量的5倍。 4.如权利要求1所述的方法， 其特征在于， 所述卷积神经网络特征提取步骤还包括： 通过基于ResNet32的深度残差网络及基于PReLU的激活函数提取卷积神经网络特征； 所述深度残差网络包括5层卷积层， 4层残差层， 1层全连接层和SoftmaxWithLoss。

6、分类 器层； 所述基于PReLU的激活函数系数值为0.25。 5.如权利要求1所述的方法， 其特征在于， 所述尺度不变特征提取步骤还包括： 商标图像尺度空间与关键点检测， 通过应用Gaussian算子得到sigma值， 采用sigma值 的LOG滤波图像用于创建尺度空间， 通过像素点强度值定位关键点； 计算关键点邻域内导数幅值F(x,y)和方向 (x,y)： 其中， L为灰度级 通过梯度幅值作为像素方向的分配权重， 权重最高的像素方向为兴趣点方向； 通过梯度方向来计算商标图像描述符， 提取尺度不变特征。 权利要求书 1/2 页 2 CN 109978067 A 2 6.如权利要求1所述的方法，。

7、 其特征在于， 所述通过梯度方向来计算商标图像描述符步 骤还包括： 选取商标图像以关键点为中心的1616的窗口； 将窗口中的像素根据Gaussian加权划分为44的区域； 将像素点与关键点的相对方向进行Gaussian加权放入含8个像素的方向直方图， 得到 尺度不变特征。 7.一种基于卷积神经网络与尺度不变特征变换的商标检索装置， 其特征在于， 所述装 置包括： 建立商标图像数据库模块， 用于通过爬虫在网络上爬取第一预设数量的全类别商标图 像， 建立商标图像数据库； 卷积神经网络特征提取模块， 用于将所述商标图像数据库中的第一预设数量的全类别 商标图像切分为训练集、 验证集及测试集， 分别进行。

8、基于卷积神经网络的训练、 验证及测 试， 提取出卷积神经网络特征； 尺度不变特征提取模块， 用于确定商标图像的关键点及兴趣点方向， 并通过商标图像 描述符计算提取出尺度不变特征； 融合特征生成模块， 用于将卷积神经网络特征与尺度不变特征首尾拼接， 得到商标图 像的融合特征； 融合特征对比模块， 用于通过计算所述商标图像的融合特征与所述商标图像数据库中 商标图像的特征向量的欧式距离判断相似度。 8.一种电子设备， 其特征在于， 包括 处理器； 以及 存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令被所述处理器执 行时实现根据权利要求1至6中任一项所述的方法。 9.一种计算机可读存。

9、储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现根据权利要求1至6中任一项所述方法。 权利要求书 2/2 页 3 CN 109978067 A 3 一种基于卷积神经网络与尺度不变特征变换的商标检索方法 以及装置 技术领域 0001 本公开涉及计算机技术领域， 具体而言， 涉及一种基于卷积神经网络与尺度不变 特征变换的商标检索方法、 装置、 电子设备以及计算机可读存储介质。 背景技术 0002 商标是企业无形资产的重要组成部分， 与企业品牌息息相关， 商标是品牌中的标 志和名称部分， 为消费者识别产品和品牌提供方便， 对于品牌来说一个与众不同意义非凡 且便于识别的商标对企业有。

10、着重要的作用。 但是， 我国在商标方面存在商标基数大且存在 大量无效申请， 商标监管存在漏洞， 山寨商标盛行等问题。 因此， 对于如何快速、 精确地从商 标库中返回相似商标的信息是亟待解决的问题。 0003 近年来， 商标检索通常利用形状或颜色特征， 如利用尺度不变特征进行精确匹配， 通过欧式距离完成相似度量， 返回相似度排名靠前的商标结果。 但是对于较复杂的商标， 由 于尺度不变特征不能充分描述形状信息， 所以该技术的检索效果还不能令人满意， 使其检 索精度有待优化。 0004 由上可知， 需要提供一种或多种至少能够解决上述问题的技术方案。 0005 需要说明的是， 在上述背景技术部分公开的。

11、信息仅用于加强对本公开的背景的理 解， 因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。 发明内容 0006 本公开的目的在于提供一种基于卷积神经网络与尺度不变特征变换的商标检索 方法、 装置、 电子设备以及计算机可读存储介质， 进而至少在一定程度上克服由于相关技术 的限制和缺陷而导致的一个或者多个问题。 0007 根据本公开的一个方面， 提供一种基于卷积神经网络与尺度不变特征变换的商标 检索方法， 包括： 0008 建立商标图像数据库步骤， 通过爬虫在网络上爬取第一预设数量的全类别商标图 像， 建立商标图像数据库； 0009 卷积神经网络特征提取步骤， 将所述商标图像数据库中的第。

12、一预设数量的全类别 商标图像切分为训练集、 验证集及测试集， 分别进行基于卷积神经网络的训练、 验证及测 试， 提取出卷积神经网络特征； 0010 尺度不变特征提取步骤， 确定商标图像的关键点及兴趣点方向， 并通过商标图像 描述符计算提取出尺度不变特征； 0011 融合特征生成步骤， 将卷积神经网络特征与尺度不变特征首尾拼接， 得到商标图 像的融合特征； 0012 融合特征对比步骤， 通过计算所述商标图像的融合特征与所述商标图像数据库中 商标图像的特征向量的欧式距离判断相似度。 说明书 1/10 页 4 CN 109978067 A 4 0013 在本公开的一种示例性实施例中， 所述卷积神经网。

13、络特征提取步骤还包括： 0014 将所述商标图像数据库中的第一预设数量的全类别商标图像切分为第二预设数 量商标图像的训练集、 第三预设数量商标图像的验证集、 第四预设数量商标图像的测试集， 所述第二预设数量、 第三预设数量与第四预设数量之和为第一预设数量。 0015 在本公开的一种示例性实施例中， 所述方法还包括： 0016 将所述第二预设数量商标图像进行数据增强得到第五预设数量商标图像训练集： 0017 所述数据增强包括五种方式： 采用水平镜像将图像左半部分和右半部分以图像竖 直中轴线为中心轴进行对换； 在原图中随机剪裁一定范围内图像； 图像水平位置平移； 图像 上下位置平移； 图像在0， 。

14、15度范围内随机小角度旋转； 0018 所述第五预设数量为第二预设数量的5倍。 0019 在本公开的一种示例性实施例中， 所述卷积神经网络特征提取步骤还包括： 0020 通过基于ResNet32的深度残差网络及基于PReLU的激活函数提取卷积神经网络特 征； 0021 所述深度残差网络包括5层卷积层， 4层残差层， 1层全连接层和SoftmaxWithLoss 分类器层； 0022 所述基于PReLU的激活函数系数值为0.25。 0023 在本公开的一种示例性实施例中， 所述尺度不变特征提取步骤还包括： 0024 商标图像尺度空间与关键点检测， 通过应用Gaussian算子得到sigma值， 。

15、采用 sigma值的LOG滤波图像用于创建尺度空间， 通过像素点强度值定位关键点。 0025 计算关键点邻域内导数幅值F(x,y)和方向 (x,y)： 0026 0027 0028 其中， L为灰度级 0029 通过梯度幅值作为像素方向的分配权重， 权重最高的像素方向为兴趣点方向； 0030 通过梯度方向来计算商标图像描述符， 提取尺度不变特征。 0031 在本公开的一种示例性实施例中， 所述通过梯度方向来计算商标图像描述符步骤 还包括： 0032 选取商标图像以关键点为中心的1616的窗口； 0033 将窗口中的像素根据Gaussian加权划分为44的区域； 0034 将像素点与关键点的相对。

16、方向进行Gaussian加权放入含8个像素的方向直方图， 得到尺度不变特征。 0035 在本公开的一个方面， 提供一种基于卷积神经网络与尺度不变特征变换的商标检 索装置， 包括： 0036 建立商标图像数据库模块， 用于通过爬虫在网络上爬取第一预设数量的全类别商 标图像， 建立商标图像数据库； 0037 卷积神经网络特征提取模块， 用于将所述商标图像数据库中的第一预设数量的全 类别商标图像切分为训练集、 验证集及测试集， 分别进行基于卷积神经网络的训练、 验证及 说明书 2/10 页 5 CN 109978067 A 5 测试， 提取出卷积神经网络特征； 0038 尺度不变特征提取模块， 用于。

17、确定商标图像的关键点及兴趣点方向， 并通过商标 图像描述符计算提取出尺度不变特征； 0039 融合特征生成模块， 用于将卷积神经网络特征与尺度不变特征首尾拼接， 得到商 标图像的融合特征； 0040 融合特征对比模块， 用于通过计算所述商标图像的融合特征与所述商标图像数据 库中商标图像的特征向量的欧式距离判断相似度。 0041 在本公开的一个方面， 提供一种电子设备， 包括： 0042 处理器； 以及 0043 存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令被所述处理 器执行时实现根据上述任意一项所述的方法。 0044 在本公开的一个方面， 提供一种计算机可读存储介质， 其上。

18、存储有计算机程序， 所 述计算机程序被处理器执行时实现根据上述任意一项所述的方法。 0045 本公开的示例性实施例中的基于卷积神经网络与尺度不变特征变换的商标检索 方法， 通过爬虫在网络上爬取第一预设数量的全类别商标图像， 建立商标图像数据库； 将所 述商标图像数据库中全类别商标图像分别进行基于卷积神经网络的训练、 验证及测试， 提 取出卷积神经网络特征； 确定商标图像的关键点及兴趣点方向， 并通过商标图像描述符计 算提取出尺度不变特征； 将卷积神经网络特征与尺度不变特征首尾拼接， 得到商标图像的 融合特征； 通过计算所述商标图像的融合特征与所述商标图像数据库中商标图像的特征向 量的欧式距离判。

19、断相似度。 一方面， 由于采用了基于卷积神经网络与尺度不变特征变换结 合的商标图像识别方式， 提高了识别的准确性； 另一方面， 基于卷积神经网络采用深度残差 网络， 极大地减小架构的计算量， 加快模型拟合时间， 更准确的表达矢量数据的特征， 从而 提高模型分类精确率。 0046 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并不 能限制本公开。 附图说明 0047 通过参照附图来详细描述其示例实施例， 本公开的上述和其它特征及优点将变得 更加明显。 0048 图1示出了根据本公开一示例性实施例的基于卷积神经网络与尺度不变特征变换 的商标检索方法的流程图； 0049 图2。

20、示出了根据本公开一示例性实施例的基于卷积神经网络与尺度不变特征变换 的商标检索装置的示意框图； 0050 图3示意性示出了根据本公开一示例性实施例的电子设备的框图； 以及 0051 图4示意性示出了根据本公开一示例性实施例的计算机可读存储介质的示意图。 具体实施方式 0052 现在将参考附图更全面地描述示例实施例。 然而， 示例实施例能够以多种形式实 施， 且不应被理解为限于在此阐述的实施例； 相反， 提供这些实施例使得本公开将全面和完 说明书 3/10 页 6 CN 109978067 A 6 整， 并将示例实施例的构思全面地传达给本领域的技术人员。 在图中相同的附图标记表示 相同或类似的部。

21、分， 因而将省略对它们的重复描述。 0053 此外， 所描述的特征、 结构或特性可以以任何合适的方式结合在一个或更多实施 例中。 在下面的描述中， 提供许多具体细节从而给出对本公开的实施例的充分理解。 然而， 本领域技术人员将意识到， 可以实践本公开的技术方案而没有所述特定细节中的一个或更 多， 或者可以采用其它的方法、 组元、 材料、 装置、 步骤等。 在其它情况下， 不详细示出或描述 公知结构、 方法、 装置、 实现、 材料或者操作以避免模糊本公开的各方面。 0054 附图中所示的方框图仅仅是功能实体， 不一定必须与物理上独立的实体相对应。 即， 可以采用软件形式来实现这些功能实体， 或在。

22、一个或多个软件硬化的模块中实现这些 功能实体或功能实体的一部分， 或在不同网络和/或处理器装置和/或微控制器装置中实现 这些功能实体。 0055 在本示例实施例中， 首先提供了一种基于卷积神经网络与尺度不变特征变换的商 标检索方法， 可以应用于电动汽车控制系统等电子设备； 参考图1中所示， 该基于卷积神经 网络与尺度不变特征变换的商标检索方法可以包括以下步骤： 0056 建立商标图像数据库步骤S110， 通过爬虫在网络上爬取第一预设数量的全类别商 标图像， 建立商标图像数据库； 0057 卷积神经网络特征提取步骤S120， 将所述商标图像数据库中的第一预设数量的全 类别商标图像切分为训练集、 。

23、验证集及测试集， 分别进行基于卷积神经网络的训练、 验证及 测试， 提取出卷积神经网络特征； 0058 尺度不变特征提取步骤S130， 确定商标图像的关键点及兴趣点方向， 并通过商标 图像描述符计算提取出尺度不变特征； 0059 融合特征生成步骤S140， 将卷积神经网络特征与尺度不变特征首尾拼接， 得到商 标图像的融合特征； 0060 融合特征对比步骤S150， 通过计算所述商标图像的融合特征与所述商标图像数据 库中商标图像的特征向量的欧式距离判断相似度。 0061 根据本示例实施例中的基于卷积神经网络与尺度不变特征变换的商标检索方法， 一方面， 由于采用了基于卷积神经网络与尺度不变特征变换。

24、结合的商标图像识别方式， 提 高了识别的准确性； 另一方面， 基于卷积神经网络采用深度残差网络， 极大地减小架构的计 算量， 加快模型拟合时间， 更准确的表达矢量数据的特征， 从而提高模型分类精确率。 0062 下面， 将对本示例实施例中的基于卷积神经网络与尺度不变特征变换的商标检索 方法进行进一步的说明。 0063 在建立商标图像数据库步骤S110中， 可以通过爬虫在网络上爬取第一预设数量的 全类别商标图像， 建立商标图像数据库。 0064 在本示例的实施例中， 收集商标图像数据， 从网络爬取下载商标图像。 收集一个较 大范围包含行各业涵盖衣食住行各个类别的商标图像库作为实验的数据库， 一共。

25、收集21万 幅图像。 0065 在卷积神经网络特征提取步骤S120中， 可以将所述商标图像数据库中的第一预设 数量的全类别商标图像切分为训练集、 验证集及测试集， 分别进行基于卷积神经网络的训 练、 验证及测试， 提取出卷积神经网络特征。 说明书 4/10 页 7 CN 109978067 A 7 0066 在本示例的实施例中， 所述卷积神经网络特征提取步骤还包括： 0067 将所述商标图像数据库中的第一预设数量的全类别商标图像切分为第二预设数 量商标图像的训练集、 第三预设数量商标图像的验证集、 第四预设数量商标图像的测试集， 所述第二预设数量、 第三预设数量与第四预设数量之和为第一预设数量。

26、。 0068 在本示例的实施例中， 所述方法还包括： 0069 将所述第二预设数量商标图像进行数据增强得到第五预设数量商标图像训练集： 0070 所述数据增强包括五种方式： 采用水平镜像将图像左半部分和右半部分以图像竖 直中轴线为中心轴进行对换； 在原图中随机剪裁一定范围内图像； 图像水平位置平移； 图像 上下位置平移； 图像在0， 15度范围内随机小角度旋转； 0071 所述第五预设数量为第二预设数量的5倍。 0072 在本示例的实施例中， 所述卷积神经网络特征提取步骤还包括： 0073 通过基于ResNet32的深度残差网络及基于PReLU的激活函数提取卷积神经网络特 征； 0074 所述。

27、深度残差网络包括5层卷积层， 4层残差层， 1层全连接层和SoftmaxWithLoss 分类器层； 0075 所述基于PReLU的激活函数系数值为0.25。 0076 在本示例的实施例中， 从21万幅图像中选取1万幅图像对其进行数据增强作为 ResNet训练、 验证集。 数据增强采用水平镜像即将图像左半部分和右半部分以图像竖直中 轴线为中心轴进行兑换； 随机剪裁即在原图中剪裁一定范围内图像； 水平位置评议和上下 位置平移； 图像小角度旋转， 在0， 15度范围内随机的旋转。 这样1万幅图像经过数据增强 为5万幅。 0077 对5万幅图像进行切分， 切分为训练集、 验证集， 用于后续模型训练、。

28、 验证。 没有经 过数据增强的20万数据集作为测试集。 切分后三部分依次为训练集数据为4万幅， 验证集数 据为1万幅， 测试集数据为20万幅。 0078 构建并采用迁移学习的方式训练深度神经网络ResNet模型， 深度残差网络架构为 ResNet32， 网络中还包含局部归一化层(Batch Norm和Scale)、 激活函数层(PReLU)、 残差层 (Eltwise)、 全连接层(Fc)、 和dropout层(drop)。 0079 深度残差网络以224224大小的图像作为输入， 网络包含5层卷积层， 4层残差层， 1层全连接层和SoftmaxWithLoss分类器层。 经过第1层卷积之后，。

29、 特征图大小为112112， 共64个特征图； 经过第2层卷积之后， 特征图大小为5656， 共64个特征图； 经过第3层卷积 之后， 特征图大小为2828， 共128个特征图； 经过第4层卷积之后， 特征图大小为1414， 共 256个特征图； 经过第5层卷积之后， 特征图大小为77， 共512个特征图。 卷积核的大小为7 7或者33， 步长大小为1或者2。 最终输出5121维特征。 0080 为了解决网络过深， 造成过拟合现象， 使用深度残差网络结构， 它允许网络尽可能 的加深， 其中ResNet提出了两种mapping： 一种是identity mapping， 指的就是下图中” 弯弯 。

30、的曲线” ， 另一种residual mapping， 指的就是除了” 弯弯的曲线 “那部分， 所以最后的输出 是H(x)F(x)+x。 0081 显然F(x)比H(x)容易求得， 试想极端情况， 当该段网络不对数据提取特征(即输出 数据相较于输出数据未发生改变)， 则H(x)x， 如果是残差网络， 则只要学习F(x)0的表 说明书 5/10 页 8 CN 109978067 A 8 达式即可， 而普通网络则要学习H(x)x表达式， 而对于计算机而言F(x)0的表达式更容 易处理。 故该残差网络可以极大地减小架构的计算量， 加快模型拟合时间， 更准确的表达矢 量数据的特征， 从而提高模型分类精。

31、确率。 0082 这里的激活函数使用PReLU(Parametric Rectified Linear Unit),顾名思义： 带 参数的ReLU。 如果系数a0， 那么PReLU退化为ReLU； 如果a是一个很小的固定值(如a 0.01)， 则PReLU退化为Leaky ReLU(LReLU)。 这里选取a为0.25。 0083 在尺度不变特征提取步骤S130中， 可以确定商标图像的关键点及兴趣点方向， 并 通过商标图像描述符计算提取出尺度不变特征。 0084 在本示例的实施例中， 所述尺度不变特征提取步骤还包括： 0085 商标图像尺度空间与关键点检测， 通过应用Gaussian算子得到s。

32、igma值， 采用 sigma值的LOG滤波图像用于创建尺度空间， 通过像素点强度值定位关键点。 0086 计算关键点邻域内导数幅值F(x,y)和方向 (x,y)： 0087 0088 0089 其中， L为灰度级 0090 通过梯度幅值作为像素方向的分配权重， 权重最高的像素方向为兴趣点方向； 0091 通过梯度方向来计算商标图像描述符， 提取尺度不变特征。 0092 在本示例的实施例中， 所述通过梯度方向来计算商标图像描述符步骤还包括： 0093 选取商标图像以关键点为中心的1616的窗口； 0094 将窗口中的像素根据Gaussian加权划分为44的区域； 0095 将像素点与关键点的相。

33、对方向进行Gaussian加权放入含8个像素的方向直方图， 得到尺度不变特征。 0096 在本示例的实施例中， 首先进行尺度空间与关键点检测。 通过应用Gaussian算子 的Canny或Laplacian技术， 可以很容易地得到正确的sigma( )值进行多尺度分析， 因此这 里采用sigma值的LOG滤波图像用于创建尺度空间。 利用27个像素点强度值定位关键点， 确 定某一点是否为关键点。 0097 其次， 确定方向。 在得到稳定、 可抵御噪声干扰的关键点后， 实现旋转不变性的另 一个关键特征是主方向， 使得特征在主方向形成， 从而克服由于旋转而出现的差异性。 在每 个关键点或兴趣点上， 。

34、计算关键点邻域内导数幅值F(x,y)和方向 (x,y)， 表示为： 0098 0099 0100 式中： L为灰度级。 在所期望的邻域方向直方图中创建8个接收器， 每个接收器包含 10个连续的角度。 通过梯度幅值作为像素方向的分配权重， 权重最高的像素方向被认为是 感兴趣点的方向。 0101 最后， 关键点的商标图像描述符。 确定关键点后， 再确定它们的特征描述符， 为保 说明书 6/10 页 9 CN 109978067 A 9 持特征的稳定性， 使用梯度方向来计算其描述符。 SIFT描述符确定的主要步骤如下所述。 0102 1)选取以关键点为中心的1616的窗口。 0103 2)将窗口中的。

35、像素根据Gaussian加权划分为44的区域。 0104 3)将像素点与关键点的相对方向进行Gaussian加权放入含8个像素的方向直方 图， 使得SIFT保持旋转不变性。 0105 4)通过步骤2和3获得448128维的SIFT描述符。 0106 在融合特征生成步骤S140中， 可以将卷积神经网络特征与尺度不变特征首尾拼 接， 得到商标图像的融合特征。 0107 在本示例的实施例中， 将ResNet模型提取的特征与SIFT特征进行收尾拼接， ResNet模型提取的特征维度为5121， SIFT提取的特征维度为1281， 拼接形成6401特 征。 0108 在融合特征对比步骤S150中， 可以。

36、通过计算所述商标图像的融合特征与所述商标 图像数据库中商标图像的特征向量的欧式距离判断相似度。 0109 在本示例的实施例中， 为进一步提高检索精度， 采用残差架构的卷积神经网络与 SIFT算法结合的方式进行特征的提取， 这样特征维度上有一定的增加， 但是精度上进一步 提高， 避免漏检、 错检。 0110 需要说明的是， 尽管在附图中以特定顺序描述了本公开中方法的各个步骤， 但是， 这并非要求或者暗示必须按照该特定顺序来执行这些步骤， 或是必须执行全部所示的步骤 才能实现期望的结果。 附加的或备选的， 可以省略某些步骤， 将多个步骤合并为一个步骤执 行， 以及/或者将一个步骤分解为多个步骤执行。

37、等。 0111 此外， 在本示例实施例中， 还提供了一种基于卷积神经网络与尺度不变特征变换 的商标检索装置。 参照图2所示， 该基于卷积神经网络与尺度不变特征变换的商标检索装置 200可以包括： 建立商标图像数据库模块210、 卷积神经网络特征提取模块220、 尺度不变特 征提取模块230、 融合特征生成模块240以及融合特征对比模块250。 其中： 0112 建立商标图像数据库模块210， 用于通过爬虫在网络上爬取第一预设数量的全类 别商标图像， 建立商标图像数据库； 0113 卷积神经网络特征提取模块220， 用于将所述商标图像数据库中的第一预设数量 的全类别商标图像切分为训练集、 验证集。

38、及测试集， 分别进行基于卷积神经网络的训练、 验 证及测试， 提取出卷积神经网络特征； 0114 尺度不变特征提取模块230， 用于确定商标图像的关键点及兴趣点方向， 并通过商 标图像描述符计算提取出尺度不变特征； 0115 融合特征生成模块240， 用于将卷积神经网络特征与尺度不变特征首尾拼接， 得到 商标图像的融合特征； 0116 融合特征对比模块250， 用于通过计算所述商标图像的融合特征与所述商标图像 数据库中商标图像的特征向量的欧式距离判断相似度。 0117 上述中各基于卷积神经网络与尺度不变特征变换的商标检索装置模块的具体细 节已经在对应的音频段落识别方法中进行了详细的描述， 因此。

39、此处不再赘述。 0118 应当注意， 尽管在上文详细描述中提及了基于卷积神经网络与尺度不变特征变换 的商标检索装置200的若干模块或者单元， 但是这种划分并非强制性的。 实际上， 根据本公 说明书 7/10 页 10 CN 109978067 A 10 开的实施方式， 上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单 元中具体化。 反之， 上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个 模块或者单元来具体化。 0119 此外， 在本公开的示例性实施例中， 还提供了一种能够实现上述方法的电子设备。 0120 所属技术领域的技术人员能够理解， 本发明的各个方面可以实现。

40、为系统、 方法或 程序产品。 因此， 本发明的各个方面可以具体实现为以下形式， 即： 完全的硬件实施例、 完全 的软件实施例(包括固件、 微代码等)， 或硬件和软件方面结合的实施例， 这里可以统称为 “电路” 、“模块” 或 “系统” 。 0121 下面参照图3来描述根据本发明的这种实施例的电子设备300。 图3显示的电子设 备300仅仅是一个示例， 不应对本发明实施例的功能和使用范围带来任何限制。 0122 如图3所示， 电子设备300以通用计算设备的形式表现。 电子设备300的组件可以包 括但不限于： 上述至少一个处理单元310、 上述至少一个存储单元320、 连接不同系统组件 (包括存储。

41、单元320和处理单元310)的总线330、 显示单元340。 0123 其中， 所述存储单元存储有程序代码， 所述程序代码可以被所述处理单元310执 行， 使得所述处理单元310执行本说明书上述 “示例性方法” 部分中描述的根据本发明各种 示例性实施例的步骤。 例如， 所述处理单元310可以执行如图1中所示的步骤S110至步骤 S150。 0124 存储单元320可以包括易失性存储单元形式的可读介质， 例如随机存取存储单元 (RAM)3201和/或高速缓存存储单元3202， 还可以进一步包括只读存储单元(ROM)3203。 0125 存储单元320还可以包括具有一组(至少一个)程序模块3205。

42、的程序/实用工具 3204， 这样的程序模块3205包括但不限于： 操作系统、 一个或者多个应用程序、 其它程序模 块以及程序数据， 这些示例中的每一个或某种组合中可能包括网络环境的实现。 0126 总线330可以为表示几类总线结构中的一种或多种， 包括存储单元总线或者存储 单元控制器、 外围总线、 图形加速端口、 处理单元或者使用多种总线结构中的任意总线结构 的局域总线。 0127 电子设备300也可以与一个或多个外部设备370(例如键盘、 指向设备、 蓝牙设备 等)通信， 还可与一个或者多个使得用户能与该电子设备300交互的设备通信， 和/或与使得 该电子设备300能与一个或多个其它计算设。

43、备进行通信的任何设备(例如路由器、 调制解调 器等等)通信。 这种通信可以通过输入/输出(I/O)接口350进行。 并且， 电子设备300还可以 通过网络适配器360与一个或者多个网络(例如局域网(LAN)， 广域网(WAN)和/或公共网络， 例如因特网)通信。 如图所示， 网络适配器360通过总线330与电子设备300的其它模块通信。 应当明白， 尽管图中未示出， 可以结合电子设备300使用其它硬件和/或软件模块， 包括但不 限于： 微代码、 设备驱动器、 冗余处理单元、 外部磁盘驱动阵列、 RAID系统、 磁带驱动器以及 数据备份存储系统等。 0128 通过以上的实施例的描述， 本领域的技。

44、术人员易于理解， 这里描述的示例实施例 可以通过软件实现， 也可以通过软件结合必要的硬件的方式来实现。 因此， 根据本公开实施 例的技术方案可以以软件产品的形式体现出来， 该软件产品可以存储在一个非易失性存储 介质(可以是CD-ROM， U盘， 移动硬盘等)中或网络上， 包括若干指令以使得一台计算设备(可 以是个人计算机、 服务器、 终端装置、 或者网络设备等)执行根据本公开实施例的方法。 说明书 8/10 页 11 CN 109978067 A 11 0129 在本公开的示例性实施例中， 还提供了一种计算机可读存储介质， 其上存储有能 够实现本说明书上述方法的程序产品。 在一些可能的实施例中。

45、， 本发明的各个方面还可以 实现为一种程序产品的形式， 其包括程序代码， 当所述程序产品在终端设备上运行时， 所述 程序代码用于使所述终端设备执行本说明书上述 “示例性方法” 部分中描述的根据本发明 各种示例性实施例的步骤。 0130 参考图4所示， 描述了根据本发明的实施例的用于实现上述方法的程序产品400， 其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码， 并可以在终端设备， 例如 个人电脑上运行。 然而， 本发明的程序产品不限于此， 在本文件中， 可读存储介质可以是任 何包含或存储程序的有形介质， 该程序可以被指令执行系统、 装置或者器件使用或者与其 结合使用。 0131。

46、 所述程序产品可以采用一个或多个可读介质的任意组合。 可读介质可以是可读信 号介质或者可读存储介质。 可读存储介质例如可以为但不限于电、 磁、 光、 电磁、 红外线、 或 半导体的系统、 装置或器件， 或者任意以上的组合。 可读存储介质的更具体的例子(非穷举 的列表)包括： 具有一个或多个导线的电连接、 便携式盘、 硬盘、 随机存取存储器(RAM)、 只读 存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、 光纤、 便携式紧凑盘只读存储器 (CD-ROM)、 光存储器件、 磁存储器件、 或者上述的任意合适的组合。 0132 计算机可读信号介质可以包括在基带中或者作为载波一部分传播。

47、的数据信号， 其 中承载了可读程序代码。 这种传播的数据信号可以采用多种形式， 包括但不限于电磁信号、 光信号或上述的任意合适的组合。 可读信号介质还可以是可读存储介质以外的任何可读介 质， 该可读介质可以发送、 传播或者传输用于由指令执行系统、 装置或者器件使用或者与其 结合使用的程序。 0133 可读介质上包含的程序代码可以用任何适当的介质传输， 包括但不限于无线、 有 线、 光缆、 RF等等， 或者上述的任意合适的组合。 0134 可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序 代码， 所述程序设计语言包括面向对象的程序设计语言诸如Java、 C+等， 还包括常规的。

48、 过程式程序设计语言诸如 “C” 语言或类似的程序设计语言。 程序代码可以完全地在用户 计算设备上执行、 部分地在用户设备上执行、 作为一个独立的软件包执行、 部分在用户计算 设备上部分在远程计算设备上执行、 或者完全在远程计算设备或服务器上执行。 在涉及远 程计算设备的情形中， 远程计算设备可以通过任意种类的网络， 包括局域网(LAN)或广域网 (WAN)， 连接到用户计算设备， 或者， 可以连接到外部计算设备(例如利用因特网服务提供商 来通过因特网连接)。 0135 此外， 上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说 明， 而不是限制目的。 易于理解， 上述附图所示的处。

49、理并不表明或限制这些处理的时间顺 序。 另外， 也易于理解， 这些处理可以是例如在多个模块中同步或异步执行的。 0136 本领域技术人员在考虑说明书及实践这里公开的发明后， 将容易想到本公开的其 他实施例。 本申请旨在涵盖本公开的任何变型、 用途或者适应性变化， 这些变型、 用途或者 适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或 惯用技术手段。 说明书和实施例仅被视为示例性的， 本公开的真正范围和精神由权利要求 指出。 说明书 9/10 页 12 CN 109978067 A 12 0137 应当理解的是， 本公开并不局限于上面已经描述并在附图中示出的精确结构， 并 且可以在不脱离其范围进行各种修改和改变。 本公开的范围仅由所附的权利要求来限。 说明书 10/10 页 13 CN 109978067 A 13 图1 说明书附图 1/3 页 14 CN 109978067 A 14 图2 说明书附图 2/3 页 15 CN 109978067 A 15 图3 图4 说明书附图 3/3 页 16 CN 109978067 A 16 。