基于时空特征信息的草图检索三维模型的跨模态检索方法.pdf

《基于时空特征信息的草图检索三维模型的跨模态检索方法.pdf》由会员分享，可在线阅读，更多相关《基于时空特征信息的草图检索三维模型的跨模态检索方法.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010854244.1 (22)申请日 2020.08.24 (71)申请人 北方民族大学 地址 750021 宁夏回族自治区银川市西夏 区文昌北街204号 (72)发明人 白静周文惠拖继文秦飞巍 (74)专利代理机构 广州市华学知识产权代理有 限公司 44245 代理人 冯炳辉 (51)Int.Cl. G06K 9/62(2006.01) G06F 16/583(2019.01) G06N 3/04(2006.01) (54)发明名称 基于时空特征信息的草图检索三维模型的。

2、 跨模态检索方法 (57)摘要 本发明公开了一种基于时空特征信息的草 图检索三维模型的跨模态检索方法， 该方法是先 进行数据选取， 然后构建草图三维模型图像序 列和时空特征信息提取网络， 使用时空特征信息 提取网络提取草图和三维模型的时空特征信息， 再使用深度度量学习实现草图和三维模型的时 空特征信息联合， 最后根据时空特征信息联合中 草图和三维模型的时空特征信息的欧式距离进 行相似度计算。 本发明检索性能突出， 可有效完 成草图检索三维模型的跨模态检索， 有着更好的 准确度， 操作简单， 实用性强。 权利要求书3页 说明书9页 附图4页 CN 112085072 A 2020.12.15 C。

3、N 112085072 A 1.基于时空特征信息的草图检索三维模型的跨模态检索方法， 所述时空特征信息包括 时序动态特征信息和空间静态特征信息； 其特征在于， 该方法是先进行数据选取， 然后构建 草图-三维模型图像序列和时空特征信息提取网络， 使用时空特征信息提取网络提取草图 和三维模型的时空特征信息， 再使用深度度量学习实现草图和三维模型的时空特征信息联 合， 最后根据时空特征信息联合中草图和三维模型的时空特征信息的欧式距离进行相似度 计算； 其包括以下步骤： S1、 数据选取 数据集选用草图检索三维模型的标准数据集SHREC2013、 SHREC2014， 每个数据集包括 三维模型数据和草。

4、图数据两个部分， 分别针对两个数据集划分训练数据集和测试数据集； S2、 构建草图-三维模型图像序列 构建的草图-三维模型图像序列包含草图图像序列和三维模型图像序列； 针对步骤S1 所选取的两个数据集的草图数据部分， 根据草图绘制的笔画顺序构建草图图像序列； 针对 步骤S1所选取的两个数据集的三维模型部分， 根据三维模型的投影顺序获得三维模型图像 序列； S3、 构建时空特征信息提取网络 构建的时空特征信息提取网络由卷积神经网络和循环神经网络组成， 所述时空特征信 息提取网络通过训练数据集完成训练后， 再使用测试数据集进行测试， 在进行时空特征信 息提取时， 所述时空特征信息提取网络是使用卷积。

5、神经网络提取草图-三维模型图像序列 中单个图像的空间静态特征信息， 使用循环神经网络提取草图-三维模型图像序列的时序 动态特征信息， 再将提取的空间静态特征信息和时序动态特征信息串行连接， 完成时空特 征信息的有效融合； S4、 时空特征信息联合 引入深度度量学习进行草图和三维模型的时空特征信息联合， 确保在时空特征信息联 合中草图和三维模型这两种跨域数据的相同类别的欧式距离小于不同类别的欧式距离， 以 符合草图检索三维模型这一跨模态数据检索的特性； S5、 相似度计算 在相似度计算中， 计算测试数据集的草图和三维模型的时空特征信息在时空特征联合 中的欧式距离， 并将得到的欧式距离进行排序完成。

6、检索过程， 最后使用三维模型检索领域 通用的评价指标作为检索的评价标准； 其中， 对于相同类别的草图和三维模型， 在时空特征 信息联合中的时空特征信息距离趋近。 2.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法， 其特征在于： 在步骤S1中， 所述SHREC2013包含90个类、 7200张草图和1258个三维模型， 各个 类中的三维模型数量不等， 最少的只有4个， 最多的则有184个， 各个类中的草图数目均为 80， 实验中， 针对每个类， 50个草图用作训练， 30个草图用作测试， 1258个三维模型则全部作 为检索对象； 所述SHREC2014包含171个类、 。

7、13680张草图和8978个三维模型， 各个类中的三 维模型数量最少的少于10个， 最多的则多于300个， 各个类中的草图数目也为80， 实验中， 针 对每个类， 50个草图用作训练， 30个草图用作测试， 8978个三维模型则全部作为检索对象。 3.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法， 其特征在于： 在步骤S2中， 所述草图图像序列的选取范围为24张； 针对步骤S1所选取的两 权利要求书 1/3 页 2 CN 112085072 A 2 个数据集的三维模型部分， 将三维模型水平放置后选取预设角度对三维模型进行顺序视图 投影， 根据其投影顺序选取412张视图。

8、完成对三维模型图像序列的构建。 4.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法， 其特征在于： 在步骤S3中， 所述卷积神经网络选用网络权值共享的残差网络提取输入草图- 三维模型图像序列的空间静态特征， 所述循环神经网络选用网络权值共享的长短期记忆网 络进行时序动态特征的提取， 其中， 所述长短期记忆网络中每个网络模块由三个不同的门 控单元构成， 分别为遗忘门、 输入门和输出门， 门控单元介绍如下： 遗忘门， 决定了上一时刻的单元状态有多少保留到当前时刻的网络模块； 输入门， 决定了当前时刻网络的输入有多少保存到单元状态； 输出门， 能够控制单元状态有多少输出到的当。

9、前输出值。 5.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法， 其特征在于： 在步骤S4中， 使用深度度量学习对草图和三维模型进行时空特征信息联合， 以 使草图和三维模型的时空特征信息联合具有相同类别的时空特征信息欧式距离相近， 不同 类别的时空特征信息欧式距离变远的特点； 在深度度量方法中选择了三元中心损失的方 法， 将草图和三维模型的样本统称为xi， 则输入样本xi与其类中心Ci的距离Dp为： DpD(R (xi),Ci)， 与其它类中心Cj的距离Dn为DnD(R(xi),Cj)， 其中， R(xi)为样本xi在步骤S3中的 特征提取操作， 要求输入样本与同类样本。

10、在时空特征联合中欧式距离近， 到其它类样本在 时空特征联合中欧式距离远， 等价于输入样本与同类样本中心之间的欧式距离小于到其它 类样本中心的欧式距离， 即min DnDp， 引入决策边界 ， 0， 则能够进一步转化为min Dn- Dp ， 为此， 设定一个批次的样本数目为M， i为选取样本的编号， i的取值范围为1M， 为 遍历求和操作， 则三元中心损失的损失函数Lt-c定义为： 为了在训练过程中更好地找到各个类的类中心， 建立更加鲁棒的损失函数， 在三元中 心损失Lt-c的基础上考虑交叉熵损失Lsoftmax， 形成最终损失Ltotal： Ltotalw1Lt-c+w2Lsoftmax 其。

11、中， w1和w2为权重， 旨在平衡度量损失和分类损失在整个分类中所占的比重。 6.根据权利要求1所述的基于时空特征信息的草图检索三维模型的跨模态检索方法， 其特征在于： 在步骤S5中， 对测试数据集部分的草图和三维模型的时空特征信息进行相似 度计算， 设i、 j分别表示为草图和三维模型中的不同类别， 当类别为i时， 设草图和三维模型 的样本统称为xi， 设R(xi)为样本xi在步骤S3中的特征提取操作， Cj是类别为j时草图和三维 模型样本在步骤S4中时空特征信息联合的类别中心， | |为绝对值操作， 则计算草图和三 维模型的时空特征信息在时空特征信息联合中的欧式距离D(R(xi),Cj)定义。

12、为： 最后， 将得到的欧式距离进行排序操作， 即可完成基于时空特征信息的草图检索三维 模型的跨模态检索过程， 并使用三维模型检索领域通用的7项评价指标： Precision-Recall curves即准确率-召回率曲线PR、 Nearest Neighbor即最近邻NN、 First Tier即第一批次 权利要求书 2/3 页 3 CN 112085072 A 3 FT、 Second Tier即第二批次ST、 E-Measure即E方法、 Discounted Cumulative Gain即折扣 累计收益DCG、 Mean Average Precision即平均准确率MAP， 作为检索。

13、的评价标准。 权利要求书 3/3 页 4 CN 112085072 A 4 基于时空特征信息的草图检索三维模型的跨模态检索方法 技术领域 0001 本发明涉及计算机图形学、 计算机视觉与智能识别的技术领域， 尤其是指一种基 于时空特征信息的草图检索三维模型的跨模态检索方法。 背景技术 0002 随着计算机辅助设计与计算机视觉的快速发展,三维物体作为一种重要的数据类 型成为了继声音、 图像与视频之后信息的主要载体之一,在工业制造,虚拟现实和增强现实 等领域有着广泛的应用。 如何有效识别和检索三维模型是诸多应用的研究基础,成为研究 学者关注的课题,手绘草图易于构建,非常直观,且不受地域、 专业、 。

14、年龄等外在因素影响, 在人类历史中一直被当作一种非常有效的交流手段.近些年来,随着便携式触屏设备的普 及,手绘草图数据变得易于获取,基于手绘草图的三维模型检索成为新的研究方向。 0003 然而， 在基于草图的三维模型检索领域中， 三维模型和草图之间存在着巨大的域 间差异性:三维模型数据是现实世界的客观表征或虚拟世界的数字化模型,具有表征准确、 具体的,数据维度高、 非结构化等特性； 而草图是用户的一种主观表达,往往由表征物体全 局属性的简单线条组成,强调整体结构和突出特点,具有稀疏性和全局性等特性。 因而,基 于手绘草图的三维模型检索仍然非常困难.根据检索工作内容可以将现有工作的检索过程 分为。

15、跨域数据的初始表征、 特征嵌入和相似度计算三个步骤,在跨域数据的初始表征中将 草图数据和三维模型数据进行数据表征,从而使数据特征完整的被表示.在特征嵌入阶段 通常将草图域和三维模型域的特征数据使用度量学习进行特征嵌入,与此同时使得特征嵌 入空间中相同类的特征数据距离拉近不同类特征距离推远.相似度计算阶段通过使用欧式 距离完成草图域和视图域特征的相似度计算。 现有的方法往往将数据特征看作一幅静态图 像,使用经典的CNN(Convolutional Neural Network， 卷积神经网络)对进行特征表示,然 而这种方法只考虑到数据特征的空间信息却忽略了数据特征的时序信息,一定程度影响检 索效。

16、果. 0004 在现有的检索工作中,跨域数据的初始表征部分研究者们只提取到了特征数据的 空间信息,如刘等人使用AlexNetLiu Yujie,Song Yang,Li Zongmin,et al.Sketch- based 3D shape retrieval with representative view and convolutional neural networkJ.Journal of Graphics,2018,39(4):735-741(in Chinese)(刘杰,宋阳,宗, 等.融合信息熵和CNN的基于手绘的三维模型检索J.图学学报,2018,39(4):735-741)。

17、, Chen等人使用ResNet7Chen J,Fang Y.Deep cross-modality adaptation via se- mantics preserving adversarial learning for sketch-based 3d shape retrieval C/Proceedings of the European Confer-ence on Computer Vision(ECCV).2018: 605-620,Qi等人使用Inception-ResNet-v28Qi A,Song Y Z,Xiang T.Semantic Embedding for Sk。

18、etch-Based 3D Shape RetrievalC/BMVC.2018,2(7):8提取草图初 始特征。 由于CNN本是针对自然图像设计的,旨在获取图像中有判别性的纹理特征,而手绘 草图较为抽象,仅由简单线条构成,缺乏颜色和纹理信息,因此仅使用CNN对草图进行特征 说明书 1/9 页 5 CN 112085072 A 5 提取效果还不够理想.此外,草图的绘制是一个动态过程,仅仅使用CNN的算法往往忽略了 草图绘制过程中所包含的时序信息,造成有益信息的损失,这也进一步影响了草图特征提 取的效果. 0005 考虑到三维模型的非结构化特性,在三维模型草图检索中,研究者们往往将三维 模型转换。

19、为一个或一组代表性视图,从而降低跨域匹配的难度.如刘等人提出基于视图信 息熵选择一张代表性视图表征三维模型Liu Yujie ,Song Yang ,Li Zongmin ,et al.Sketch-based 3D shape retrieval with representative view and convolutional neural networkJ.Journal of Graphics,2018,39(4):735-741(in Chinese)(刘杰,宋 阳,宗,等.融合信息熵和CNN的基于手绘的三维模型检索J.图学学报,2018,39(4):735- 741),保证检索效。

20、果的同时简化了网络结构.由于草图并不对应三维模型某一个固定视角 的视图,因而最佳视图的构建是极其困难的.为此,WangWang F,Kang L,Li Y.Sketch- based 3d shape retrieval using convolutional neural networksC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:1875- 1883等人提出针对竖直摆放的三维模型随机选择两个大小间隔超过45度的投影视图表征 三维模型； Xie等人则提出使用多张视图表。

21、征三维模型,并最终采用瓦瑟斯坦重心融合多视 图特征Xie J,Dai G,Zhu F,et al.Learning barycentric representa-tions of 3d shapes for sketch-based3d shape retriev-alC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017:5068-5076.以上工 作,无论是一张或多张视图,当三维模型的摆放角度较差时,都难以保证信息的完整性.针 对这一问题,Chen等人提出了围绕三维模型的包围球。

22、渲染多张视图的表征方式Chen J, Qin J,Liu L,et al.Deep sketch-shape hashing with segmented 3D stochastic viewingC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recog-nition.2019:791-800.:通过在球体的K个空间段随机采样获取视图,并使用注意 力网络对多张视图赋予不同权重,捕获到信息完整、 冗余小且互补的多张视图,进一步提高 了表征效果.以上方法为三维模型的多视图表征做出了有益尝试,取得了良好效果.然。

23、而, 三维模型的多个视图之间是存在位置次序的,而现有方法独立看待每个视图,忽略了这种 相关性,势必会造成一定程度的信息损失. 0006 在特征跨域嵌入部分， 部分基于草图的三维模型检索方法在完成三维模型和草图 的初始特征提取后,直接进行相似评价.如刘等人在利用CNN提取草图和三维模型的特征 后,便采用最小距离法进行相似评价Liu Yujie,Song Yang,Li Zongmin,et al.Sketch- based 3D shape retrieval with representative view and convolutional neural networkJ.Journal o。

24、f Graphics,2018,39(4):735-741(in Chinese)(刘杰,宋阳,宗, 等.融合信息熵和CNN的基于手绘的三维模型检索J.图学学报,2018,39(4):735-741). 然而由于没有充分考虑跨域数据之间的差异性,这类方法的检索效果不够理想. 0007 更多的特征潜入方法使用度量学习将草图和三维模型的初始特征嵌入到一个公 共空间中,以使得特征空间中同类数据(同域和跨域)的距离更近,异类数据的距离更远. 如,Wang等人使用二元度量学习网络Siamese,迫使跨域同类数据之间的距离足够近,完成 跨域数据的表征和嵌入Wang F,Kang L,Li Y.Sketch。

25、-based 3d shape retrieval using convolutional neural networksC/Proceedings of the IEEE Conference on 说明书 2/9 页 6 CN 112085072 A 6 Computer Vision and Pattern Recognition.2015:1875-1883.Qi等人Qi A,Song Y Z, Xiang T.Semantic Embedding for Sketch-Based 3D Shape RetrievalC/BMVC.2018, 2(7):8、 白等人J.Bai,M.Wa。

26、ng,and D.Kong,Deep Common Semantic Space Embedding for Sketch-Based3D Model Retrieval,Entropy,vol.21,no.4,pp.369,2019则同时考虑 同类数据和异类数据之间的关系,提出基于三元度量学习(Triplet Loss)的跨域数据嵌 入,取得了很好的效果.然而,基于三元度量学习(Triplet Loss)的方法需要考虑每一对正 负样本组合,网络训练费时且困难. 发明内容 0008 本发明的目的在于克服现有技术没有考虑到草图和三维模型数据的时序动态特 征信息的缺点与不足， 提出了一种基于时空特。

27、征信息的草图检索三维模型的跨模态检索方 法， 该方法的检索性能突出， 可有效完成草图检索三维模型的跨模态检索， 有着更好的准确 度， 操作简单， 实用性强。 0009 为实现上述目的， 本发明所提供的技术方案为： 基于时空特征信息的草图检索三 维模型的跨模态检索方法， 所述时空特征信息包括时序动态特征信息和空间静态特征信 息； 该方法是先进行数据选取， 然后构建草图-三维模型图像序列和时空特征信息提取网 络， 使用时空特征信息提取网络提取草图和三维模型的时空特征信息， 再使用深度度量学 习实现草图和三维模型的时空特征信息联合， 最后根据时空特征信息联合中草图和三维模 型的时空特征信息的欧式距离。

28、进行相似度计算； 其包括以下步骤： 0010 S1、 数据选取 0011 数据集选用草图检索三维模型的标准数据集SHREC2013、 SHREC2014， 每个数据集 包括三维模型数据和草图数据两个部分， 分别针对两个数据集划分训练数据集和测试数据 集； 0012 S2、 构建草图-三维模型图像序列 0013 构建的草图-三维模型图像序列包含草图图像序列和三维模型图像序列； 针对步 骤S1所选取的两个数据集的草图数据部分， 根据草图绘制的笔画顺序构建草图图像序列； 针对步骤S1所选取的两个数据集的三维模型部分， 根据三维模型的投影顺序获得三维模型 图像序列； 0014 S3、 构建时空特征信息。

29、提取网络 0015 构建的时空特征信息提取网络由卷积神经网络和循环神经网络组成， 所述时空特 征信息提取网络通过训练数据集完成训练后， 再使用测试数据集进行测试， 在进行时空特 征信息提取时， 所述时空特征信息提取网络是使用卷积神经网络提取草图-三维模型图像 序列中单个图像的空间静态特征信息， 使用循环神经网络提取草图-三维模型图像序列的 时序动态特征信息， 再将提取的空间静态特征信息和时序动态特征信息串行连接， 完成时 空特征信息的有效融合； 0016 S4、 时空特征信息联合 0017 引入深度度量学习进行草图和三维模型的时空特征信息联合， 确保在时空特征信 息联合中草图和三维模型这两种跨。

30、域数据的相同类别的欧式距离小于不同类别的欧式距 离， 以符合草图检索三维模型这一跨模态数据检索的特性； 说明书 3/9 页 7 CN 112085072 A 7 0018 S5、 相似度计算 0019 在相似度计算中， 计算测试数据集的草图和三维模型的时空特征信息在时空特征 联合中的欧式距离， 并将得到的欧式距离进行排序完成检索过程， 最后使用三维模型检索 领域通用的评价指标作为检索的评价标准； 其中， 对于相同类别的草图和三维模型， 在时空 特征信息联合中的时空特征信息距离趋近。 0020 在步骤S1中， 所述SHREC2013包含90个类、 7200张草图和1258个三维模型， 各个类 中。

31、的三维模型数量不等， 最少的只有4个， 最多的则有184个， 各个类中的草图数目均为80， 实验中， 针对每个类， 50个草图用作训练， 30个草图用作测试， 1258个三维模型则全部作为 检索对象； 所述SHREC2014包含171个类、 13680张草图和8978个三维模型， 各个类中的三维 模型数量最少的少于10个， 最多的则多于300个， 各个类中的草图数目也为80， 实验中， 针对 每个类， 50个草图用作训练， 30个草图用作测试， 8978个三维模型则全部作为检索对象。 0021 在步骤S2中， 所述草图图像序列的选取范围为24张； 针对步骤S1所选取的两个 数据集的三维模型部分。

32、， 将三维模型水平放置后选取预设角度对三维模型进行顺序视图投 影， 根据其投影顺序选取412张视图完成对三维模型图像序列的构建。 0022 在步骤S3中， 所述卷积神经网络选用网络权值共享的残差网络(ResNet， Residual Network)提取输入草图-三维模型图像序列的空间静态特征， 所述循环神经网络选用网络 权值共享的长短期记忆网络(LSTM， Long Short-Term Memory)进行时序动态特征的提取， 其中， 所述长短期记忆网络中每个网络模块由三个不同的门控单元构成， 分别为遗忘门、 输 入门和输出门， 门控单元介绍如下： 0023 遗忘门， 决定了上一时刻的单元状。

33、态有多少保留到当前时刻的网络模块； 0024 输入门， 决定了当前时刻网络的输入有多少保存到单元状态； 0025 输出门， 能够控制单元状态有多少输出到的当前输出值。 0026 在步骤S4中， 使用深度度量学习对草图和三维模型进行时空特征信息联合， 以使 草图和三维模型的时空特征信息联合具有相同类别的时空特征信息欧式距离相近， 不同类 别的时空特征信息欧式距离变远的特点； 在深度度量方法中选择了三元中心损失 (Triplet-center Loss)的方法， 将草图和三维模型的样本统称为xi， 则输入样本xi与其类 中心Ci的距离Dp为： DpD(R(xi),Ci)， 与其它类中心Cj的距离D。

34、n为DnD(R(xi),Cj)， 其中， R (xi)为样本xi在步骤S3中的特征提取操作， 要求输入样本与同类样本在时空特征联合中欧 式距离近， 到其它类样本在时空特征联合中欧式距离远， 等价于输入样本与同类样本中心 之间的欧式距离小于到其它类样本中心的欧式距离， 即minDnDp， 引入决策边界 ， 0， 则 能够进一步转化为minDn-Dp ， 为此， 设定一个批次的样本数目为M， i为选取样本的编号， i 的取值范围为1M， 为遍历求和操作， 则三元中心损失的损失函数Lt-c定义为： 0027 0028 为了在训练过程中更好地找到各个类的类中心， 建立更加鲁棒的损失函数， 在三 元中心。

35、损失Lt-c的基础上考虑交叉熵损失Lsoftmax， 形成最终损失Ltotal： 0029 Ltotalw1Lt-c+w2Lsoftmax 0030 其中， w1和w2为权重， 旨在平衡度量损失和分类损失在整个分类中所占的比重。 0031 在步骤S5中， 对测试数据集部分的草图和三维模型的时空特征信息进行相似度计 说明书 4/9 页 8 CN 112085072 A 8 算， 设i、 j分别表示为草图和三维模型中的不同类别， 当类别为i时， 设草图和三维模型的样 本统称为xi， 设R(xi)为样本xi在步骤S3中的特征提取操作， Cj是类别为j时草图和三维模型 样本在步骤S4中时空特征信息联合。

36、的类别中心， |为绝对值操作， 则计算草图和三维模 型的时空特征信息在时空特征信息联合中的欧式距离D(R(xi),Cj)定义为： 0032 0033 最后， 将得到的欧式距离进行排序操作， 即可完成基于时空特征信息的草图检索 三维模型的跨模态检索过程， 并使用三维模型检索领域通用的7项评价指标： Precision- Recall curves(准确率-召回率曲线， PR)、 Nearest Neighbor(最近邻， NN)、 First Tier(第 一批次， FT)、 Second Tier(第二批次， ST)、 E-Measure(E方法， E)、 Discounted Cumulat。

37、ive Gain(折扣累计收益， DCG)、 Mean Average Precision(平均准确率， MAP)作为检索的评价标 准。 0034 本发明与现有技术相比， 具有如下优点与有益效果： 0035 1、 将草图和三维模型表征为图像序列， 并引入卷积神经网络中的残差网络 (ResNet， Residual Network)和循环神经网络中的长短期记忆网络(LSTM， Long Short- Term Memory)， 建立时空特征信息提取网络， 能够更加全面、 准确刻画草图和三维模型的特 征信息。 0036 2、 提出一种端到端的跨域深度学习架构， 端到端的表现为该架构将时空特征信息 。

38、提取网络的构建、 时空特征信息联合融于一体， 形成全局优化策略， 减小草图和三维模型差 异性的同时更好地保留草图和三维模型的内容属性。 0037 3、 引入深度度量学习形成三维模型和草图之间的时空特征信息联合， 确保在时空 特征信息联合中草图和三维模型这两种跨域数据的相同类别的欧式距离小于不同类别的 欧式距离， 以更加符合草图检索三维模型这一跨模态数据检索的特性。 0038 4、 本发明选用三维模型检索领域通用的Precision-Recall curves(准确率-召回 率曲线， PR)、 Nearest Neighbor(最近邻， NN)、 First Tier(第一批次， FT)、 Se。

39、cond Tier(第 二批次， ST)、 E-Measure(E方法， E)、 Discounted Cumulative Gain(折扣累计收益， DCG)、 Mean Average Precision(平均准确率， MAP)七个指标作为评价标准， 可全面评价检索算法 的性能。 0039 5、 本发明在草图检索三维模型方面有着更好的准确度， 操作简单， 实用性强， 具有 很好的利用前景。 0040 6、 本发明的网络结构简单， 仅采用卷积神经网络中的残差网络(ResNet， Residual Network)和循环神经网络中的长短期记忆网络(LSTM， Long Short-Term M。

40、emory)为主要特 征提取网络。 0041 7、 经过标准数据集SHREC13和SHREC14的测试结果表明， 本发明方法在同类工作中 取得了领先水平， 获得了目前最先进的成果。 附图说明 0042 图1为基于时空特征信息的草图检索三维模型的跨模态检索框架。 0043 图2为三维模型图像序列投影过程。 说明书 5/9 页 9 CN 112085072 A 9 0044 图3为草图图像序列示例。 0045 图4为在数据集SHREC2013上查全查准率曲线对比图。 0046 图5为在数据集SHREC2013上的检索实例展示图。 0047 图6为在数据集SHREC2014上查全查准率曲线对比图。 。

41、具体实施方式 0048 下面结合具体实施例对本发明作进一步说明。 0049 如图1所示， 本实施例所提供的基于时空特征信息的草图检索三维模型的跨模态 检索方法， 所述时空特征信息包括时序动态特征信息和空间静态特征信息； 该方法是先进 行数据选取， 然后构建草图-三维模型图像序列和时空特征信息提取网络， 使用时空特征信 息提取网络提取草图和三维模型的时空特征信息， 再使用深度度量学习实现草图和三维模 型的时空特征信息联合， 最后根据时空特征信息联合中草图和三维模型的时空特征信息的 欧式距离进行相似度计算； 其包括以下步骤： 0050 S1、 数据选取 0051 数据集选用草图检索三维模型的标准数。

42、据集SHREC2013、 SHREC2014， 每个数据集 包括三维模型数据和草图数据两个部分， 分别针对两个数据集划分训练数据集和测试数据 集； SHREC2013包含90个类、 7200张草图和1258个三维模型， 各个类中的三维模型数量不等， 最少的只有4个， 最多的则有184个， 各个类中的草图数目均为80， 实验中， 针对每个类， 50个 草图用作训练， 30个草图用作测试， 1258个三维模型则全部作为检索对象； SHREC2014包含 171个类、 13680张草图和8978个三维模型， 各个类中的三维模型数量最少的少于10个， 最多 的则多于300个， 各个类中的草图数目也为8。

43、0， 实验中， 针对每个类， 50个草图用作训练， 30 个草图用作测试， 8978个三维模型则全部作为检索对象。 0052 S2、 构建草图-三维模型图像序列 0053 三维模型图像序列构建： 采用MVCNNSu H,Maji S,Kalogerakis E,et al.Multi- view convolutional neural networks for 3d shape recognitionC/Proceedings of the IEEE international conference on computer vision.2015:945-953.的方法 如图2所示， 将三维。

44、模型正向摆置,然后在其斜向上30 的位置,随机选取第一个视角,并以 此为起点,均匀设置412个虚拟摄像机， 将三维模型处理成视图渲染的形式， 从而完成三 维模型图像序列构建。 0054 草图图像序列构建： 在子图笔画数n不能被序列图像数m整除时， 无法严格保证各 个子图中累加的笔画数完全一致。 此时， 若n对m进行除法运算取整为a， 所得余数为b,则为 第1至第b张子图每张子图增加1画， 即它们所对应的新增笔画数为a+1， 其余子图新增笔画 数为a； 当笔画数n小于m时， 确保第1至第b张子图每张子图递增1画， 其余子图和第b张子图 保持一致即可。 在以上两种情况下， 无法严格保证每张子图累加。

45、笔画数一致， 但是可以保证 数目变化最多为1， 一定程度上确保了各个子图包含信息的一致性， 草图图像序列示例参见 图3所示。 0055 针对每一个草图和视图， 将其缩放至256256， 使得图片尺寸一致， 并将视图转换 为灰度图， 将所得图片减去对应图像均值的方式实现图像归一化， 使得数据分布中心化； 利 用水平翻转和垂直翻转以及随机裁剪的方式获取224224的扩增图像， 由于裁剪和旋转是 说明书 6/9 页 10 CN 112085072 A 10 随机的， 本操作可增加训练数据并提高训练样本的多样性， 进而减小网络的过拟合， 提高预 测的鲁棒性。 0056 S3、 构建时空特征信息提取网络。

46、 0057 构建的时空特征信息提取网络由卷积神经网络和循环神经网络组成， 时空特征信 息提取网络通过训练数据集完成训练后， 再使用测试数据集进行测试， 在进行时空特征信 息提取时， 卷积神经网络选用网络权值共享的残差网络(ResNet， Residual Network)提取 输入草图-三维模型图像序列的空间静态特征， 循环神经网络选用网络权值共享的长短期 记忆网络(LSTM， Long Short-Term Memory)进行时序动态特征的提取， 其中长短期记忆网 络中每个网络模块由三个不同的门控单元(遗忘门、 输入门、 输出门)构成， 门控单元介绍如 下： 0058 遗忘门， 决定了上一时。

47、刻的单元状态有多少保留到当前时刻的网络模块； 0059 输入门， 决定了当前时刻网络的输入有多少保存到单元状态； 0060 输出门， 能够控制单元状态有多少输出到的当前输出值。 0061 S4、 时空特征信息联合 0062 使用深度度量学习对草图和三维模型进行时空特征信息联合， 以使草图和三维模 型的时空特征信息联合具有相同类别的时空特征信息欧式距离相近， 不同类别的时空特征 信息欧式距离较远的特点， 在深度度量方法中选择了三元中心损失(Triplet-center Loss)的方法， 将草图和三维模型的样本统称为xi， 则输入样本xi与其类中心Ci的距离Dp为： DpD(R(xi),Ci)，。

48、 与其它类中心Cj的距离Dn为DnD(R(xi),Cj)， 其中， R(xi)为样本xi在步骤 S3中的特征提取操作， 要求输入样本与同类样本在时空特征联合中欧式距离近， 到其它类 样本在时空特征联合中欧式距离远， 等价于输入样本与同类样本中心之间的欧式距离小于 到其它类样本中心的欧式距离， 即minDnDp， 引入决策边界， 0， 则能够进一步转化为 minDn-Dp ， 为此， 设定一个批次的样本数目为M， i为选取样本的编号， i的取值范围为1 M ， 为 遍 历 求 和 操 作 ，则 三 元 中 心 损 失 的 损 失 函 数 Lt - c可 定 义 为 ： 0063 进一步， 为了在。

49、训练过程中更好地找到各个类的类中心， 建立更加鲁棒的损失函 数， 在三元中心损失Lt-c的基础上考虑交叉熵损失Lsoftmax,形成最终损失Ltotal: 0064 Ltotalw1Lt-c+w2Lsoftmax 0065 其中,w1和w2为权重,旨在平衡度量损失和分类损失在整个分类中所占的比重. 0066 S5、 相似度计算 0067 在相似度计算中， 对测试数据集部分的草图和三维模型的时空特征信息进行相似 度计算， 设i、 j分别表示为草图和三维模型中的不同类别， 当类别为i时， 设草图和三维模型 的样本统称为xi， 设R(xi)为样本xi在步骤S3中的特征提取操作， Cj是类别为j时草图。

50、和三维 模型样本在步骤S4中时空特征信息联合的类别中心， |为绝对值操作， 则计算草图和三 维模型的时空特征信息在时空特征信息联合中的欧式距离D(R(xi),Cj)可定义为： 0068 说明书 7/9 页 11 CN 112085072 A 11 0069 最后， 将得到的欧式距离进行排序操作， 即可完成基于时空特征信息的草图检索 三维模型的跨模态检索过程， 并使用三维模型检索领域通用的7项评价指标： Precision- Recall curves(准确率-召回率曲线， PR)、 Nearest Neighbor(最近邻， NN)、 First Tier(第 一批次， FT)、 Second。