基于卷积分解深度模型的多模态数据采集及综合分析平台.pdf

《基于卷积分解深度模型的多模态数据采集及综合分析平台.pdf》由会员分享，可在线阅读，更多相关《基于卷积分解深度模型的多模态数据采集及综合分析平台.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910999213.2 (22)申请日 2019.10.21 (71)申请人 河海大学常州校区 地址 213022 江苏省常州市新北区晋陵北 路200号 (72)发明人 王钟贤姚潇刘旭宸李朝宇 徐宁刘小峰 (74)专利代理机构 南京经纬专利商标代理有限 公司 32200 代理人 丁涛 (51)Int.Cl. G06F 16/9535(2019.01) G06F 16/33(2019.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)。

2、发明名称 基于卷积分解深度模型的多模态数据采集 及综合分析平台 (57)摘要 本发明公开了一种基于卷积分解深度模型 的多模态数据采集及综合分析平台， 包括如下步 骤： S1， 建立数据交互模块； S2， 建立数据分析模 块； S3， 建立用户服务模块。 本发明同时支持文 本、 语音、 图片等多元数据形式； 在数据收集方 面， 本发明默认用户为数据的主要提供来源， 因 此提供了良好的交互方式与高并发高可用的数 据库管理方式； 在数据分析上， 基于深度学习CNN 与RNN网络对图片进行训练与分类， 运用NLP中 TF-IDF词频网络进行文本抽取与归并； 使用的基 于tensorflow下的标准ke。

3、ras模块和tf.keras模 块构建的BP神经网络， 实现对音频进行收集和准 确分类。 权利要求书1页 说明书7页 附图3页 CN 110727871 A 2020.01.24 CN 110727871 A 1.一种基于卷积分解深度模型的多模态数据采集及综合分析平台， 其特征在于包括如 下步骤： S1， 建立数据交互模块； S2， 建立数据分析模块； S3， 建立用户服务模块。 2.根据权利要求1所述的基于卷积分解深度模型的多模态数据采集及综合分析平台， 其特征在于所述步骤S1建立数据交互模块， 包括以下过程： S11， 基于Tomcat的web后端数据传输； S12， 基于IDEA的And。

4、roid开发； S13， 使用数据哈希的方式及服务连接池实现服务层完成对数据库的水平拓展。 3.根据权利要求1所述的基于卷积分解深度模型的多模态数据采集及综合分析平台， 其特征在于所述步骤S2具体步骤如下： 对于图片和文本形式的数据的识别和分类， 基于Tensorflow框架,使用pycharm ide搭 建相关网络， 构造匹配算法； 所述算法采用改进的卷积神经网络， 基于经典的Alexnet， 包括卷积层1、 卷积层2、 卷积 层3、 卷积层4、 卷积层5、 池化层1、 池化层2、 池化层3、 池化层4、 池化层5、 全连接层1、 全连接 层2、 全连接层3和一个融合层， 最后一个全连接层输。

5、出两倍的特征点数； 卷积层和池化层进行信息的提取和筛除， 卷积层的卷积核为33， 步长设置为1， 最大 池化层的池化核为22； 在卷积层2、 3、 4、 5中包括两个堆叠的卷积层， 两个33卷积层的串 联相当于1个55的卷积层， 同时卷积层参数量远少于55的卷积层， 减少整个网络的训练 时间； 在全连接层1、 全连接层2后进行Dropout操作， 提高泛化能力， 激活函数选择 LeakyReLu: xi表示卷积图像的输入矩阵； yi表示经过激活函数后的卷积图像输出矩阵。 权利要求书 1/1 页 2 CN 110727871 A 2 基于卷积分解深度模型的多模态数据采集及综合分析平台 技术领域 。

6、0001 本发明涉及一种基于卷积分解深度模型的多模态数据采集及综合分析平台， 属于 计算机技术领域。 背景技术 0002 人工智能产业正处于蓬勃发展的时期， 核心算法不断被突破， 计算能力显著提高， 对各类数据和学习样本的需求呈现爆炸式增长的态势； 第二， 人工智能的细分领域众多， 智 能手机、 智能汽车、 智能家居、 智能机器人、 互联网娱乐社交领域等诸多层面的应用， 势必导 致数据集需求日益精细化， 方向化。 用户希望得到他们期望的数据集， 却往往发现互联网上 的海量数据过于粗糙或者离散， 难以满足其需求。 0003 从现目前的宏观环境来看， 第一， 人工智能产业正处于蓬勃发展的时期， 核。

7、心算法 不断被突破， 计算能力显著提高， 对各类数据和学习样本的需求呈现爆炸式增长的态势； 第 二， 人工智能的细分领域众多， 智能手机、 智能汽车、 智能家居、 智能机器人、 互联网娱乐社 交领域等诸多层面的应用， 势必导致数据集需求日益精细化， 方向化。 因此， 从以上分析， 一 个以服务于用户为导向， 数据精细化的AI数据采集平台的需求日益扩大。 而现有的数据采 集平台往往存在着以下问题： 第一， 用户希望得到他们期望的数据集， 却往往发现采集平台 上的海量数据过于粗糙或者离散， 难以满足其精细化的使用标准； 第二， 检索匹配往往不够 优化与智能， 这使得用户在对数据的操作上往往发生偏移。

8、。 第三， 平台与用户交互性不高， 并且难以完成高并发高可用的设计需求。 发明内容 0004 为了克服现有技术的以上不足， 本发明提供了一种基于卷积分解深度模型的多模 态数据采集及综合分析平台， 同时支持文本、 语音、 图片等多元数据形式； 在数据收集方面， 本发明默认用户为数据的主要提供来源， 因此提供了良好的交互方式与高并发高可用的数 据库管理方式； 在数据分析上， 基于深度学习CNN与RNN网络对图片进行训练与分类， 运用 NLP中TF-IDF词频网络进行文本抽取与归并； 使用的基于tensorflow下的标准keras模块和 tf.keras模块构建的BP神经网络， 实现对音频进行收集。

9、和准确分类。 0005 本发明的技术路径如下： 0006 征求数据者在客户端发布任务， 该任务信息(如需求量、 主题等)将被存储于mysql 数据库中， 方便于后面的调用和比对， 同时， 该类任务信息将被展现在APP界面。 接收任务者 可以上传相应数据， 后台验证上传数据与需求数据的匹配性之后， 如果相似性高于某个预 定的的阙值， 则上传成功， 否则将不予上传。 成功上传任务者可以领取相应的奖励。 0007 具体包括以下步骤： 0008 S1， 建立数据交互模块； 0009 S2， 建立数据分析模块； 0010 S3， 建立用户服务模块。 说明书 1/7 页 3 CN 110727871 A 。

10、3 0011 在所述步骤S1中， 建立数据交互模块， 包括以下过程： 0012 S11， 基于Tomcat的web后端数据传输。 0013 S12， 基于IDEA的Android开发。 0014 S13， 使用数据哈希的方式及服务连接池实现服务层完成对数据库的水平拓展。 0015 在所述步骤S2中， 步骤S2是功能的核心模块， 包括以下过程： 0016 首先对于图片和文本形式的数据的识别和分类， 基于Tensorflow框架,使用 pycharm ide搭建相关网络， 构造匹配算法。 0017 在图像识别和字符集文本分类中使用了CNN与RNN神经网络， 基于Inception3的图 像识别能够。

11、识别更加精细的物类。 其中， 区别于传统的卷积网络， 利用了卷积核分解技术。 0018 在早期， 大家都用比较大的卷积核， 如LeNet-5用的是5x5卷积核， AlexNet用的是 11x11,5x5,3x3卷积核。 实际上， 大的卷积核的效果不如用小的卷积核， 为了达到相同的可 视范围， 可以通过增加卷积层， 经过这样处理后， 实际上参数数目更少了， 层数却变深了， 导 致的效果是， 模型的分类效果反而变好了， 因为用更少的参数， 但是得到了更深和更多的非 线性变换。 所以， 3x3卷积核来构建卷积层效果更佳。 例如， 用两层的3x3卷积可以达到和一 层5x5卷积相同的可视范围。 意味着模。

12、型泛化能力更好。 0019 由于基础Inception的特征点选取的略微离散， 导致其在识别复特征图片(如 0020 海边房屋， 彩色瓦片的教堂)时效果不理想， 在bottleneck layer对其进行改进， 进行了补充训练。 0021 改进的卷积神经网络基于经典的Alexnet， 包括卷积层1、 卷积层2、 卷积层3、 卷积 层4、 卷积层5、 池化层1、 池化层2、 池化层3、 池化层4、 池化层5、 全连接层1、 全连接层2、 全连 接层3和一个融合层。 最后一个全连接层输出两倍的特征点数， 如房屋瓦片， 教堂顶部的特 征点的数目为9， 则输出为18。 0022 卷积层和池化层进行信息。

13、的提取和筛除， 卷积层的卷积核为33， 步长设置为1， 最大池化层的池化核为22。 在卷积层2、 3、 4、 5中包括两个堆叠的卷积层， 两个33卷积层 的串联相当于1个55的卷积层， 同时卷积层参数量远少于55的卷积层， 能够减少整个网 络的训练时间。 0023 在全连接层1、 2后进行Dropout操作， 提高泛化能力。 激活函数选择LeakyReLu: 0024 0025 xi表示卷积图像的输入矩阵； yi表示经过激活函数后的卷积图像输出矩阵。 0026 LeakyReLu函数相较于传统的ReLu函数， 收敛速度更快。 0027 由此， 降低了边缘化的权值， 突出中心物块， 提升了识别的。

14、准确度， 达到了98.6 的较高水平。 0028 采用监督学习， 将用户平时可能上传的文本分为20大类， 构造RNN与CNN网络进行 训练。 0029 深度学习处理自然语言处理问题， 有的基于短语， 有的基于单词。 神经网络不需要 提前知道关于单词的知识(lookupTable or word2vec)， 况且这些单词的知识往往是高维 的， 很难应用于卷积神经网络中。 除此之外， 卷积神经网络也不再需要提前知道语法和语义 说明书 2/7 页 4 CN 110727871 A 4 的知识。 模型基于字符级实现了对文本的分类， 训练及测试数据集来自清华大学THUCnews， 测试集上跑出了96以上。

15、的准确率。 0030 有益效果： 0031 1.本发明在文本分类及图片识别中所使用的卷积神经网络基于AlexNet卷积神经 网络， 使用了Leaky relu激活函数并用了多个cpu， 提高了训练速度。 重叠pool池化， 提高了 精度， 不容易产生过拟合。 局部响应归一化， 提高精度， 做了平滑处理， 对局部神经元的活动 创建了竞争机制， 使得相应比较大的值相对更大， 提高了模型泛化能力。 0032 2.本发明实现对数据收集的灵活且多元化支持， 图片、 音频、 文本大类下的几乎各 种格式均支持上传， 保证数据源的多样充分性。 在图片识别上， 对于业界广泛认可的 Inception3标准， 我。

16、们在bottleneck layer进行了重新训练， 降低了边缘化的权值， 突出中 心物块， 提升了识别的准确度， 将Factorization into small concolutions思想(一个较 大的二维卷积拆分成两个较小的一维卷积)所带来的更丰富的空间特征得以更加锐化， 识 别率提高了约3个百分点。 0033 3.以一致性哈希算法(DHT衍生)和连接池技术实现对数据库的水平拓展， 完成高 并发高可用的使用要求， 极大的提高了用户的使用体验。 附图说明 0034 图1为本发明的流程图； 0035 图2为步骤S1模块的功能示意图； 0036 图3为步骤S2模块的功能示意图； 0037 。

17、图4为步骤S2模块中音频处理与验证模块的功能示意图； 0038 图5为哈希函数输出值取值范围的示意图一； 0039 图6为哈希函数输出值取值范围的示意图二。 具体实施方式 0040 下面结合附图对本发明作进一步描述。 以下实施例仅用于更加清楚地说明本发明 的技术方案， 而不能以此来限制本发明的保护范围。 0041 如图1所示， 一种基于卷积分解深度模型的多模态数据采集及综合分析平台， 具体 包括以下步骤： 0042 S1， 建立数据交互模块； 0043 S11， 基于Tomcat的web后端数据传输。 0044 S12， 基于IDEA的Android开发。 0045 S13， 使用数据哈希的方。

18、式及服务连接池实现服务层完成对数据库的水平拓展。 0046 S1步骤的模块如图2所示， 在Tomcat部分， 存在着基于Tomcat的web后端数据传输。 对S11模块给予详细步骤说明。 0047 以tomcat服务器为中心， APP用户发布信息打包成json数据通过TCP/IP协议传至 tomcat服务器， 服务器进行解析， 一些数据转存至数据库， 将解析结果又返回至APP客户端 呈现给用户。 0048 下面以APP用户做任务上传图片为例： 说明书 3/7 页 5 CN 110727871 A 5 0049 1、 在APP端获取图片信息， 利用okhttp3传递数据到tomcat服务器。 0。

19、050 2、 在服务器中解析并保存图片， 并返回存储图片路径到APP客户端。 0051 3、 开启线程将数据打包至基于python的socket网络通信， 由基于TensorFlow的神 经网络对存储在服务器的图片进行判断是否符合任务要求， 完成后返回结果到APP客户端。 0052 4、 图片审核通过则会显示用户上传的图片， 否则会提示用户提交的图片不符合要 求。 0053 5、 用户提交任务又再次访问tomcat服务器， 并且将数据存储在数据库中。 0054 对于S13模块， 本发明使用数据哈希的方式及服务连接池实现服务层完成对数据 库的水平拓展。 0055 为实现高并发与高可用的要求， 对。

20、数据库的进行了基于一致性哈希算法的水平拓 展。 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法， 设计 目标是为了解决因特网中的热点(Hot spot)问题， 是一种特殊的哈希方式。 传统的哈希方 式在当节点数目发生变化时， 会引起大量的数据迁移， 而使用一致性哈希则不会产生这种 问题。 一致性哈希最早是一个分布式缓存(Distributed Caching)系统的放置算法(现在很 热门的Memcached就用的是一致性哈希)。 但是现在它已经被广泛应用到了其它各个领域。 对于任何一个哈希函数， 其输出值都有一个取值范围， 我们可以将这个取值区间画成一个 环， 。

21、如图5， 图6所示， 0056 通过哈希函数， 每个节点都会被分配到环上的一个位置， 每个键值也会被映射到 环上的一个位置。 这个键值最终被放置在距离该它的位置最近的， 且位置编号大于等于该 值的节点上面， 即放置到顺时针的下一个节点上面。 由于采用的哈希函数通常是与输入无 关的均匀函数， 因此当键值和节点都非常的多的时候， 一致性哈希可以达到很好的分布式 均匀性。 0057 通过一致性哈希， 数据库更加健壮， 在大批量的负载请求的情况下效果很好。 0058 另外，“建立数据库连接” 是相当耗费资源和时间的， 同时， 建立数据库连接的数量 也是有限的。 所以使用了连接池技术对数据交互过程进行了。

22、优化， 在连接池中， 客户端得到 的是连接对象， 从使用开始到使用结束， 连接对象的物理连接始终没有关闭， 所以在一定程 度上减少了建立连接所需要的时间， 这对多使用、 高并发的平台十分有利。 0059 S2， 建立数据分析模块 0060 如图3所示， 卷积神经网络CNN在本质上是一种输入到输出的映射， 它能够学习大 量的输入与输出之间的映射关系， 而不需要任何输入和输出之间的精确的数学表达式， 只 要用已知的模式对卷积网络加以训练， 网络就具有输入输出对之间的映射能力。 0061 卷积神经网络CNN主要用来识别位移、 缩放及其他形式扭曲不变性的二维图形。 卷 积神经网络以其局部权值共享的特殊。

23、结构在语音识别和图像处理方面有着独特的优越性， 其布局更接近于实际的生物神经网络， 权值共享降低了网络的复杂性， 特别是多维输入向 量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。 0062 在文本及图片分析、 分类中使用神经网络， 在CNN神经网络中， 运用梯度下降法通 常会陷入局部最优的怪圈， 导致最后的准确率不是很高。 梯度下降存在着种种挑战。 0063 1.很难选择出合适的学习率。 太小的学习率会导致网络收敛过于缓慢， 而学习率 太大可能会影响收敛， 并导致损失函数在最小值上波动， 甚至出现梯度发散。 说明书 4/7 页 6 CN 110727871 A 6。

24、 0064 2.此外， 相同的学习率并不适用于所有的参数更新。 如果训练集数据很稀疏， 且特 征频率非常不同， 则不应该将其全部更新到相同的程度， 但是对于很少出现的特征， 应使用 更大的更新率。 0065 3.在神经网络中， 最小化非凸误差函数的另一个关键挑战是避免陷于多个其他局 部最小值中。 实际上， 问题并非源于局部极小值， 而是来自鞍点， 即一个维度向上倾斜且另 一维度向下倾斜的点。 这些鞍点通常被相同误差值的平面所包围， 这使得SGD算法很难脱离 出来， 因为梯度在所有维度上接近于零。 0066 使用改进的BP算法， 增加动量项； 使用自适应学习率。 0067 和别的优化算法组合， 。

25、遗传算法优化初始权值， 提前锁定全局最优。 0068 重新训练， 每次训练的结果都是不同的， 下一次的训练很有可能不会陷入局部极 小， 多次更改学习函数、 训练函数， 重复试验。 0069 最终， 本发明的模型分类的准确率成功提高到了95+。 0070 如图4所示S2步骤中的数据分析模块包括音频处理与准确度验证模块。 具体说明 如下： 0071 使用基于tensorflow下的标准keras模块和tf.keras模块构建的BP神经网络。 0072 第一步是为GTZAN Genre Collection音乐数据集打标签分类。 首先将已经经过频 域处理的音频使用梅尔频率倒数提取MFCC特征点、 量。

26、化位数、 频谱与采样频率等能代表音 频特征与中了的数据。 然后使用了Kmeans聚类算法将音频数据集自动归类为十种， 最后为 这十种分类手动打上标签。 0073 第二步是将打好标签的数据集训练一个BP神经网络实现多分类器的功能。 首先从 音频中提取25000个MFCC特征点作为输入层的神经元。 然后设置了两层节点各为为10000的 隐藏层。 用ReLu非线性激活函数和softmax归一化指数函数作为多分类分类器将待分类音 频归类到预期的音频种类下。 0074 在进行音频分类与语音识别之前， 需要对输入的音频进行处理与分析， 从中提取 特征并方便进一步的操作。 0075 在音频频谱分析与预处理方。

27、面： 0076 首先是音频的预处理部分， 主要是音频的自动切割和简单去噪。 音频的切割只要 是使用了python自带的pydub与wave库。 首先获取到音频的采样频率与采样点数， 根据声道 数和量化单位， 将读取的音频二进制数据转换为一个可以计算的数组， 借此可以计算出每 一帧声音信号的大小。 然后手动设置阈值和通频带来确定哪部分得饮品质量过差可以进行 切割。 0077 其次是使用MFCC梅尔频率倒谱这一方法来模仿人类的听觉并获取对应的MFCC值， 其优势在于可以直接将计算结果输入到神经网络之中。 0078 在语音识别模块： 0079 先对录音进行预处理， 根据语音的强弱和换气将其截断为多段。

28、十秒以内的音频， 然后调用IBM BLUMEMIX中的Speech To Text接口。 并将传回的DetailedResponse类型转换 为json格式并用正则表达式读取出预期文本。 0080 对包含常用词的文本爬取： 0081 因为词频网络的构成需要大量的文本且需要文本包含的方面尽可能涵盖生活的 说明书 5/7 页 7 CN 110727871 A 7 各个方面， 比如生活、 财经、 体育等等。 所以选择爬取了百度知道里的文档。 在百度知道里爬 取的关键在与确定所需爬去的类型。 本爬虫借助selenium浏览器自动测试框架执行登录百 度账号以及避开广告打开相关文本的功能,使用正则表达式以。

29、及pyquery等模块获取到常 用词并存储到文本中。 0082 利用TF-IDF词频网络识别文本： 0083 然后将图片识别或者音频识别出的结果用TFIDF网络中的transform功能将机器 识别出的短句转换， 结合词频网络中已有的词典， 最后得到的是一个csc格式的稀疏矩阵。 然后通过此网络将具体要求和机器对用户提交任务的判断结果通通转换为可计算的矩阵 形式， 最后用cos或者欧氏距离求出短句的相似度， 依据与此来进行判断任务的准确度。 0084 在文本处理的过程还增添了关键字提取的功能， 也是基于已有的词频网络进行抽 取。 首先在文本预处理的部分加入了停用词， 避免大量抽取到 “了” ，。

30、“呢” 等无意义的语气助 词。 然后根据所需的是二元， 三元或者多元词组来设置读取文本时所需要的窗变量， 规定以 多大的步长来读取文本。 0085 0086 TF-IDF算法 0087 Wi:句子中词条的关键性权值； 0088 Ti:句子种话某独立词条； 0089 N： 限定范围的语料库中文档总数； 0090 Ni:包含词条Wi的文档数。 0091 S3， 建立用户服务模块。 0092 在用户服务模块， 本发明有以下特别的优点： 0093 不同用户， 不同权限 0094 普通用户可通过注册获得账号， 使用该账号进行登录和个人信息修改。 发布任务 者可以获取该任务下所有的回答， 其他人被禁止查看。

31、， 而回答任务者只能看到自己回答的 信息。 而且管理员也不能获取到具体任务下回答情况。 0095 友好的交互界面 0096 使用平台时， 用户需先注册账号， 当注册成功后可以使用本账号登录， 找回密码功 能方便快捷， 为用户减少不必要的麻烦。 用户可以在个人信息页面填写信息， 该信息将会是 别人了解你的重要参照。 通过客户端， 用户也可以随心查看各个任务的详细信息， 获取一些 自己需要的数据， 或是发布新任务， 邀请别的用户提供数据。 用户和也会对一些不合乎AI打 分的数据手动评测， 对于手动评测通过的数据， 也会反馈给任务发布者， 任务接受者会获得 相应的奖励。 0097 在通知详情页， 用。

32、户可以一目了然的查看当前平台的通知和最新回复。 在发布页 面， 用户可以清楚的看到自己发布的任务的实时动态。 0098 任务的模糊搜索功能 0099 任务接收者可通过搜索功能搜索自己感兴趣的任务， 同时， 用户也可以通过此功 说明书 6/7 页 8 CN 110727871 A 8 能查找自己需要的数据及相关信息。 0100 多样的数据支持 0101 本AI数据采集平台在单项精细的基础上力图多元化， 支持多种形式的数据收集。 有图片， 文本， 音频等多种形式， 图片支持本地文件与拍照上传， jpg,bmp,gif,png等格式均 可识别； 文本支持本地文档doc和txt等格式； 音频可以是mp。

33、3或是wav格式的音频文件或者 即时录音， 便于用户使用。 0102 以上所述仅是本发明的优选实施方式， 应当指出： 对于本技术领域的普通技术人 员来说， 在不脱离本发明原理的前提下， 还可以做出若干改进和润饰， 这些改进和润饰也应 视为本发明的保护范围。 0103 以上所述仅是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术人 员来说， 在不脱离本发明技术原理的前提下， 还可以做出若干改进和变形， 这些改进和变形 也应视为本发明的保护范围。 说明书 7/7 页 9 CN 110727871 A 9 图1 图2 说明书附图 1/3 页 10 CN 110727871 A 10 图3 图4 说明书附图 2/3 页 11 CN 110727871 A 11 图5 图6 说明书附图 3/3 页 12 CN 110727871 A 12 。