面向手机文档的自动分类方法.pdf

《面向手机文档的自动分类方法.pdf》由会员分享，可在线阅读，更多相关《面向手机文档的自动分类方法.pdf（11页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910260996.2 (22)申请日 2019.04.02 (71)申请人 云南大学 地址 650091 云南省昆明市五华区翠湖北 路2号 (72)发明人 余蓓蓓 (74)专利代理机构 成都九鼎天元知识产权代理 有限公司 51214 代理人 韩雪 (51)Int.Cl. G06F 16/45(2019.01) G06F 16/55(2019.01) G06F 16/35(2019.01) (54)发明名称 一种面向手机文档的自动分类方法 (57)摘要 本发明公开了一种面向。

2、手机文档的自动分 类方法， 该方法首先构建文档类库， 将文档类库 分为训练集和测试集， 并从文档类库的训练集分 别提取出其中的文本内容以及图像内容， 依据文 档类库以及初始文档类库标签对应建立语料类 库和图像类库， 然后分别对语料类库和图像类库 中的文本内容和图像内容进行数据预处理后经 深度学习得到文本预测标签向量和图像预测标 签向量， 最后使用加权融合公式， 将图像标签向 量和文本标签向量聚合， 并进行归一化后得到文 档预测标签概率， 将文档预测标签概率与预设阈 值进行比较， 完成文档的自动分类。 本发明以图 像内容以及文本内容同时作为指标衡量文档分 类结果， 实现非结构化文档快速有效的分类。

3、。 权利要求书2页 说明书6页 附图2页 CN 110046264 A 2019.07.23 CN 110046264 A 1.一种面向手机文档的自动分类方法， 其特征在于， 包括： S1： 收集并整理最常用于文档分类的多个标签作为构建文档类库的关键词， 按照一个 所述标签对应一个所述文档类库的规则构建多个文档类库， 所述文档类库包含多个常用词 为标签的文档类库以及一个标签为未分类的文档类库， 并将所述文档类库划分为训练集和 测试集； S2： 从所述文档类库的训练集中分别提取出其中的文本内容和图像内容， 并根据每个 所述文档类库以及其对应的标签， 对应建立语料类库和图像类库， 并且将所述语料类。

4、库和 图像类库均划分为训练集和测试集； S3： 对所述语料类库和图像类库的测试集中的文本内容进行数据预处理， 构建词典， 并 通过构建文本分类模型得到文本预测标签向量； 对所述图像类库中的训练集中的图像内容 进行数据预处理， 并通过构建图像分类模型得到图像预测标签向量； S4： 将文本预测标签向量和图像预测标签向量通过加权融合后得文档预测标签向量， 所述文档预测标签向量通过归一化处理后得到文档预测标签概率。 S5： 将文档预测标签的概率与预设的阈值进行比较， 当所述文档预测标签概率大于或 等于所述阈值时， 将所述文档归入文档预测标签所对应的常用分类词的文档类库中， 当所 述文档预测标签概率小于。

5、所述阈值时， 将所述文档归入标签为未分类的文档类库中。 2.根据权利要求1所述的面向手机文档的自动分类方法， 其特征在于， 所述步骤S1中还 包 括 一 个 文 档 在 多 个 文 档 类 库 中 出 现 的 情 形 ， 即 假 设 待 分 类 文 档 为 X i , 其中Yi为待分类文档Xi所对应的文档类库的集合 ， j为所有可能的文档类库个数。 3.根据权利要求1所述的面向手机文档的自动分类方法， 其特征在于， 所述步骤S2中将 每个所述文本类库中的图像内容中的文字通过OCR技术识别后作为文本内容加入相应的语 料类库中。 4.根据权利要求1所述的面向手机文档的自动分类方法， 其特征在于， 。

6、所述步骤S3具体 包括： S31： 采用中文分词技术对所述文本内容进行文本分词； S32： 对所述步骤S31中的文本分词结果去除停用词和低频词， 具体为， 通过在所述分词 结果中剔除常用的停用词表中的停用词， 根据文档文本大小设置最小词频， 过滤掉低于所 述最小词频的低频词； S33： 使用Wor2vec工具包把步骤S32中去除了停用词和低频词后的文本内容通过映射 的方法将所述文本内容以词向量的形式表示； S34： 使用卷积神经网络进行进一步特征提取， 其中卷积层对所述步骤S33中的所述词 向量进行初步特征提取， 并将提取的初步特征输入池化层产生特征向量， 然后全连接层将 所有的所述特征向量连。

7、接， 并且添加一个输出层， 并使用sigmoid激活函数， 计算出每个标 签的概率， 最后输出文本预测标签向量。 5.根据权利要求1所述的面向手机文档的自动分类方法， 其特征在于， 所述步骤S3还具 体包括： S35： 对图像内容进行旋转、 缩放、 裁剪以及归一化； 权利要求书 1/2 页 2 CN 110046264 A 2 S36： 对所述步骤S35处理后的图像内容进行卷积层初步特征提取， 并将提取的初步特 征输入池化层产生特征向量， 然后全连接层将所有的所述特征向量连接， 并且添加一个输 出层， 并使用sigmoid激活函数， 计算出每个标签的概率， 最后输出图像预测标签向量。 6.根据。

8、权利要求1所述的面向手机文档的自动分类方法， 其特征在于， 所述文本分类模 型采用交叉熵公式衡量性能， 所述图像分类模型采用平均方差评估学习过程中的损失。 权利要求书 2/2 页 3 CN 110046264 A 3 一种面向手机文档的自动分类方法 技术领域 0001 本发明涉及文档管理领域， 特别是涉及一种面向手机文档的自动分类方法。 背景技术 0002 随着互联网的发展， 数字化办公也在随其不断发展， 但是在这个过程中也逐渐暴 露出一些问题。 而其中最明显的就是大量数字化办公带来的大量文件与人们固有的惰性所 带来的文档积压， 从而使得人们的文档分类混乱不堪， 降低了办公效率和办公体验。 根。

9、据国 家档案局的调查显示： 已有近80的中央和国家机关、 中央企业采用办公自动化或电子政 务系统， 产生各类电子文件近2亿件。 由此不难预见， 在不久的将来， 电子文件将成为政府、 企事业信息资源的主要承载体和表现形式。 针对手机上的文档驳杂、 管理与分类混乱等问 题， 致力于文档管理自动化， 建立一个文档自动分类管理系统， 使人们对自己手机中的文件 一目了然， 方便对手机中的文档进行分类和查找。 不仅承载了对于文件的有效管理功能， 更 关键的是还对文档实现了文本智能化自动分类， 使庞大驳杂的本地文档自动化、 智能化归 类。 0003 而目前为止， 非结构化文档(Word/PDF/PPT)分类。

10、只局限于依据文档中的文本进行 分类， 并且多数方法研究的重点是自然语言处理(NLP)。 往往忽视了文档中图像的存在， 但 是图像也是人类主要的信息源之一， 其中可能包含了该文件的重要信息， 是不能被忽略的。 并且在以图像为主的非结构化文档文件中， 图像内容在分类时也是一个重要的影响因素。 现有的办公软件注重文本、 表格等过程上的处理， 但真正注重对大量文档进行自动归纳分 类的系统在市场上还是一片空白， 并且现有文档分类方法， 还存在着不足， 存在有待研究改 进的地方。 发明内容 0004 为解决上述技术问题， 本发明提供一种面向手机文档的自动分类方法。 0005 为解决上述技术问题， 本发明采。

11、用的一个技术方案是： 提供一种面向手机文档的 自动分类方法， 包括S1： 收集并整理最常用于文档分类的多个标签作为构建文档类库的关 键词， 按照一个所述标签对应一个所述文档类库的规则构建多个文档类库， 所述文档类库 包含多个常用词为标签的文档类库以及一个标签为未分类的文档类库， 并将所述文档类库 划分为训练集和测试集； 0006 S2： 从所述文档类库的训练集中分别提取出其中的文本内容和图像内容， 并根据 每个所述文档类库以及其对应的标签， 对应建立语料类库和图像类库， 并且将所述语料类 库和图像类库均划分为训练集和测试集； 0007 S3： 对所述语料类库和图像类库的测试集中的文本内容进行数。

12、据预处理， 构建词 典， 并通过构建文本分类模型得到文本预测标签向量； 对所述图像类库中的训练集中的图 像内容进行数据预处理， 并通过构建图像分类模型得到图像预测标签向量； 0008 S4： 将文本预测标签向量和图像预测标签向量通过加权融合后得文档预测标签向 说明书 1/6 页 4 CN 110046264 A 4 量， 所述文档预测标签向量通过归一化处理后得到文档预测标签概率； 0009 S5： 将文档预测标签的概率与预设的阈值进行比较， 当所述文档预测标签概率大 于或等于所述阈值时， 将所述文档归入文档预测标签所对应的常用分类词的文档类库中， 当所述文档预测标签概率小于所述阈值时， 将所述。

13、文档归入标签为未分类的文档类库中。 0010 优选的， 所述步骤S1中还包括一个文档在多个文档类库中出现的情形， 即假设待 分类文档为Xi,其中Yi为待分类文档Xi所对应的文档类库 的集合，j为所有可能的文档类库个数。 0011 优选的， 所述步骤S2中将每个所述文本类库中的图像内容中的文字通过OCR技术 识别后作为文本内容加入相应的语料类库中。 0012 优选的， 所述步骤S3具体包括S31： 采用中文分词技术对所述文本内容进行文本分 词； 0013 S32： 对所述步骤S31中的文本分词结果去除停用词和低频词， 具体为， 通过在所述 分词结果中剔除常用的停用词表中的停用词， 根据文档文本大。

14、小设置最小词频， 过滤掉低 于所述最小词频的低频词； 0014 S33： 使用Wor2vec工具包把步骤S32中去除了停用词和低频词后的文本内容通过 映射的方法将所述文本内容以词向量的形式表示； 0015 S34： 使用卷积神经网络进行进一步特征提取， 其中卷积层对所述步骤S33中的所 述词向量进行初步特征提取， 并将提取的初步特征输入池化层产生特征向量， 然后全连接 层将所有的所述特征向量连接， 并且添加一个输出层， 并使用sigmoid激活函数， 计算出每 个标签的概率， 最后输出文本预测标签向量。 0016 优选的， 所述步骤S3还具体包括S35： 对图像内容进行旋转、 缩放、 裁剪以及。

15、归一 化； 0017 S36： 对所述步骤S35处理后的图像内容进行卷积层初步特征提取， 并将提取的初 步特征输入池化层产生特征向量， 然后全连接层将所有的所述特征向量连接， 并且添加一 个输出层， 并使用sigmoid激活函数， 计算出每个标签的概率， 最后输出图像预测标签向量。 0018 优选的， 所述文本分类模型采用交叉熵公式衡量性能， 所述图像分类模型采用平 均方差评估学习过程中的损失。 0019 区别于现有技术的情况， 本发明的有益效果是： 0020 1.能够实现非结构化文档快速有效的分类 0021 2.利用机器学习方法构建文本分类模型和图像分类模型， 从完整文档抽取出文字 内容以及。

16、图像内容两个部分并对应建立语料类库和图像类库， 进行分类， 在这个过程中通 过大量数据训练学习， 使文档实现了机器自动化分类， 节约了人力物力， 进而提高了工作效 率。 0022 3.将语料类库以及图像类库的分类结果， 作为分类指标衡量文档分类结果， 这样 使分类结果更为精确， 适用的文档内容以及格式更为广泛。 附图说明 0023 图1是本发明实施例的面向手机文档的自动分类方法的流程示意图； 说明书 2/6 页 5 CN 110046264 A 5 0024 图2是图1所示的面向手机文档的自动分类方法的步骤S3的具体流程示意图。 具体实施方式 0025 下面将结合本发明实施例中的附图， 对本发。

17、明实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅是本发明的一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。 0026 如图1所示， 本发明包括S1： 收集并整理最常用于文档分类的多个标签作为构建文 档类库的关键词， 按照一个所述标签对应一个所述文档类库的规则构建多个文档类库， 所 述文档类库包含多个常用词为标签的文档类库以及一个标签为未分类的文档类库， 并将所 述文档类库划分为训练集和测试集。 0027 其中， 在整理收集文档类库的标签时， 分类的的标签数据的。

18、可以采用爬行器爬取， 也可以选取搜索引擎在文档分类中相关度较高的词语来综合选取每个文档类库的标签。 构 建类库的方式采用爬行器爬取或开源文档获取或手动收集等方式。 在本实施例中， 共构建 了N+1个文档类库， 包括N个以常用词作为标签的文档类库和一个标签为未分类的类库， 标 签为未分类的文档类库中包含不属于以常用于文档分类的常用词作为标签的文档， 在初始 状态下， 该文档类库中不含任意文档， 在后续的步骤中， 除了在步骤S5的文档分类结果中需 要使用， 其余情况均不考虑该文档类库参与。 0028 在本实施例中， 所述步骤S1中还包括一个文档在多个文档类库中出现的情形， 即 假设待分类文档为Xi。

19、,其中Yi为待分类文档Xi所对应的多 个标签的文档类库的集合，j为所有可能的标签对应的文档类库个数。 0029 S2： 从所述文档类库的训练集中分别提取出其中的文本内容和图像内容， 并根据 每个所述文档类库以及其对应的标签， 对应建立语料类库和图像类库， 并且将所述语料类 库和图像类库均划分为80的训练集和 20的测试集。 0030 其中， 将图像类库中的图像内容抽取到一个文件夹中保存将图像内容中的文字通 过OCR技术识别后作为文本内容加入相应的语料类库中。 在本实施例中， 每个文本类库中的 图像内容中的文字通过OCR技术识别后作为文本内容加入相应的语料类库中。 例如可以采 用百度OCR AP。

20、I接口， 其功能包括高精度通用文字API、 表格文字识别API以及二维码识别 API， 能够提取图片中的通用文字、 生僻字、 表格文字、 证件文字等。 0031 S3： 对所述语料类库和图像类库的训练集中的文本内容进行数据预处理， 构建词 典， 并通过构建文本分类模型得到文本预测标签向量； 对所述图像类库中的训练集中的图 像内容进行数据预处理， 并通过构建图像分类模型得到图像预测标签向量。 0032 如图2所示， 其中步骤S3具体包括S31： 采用中文分词技术对所述文本内容进行文 本分词； 0033 英文以空格作为天然的分隔符， 而中文因其语言的特殊性除标点符号外， 文字不 存在间隔， 所以中。

21、文分词是自然语言处理的基础， 影响后续处理结构。 中文分词技术现较为 成熟， 所以可以直接采用现有技术算法或开源项目工具对语料类库中的文本进行分词处 理， 例如： jieba、 SnowNLP、 THULAC。 说明书 3/6 页 6 CN 110046264 A 6 0034 S32： 对所述步骤S31中的文本分词结果去除停用词和低频词， 具体为， 通过在所述 分词结果中剔除常用的停用词表中的停用词， 根据文档文本大小设置最小词频， 过滤掉低 于所述最小词频的低频词； 0035 S33： 使用Wor2vec工具包把步骤S32中去除了停用词和低频词后的文本内容通过 映射的方法将所述文本内容以词。

22、向量的形式表示； 0036 S34： 使用卷积神经网络进行进一步特征提取， 其中卷积层对所述步骤S33中的所 述词向量进行初步特征提取， 并将提取的初步特征输入池化层产生特征向量， 然后全连接 层将所有的所述特征向量连接， 并且添加一个输出层， 并使用sigmoid激活函数， 计算出每 个标签的概率， 最后输出文本预测标签向量。 0037 具体为， 构造A*B的矩阵， 其中A是单词数， B代表词向量维度。 为了进行批向量处 理， 将文本固定为长度A。 然后对每个文本进行卷积操作， 采用过滤器WRhb， 滤波器的大小 为h*b,其中h是n-gram的长度， 则卷积的目标为cif(Wxi:i+h-。

23、1+d(c)， 其中d是偏移量， f非线 性激活函数。 在卷积过程中， 此过滤器在可能会在N-h+1窗口上产生一组特征c1,c2, cN-h+1。 然后将这组特征输入至池化层产生特征向量这样就实 现了从一组特征中提取单个特征的目标， 然后在全连接层中将所有的特征向量连接， 并且 添加一个输出层， 使用sigmoid激活函数， 计算出每个标签的概率， 最后输出文本预测标签 向量 0038 为了评估文本分类模型的性能， 在原有输出层再加上一层输出层， ， 根据交叉熵公 式进行衡量， 具体为：其中p(x) 表示分类x是正确分类的概率， p 的取值只能是0或者1， q(x)则为x 种类为正确分类的预测。

24、概率， 取值范围为(0,1)。 0039 S35： 对图像内容进行旋转、 缩放、 裁剪以及归一化； 0040 S36： 对所述步骤S35处理后的图像内容进行卷积层初步特征提取， 并将提取的初 步特征输入池化层产生特征向量， 然后全连接层将所有的所述特征向量连接， 并且添加一 个输出层， 并使用sigmoid激活函数， 计算出每个标签的概率， 最后输出图像预测标签向量。 本步骤中的具体处理过程和步骤S34的具体处理过程相同， 最后输出图像预测标签向量 0041 为了衡量图像分类模型的性能， 在模型上再加上一层输出层， 利用平均方差评估 学习过程中的损失， 具体代价函数为：其中Ocnn代表图像分类。

25、模型预 测的数据集的标签， Oreal代表数据集真实的标签， 当e越小时， 说明模型预测性能更好。 0042 S4： 将文本预测标签向量和图像预测标签向量通过加权融合后得文档预测标签向 量， 所述文档预测标签向量通过归一化处理后得到文档预测标签概率。 0043 S5： 将文档预测标签概率与预设的阈值进行比较， 当所述文档预测标签概率大于 或等于所述阈值时， 将所述文档归入文档预测标签所对应的常用分类词文档类库中， 当所 述文档预测标签概率小于所述阈值时， 将所述文档归入标签为未分类的文档类库中。 0044具体为， 将文本预测标签向量和图像预测标签向量进行加权融合， 计算得出 文档标签向量计算公。

26、式如下：其中a为文本特征相似度权重， 说明书 4/6 页 7 CN 110046264 A 7 b为图像特征相似度权重， 并使用 sigmoid函数进行数值处理， 将多个分类的输出数据归一 化， 转化为最终的文档与猜测标签概率Pj， 这样相当于在原有的两个模型上， 利用加权平均 的方法， 添加一层LR分类器， 完成文本分类模型和图像分类模型的融合， 最后当文档预测标 签概率Pj(1jN)大于阈值， 则将所述文档归入文档预测标签所对应的常用分类词的文 档类库中。 0045 进一步地， 阈值不能过高或者过低， 过高则文档无法被同时归类于几个相关度较 高的类别中， 过低则不利于正确分类， 失去意义。。

27、 为了确定阈值， 首先将文本测试集以及图 像测试集均分为多等分， 利用交叉验证的方法， 验证模型并保留效果最好的文档分类模型， 这里采用汉明损失(Hamming loss)来衡量文档分类模型的准确度， Hamming loss可表示所 有标签中错误样本的比例， 所以该值越小则网络的分类能力越强。 计算公式如下： 0046 0047 其中|D|表示样本总数， |L|表示标签总数， xi和yi分别表示预测结果和真值， xor 表示异或运算， 并且规定在此过程中， a、 b权重为固定值， 且a、 b满足a+b1， 由文档类库测 试集多次测试， 可得阈值。 0048 在得出文本特征相似度权重a和图像特。

28、征相似度权重b时， 引入精度与召回率， 准 确率(Precision)是指对于给定的测试数据集， 正确被检索的相关文档数占文档类库中实 际被检索到的相关文档数的比例。 召回率(Recall Rate)是指给定的测试数据集， 被正确检 索出的相关文档数占文档类库中所有的相关文档数的比例。 在多标签时， 其计算公式变形 如下： 0049 0050 0051 其中|D|表示样本总数， xi和yi分别表示预测结果和真值， 同理固定阈值为最优 值， 将a、 b同样等分为为0,1区间内以0.01为刻度增长的多等分， 且a、 b满足a+b1。 由文 档类库测试集多次测试， 并综合考虑精度与召回率两个指标,可。

29、得出文本特征相似度权重a 为以及图像特征相似度权重b。 0052 当Pj大于或者等于阈值时， Xi成功被归类到标签为j的文档类库中， 并更新当前文 档类库以及当前模型； 但Pj小于阈值的时候， Xi被归类到具有未分类标签的文档类库,而未 被归类到任意具有常用词标签的文档类库中,并且更新未分类的文档类库。 0053 根据文档预测标签概率与阈值的关系， 文档可能被分入多个常用分类词的标签对 应的多个文档类库中， 也可能会被划入具有未分类标签的文档类库中， 即待分类文档Xi分 类后，Z 代表更新的文档类库。 其中Yi为文档Xi所对应的 标签的文档集合,I(1IN+1)为所有可能的标签个数， 当I为N。

30、+1 时， 表示待分类文档Xi被归类至标签标签为未分类的文档类库， 未被归类至N个常用分类词 标签对应的文档类库中； 为I为l时表示待分类文档Xi被同时归入l个标签对应的文档类库 中。 说明书 5/6 页 8 CN 110046264 A 8 0054 通过上述方式， 本发明能够实现非结构化文档快速有效的分类， 利用机器学习方 法构建文本分类模型和图像分类模型， 从完整文档抽取出文字内容以及图像内容两个部分 并对应建立语料类库和图像类库， 进行分类， 在这个过程中通过大量数据训练学习， 使文档 实现了机器自动化分类， 节约了人力物力， 进而提高了工作效率； 并将语料类库以及图像类 库的分类结果， 作为分类指标衡量文档分类结果， 这样使分类结果更为精确， 适用的文档内 容以及格式更为广泛。 0055 以上所述仅为本发明的实施例， 并非因此限制本发明的专利范围， 凡是利用本发 明说明书及附图内容所作的等效结构或等效流程变换， 或直接或间接运用在其他相关的技 术领域， 均同理包括在本发明的专利保护范围内。 说明书 6/6 页 9 CN 110046264 A 9 图1 说明书附图 1/2 页 10 CN 110046264 A 10 图2 说明书附图 2/2 页 11 CN 110046264 A 11 。