材料性能预测方法及系统.pdf

上传人:柴****2 文档编号:10403488 上传时间:2021-06-20 格式:PDF 页数:18 大小:677.36KB
收藏 版权申诉 举报 下载
材料性能预测方法及系统.pdf_第1页
第1页 / 共18页
材料性能预测方法及系统.pdf_第2页
第2页 / 共18页
材料性能预测方法及系统.pdf_第3页
第3页 / 共18页
文档描述:

《材料性能预测方法及系统.pdf》由会员分享,可在线阅读,更多相关《材料性能预测方法及系统.pdf(18页完成版)》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010535731.1 (22)申请日 2020.06.12 (71)申请人 上海大学 地址 200444 上海市宝山区上大路99号 (72)发明人 钱权曾毅 (74)专利代理机构 北京方圆嘉禾知识产权代理 有限公司 11385 代理人 冯静 (51)Int.Cl. G06F 30/20(2020.01) G06K 9/62(2006.01) G06N 3/04(2006.01) (54)发明名称 一种材料性能预测方法及系统 (57)摘要 本发明公开了一种材料性能预测方法及。

2、系 统。 本发明的方法利用注意力机制实现基于深度 学习的方式对材料性能进行预测, 克服传统材料 研究方法需要结合专业的领域知识和历史经验, 才能对特定的材料性能做出预测的技术缺陷。 而 且本发明通过构造多头注意力网络, 采用动态权 重的方式利用多头注意力网络对每个需要预测 的性能指标的注意力网络进行训练, 克服了在多 任务学习中, 任务间的损失函数权重容易分配不 当, 导致训练无法快速收敛的技术缺陷, 提高了 训练的速度。 权利要求书4页 说明书11页 附图2页 CN 111695260 A 2020.09.22 CN 111695260 A 1.一种材料性能预测方法, 其特征在于, 所述预测。

3、方法包括如下步骤: 获取已成型材料样本的材料数据组成样本数据集; 所述材料数据包括性能参数和设计 参数; 利用元素嵌入模型, 对所述设计参数的成分参数进行元素嵌入处理, 获得成分特征; 利 用交叉处理网络, 对所述设计参数中除了成分参数之外的非成分参数进行交叉处理, 获得 非成分特征, 获得样本特征数据集; 构造需要预测的材料的每个性能指标的注意力网络; 设计参数中所有性能指标的注意 力网络组成多头注意力网络; 并利用权重矩阵数组对每个性能指标的注意力网络的损失函 数进行加权求和, 得到所述多头注意力网络的损失函数; 基于所述样本特征数据集采用动态权重的方式训练和测试元素嵌入模型的嵌入向量、 。

4、交叉处理网络的权重和偏置以及多头注意力网络中的每个注意力网络, 直到所述多头注意 力网络的损失函数收敛且预测的准确率达到准确率阈值, 获得训练后的元素嵌入模型、 训 练后的交叉处理网络和训练后的每个性能指标的注意力网络; 利用训练后的元素嵌入模型对需要预测的材料的设计参数的成分参数进行特征提取, 利用训练后的交叉处理网络对需要预测的材料的设计参数的非成分参数进行特征提取, 获 得输入特征数据; 将所述输入特征数据分别输入需要预测的材料的性能指标对应的训练后的注意力网 络, 进行注意力机制处理, 获得每个需要预测的材料的性能指标的预测结果。 2.根据权利要求1所述的材料性能预测方法, 其特征在于。

5、, 所述基于所述样本特征数据 集采用动态权重的方式训练和测试元素嵌入模型的嵌入向量、 交叉处理网络的权重和偏置 以及多头注意力网络中的每个注意力网络, 直到所述多头注意力网络的损失函数收敛且预 测的准确率达到准确率阈值, 获得训练后的元素嵌入模型、 训练后的交叉处理网络和训练 后的每个性能指标的注意力网络, 具体包括: 将样本特征数据集中的样本特征数据输入多头注意力网络中的每个注意力网络, 利用 公式loss 2L(W)计算每个子任务加权后的损失函数值; 其中, 表示子任务的权重, L(W) 表示子任务的损失函数, loss表示加权后的损失函数; 将所有子任务的加权后的损失函数值求和, 作为多。

6、头注意力网络的损失函数值; 判断多头注意力网络的损失函数值是否收敛, 得到第二判断结果; 若所述第二判断结果表示否, 则更新元素嵌入模型的嵌入向量、 交叉处理网络的权重 和偏置以及多头注意力网络中的每个注意力网络, 并利用梯度更新方法修正权重矩阵数组 中每个子任务的权重, 返回步骤 “将样本特征数据集中的样本特征数据输入多头注意力网 络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后的损失函数值” ; 若所述第二判断结果表示是, 则输出更新后的元素嵌入模型的嵌入向量、 交叉处理网 络的权重和偏置以及多头注意力网络中的每个注意力网络, 得到训练后的元素嵌入模型、 训练后的交。

7、叉处理网络和训练后的每个性能指标的注意力网络。 3.根据权利要求1所述的材料性能预测方法, 其特征在于, 所述利用训练后的元素嵌入 模型对需要预测的材料的设计参数的成分参数进行特征提取, 具体包括: 利用需要预测的设计参数的成分参数的每个成分的含量乘以嵌入向量, 获得每个成分 的嵌入表达向量; 权利要求书 1/4 页 2 CN 111695260 A 2 将每个成分的嵌入表达向量进行拼接, 获得预测的材料的设计参数的成分参数的成分 特征。 4.根据权利要求1所述的材料性能预测方法, 其特征在于, 所述利用训练后的交叉处理 网络对需要预测的材料的设计参数的非成分参数进行特征提取, 具体包括: 利。

8、用公式xixi-1Wi-1x0+bi-1+xi-1进行第i层网络的的交叉处理; 其中, x0表示原始输入, xi-1和xi分别表示第i-1层网络和第i层网络的交叉处理结果, 第0层网络的交叉处理结果为 非成分参数; Wi-1表示第i-1层网络的权重, bi-1表示第i-1层网络的偏置; 判断i的数值是否小于交叉处理的网络的层数, 得到第一判断结果; 若所述第一判断结果表示是, 则令i的数值增加1, 返回步骤 “利用公式xixi-1Wi-1x0+ bi-1+xi-1进行第i层网络的的交叉处理” ; 若所述第一判断结果表示否, 则输出第i层的交叉处理结果。 5.根据权利要求1所述的的材料性能预测方。

9、法, 其特征在于, 所述将所述输入特征数据 分别输入需要预测的材料的性能指标对应的训练后的注意力网络, 进行注意力机制处理, 获得每个需要预测的材料的性能指标的预测结果, 具体包括: 将输入特征数据输入需要预测的材料的性能指标的训练后的注意力网络, 生成输入特 征数据的Query矩阵、 Key矩阵和Value矩阵; 令Query矩阵与Key矩阵相乘, 获得乘积矩阵; 将所述乘积矩阵除以所述输入特征数据维数的平方根, 获得缩放后的乘积矩阵; 对缩放后的乘积矩阵进行Softmax操作, 获得Softmax操作结果矩阵; 令所述Softmax操作结果矩阵与所述Value矩阵相乘, 得到注意力机制处理。

10、结果, 作为 需要预测的材料的性能指标的预测结果。 6.一种材料性能预测系统, 其特征在于, 所述预测系统包括: 样本数据集获取模块, 用于获取已成型材料样本的材料数据组成样本数据集; 所述材 料数据包括性能参数和设计参数; 样本数据集特征提取模块, 用于利用元素嵌入模型, 对所述设计参数的成分参数进行 元素嵌入处理, 获得成分特征; 利用交叉处理网络, 对所述设计参数中除了成分参数之外的 非成分参数进行交叉处理, 获得非成分特征, 获得样本特征数据集; 多头注意力网络构造模块, 用于构造需要预测的材料的每个性能指标的注意力网络; 设计参数中所有性能指标的注意力网络组成多头注意力网络; 并利用。

11、权重矩阵数组对每个 性能指标的注意力网络的损失函数进行加权求和, 得到所述多头注意力网络的损失函数; 动态权重训练模块, 用于基于所述样本特征数据集采用动态权重的方式训练和测试元 素嵌入模型的嵌入向量、 交叉处理网络的权重和偏置以及多头注意力网络中的每个注意力 网络, 直到所述多头注意力网络的损失函数收敛且预测的准确率达到准确率阈值, 获得训 练后的元素嵌入模型、 训练后的交叉处理网络和训练后的每个性能指标的注意力网络; 需要预测的材料的设计参数的特征提取模块, 用于利用训练后的元素嵌入模型对需要 预测的材料的设计参数的成分参数进行特征提取, 利用训练后的交叉处理网络对需要预测 的材料的设计参。

12、数的非成分参数进行特征提取, 获得输入特征数据; 性能预测模块, 用于将所述输入特征数据分别输入需要预测的材料的性能指标对应的 训练后的注意力网络, 进行注意力机制处理, 获得每个需要预测的材料的性能指标的预测 权利要求书 2/4 页 3 CN 111695260 A 3 结果。 7.根据权利要求6所述的材料性能预测系统, 其特征在于, 所述动态权重训练模块, 具 体包括: 损失函数值加权子模块, 用于将样本特征数据集中的样本特征数据输入多头注意力网 络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后的损失函数值; 其 中, 表示子任务的权重, L(W)表示子任务的损失函。

13、数, loss表示加权后的损失函数; 损失函数值求和子模块, 用于将所有子任务的加权后的损失函数值求和, 作为多头注 意力网络的损失函数值; 第二判断子模块, 用于判断多头注意力网络的损失函数值是否收敛, 得到第二判断结 果; 参数输出子模块, 用于若所述第二判断结果表示否, 则更新元素嵌入模型的嵌入向量、 交叉处理网络的权重和偏置和多头注意力网络中的每个注意力网络, 并利用梯度更新方法 修正权重矩阵数组中每个子任务的权重, 返回步骤 “将样本特征数据集中的样本特征数据 输入多头注意力网络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后 的损失函数值” ; 训练结果输出子。

14、模块, 用于若所述第二判断结果表示是, 则输出更新后的元素嵌入模 型的嵌入向量、 交叉处理网络的权重和偏置和多头注意力网络中的每个注意力网络, 得到 训练后的元素嵌入模型、 训练后的交叉处理网络和训练后的每个性能指标的注意力网络。 8.根据权利要求6所述的材料性能预测系统, 其特征在于, 所述需要预测的材料的设计 参数的特征提取模块, 具体包括: 嵌入表达向量获取子模块, 用于利用需要预测的设计参数的成分参数的每个成分的含 量乘以嵌入向量, 获得每个成分的嵌入表达向量; 拼接子模块, 用于将每个成分的嵌入表达向量进行拼接, 获得预测的材料的设计参数 的成分参数的成分特征。 9.根据权利要求6所。

15、述的材料性能预测系统, 其特征在于, 所述需要预测的材料的设计 参数的特征提取模块, 具体包括: 交叉处理子模块, 用于利用公式xixi-1Wi-1x0+bi-1+xi-1进行第i层网络的的交叉处理; 其中, x0表示原始输入, xi-1和xi分别表示第i-1层网络和第i层网络的交叉处理结果, 第0层 网络的交叉处理结果为非成分参数; Wi-1表示第i-1层网络的权重, bi-1表示第i-1层网络的 偏置; 层数判断子模块, 用于判断i的数值是否小于交叉处理的网络的层数, 得到第一判断结 果; 返回子模块, 用于若所述第一判断结果表示是, 则令i的数值增加1, 返回步骤 “利用公 式xixi-。

16、1Wi-1x0+bi-1+xi-1进行第i层网络的的交叉处理” ; 结果输出子模块, 用于若所述第一判断结果表示否, 则输出第i层的交叉处理结果。 10.根据权利要求6所述的的材料性能预测系统, 其特征在于, 所述性能预测模块, 具体 包括: 矩阵生成子模块, 用于将输入特征数据输入需要预测的材料的性能指标的训练后的注 意力网络, 生成输入特征数据的Query矩阵、 Key矩阵和Value矩阵; 权利要求书 3/4 页 4 CN 111695260 A 4 乘积矩阵获取子模块, 用于令Query矩阵与Key矩阵相乘, 获得乘积矩阵; 缩放子模块, 用于将所述乘积矩阵除以所述输入特征数据维数的平。

17、方根, 获得缩放后 的乘积矩阵; Softmax操作子模块, 用于对缩放后的乘积矩阵进行Softmax操作, 获得Softmax操作结 果矩阵; 预测结果输出子模块, 用于令所述Softmax操作结果矩阵与所述Value矩阵相乘, 得到 注意力机制处理结果, 作为需要预测的材料的性能指标的预测结果。 权利要求书 4/4 页 5 CN 111695260 A 5 一种材料性能预测方法及系统 技术领域 0001 本发明涉及新材料设计技术领域, 特别涉及一种材料性能预测方法及系统。 背景技术 0002 在材料科学研究中经常需要对特定的材料进行性能预测(如耐腐蚀性、 疲劳强度 等), 用来评估该材料的。

18、实际应用价值。 传统材料研究方法需要结合专业的领域知识和历史 经验, 才能对特定的材料性能做出预测。 并且, 受限于目前材料及相关学科的发展, 很多材 料内部机理还没有完全理解。 数据科学的方法, 尤其是深度学习方法是新材料研发的有利 补充。 如何实现基于深度学习的方式对材料性能进行预测成为一个亟待解决的技术问题。 发明内容 0003 本发明的目的是提供一种材料性能预测方法及系统, 以实现基于深度学习的方式 对材料性能进行预测, 克服传统材料研究方法需要结合专业的领域知识和历史经验, 才能 对特定的材料性能做出预测的技术缺陷。 0004 为实现上述目的, 本发明提供了如下方案: 0005 一种。

19、材料性能预测方法, 所述预测方法包括如下步骤: 0006 获取已成型材料样本的材料数据组成样本数据集; 所述材料数据包括性能参数和 设计参数; 0007 利用元素嵌入模型, 对所述设计参数的成分参数进行元素嵌入处理, 获得成分特 征; 利用交叉处理网络, 对所述设计参数中除了成分参数之外的非成分参数进行交叉处理, 获得非成分特征, 获得样本特征数据集; 0008 构造需要预测的材料的每个性能指标的注意力网络; 设计参数中所有性能指标的 注意力网络组成多头注意力网络; 并利用权重矩阵数组对每个性能指标的注意力网络的损 失函数进行加权求和, 得到所述多头注意力网络的损失函数; 0009 基于所述样。

20、本特征数据集采用动态权重的方式训练和测试元素嵌入模型的嵌入 向量、 交叉处理网络的权重和偏置以及多头注意力网络中的每个注意力网络, 直到所述多 头注意力网络的损失函数收敛且预测的准确率达到准确率阈值, 获得训练后的元素嵌入模 型、 训练后的交叉处理网络和训练后的每个性能指标的注意力网络; 0010 利用训练后的元素嵌入模型对需要预测的材料的设计参数的成分参数进行特征 提取, 利用训练后的交叉处理网络对需要预测的材料的设计参数的非成分参数进行特征提 取, 获得输入特征数据; 0011 将所述输入特征数据分别输入需要预测的材料的性能指标对应的训练后的注意 力网络, 进行注意力机制处理, 获得每个需。

21、要预测的材料的性能指标的预测结果。 0012 可选的, 所述基于所述样本特征数据集采用动态权重的方式训练和测试元素嵌入 模型的嵌入向量、 交叉处理网络的权重和偏置以及多头注意力网络中的每个注意力网络, 直到所述多头注意力网络的损失函数收敛且预测的准确率达到准确率阈值, 获得训练后的 说明书 1/11 页 6 CN 111695260 A 6 元素嵌入模型、 训练后的交叉处理网络和训练后的每个性能指标的注意力网络, 具体包括: 0013 将样本特征数据集中的样本特征数据输入多头注意力网络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后的损失函数值; 其中, 表示子任务的权重。

22、, L (W)表示子任务的损失函数, loss表示加权后的损失函数; 0014 将所有子任务的加权后的损失函数值求和, 作为多头注意力网络的损失函数值; 0015 判断多头注意力网络的损失函数值是否收敛, 得到第二判断结果; 0016 若所述第二判断结果表示否, 则更新元素嵌入模型的嵌入向量、 交叉处理网络的 权重和偏置和多头注意力网络中的每个注意力网络, 并利用梯度更新方法修正权重矩阵数 组中每个子任务的权重, 返回步骤 “将样本特征数据集中的样本特征数据输入多头注意力 网络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后的损失函数值” ; 0017 若所述第二判断结果。

23、表示是, 则输出更新后的元素嵌入模型的嵌入向量、 交叉处 理网络的权重和偏置和多头注意力网络中的每个注意力网络, 得到训练后的元素嵌入模 型、 训练后的交叉处理网络和训练后的每个性能指标的注意力网络。 0018 可选的, 所述利用训练后的元素嵌入模型对需要预测的材料的设计参数的成分参 数进行特征提取, 具体包括: 0019 利用需要预测的设计参数的成分参数的每个成分的含量乘以嵌入向量, 获得每个 成分的嵌入表达向量; 0020 将每个成分的嵌入表达向量进行拼接, 获得预测的材料的设计参数的成分参数的 成分特征。 0021 可选的, 所述利用训练后的交叉处理网络对需要预测的材料的设计参数的非成分。

24、 参数进行特征提取, 具体包括: 0022 利用公式xixi-1Wi-1x0+bi-1+xi-1进行第i层网络的的交叉处理; 其中, x0表示原始 输入, xi-1和xi分别表示第i-1层网络和第i层网络的交叉处理结果, 第0层网络的交叉处理 结果为非成分参数; Wi-1表示第i-1层网络的权重, bi-1表示第i-1层网络的偏置; 0023 判断i的数值是否小于交叉处理的网络的层数, 得到第一判断结果; 0024 若所述第一判断结果表示是, 则令i的数值增加1, 返回步骤 “利用公式xixi-1Wi- 1x0+bi-1+xi-1进行第i层网络的的交叉处理” ; 0025 若所述第一判断结果表。

25、示否, 则输出第i层的交叉处理结果。 0026 可选的, 所述将所述输入特征数据分别输入需要预测的材料的性能指标对应的训 练后的注意力网络, 进行注意力机制处理, 获得每个需要预测的材料的性能指标的预测结 果, 具体包括: 0027 将输入特征数据输入需要预测的材料的性能指标的训练后的注意力网络, 生成输 入特征数据的Query矩阵、 Key矩阵和Value矩阵; 0028 令Query矩阵与Key矩阵相乘, 获得乘积矩阵; 0029 将所述乘积矩阵除以所述输入特征数据维数的平方根, 获得缩放后的乘积矩阵; 0030 对缩放后的乘积矩阵进行Softmax操作, 获得Softmax操作结果矩阵;。

26、 0031 令所述Softmax操作结果矩阵与所述Value矩阵相乘, 得到注意力机制处理结果, 作为需要预测的材料的性能指标的预测结果。 0032 一种材料性能预测系统, 所述预测系统包括: 说明书 2/11 页 7 CN 111695260 A 7 0033 样本数据集获取模块, 用于获取已成型材料样本的材料数据组成样本数据集; 所 述材料数据包括性能参数和设计参数; 0034 样本数据集特征提取模块, 用于利用元素嵌入模型, 对所述设计参数的成分参数 进行元素嵌入处理, 获得成分特征; 利用交叉处理网络, 对所述设计参数中除了成分参数之 外的非成分参数进行交叉处理, 获得非成分特征, 获。

27、得样本特征数据集; 0035 多头注意力网络构造模块, 用于构造需要预测的材料的每个性能指标的注意力网 络; 设计参数中所有性能指标的注意力网络组成多头注意力网络; 并利用权重矩阵数组对 每个性能指标的注意力网络的损失函数进行加权求和, 得到所述多头注意力网络的损失函 数; 0036 动态权重训练模块, 用于基于所述样本特征数据集采用动态权重的方式训练和测 试元素嵌入模型的嵌入向量、 交叉处理网络的权重和偏置以及多头注意力网络中的每个注 意力网络, 直到所述多头注意力网络的损失函数收敛且预测的准确率达到准确率阈值, 获 得训练后的元素嵌入模型、 训练后的交叉处理网络和训练后的每个性能指标的注意。

28、力网 络; 0037 需要预测的材料的设计参数的特征提取模块, 用于利用训练后的元素嵌入模型对 需要预测的材料的设计参数的成分参数进行特征提取, 利用训练后的交叉处理网络对需要 预测的材料的设计参数的非成分参数进行特征提取, 获得输入特征数据; 0038 性能预测模块, 用于将所述输入特征数据分别输入需要预测的材料的性能指标对 应的训练后的注意力网络, 进行注意力机制处理, 获得每个需要预测的材料的性能指标的 预测结果。 0039 可选的, 所述动态权重训练模块, 具体包括: 损失函数值加权子模块, 用于将样本 特征数据集中的样本特征数据输入多头注意力网络中的每个注意力网络, 利用公式loss。

29、 2L(W)计算每个子任务加权后的损失函数值; 其中, 表示子任务的权重, L(W)表示子任务 的损失函数, loss表示加权后的损失函数; 0040 损失函数值求和子模块, 用于将所有子任务的加权后的损失函数值求和, 作为多 头注意力网络的损失函数值; 0041 第二判断子模块, 用于判断多头注意力网络的损失函数值是否收敛, 得到第二判 断结果; 0042 参数输出子模块, 用于若所述第二判断结果表示否, 则更新元素嵌入模型的嵌入 向量、 交叉处理网络的权重和偏置和多头注意力网络中的每个注意力网络, 并利用梯度更 新方法修正权重矩阵数组中每个子任务的权重, 返回步骤 “将样本特征数据集中的样。

30、本特 征数据输入多头注意力网络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务 加权后的损失函数值” ; 0043 训练结果输出子模块, 用于若所述第二判断结果表示是, 则输出更新后的元素嵌 入模型的嵌入向量、 交叉处理网络的权重和偏置以及多头注意力网络中的每个注意力网 络, 得到训练后的元素嵌入模型、 训练后的交叉处理网络和训练后的每个性能指标的注意 力网络。 0044 可选的, 所述需要预测的材料的设计参数的特征提取模块, 具体包括: 0045 嵌入表达向量获取子模块, 用于利用需要预测的设计参数的成分参数的每个成分 说明书 3/11 页 8 CN 111695260 A 。

31、8 的含量乘以嵌入向量, 获得每个成分的嵌入表达向量; 0046 拼接子模块, 用于将每个成分的嵌入表达向量进行拼接, 获得预测的材料的设计 参数的成分参数的成分特征。 0047 可选的, 所述需要预测的材料的设计参数的特征提取模块, 具体包括: 0048 交叉处理子模块, 用于利用公式xixi-1Wi-1x0+bi-1+xi-1进行第i层网络的的交叉处 理; 其中, x0表示原始输入, xi-1和xi分别表示第i-1层网络和第i层网络的交叉处理结果, 第0 层网络的交叉处理结果为非成分参数; Wi-1表示第i-1层网络的权重, bi-1表示第i-1层网络 的偏置; 0049 层数判断子模块,。

32、 用于判断i的数值是否小于交叉处理的网络的层数, 得到第一判 断结果; 0050 返回子模块, 用于若所述第一判断结果表示是, 则令i的数值增加1, 返回步骤 “利 用公式xixi-1Wi-1x0+bi-1+xi-1进行第i层网络的的交叉处理” ; 0051 结果输出子模块, 用于若所述第一判断结果表示否, 则输出第i层的交叉处理结 果。 0052 可选的, 所述性能预测模块, 具体包括: 0053 矩阵生成子模块, 用于将输入特征数据输入需要预测的材料的性能指标的训练后 的注意力网络, 生成输入特征数据的Query矩阵、 Key矩阵和Value矩阵; 0054 乘积矩阵获取子模块, 用于令Q。

33、uery矩阵与Key矩阵相乘, 获得乘积矩阵; 0055 缩放子模块, 用于将所述乘积矩阵除以所述输入特征数据维数的平方根, 获得缩 放后的乘积矩阵; 0056 Softmax操作子模块, 用于对缩放后的乘积矩阵进行Softmax操作, 获得Softmax操 作结果矩阵; 0057 预测结果输出子模块, 用于令所述Softmax操作结果矩阵与所述Value矩阵相乘, 得到注意力机制处理结果, 作为需要预测的材料的性能指标的预测结果。 0058 根据本发明提供的具体实施例, 本发明公开了以下技术效果: 0059 本发明公开了一种材料性能预测方法, 所述预测方法包括如下步骤: 0060 获取已成型。

34、材料样本的材料数据组成样本数据集; 利用元素嵌入模型, 对所述设 计参数的成分参数进行元素嵌入处理, 获得成分特征; 利用交叉处理网络, 对所述设计参数 中除了成分参数之外的非成分参数进行交叉处理, 获得非成分特征, 获得样本特征数据集; 构造需要预测的材料的每个性能指标的注意力网络; 设计参数中所有性能指标的注意力网 络组成多头注意力网络; 并利用权重矩阵数组对每个性能指标的注意力网络的损失函数进 行加权求和, 得到所述多头注意力网络的损失函数; 基于所述样本特征数据集采用动态权 重的方式训练和测试元素嵌入模型的嵌入向量、 交叉处理网络的权重和偏置以及多头注意 力网络中的每个注意力网络, 直。

35、到所述多头注意力网络的损失函数收敛且预测的准确率达 到准确率阈值, 获得训练后的元素嵌入模型、 训练后的交叉处理网络和训练后的每个性能 指标的注意力网络; 利用训练后的元素嵌入模型对需要预测的材料的设计参数的成分参数 进行特征提取, 利用训练后的交叉处理网络对需要预测的材料的设计参数的非成分参数进 行特征提取, 获得输入特征数据; 将所述输入特征数据分别输入需要预测的材料的性能指 标对应的训练后的注意力网络, 进行注意力机制处理, 获得每个需要预测的材料的性能指 说明书 4/11 页 9 CN 111695260 A 9 标的预测结果。 本发明利用注意力网络实现基于深度学习的方式对材料性能进行。

36、预测, 克 服传统材料研究方法需要结合专业的领域知识和历史经验, 才能对特定的材料性能做出预 测的技术缺陷。 而且本发明通过构造多头注意力网络, 采用动态权重的方式利用多头注意 力网络对每个需要预测的性能指标的注意力网络进行训练, 克服了在多任务学习中, 任务 间的损失函数权重容易分配不当, 导致训练无法快速收敛的技术缺陷, 提高了训练的速度。 附图说明 0061 为了更清楚地说明本发明实施例或现有技术中的技术方案, 下面将对实施例中所 需要使用的附图作简单地介绍, 显而易见地, 下面描述中的附图仅仅是本发明的一些实施 例, 对于本领域普通技术人员来讲, 在不付出创造性劳动性的前提下, 还可以。

37、根据这些附图 获得其他的附图。 0062 图1为本发明提供的一种材料性能预测方法的流程图; 0063 图2为本发明提供的损失函数加权处理的原理示意图; 0064 图3为本发明提供的注意力机制处理的原理示意图; 0065 图4为本发明提供的基于神经网络模型的材料性能预测方法的原理示意图。 具体实施方式 0066 本发明的目的是提供一种材料性能预测方法及系统, 以实现基于深度学习的方式 对材料性能进行预测, 克服传统材料研究方法需要结合专业的领域知识和历史经验, 才能 对特定的材料性能做出预测的技术缺陷。 0067 为使本发明的上述目的、 特征和优点能够更加明显易懂, 下面结合附图和具体实 施方式。

38、对发明作进一步详细的说明。 0068 深度学习擅长直接从数据中捕获联系, 其特有的网络结构与训练方法能够隐式地 捕捉给定输入与输出间的映射关系, 并将这些信息通过超参数保存在模型中。 通过深度学 习, 可以对材料数据进行建模, 弥补传统材料研发中试错或者依靠复杂领域知识的的局限, 自动地让模型去学习和预测。 0069 嵌入表示是自然语言处理里的一个概念, 表达的是将单词表示成一定长度的向 量, 从而使其可以被放入深度学习网络中进行训练。 交叉变换指的是对输入特征进行逐项 相乘并输出。 注意力机制是一种计算样本间相关度的方法, 相关度越高的样本, 它们的注意 力值越大。 利用注意力机制能够很好的。

39、把握训练数据中的联系, 使得相似的样本最终的输 出也是相似的, 从而增强模型的拟合能力。 多任务学习是传统单任务学习的延伸, 强调的是 两个相近任务一起训练, 彼此促进从而达到比单独训练更好的结果。 0070 本发明的目的为了解决材料研发过程中对给定新材料进行属性预测这一问题, 提 供了一种于注意力机制与多任务深度学习相结合的材料性能预测方法。 该方法基于深度学 习, 使用元素嵌入表示和特征交叉变换的方法对材料特征数据进行处理, 这两种处理方式 大大增加了原始数据的表达能力。 随后使用多头自注意力机制对处理后的数据进行变换。 在这个单一任务模型的基础上, 为了能够更好的进行预测, 本发明选取了。

40、第二个类似的任 务, 两个任务输入一样, 输出不同, 使用多任务学习对其进行联合训练, 两个任务相互促进, 从而达到更好的效果。 为了解决多任务学习中不同任务间的损失函数如何进行整合这一问 说明书 5/11 页 10 CN 111695260 A 10 题, 本发明使用了基于不确定性的动态权重来设定多任务学习中任务间的损失函数权重, 使得模型能够更好地收敛。 0071 元素嵌入表示是一种数据处理方法, 通常在深度学习模型中使用。 它的基本思想 是将一个元素表示成长度为n的向量, n值根据不同的模型有不同的选取方式。 这个向量在 模型创建时被随机初始化, 然后随着模型训练而发生变化, 最终模型收。

41、敛的时候, 该向量即 表示在当前输入输出条件下, 该元素的最佳向量表示。 使用向量替代原来的单个值表示元 素这一方法使得每个元素拥有了更大的特征表示空间, 增强了它们的特征表达能力, 并且 能够随着不同的任务拟合成不同的表示内容, 大大增强了模型的拟合能力。 0072 特征交叉变换也是一种数据处理方法。 在本发明中, 每层交叉变换的处理逻辑是 将该层输入与一个参数矩阵相乘, 这一参数矩阵也会随着网络的训练而发生变化, 随后将 得到的结果与最原始的输入进行相乘, 最后得到输出。 这一设计的好处是每一层交叉变换 就代表着将特征互相乘了一次, 一阶特征变换为二阶特征。 如果要得到高阶特征, 只需要继。

42、 续叠加交叉变换层即可, 操作非常简洁明了。 0073 注意力机制是一种计算样本间相关度的方法, 对于每一个样本, 注意力机制提供 了三个向量: Query向量, Key向量和Value向量, 三个向量在网络训练开始时被随机初始化, 并随着训练过程对自身取值进行修正。 在计算某个样本与其他样本之间的相关度时, 首先 将该样本对应的Query向量与其他样本的Key向量相乘, 得到的结果进行归一化处理后, 再 将其与各个样本的Value向量相乘, 最后把所有样本的计算结果加起来, 即为该样本的带注 意力值输出。 注意力机制非常突出的优点就是它可以根据上下文信息计算样本的输出, 这 种计算方式类似于。

43、人类查看图片或文本信息时的注意力分布, 可以将焦点聚焦到更需要关 注的地方, 提高模型效率。 0074 多任务学习是一种提高相关任务学习效果的方法。 由于在单任务情况下, 模型学 习缺乏参照, 因此本发明使用多任务学习模型来对目标属性进行建模与预测。 每个子任务 有独立的子损失函数, 模型为每个子任务分配了一个损失函数权重, 该权重被随机初始化, 并随着网络训练过程进行修正, 最终使模型达到收敛。 0075 如图1所示, 本发明提供一种材料性能预测方法, 所述预测方法包括如下步骤: 0076 步骤101, 获取已成型材料样本的材料数据组成样本数据集; 所述材料数据包括性 能参数和设计参数。 所。

44、述设计参数包括但不限于材料成分, 所述材料性能参数包括但不局 限于材料屈服强度、 材料弹性模量、 材料泊松比、 材料密度、 材料膨胀系数等。 0077 步骤102, 利用元素嵌入模型, 对所述设计参数的成分参数进行元素嵌入处理, 获 得成分特征; 利用交叉处理网络, 对所述设计参数中除了成分参数之外的非成分参数进行 交叉处理, 获得非成分特征, 获得样本特征数据集。 0078 元素嵌入处理: 输入为元素特征向量, 输出为拼接后的元素嵌入表示向量。 设置元 素嵌入表示向量长度为N并随机初始化各个元素的嵌入表达向量, 将原数据中元素含量c与 嵌入向量相乘, 得到的结果就是每个元素的嵌入表达, 随后。

45、将所有元素的嵌入表达拼接在 一起, 即完成了元素嵌入处理。 0079 特征交叉处理: 这里有两种情况, 假如该交叉处理层为第一层, 则输入为原始特征 x0; 如果不是第一层, 那么输入特征就是原始特征x0加上上一层的输出特征x。 随机初始化层 内权重矩阵w后, 将该权重矩阵w与上一层的输出x相乘, 随后将结果与原始输入x0相乘, 进 说明书 6/11 页 11 CN 111695260 A 11 行特征交叉操作, 最后返回交叉后的特征与偏置矩阵b和上一层输出的和。 具体计算公式如 下: xixi-1Wi-1x0+bi-1+xi-1。 0080 步骤103, 构造需要预测的材料的每个性能指标的注。

46、意力网络; 设计参数中所有性 能指标的注意力网络组成多头注意力网络; 并利用权重矩阵数组对每个性能指标的注意力 网络的损失函数进行加权求和, 得到所述多头注意力网络的损失函数。 0081 注意力机制处理: 对输入的特征进行注意力机制处理, 对于同一输入, 将其拓展成 三个矩阵: Query矩阵、 Key矩阵和Value矩阵。 首先计算Query与Key之间的点乘, 为了防止结 果过大导致计算出现误差, 这里将点乘结果除以矩阵维度的平方根, 随后利用一个 Softmax操作将结果归一化范围为0,1的概率值, 再将这个概率值与Value矩阵相乘, 获得 最后的注意力值输出。 对于某一个样本, 计算。

47、了所有其他样本对应的注意力值输出后, 将其 求和, 即可得到注意力机制下该样本的输出。 0082 对给定的Query、 Key和Value矩阵做了运算, 每一个运算单元称为一个头, 多个运 算单元可组成多头注意力。 将输入的Key、 Value和Query矩阵经过线性层变换, 拆分成k个大 小相同的子矩阵。 每个子矩阵对应对应一个注意力机制(运算单元)。 经过多头设计后, 模型 能够更加全面地捕捉样本中数据不同层面的关联。 0083 使用多任务组合成的多头注意力网络: 依据所需要预测的材料性能, 构造多任务 学习网络。 最终模型为多路模型, 每一路代表一个预测材料性能任务; 0084 组合子任。

48、务间损失函数: 每个子任务的损失函数独立计算, 并通过该步骤中的组 合操作组合在一起形成最终模型的整体损失函数。 在组合操作中, 首先依照任务数量随机 初始化一个权重矩阵数组, 数组中每一个元素代表了该子任务损失函数值在总体损失函数 值上的占比。 这一权重矩阵随着网络训练而自动进行修正, 最终使得模型能够收敛。 0085 网络训练与参数调优: 将原本的数据集划分成训练集与测试集, 使用训练集上的 数据对模型进行训练, 并使用测试集的数据对其进行效果验证。 评测指标为R平方值。 当子 任务的测试集R平方值达到预期要求后, 网络训练完成。 此时, 给定一组输入, 模型输出的即 为预测结果。 当模型。

49、训练效果不好时, 可尝试对参数进行调整, 不同的参数组合对应的模型 效果不同。 0086 步骤104, 基于所述样本特征数据集采用动态权重的方式训练和测试元素嵌入模 型的嵌入向量、 交叉处理网络的权重和偏置以及多头注意力网络中的每个注意力网络, 直 到所述多头注意力网络的损失函数收敛且预测的准确率达到准确率阈值, 获得训练后的元 素嵌入模型、 训练后的交叉处理网络和训练后的每个性能指标的注意力网络。 0087 步骤104具体包括: 将样本特征数据集中的样本特征数据输入多头注意力网络中 的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后的损失函数值; 其中, 表示子任务的权重,。

50、 L(W)表示子任务的损失函数, loss表示加权后的损失函数。 0088 将所有子任务的加权后的损失函数值求和, 作为多头注意力网络的损失函数值。 0089 判断多头注意力网络的损失函数值是否收敛, 得到第二判断结果。 0090 若所述第二判断结果表示否, 则更新元素嵌入模型的嵌入向量、 交叉处理网络的 权重和偏置和多头注意力网络中的每个注意力网络, 并利用梯度更新方法修正权重矩阵数 组中每个子任务的权重, 返回步骤 “将样本特征数据集中的样本特征数据输入多头注意力 网络中的每个注意力网络, 利用公式loss 2L(W)计算每个子任务加权后的损失函数值” 。 说明书 7/11 页 12 CN。

展开阅读全文
内容关键字: 材料 性能 预测 方法 系统
关于本文
本文标题:材料性能预测方法及系统.pdf
链接地址:https://www.zhuanlichaxun.net/pdf/10403488.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1