多尺度马氏体微观组织老化与损伤分级方法.pdf

《多尺度马氏体微观组织老化与损伤分级方法.pdf》由会员分享，可在线阅读，更多相关《多尺度马氏体微观组织老化与损伤分级方法.pdf（9页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202011053202.4 (22)申请日 2020.09.29 (71)申请人 中国特种设备检测研究院 地址 100013 北京市朝阳区和平街西苑2号 (72)发明人 杨旭钱公陈新中徐光明 施超段也 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 王洋 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(20。

2、06.01) G06T 7/00(2017.01) (54)发明名称 一种多尺度马氏体微观组织老化与损伤分 级方法 (57)摘要 本申请公开了多尺度马氏体微观组织老化 与损伤分级方法， 包括： 利用特定放大倍数的金 相显微镜采集高铬马氏体耐热钢材料微观组织 图片以构建数据集， 为每张图片标注代表老化与 损伤程度的等级标签； 对所有图片进行缩小， 构 建包含不同分辨率的多尺度数据集； 利用预训练 的模型参数来初始化神经网络， 构建基于残差神 经网络特征金字塔的多尺度金相分级模型； 预先 设置学习率、 迭代次数超参数， 采用交叉熵作为 损失函数， 应用随机梯度下降法对上述构建的模 型进行微调； 通。

3、过不同分辨率的金相显微镜， 获 取需要识别的高铬马氏体耐热钢微观组织图片， 从中取出确定大小的若干小图， 使用训练好的模 型进行分级。 该方法训练的模型可扩展到多种分 辨率的图片中使用。 权利要求书2页 说明书5页 附图1页 CN 112132086 A 2020.12.25 CN 112132086 A 1.一种多尺度马氏体微观组织老化与损伤分级方法， 其特征在于： 包括以下步骤： 步骤一、 确定标准分辨率， 即需识别的钢铁材料微观组织放大倍数a， 其中50a1000， 收集在该放大倍数下金相显微镜所获得的相同规格大小的钢铁材料微观组织图片， 以及放 大倍数较小， 分辨率不相同的钢铁材料微观。

4、组织图片， 在经过专家对老化损伤的分级评定 之后， 将评定级别与图片绑定以构建数据集； 步骤二、 对步骤一中收集的所有图片进行相同预处理， 预处理方法如下： 1)剔除金相显微镜获取的微观组织图中含有的文字说明部分， 得到只含有微观组织图 本体的初始数据集， 将采集到的标准分辨率数据作为初始训练数据集T0， 将采集到的非标 准多种分辨率部分的数据作为验证数据集V0； 2)将初始训练数据集T0中三通道的灰度图转化为单通道的灰度图， 得到训练数据集 T1； 3)使用双线性插值法， 对T1中的图像数据进行不同倍率的缩小， 得到训练数据集T2； 4)对训练数据集T2中的每张图片， 随机取大小为nxnx1。

5、图像， 其中1m100,100n800， 如原始图片小于目标分辨率， 则以补全的方式将原始图片补全到nxn大小， 得到新的训练数 据集T3； 步骤三、 利用深度学习框架PyTorch构建ResNet-FPN-MC模型， 其中， ResNet代表一种卷 积神经网络架构： 残差神经网络， FPN代表特征金字塔网络(Feature Pyramid Networks)， MC为马氏体分级(Martensite classification)， 网络输入图片大小为nxnx1， 输出为一个5 维向量， 每个维度分别代表材料属于该类别的概率； 步骤四、 使用训练数据集T3， 采用交叉熵作为损失函数， 应用随。

6、机梯度下降法对模型进 行训练； 具体训练步骤如下： 1)使用预训练的ResNet初始化当前模型骨干网络中的参数； 2)随机打乱训练集中的图片顺序； 3)每次向神经网络输入一批图片， 记录神经网络输出向量， 通过网络输出向量与数据 的类别标签， 计算交叉熵的值， 然后根据交叉熵的值进行反向传播， 更新模型参数； 训练数 据集T3中每张图片都计算过损失函数， 并完成反向传播后， 记做一轮训练； 4)模型微调； 5)记录每轮训练中的模型参数， 同时判断是否达到最大训练轮次， 达到最大训练轮次， 则执行步骤6， 未达到则返回步骤3继续训练； 6)取出训练过程中， 在验证集上准确率最高的模型； 步骤五、。

7、 判断需要识别的高铬马氏体耐热钢微观组织图片的分辨率， 是否在可以判断 的范围内， 若在可判定范围， 按照步骤二中1)和2)进行预处理， 然后使用步骤四中训练好的 模型进行自动分级。 2.如权利要求1所述基于深度学习的马氏体微观组织老化与损伤分级方法， 其特征在 于， 上述步骤二的第3)步中， 对训练数据集T1中的所有图像进行带插值的缩小， 构造拥有不 同分辨率数据的多尺度训练集。 3.如权利要求1所述的方法， 其特征在于， 上述步骤三中， 构建ResNet-FPN-MC模型， 该 权利要求书 1/2 页 2 CN 112132086 A 2 模型的结构包括一个输入层、 四个卷积模块、 一个F。

8、PN网络， 一个输出层。 4.如权利要求3所述的方法， 其特征在于， 上述步骤三中， 四个卷积模块的输入输出通 道分别为(64， 256)， (128， 512)， (256， 1024)， (512， 2048)， 四个卷积模块分别堆叠3、 4、 6、 3 个残差块。 5.如权利要求3所述的方法， 其特征在于， 上述步骤三中， FPN网络有含有四个1x1卷积 核， 其输入输出通道分别为(256， 256)、 (512， 256)、 (1024， 256)、 (2048， 256)， 每个1x1卷积 核后都跟随一个输入输出为(256， 256)的3x3卷积核。 6.如权利要求3所述的方法， 其。

9、特征在于， 上述步骤三中， 输出层由两部分组成， 第一部 分有两个多层感知机层， 输入输出分别为(12544,1024)， (1024,1024)， 第二部分只有一个 多层感知基层， 输入输出为(1024,5)。 7.如权利要求1所述的方法， 其特征在于， 上述步骤四中， 预先设置迭代轮次为10100 次； 采用交叉熵作为损失函数， 不添加正则项； 应用随机梯度下降法对模型进行训练时， 保 留每次迭代模型参数。 8.如权利要求1所述的方法， 其特征在于， 上述步骤四的第3)步中， 按顺序向ResNet- FPN-MC每次输入16张、 32张或64张图片。 9.如权利要求1所述的方法， 其特征在。

10、于， 在预训练的ResNet-FPN模型上使用较小学习 率来对模型进行微调， 来获得在当前数据集上表现最佳的模型。 权利要求书 2/2 页 3 CN 112132086 A 3 一种多尺度马氏体微观组织老化与损伤分级方法 技术领域 0001 本发明涉及高铬马氏体耐热钢微观组织的老化与损伤识别领域， 特别涉及一种金 相组织自动评级的方法。 背景技术 0002 钢铁材料微观组织特征是决定材料性能的重要因素之一。 由于受到环境、 温度、 压 力等因素影响， 钢铁材料在使用过程中微观组织往往会产生不同程度老化和损伤， 对安全 生产带来极大隐患。 因此， 如何科学高效地检测钢铁材料的老化及损伤程度， 成。

11、为理论与实 践亟待解决的问题之一。 近年来， 在火力发电领域， 以P91钢和P92钢为代表的高铬马氏体耐 热钢在超(超)临界机组的主蒸汽管道、 再热热段管道等关键承压部件被广泛应用， 其材料 组织的老化及损伤问题受到越来越多的关注。 目前， 针对这一问题的研究， 主要以现场覆膜 拍照或通过割管取样后在实验室金相显微镜下观察分析。 但这类方法往往高度依赖于研究 人员的专业技术水平和实践经验， 具有较强的主观性。 同时， 由于人工观察判别成本高、 复 用性低， 导致实验结果往往误差相对较大。 0003 伴随着人工智能时代的到来， 以深度学习为代表的机器学习算法在图像分析识别 领域取得长足进步。 越。

12、来越多的学者们开始关注深度学习在材料研究领域的应用， 为探索 科学高效的材料微观组织自动辨识方法提供了可能性。 其中， 一些学者探索了机器学习方 法在材料微观结构的应用， 如， Azimi等利用深度学习方法， 将通过图片对材料进行缺陷检 测的问题转化为图片的语义分割问题， 利用语义分割算法对金属材料进行缺陷检测。 0004 目前， 利用深度学习方法对材料研究的探索尚处于起步阶段。 已有研究在材料组 织状态分类中的应用尚少， 更缺少针对不同尺度金相图片的微观组织老化特征与损伤程度 的研究。 现实生产环境中， 因金相数据采集设备情况的差异， 金相图片数据尺度往往差别较 大。 当前， 仅针对实验环境。

13、下固定比例的金相图片数据的微观组织老化与损伤特征研究， 难 以满足对此类数据的有效分析。 为此， 利用深度学习方法研究不同尺度金相图片的高铬马 氏体微观组织老化特征与损伤程度的自动分类问题， 具有重要的学术价值和现实紧迫性。 发明内容 0005 本发明的目的是为了解决现有技术存在的问题， 提出一种基于深度残差网络的高 铬马氏体耐热钢微观组织损伤与老化自动分级方法， 以提高钢材微观组织老化与损伤评定 的识别精度与识别效率。 0006 本发明的目的是通过以下技术方案实现的： 0007 一种基于深度学习的马氏体微观组织老化与损伤分级方法， 包括以下步骤： 0008 步骤一、 确定标准分辨率， 即要识。

14、别的钢材微观组织放大倍数a， 其中50a1000， 收集在该放大倍数下金相显微镜所获得的相同规格大小的钢铁材料微观组织图片， 以及放 大倍数较小， 分辨率不相同的钢铁材料微观组织图片。 在经过专家对老化损伤的分级评定 之后， 将评定级别与图片绑定以构建数据集。 说明书 1/5 页 4 CN 112132086 A 4 0009 步骤二， 对步骤一中收集的所有图片进行相同预处理， 预处理方法如下： 0010 1)剔除金相显微镜获取的微观组织图中含有的文字说明部分， 得到只含有微观组 织图本体的初始数据集， 将采集到的标准分辨率数据作为初始训练数据集T0， 将采集到的 非标准多种分辨率部分的数据作。

15、为验证数据集V0； 0011 2)将初始训练数据集T0中三通道的灰度图转化为单通道的灰度图， 得到训练数据 集T1； 0012 3)使用双线性插值法， 对T1中的图像数据进行不同倍率的缩小， 得到训练数据集 T2； 0013 4)对训练数据集T2中的每张图片， 随机取大小为nxnx1图像， 其中1m100,100n 800， 如原始图片小于目标分辨率， 则以补全的方式将原始图片补全到nxn大小。 得到新的训 练数据集T3。 0014 步骤三、 利用深度学习框架PyTorch构建ResNet-FPN-MC模型， 其中， ResNet代表卷 积神经网络一种架构： 残差神经网络， FPN代表特征金字。

16、塔网络(Feature Pyramid Networks)， MC(Martensite classification)是马氏体分级的英文缩写。 网络输入图片大 小为nxnx1， 输出为一个5维的向量， 每个维度分别代表材料属于该类别的概率。 0015 步骤四、 使用训练数据集T3， 采用交叉熵作为损失函数(不添加正则项)， 应用随机 梯度下降法对模型进行训练(随机梯度下降算法的每个批次中的样本个数设置为24， 预先 设置训练轮次30， 保留每次迭代模型参数)； 0016 具体训练步骤如下: 0017 1)使用预训练的ResNet初始化当前模型骨干网络中的参数。 0018 2)随机打乱训练集中。

17、的图片顺序。 0019 3)每次向神经网络输入一批图片(批次中的图片数量可以是16， 32， 或64张图片)， 记录神经网络输出向量， 通过网络输出向量与数据的类别标签， 计算交叉熵的值， 然后根据 交叉熵的值进行反向传播， 更新模型参数； 训练数据集T3中每张图片都计算过损失函数， 并 完成反向传播后， 记做一轮训练(一轮训练是指所有的图片都进行过网络的前向计算。 由于 图片数量过大， 计算机不可能一次性计算， 就只能分批， 所以， 一次迭代计算里面分多个批 次， 每批次输入一定数量的图片进行计算)。 0020 4)模型微调(预训练的模型使用较小的学习率更新模型参数的技术) 0021 5)记。

18、录每轮训练中的模型参数， 同时判断是否达到最大训练轮次， 达到最大训练 轮次， 则执行步骤6， 未达到则返回步骤3继续训练。 0022 6)取出训练过程中， 在验证集上准确率最高的模型。 0023 步骤五、 判断需要识别的高铬马氏体耐热钢微观组织图片的分辨率， 是否在可以 判断的范围内， 若在可判定范围， 按照步骤二中1)和2)进行预处理， 然后使用步骤四中训练 好的模型进行自动分级。 0024 目前马氏体老化与损伤分级任务是通过专家人工观察样品图像， 并判断其损伤等 级。 人工判定比较依赖技术人员的专业知识水平和实践经验， 且由于技术人员专业水平不 同， 会在老化与损伤不同级别之间的样本的判。

19、定上产生较模糊的结果， 使得人工分类效率 较低， 误差较大。 神经网络的分级方法往往只针对特定分辨率的图片数据进行训练， 无法在 现实应用时方便的扩展到不同分辨率的图片数据上。 本发明针对上述马氏体老化与损伤分 说明书 2/5 页 5 CN 112132086 A 5 级的问题， 结合深度学习优势， 提出了一种基于残差神经网络与特征金字塔网络的的高铬 马氏体耐热钢微观组织自动识别方法， 其不仅能提高识别精度， 还有利于不同分辨图片的 扩展。 附图说明 0025 为了更清楚地说明本申请实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下。

20、面描述中的附图仅仅是本 申请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以 根据这些附图获得其他的附图。 0026 图1为本申请实施例公开的18层ResNet的标准架构； 0027 图2为本申请实施例公开的不同尺度训练数据示例。 具体实施方式 0028 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例仅仅是本申请一部分实施例， 而不是全部的实施例。 基于 本申请中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例， 都属于本申请保护的范围。 0029 本申请以实验室采。

21、集的具有不同老化程度P91和P92材料的金相组织图片作为训 练集， 尝试使用数据增强方法， 构建多尺度数据集。 在此基础上， 利用深度残差网络方法对 材料微观组织的老化及损伤程度进行分类研究， 通过这一方法增强模型对不同尺度图片的 的认知。 实验结果表明， 该方法增强了模型对不同尺度的辨识， 在多尺度测试集的辨识准确 率最高可达到60； 进一步推动了深度学习方法在复杂的现实生产环境中， 对材料微观组 织老化与损伤特征的研究。 进而为构建面向深度学习方法， 解决微观组织特征分析问题的 钢铁材料金相图片数据集， 提供了可能性， 奠定材料微观组织自动化分析的数据基础。 0030 深度残差网络 003。

22、1 深度残差网络(ResNet)是一种卷积神经网络架构， 通过引入残差连接这种结构， 可有效提升深层模型的训练速度， 同时还能提升模型的表现效果11。 基于此， 本文将采用 ResNet50模型作为基础架构来开展图片分级研究。 在本文中， ResNet50模型将作为基线分 级模型和FPN的骨干模型。 0032 特征金字塔网络 0033 计算机视觉领域的目标检测问题中， 经常存在数据中目标大小不一的情况； 为解 决这一问题， Tsung-Yi Lin等在2017年提出了特征金字塔网络(Feature Pyramid Networks,FPN)； 该方法通过提取多尺度的特征信息进行融合， 进而提高。

23、目标检测的精度， 特别是在小物体检测上效果显著。 FPN是ResNet模型或DenseNet模型等通用特征提取网络 的附加组件， 可以与经典网络组合提升原网络效果。 其最大的作用在于， FPN通过把低分辨 率、 高语义信息的高层特征和高分辨率、 低语义信息的低层特征进行自上而下的侧边连接， 使得所有尺度下的特征都具有丰富的语义信息， 其架构如图1所示。 0034 实施例1 0035 本申请是一种基于深度残差网络的马氏体损伤与老化自动分级方法， 使用深度学 说明书 3/5 页 6 CN 112132086 A 6 习框架PyTorch卷积神经网络模型， 使用图像预处理库torchvision对图。

24、像进行预处理。 0036 下面以实验室采集的315张500(即放大10000倍)的钢铁材料微观组织图片为 例， 使用深度学习来进行钢铁材料微观组织的自动识别。 0037 本申请公开一种基于深度学习的马氏体损伤与老化自动分级方法， 具体按以下步 骤进行： 0038 步骤一、 确定标准分辨率， 即要识别的钢材微观组织放大倍数a， 其中50a1000， 收集在该放大倍数下金相显微镜所获得的相同规格大小的钢铁材料微观组织图片， 以及放 大倍数较小， 分辨率不相同的钢铁材料微观组织图片， 图片如图2所示。 在经过专家对老化 损伤的分级评定之后， 将评定级别与图片绑定以构建数据集。 0039 步骤二， 对。

25、步骤一中收集的所有图片进行相同预处理， 预处理方法如下： 0040 1)剔除金相显微镜获取的微观组织图中含有的文字说明部分， 得到只含有微观组 织图本体的初始数据集， 将采集到的标准分辨率数据作为初始训练数据集T0， 将采集到的 非标准多种分辨率部分的数据作为验证数据集V0； 0041 2)将初始训练数据集T0中三通道的灰度图转化为单通道的灰度图， 得到训练数据 集T1； 0042 3)使用双线性插值法， 对T1中的图像数据进行不同倍率的缩小， 得到训练数据集 T2； 0043 4)对训练数据集T2中的每张图片， 随机取大小为nxnx1图像， 其中1m100,100n 800， 如原始图片小于。

26、目标分辨率， 则以补全的方式将原始图片补全到nxn大小。 得到新的训 练数据集T3。 0044 步骤三、 利用深度学习框架PyTorch构建ResNet-FPN-MC模型， 其中， ResNet代表卷 积神经网络一种架构： 残差神经网络， FPN代表特征金字塔网络(Feature Pyramid Networks)， MC为马氏体分级(Martensite classification)。 网络输入图片大小为nxnx1， 输出为一个5维的向量， 每个维度分别代表材料属于该类别的概率。 0045 步骤四、 使用训练数据集T3， 采用交叉熵作为损失函数(不添加正则项)， 应用随机 梯度下降法对模型。

27、进行训练(随机梯度下降算法的每个批次中的样本个数设置为24， 预先 设置训练轮次30， 保留每次迭代模型参数)； 0046 具体训练步骤如下: 0047 1)使用预训练的ResNet初始化当前模型骨干网络中的参数。 0048 2)随机打乱训练集中的图片顺序。 0049 3)每次向神经网络输入一批图片(批次中的图片数量可以是16、 32或64张图片)， 记录神经网络输出向量， 通过网络输出向量与数据的类别标签， 计算交叉熵的值， 然后根据 交叉熵的值进行反向传播， 更新模型参数； 训练数据集T3中每张图片都计算过损失函数， 并 完成反向传播后， 记做一轮训练(一轮训练是指所有的图片都进行过网络的。

28、前向计算。 由于 图片数量过大， 计算机不可能一次性计算， 就只能分批， 所以， 一次迭代计算里面分多个批 次， 每批次输入一定数量的图片进行计算)。 0050 4)模型微调(预训练的模型使用较小的学习率更新模型参数的技术) 0051 5)记录每轮训练中的模型参数， 同时判断是否达到最大训练轮次， 达到最大训练 轮次， 则执行步骤6， 未达到则返回步骤3继续训练。 说明书 4/5 页 7 CN 112132086 A 7 0052 6)取出训练过程中， 在验证集上准确率最高的模型。 0053 统计出验证数据集在Best_Model下的各类钢铁微观组织图的精确率和召回类， 从 表1中可以看到， 。

29、所有类型的钢铁微观组织图的精确率和召回率均达到100。 0054 表1 不同比例尺的马氏体微观组织图在Best_Model下的准确率 0055 0056 由此可见， 本发明的基于深度残差网络的马氏体损伤与老化自动分级方法， 马氏 体微观组织图进行自动分级， 基于单一分辨率的原始数据集在多个扩展尺度上到了一定的 准确率。 0057 步骤五、 判断需要识别的高铬马氏体耐热钢微观组织图片的分辨率， 是否在可以 判断的范围内， 若在可判定范围， 按照步骤二中1)和2)进行预处理， 然后使用步骤四中训练 好的模型进行自动分级。 0058 对所公开的实施例的上述说明， 使本领域专业技术人员能够实现或使用本申请。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的， 本文中所定义的 一般原理可以在不脱离本申请的精神或范围的情况下， 在其它实施例中实现。 因此， 本申请 将不会被限制于本文所示的这些实施例， 而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。 说明书 5/5 页 8 CN 112132086 A 8 图1 图2 说明书附图 1/1 页 9 CN 112132086 A 9 。