电力工程现场轻量级审计事件识别方法、系统及设备.pdf

《电力工程现场轻量级审计事件识别方法、系统及设备.pdf》由会员分享，可在线阅读，更多相关《电力工程现场轻量级审计事件识别方法、系统及设备.pdf（16页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410021076.6(22)申请日 2024.01.08(71)申请人 国网山东省电力公司东营供电公司地址 257000 山东省东营市开发区南一路357号(72)发明人 丁鹏程隋爱芳巩雪刘哲孙永健(74)专利代理机构 济南圣达知识产权代理有限公司 37221专利代理师 李琳(51)Int.Cl.G06F 18/21(2023.01)G06F 18/2415(2023.01)G06F 40/205(2020.01)G06F 40/289(2020.01)G06N 3/045(2023.01)。

2、G06N 3/0495(2023.01)G06N 3/0499(2023.01)G06N 3/082(2023.01)G06Q 50/06(2024.01)(54)发明名称一种电力工程现场轻量级审计事件识别方法、系统及设备(57)摘要本发明属于智能电力信息处理领域，提供了一种电力工程现场轻量级审计事件识别方法、系统及设备，利用BERT模型解决电力审计场景下的特定文本识别任务，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，从而提升BERT模型对电力工程审计文本事件识别的响应速度；采用LoRA微调方式学习面向不同电力审计事件的增量识别信息，将LoRA微调后获取的各个模块作为压缩模型补。

3、充模块，从而提升压缩模型在电力工程审计任务中的识别精准度，并且仍然保持了模型的高效性和响应速度。权利要求书2页 说明书10页 附图3页CN 117520802 A2024.02.06CN 117520802 A1.一种电力工程现场轻量级审计事件识别方法，其特征在于，包括如下步骤：根据审计业务需求，调取对应的电力工程审计文本数据；基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事件识别模型的构建过程包括：将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，得到压缩后的电力工程审。

4、计文本向量；固定压缩后的BERT模型参数，将不同类别的电力工程审计文本数据输入至压缩后的BERT模型中，对待审计事件进行微调，得到电力工程审计文本相应类别的增量向量；结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。2.如权利要求1所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，所述将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，得到压缩后的电力工程审计文本向量，具体包括：将电力工程审计文本数据输入至BERT模型的嵌入层，得到词嵌入向量；将词嵌入。

5、向量输入稀疏多头注意力机制层，计算审计文本句子中每个词与句中其他字词的关系，以此记录审计事件的上下文相关信息，提取得到电力工程审计文本的全局交互特性；将电力工程审计文本的全局交互特性经过残差链接和归一化处理后输入低秩前馈神经网络层，得到压缩后的电力工程审计文本向量。3.如权利要求2所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，BERT模型的嵌入层包括Token Embedding、Segment Embedding、Position Embedding三部分，将经过三部分得到的表示按位相加得到词嵌入向量；其中，通过Token Embedding将输入序列进行分词，将各个词转换成固定。

6、维度的向量，得到第一文本词向量；通过Segment Embedding表示输入语句是否具有前后衔接关系，得到第一文本词向量，通过Position Embedding用正弦和余弦函数记录输入序列中每个词语的位置信息，得到第三文本词向量。4.如权利要求2所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，所述低秩前馈神经网络层为在原有TransformerEncoder模块引入低秩矩阵分解算法，将最初的线性层替换为低秩矩阵单元，根据任务识别场景的需求调整秩的大小，以此降低前馈神经网络参数量。5.如权利要求1所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，所述对待审计事件进行微调时，。

7、采用LoRA微调方法对微调权重矩阵低秩分解，并根据损失函数反馈调整参数；所述LoRA微调时对微调权重矩阵低秩分解如下：，微调时对权重矩阵进行低秩分解，即=BA，采用W0+=W0+BA表示参数的更新，其中W0，Rdk，BRdr，ARrk，X为输入向量，d为输入向量矩阵中词向量的维度，k为输入向量矩阵中词向量的数目。6.如权利要求5所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，微调过程中，W0矩阵参数被冻结，不进行梯度更新，矩阵A使用随机高斯分布初始化参数，即矩阵权利要求书1/2 页2CN 117520802 A2A中的参数分布满足均值为零，方差为固定值的高斯分布，矩阵B使用零矩阵初始。

8、化参数。7.如权利要求1所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，得到电力工程审计文本对应的类别标签概率值后，将其与该电力工程审计文本对应的类别真实标签做交叉熵损失，获取交叉熵损失值，直至交叉熵损失值低于设定的全部阈值，固定参数，得到训练后的电力工程审计事件识别模型。8.如权利要求1所述的一种电力工程现场轻量级审计事件识别方法，其特征在于，根据审计业务需求，调取对应的电力工程审计文本数据后，基于预设的电力系统数据库调取电力审计样本数据，根据审计业务需求，分类梳理电力工程项目的审计要求和业务流程；将电力工程项目分解为多个环节，并进一步确定分类类别，基于分类类别收集整理典型电力工程。

9、项目审计样本数据，形成了电力工程审计文本样本集。9.一种电力工程审计事件响应识别系统，其特征在于，包括：数据调取模块，配置为：根据审计业务需求，调取对应的电力工程审计文本数据；事件识别模块，配置为：基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事件识别模型的构建过程包括：将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，得到压缩后的电力工程审计文本向量；固定压缩后的BERT模型参数，将不同类别的电力工程审计文本数据输入至压缩后的BERT模型中，对待审计事件进行微调，得到电。

10、力工程审计文本相应类别的增量向量；结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求18中任一项所述的一种电力工程现场轻量级审计事件识别方法中的步骤。权利要求书2/2 页3CN 117520802 A3一种电力工程现场轻量级审计事件识别方法、系统及设备技术领域0001本发明属于智能电力信息处理领域，尤其涉及一种电力工程现场轻量级审计事件识别方法、系统及设备。背景技术0002本。

11、部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。0003由于电网工程项目业务范畴广、审计环节多、事件关联复杂，尤其在结算阶段需要现场核实工程量、检查设备型号，并与竣工图纸中的各要素进行比对分析，故需要对各种工程事件进行准确、高效的识别和判断。然而，当前的现场审计方式存在以下困难，首先，由于现场环境的复杂性和多样性，审计人员往往无法准确快速地识别各种工程事件。其次，由于移动端硬件资源的限制，无法部署高精度、大规模算法模型，导致审计事件识别准确度低、响应慢。上述问题严重影响了电力工程审计的效率和效果。0004现有的大多数研究集中在如何提高算法模型的准确性上，在电力工程审计文本。

12、专业性强的领域中，需要实现细粒度分类识别。当前主流的动态的词嵌入模型如ELMo、BERT以及BERT的变体等，这类模型具有出色的文本表示能力。然而，这些模型通常对硬件资源的需求较高，需要大量的计算和存储资源，现场审计移动端难以满足该需求。发明内容0005为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种电力工程现场轻量级审计事件识别方法、系统、介质及设备，其通过采用与训练模型，基于低秩分解矩阵、稀疏注意力机制对预训练模型开展微调训练，并结合LoRA（LowRank Adaption）构建面向分类类别的电力工程审计文本增量识别模块，获取轻量级电力工程审计事件识别模型，从而在移动端资源条。

13、件下，提升对电力工程现场审计事件的快速响应识别性能。0006为了实现上述目的，本发明采用如下技术方案：本发明的第一个方面提供一种电力工程现场轻量级审计事件识别方法，包括如下步骤：根据审计业务需求，调取对应的电力工程审计文本数据；基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事件识别模型的构建过程包括：将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，得到压缩后的电力工程审计文本向量；固定压缩后的BERT模型参数，将不同类别的电力工程审计文本数据输入至压缩后的BERT模型中。

14、，对待审计事件进行微调，得到电力工程审计文本相应类别的增量向量；结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。说明书1/10 页4CN 117520802 A40007进一步地，所述将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，得到压缩后的电力工程审计文本向量，具体包括：将电力工程审计文本数据输入至BERT模型的嵌入层，得到词嵌入向量；将词嵌入向量输入稀疏多头注意力机制层，计算审计文本句子中每个词与句中其他字词的关系，以此记录审计事件的上下文相关信息。

15、，提取得到电力工程审计文本的全局交互特性；将电力工程审计文本的全局交互特性经过残差链接和归一化处理后输入低秩前馈神经网络层，得到压缩后的电力工程审计文本向量。0008进一步地，BERT模型的嵌入层包括Token Embedding、Segment Embedding、Position Embedding三部分，将经过三部分得到的表示按位相加得到词嵌入向量；其中，通过Token Embedding将输入序列进行分词，将各个词转换成固定维度的向量，得到第一文本词向量；通过Segment Embedding表示输入语句是否具有前后衔接关系，得到第一文本词向量，通过Position Embedding。

16、用正弦和余弦函数记录输入序列中每个词语的位置信息，得到第三文本词向量。0009进一步地，所述低秩前馈神经网络层为在原有TransformerEncoder模块引入低秩矩阵分解算法，将最初的线性层替换为低秩矩阵单元，根据任务识别场景的需求调整秩的大小，以此降低前馈神经网络参数量。0010进一步地，所述对待审计事件进行微调时，采用LoRA微调方法对微调权重矩阵低秩分解，并根据损失函数反馈调整参数；所述LoRA微调时对微调权重矩阵低秩分解如下：，微调时对权重矩阵进行低秩分解，即=BA，采用W0+=W0+BA表示参数的更新，其中W0，Rdk，BRdr，ARrk，X为输入向量，d为输入向量矩阵中词向量的。

17、维度，k为输入向量矩阵中词向量的数目。0011进一步地，微调过程中，W0矩阵参数被冻结，不进行梯度更新，矩阵A使用随机高斯分布初始化参数，即矩阵A中的参数分布满足均值为零，方差为固定值的高斯分布，矩阵B使用零矩阵初始化参数。0012进一步地，得到电力工程审计文本对应的类别标签概率值后，将其与该电力工程审计文本对应的类别真实标签做交叉熵损失，获取交叉熵损失值，直至交叉熵损失值低于设定的全部阈值，固定参数，得到训练后的电力工程审计事件识别模型。0013进一步地，根据审计业务需求，调取对应的电力工程审计文本数据后，基于预设的电力系统数据库调取电力工程审计样本数据，根据审计业务需求，分类梳理电力工程项。

18、目的审计要求和业务流程；将电力工程项目分解为多个环节，并进一步确定分类类别，基于分类类别收集整理典型电力工程项目审计样本数据，形成了电力工程审计文本样本集。0014本发明的第二个方面提供一种电力工程审计事件响应识别系统，包括：数据调取模块，配置为：根据审计业务需求，调取对应的电力工程审计文本数据；事件识别模块，配置为：基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事件识别模型的构建过程包括：将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神说明书2/10 页5CN 117520802 A5经网络对BE。

19、RT模型进行压缩，得到压缩后的电力工程审计文本向量；固定压缩后的BERT模型参数，将不同类别的电力工程审计文本数据输入至压缩后的BERT模型中，对待审计事件进行微调，得到电力工程审计文本相应类别的增量向量；结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。0015本发明的第三个方面提供一种计算机设备。0016一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种电力工程现场轻量级审计事件识别方法中的步骤。0017与现有技术相比，本发明的有益。

20、效果是：1、本发明利用BERT模型解决电力审计场景下的特定文本识别任务，为便于模型在手机等移动端上的可应用性，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，从而提升BERT模型对电力工程审计文本事件识别的响应速度；2、为提升压缩模型在电力工程审计任务中的识别精准度，本发明采用LoRA微调方式学习面向不同电力审计事件的增量识别信息，将LoRA微调后获取的各个模块作为压缩模型补充模块，从而提升压缩模型在电力工程审计任务中的识别精准度，并且仍然保持了模型的高效性和响应速度。附图说明0018构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本。

21、发明，并不构成对本发明的不当限定。0019图1为本发明实施例提供的电力工程现场审计事件快速响应识别方法的整体流程图；图2为本发明实施例提供的模型全参数压缩的流程图；图3为本发明实施例提供的LoRA微调方式的流程图。具体实施方式0020下面结合附图与实施例对本发明作进一步说明。0021应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。0022需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则。

22、单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。0023实施例一参照图1，本实施例提供一种电力工程现场轻量级审计事件识别方法，包括如下步骤：S101：根据审计业务需求，分类梳理电力工程项目业务数据，并基于分类类别收集说明书3/10 页6CN 117520802 A6整理典型电力工程项目审计样本数据，形成电力工程审计文本样本集；基于预设的电力系统数据库调取电力工程审计样本数据，根据审计业务需求，分类梳理电力工程项目的审计要求和业务流程；本实施例中，将电力工程项目分解为13个环节，并进一步确定。

23、91类需要收集和整理业务数据，基于分类类别收集整理典型电力工程项目审计样本数据，形成了电力工程审计文本样本集。0024S102：将电力工程审计文本样本集的样本数据输入到BERT模型中，采用低秩分解技术压缩BERT模型参数量，同时采用稀疏注意力机制提升BERT模型响应速度，输出经BERT优化后的电力工程审计文本向量，输入步骤S105，得到审计文本对应的类别标签概率值，基于全参数压缩微调部分的交叉熵损失对模型的全部参数进行微调，直至损失函数值低于设定阈值，获取基于电力工程审计文本样本集数据压缩微调后的全参数压缩微调BERT模型，从而降低了电力工程审计事件识别模型BERTFTL对支撑其运行资源的需求。

24、；本实施例中，BERT模型采用开源预训练语言模型Bert base，Chinese，输入为文本样本集的样本数据，数据处理层包含词嵌入层、注意力机制层、前馈神经网络层、残差链接&归一化层和分类层，得到审计文本对应的类别标签概率值；如图2所示，具体包括：S201：电力工程审计样本集的全部样本数据输入BERT模型的嵌入层，被表示为Token Embedding、Segment Embedding、Position Embedding三部分，将三部分按位相加输出词嵌入向量；其中，Token Embedding表示文本词向量嵌入，即将输入序列进行分词，将各个词转换成固定维度的向量，BERT中为768维的。

25、向量表示；Segment Embedding表示输入语句是否具有前后衔接关系，这种关系保存在输入序列的SEP符号中；Position Embedding表示位置编码，用正弦和余弦函数记录输入序列中每个词语的位置信息，最终输出上述三部分相加的词嵌入向量。0025S202：将词嵌入向量输入稀疏多头注意力机制层，计算审计文本句子中每个词与句中其他字词的关系，以此记录审计事件的上下文相关信息，稀疏电力工程审计文本数据可减少模型对不相关特征的计算，从而降低模型参数量；将加入位置信息的词嵌入向量送进多头注意力机制层进行计算。多头注意力机制可以计算审计文本句子中每个词与句中其他字词的关系，以此记录审计事件的。

26、上下文相关信息，头部数量可以控制该机制从不同的角度计算这种上下文相关性，从而提取审计文本的全局交互特性，这对于识别专业性较强且事件粒度精细的电力工程项目审计文本极为有效，多头注意力机制相关公式如式(1)式(5)所示：（1），（2），（3），（4），（5）。0026首先初始化多组的Q、K、V矩阵，分别代表查询、键、值，有多少头部数量便初始化多少组矩阵，式(4)中除以是为了防止分子内积过大，dk为向量的维度，Z向量为包含整句话信息的特征向量，当初始化多组矩阵时，采用公式(5)将多个角度下Z向量融合，得到具有说明书4/10 页7CN 117520802 A7全局交互信息的特征向量，式中WQ,WK,W。

27、V,W0均为参数矩阵。0027原有TransformerEncoder中的注意力机制采用softmax函数计算值的权重，如式(4)，这种计算方法会使模型产生密集分布，即对不相关的特征给予关注，导致模型中的信息流分析增加，故本实施例采用一种基于缩放因子的稀疏多头注意力机制，通过减少模型中的数据冗余，以此加快模型对审计事件识别的响应速度。0028将原有注意力机制中的softmax函数替换为GeLU激活函数，如式(6)所示：（6），GeLU激活函数存在稀疏特性，与softmax函数不同的是，该函数可以输出任何负值，更具有灵活性，式中F()为缩放点积函数，式中RATT表示采用稀疏注意力机制作用后提取的。

28、电力工程审计文本向量，为稳定网络结构中的各项参数，平滑梯度，在RATT的计算过程中使用了均方根层归一化，即函数R M S N o r m()，对 稀 疏 注 意 力 机 制 的 输 出 ZG做 归 一 化 处 理，如 式(7)所 示：（7），式中，RMS()表示对数据的均方根进行计算，g为增益参数。0029为探究稀疏注意力机制对模型性能的影响，进行了相关消融实验。在仅改变注意力机制为稀疏注意力机制的情况下进行了模型性能测试，实验结果如表1所示，原始注意力机制用ATT表示，引入稀疏注意力机制的消融实验结果用RATT1表示。0030表1注意力机制对比试验0031从ATT和RATT1对比实验结果可以。

29、看到，稀疏注意力机制在训练时间和测试时间上比Transformer原始的注意力机制速度快，提升了效率，以此提升模型的性能。0032S203：将稀疏多头注意力机制层的输出向量，输入残差链接&归一化层，优化训练过程可能出现的梯度消失或梯度爆炸问题；模型中的残差连接可将误差从不同路径传递到初始网络层，归一化层则是将数据规范在方差为1均值为0的范围之内，两者皆是为了优化训练过程中可能出现的梯度消失和梯度爆炸问题。0033S204：将经过残差链接&归一化层处理后的向量输入低秩前馈神经网络层，低秩前馈神经网络层将数据向量输出，输入S105，得到审计文本对应的类别标签概率值，基于全参数压缩微调部分的交叉熵损。

30、失对模型的全部参数进行微调，直至损失函数低于设定阈值，获取基于电力工程审计文本样本集数据压缩微调后的全参数压缩微调模型；其中，低秩前馈神经网络层为BERT模型中的采用低秩分解矩阵的前馈神经网络层；前馈神经网络层的表示如式(8)所示，该网络层可以增加模型的非线性能力，规范网络，由两层线性层和一个激活函数组成；（8），其中，W1和W2为权重参数，b1和b2为偏置参数。说明书5/10 页8CN 117520802 A80034在原有TransformerEncoder模块引入低秩矩阵分解算法，凭借该算法优化前馈神经网络，这里将该结构命名为LRMN结构(LowRank MacaronNet)，该结构将。

31、最初的线性层替换为低秩矩阵单元，以此降低前馈神经网络参数量，实现模型压缩以提升响应速度；LRMN结构将前馈神经网络中全连接层的参数矩阵分解为两个矩阵M和N，其中矩阵MRmr，矩阵NRrn，可理解为W=MN；其中m和n为分解后矩阵的行数与列数，其数值取决于输入向量的维度数值；优化前的网络所需的参数、训练时间及响应时间根据矩阵W(mn)计算得到，优化后则通过计算矩阵M和矩阵N(r(m+n)得出。0035当秩r远小于m和n时，模型参数量、训练时间均显著减少，对应的审计事件识别响应速率提升；在之后的实验中，本实施例测试了不同的r对模型大小、训练时间和识别精度的影响，结合电力工程审计文本识别任务场景的需。

32、要选择合适的r，低秩前馈神经网络如式(9)所示：（9），式中，M1，M2，N1，N2为低秩分解矩阵，来自上层网络的输出向量，和为偏置参数。0036引入低秩分解矩阵对电力工程审计文本识别模型的前馈神经网络进行压缩，表2为模型压缩大小与识别准确率的关系，BERT+FNNLRMN1代表引入低秩前馈神经网络和稀疏多头注意力机制的电力工程审计文本识别模型，LRMN1表示采用低秩分解技术压缩模型，r表示矩阵的秩，实验选取秩的大小分别为256、128、64和32，从表2中实验结果可以看出，当r=256时，模型大小从193.6MB压缩为75.8MB，模型大小减小了117.8MB，准确率和压缩之前相比下降了0.。

33、05；当r=128、64和32时，模型的大小均大幅度减小，但此时模型的识别准确率也开始下降，其中当r=128时，模型准确率比压缩前下降了0.06，r=64时，准确率下降了0.17，r=32时，准确率下降了0.25。0037表2压缩部分模型大小与识别准确率0038从表3可以看出模型的训练时间以及测试时间随模型压缩的变化，从整体上看，在模型存储空间占用量减小时，训练时间以及测试时间都相应减少，这对模型部署后响应速度指标的提升极为有利，增加了模型的可使用性。0039表3压缩模型大小与训练时间/测试时间0040从训练时间和测试时间的实验结果上看，当r=128时，模型的训练时间与原始模型说明书6/10 。

34、页9CN 117520802 A9相比减少145.232秒，测试时间减少0.051秒；与r=256的模型相比训练时间减少83.492秒，测试时间减少0.039秒；与r=64和r=32的模型相比，训练时间分别比它们多出63.669秒和84.788秒，测试时间分别多出0.095秒和0.136秒。结合表3中压缩模型大小与识别准确率的变化，r=128时，模型的准确率为0.91，模型大小为64.6MB，模型大小减小了129MB，此时模型在容量大幅度减小的同时，对电力工程审计文本仍具有0.91识别准确率，因此，采用该模型引入LoRA微调模型的参数与之叠加，从而提升该模型的识别精度。0041S103：针对基。

35、于电力工程审计文本样本集整体压缩后的全参数压缩微调BERT模型，在面对不同电力审计事件时的识别精度降低的问题，固定该模型参数，并将不同分类类别的电力工程审计文本样本数据输入全参数压缩微调BERT模型，采用LoRA微调构建面向分类类别的电力工程审计文本增量识别模块，输出面向分类类别的电力审计事件LoRA增量参数，根据LoRA增量模块的交叉熵损失函数对面向分类类别的电力工程审计文本增量识别模块的参数进行更新，直至损失函数低于设定阈值，从而引入少量参数提升面向不同审计任务识别精确度。0042如图3所示，具体包括：S301：将全参数压缩微调BERT模型的权重参数进行冻结；在模型微调的过程中，LoRA将。

36、预训练模型的权重参数冻结，即该部分权重参数在模型训练过程中不参与更新，以此减少特定于电力审计任务的权重参数数量，并且没有增加额外的推理延迟；S302：采用LoRA构建面向分类类别的电力工程审计文本增量识别模块；其中，LoRA表示采用低秩分解矩阵构建电力工程审计文本增量识别模块，并根据损失函数反馈调整参数；LoRA微调时对微调权重矩阵低秩分解如式（10）所示：（10），微调时对权重矩阵 W进行低秩分解，即=BA，采用W0+=W0+BA表示参数的更新，其中W0，Rdk，BRdr，ARrk，r为秩；X为输入向量，d为输入向量矩阵中词向量的维度，k为输入向量矩阵中词向量的数目。0043S303：将低秩。

37、分解矩阵的参数初始化；微调过程中，W0矩阵参数被冻结，不进行梯度更新，矩阵A使用随机高斯分布初始化参数，即矩阵A中的参数分布满足均值为零，方差为固定值（人为设定值）的高斯分布；矩阵B使用零矩阵初始化参数，即将矩阵B中的参数初始值全部设置为0；S304：将不同分类类别的电力工程审计文本样本数据输入全参数压缩微调BERT模型和电力工程审计文本增量识别模块，分别输出电力工程审计文本向量和电力工程审计文本相应类别的增量向量；全参数微调的过程中，模型会初始化为预训练的权值0，通过反向梯度更新为0+，最大化模型的目标函数，公式如(11)所示：（11），其中，D表示电力工程审计文本数据集，x表示审计样本的文。

38、本内容，y代表审计事件标签，共有多个类别，t为文本内容对应的标签的数量，表示模型的各项参数，=0+；LoRA微调方法的参数量少，效率高，其说明书7/10 页10CN 117520802 A10中相应的电力审计任务的参数增量由一个更小的参数集，|符 号 表 示 参 数 量，因 此，目 标 函 数 转 化 为 对 的 优 化 如 式(1 2)所 示：（12），其中，DL表示特定电力工程审计文本数据集，DLD，xL表示特定审计样本的文本内容，yL表示特定审计事件标签。0044S104：将LoRA微调后的获取的面向分类类别的电力工程审计文本增量识别模块参数与全参数压缩微调BERT模型参数叠加，在面向不。

39、同审计事件提取任务时，切换面向分类类别的电力工程审计文本增量识别模块，从而形成面向不同审计事件类别的轻量级电力工程审计事件识别模型；在模型微调的过程中，LoRA将预训练模型的权重参数冻结，并将可训练的低秩分解矩阵注入到Transformer架构的每一层；在LoRA微调过程中，通过使用随机架构来训练模型，得到了针对特定电力审计事件的增量识别信息，这些微调参数捕捉了特定事件的细微差异和模式，接下来，将这些LoRA微调参数与全参数压缩模型的参数进行叠加；在叠加的过程中，保持全参数压缩模型的参数不变，而将LoRA微调参数逐层与之相加，通过这种方式，将微调参数的信息注入到压缩模型中，使得模型能够更好地适。

40、应特定电力审计事件的识别任务，这种叠加的方式保持了全参数压缩模型的结构和性能，并且利用LoRA微调参数的丰富信息增强了模型的表征能力；BERTFT为引入稀疏注意力机制和低秩前馈神经网络的模型，r选取128。在压缩模型中引入LoRA微调参数，实验结果如表4所示；可以看到，由于引入了额外的参数，模型存储空间占用量增加了5.2MB，准确率提升了0.05，训练时间和测试时间分别增加了70.225s和0.024s，从实验结果可以看出，模型压缩方法有效的降低了模型的存储空间占用量，提升了模型的训练速度和响应时间，最终采用BERTFTL作为电力工程审计文本识别模型。0045表4LoRA微调实验结果0046S。

41、105：将电力工程审计文本样本数据输入轻量级电力工程审计事件识别模型，获取优化表示后的词向量，输入分类层经softmax层对电力工程审计文本进行分类，输出审计文本对应的类别标签概率值；将微调模型的输出向量送入分类层，分类层由上述的低秩前馈神经网络层和一个Softmax层构成，其中低秩前馈神经网络用于对微调模型输出向量进行空间映射和特征降维，Softmax层用于电力审计事件分类，从而提取不同审计事件，该过程的实现如式(13)所示：（13），其中，FFNr代表低秩前馈神经网络，OF代表微调模型输出向量。0047基于国网某市18家公司近3年内的典型电力工程项目审计样本数据共计16732例91类业务数。

42、据，训练并测试轻量级电力工程审计事件识别模型；采用当前相对经典的深度学习模型：Word2Vec+CNN、Word2Vec+BiLSTM、BERT+CNN、BERT+BiLSTM、BERT+FFN以及BERTFT作为对比模型说明所述方法在面向不同审计事件的有效性。说明书8/10 页11CN 117520802 A110048表5电力工程审计文本识别准确率和F1值0049其中，采用准确率和F1值作为电力审计事件识别精度评价指标，如下式所示：（14），（15），（16），（17），式中，TP表示正样本识别为正样本的数量，FN表示正样本识别为负样本的数量，FP表示负样本识别为正样本的数量，TN表示负样。

43、本识别为负样本的数量，N表示数据的类别数量。0050由表5可知，与具有最高实验结果的模型BERTFFN相比，模型BERTFT在识别准确率和F1值上分别下降了0.06和0.07，BERTFT引入了低秩分解矩阵和稀疏注意力机制，虽然损失了一定的模型精度，但是模型的存储空间占用量降低，同时模型的响应速度加快；为了使模型在降低存储空间占用量和提升响应速度的同时，减少模型精度的损失，BERTFTL引入了LoRA微调方法，在微调模型中叠加进LoRA微调后的参数，分类性能得到了提升，其准确率和F1值分别为0.96和0.95，相较于BERTFT分别提升0.02和0.01，最终，本发明所述方法BERTFTL准确。

44、率在0.96以上，且具有较少的模型参数，实现了对电力工程审计文本的高效识别；S106：基于输出的电力工程审计文本对应的类别标签概率值，与该电力工程审计文本对应的类别真实标签做交叉熵损失，基于交叉熵损失值返回至步骤B，直至交叉熵损失值低于设定的全部阈值，固定参数，获取面向不同审计事件类别的轻量级电力工程审计事件识别模型。0051实施例二本实施例提供一种电力工程审计事件响应识别系统，包括：数据调取模块，配置为：根据审计业务需求，调取对应的电力工程审计文本数据；事件识别模块，配置为：基于电力工程审计文本数据和训练好的电力工程审计事件识别模型，得到电力工程现场审计事件识别结果；其中，所述电力工程审计事。

45、件识别模型的构建过程包括：将电力工程审计文本数据输入至BERT模型中，引入稀疏注意力机制和低秩前馈神经网络对BERT模型进行压缩，得到压缩后的电力工程审计文本向量；固定压缩后的BERT模型参数，将不同类别的电力工程审计文本数据输入至压缩后的BERT模型中，对待审计事件进行微调，得到电力工程审计文本相应类别的增量向量；说明书9/10 页12CN 117520802 A12结合压缩后的电力工程审计文本向量和电力工程审计文本相应类别的增量向量，对不同审计事件进行识别得到电力工程审计文本对应的类别标签概率值。0052实施例三本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种电力工程现场轻量级审计事件识别方法中的步骤。0053以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。说明书10/10 页13CN 117520802 A13图1说明书附图1/3 页14CN 117520802 A14图2说明书附图2/3 页15CN 117520802 A15图3说明书附图3/3 页16CN 117520802 A16。