基于通道注意力机制的神经网络压缩方法及相关设备.pdf

《基于通道注意力机制的神经网络压缩方法及相关设备.pdf》由会员分享，可在线阅读，更多相关《基于通道注意力机制的神经网络压缩方法及相关设备.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910026547.1 (22)申请日 2019.01.11 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平安金融中 心23楼 (72)发明人 金戈徐亮 (74)专利代理机构 北京市京大律师事务所 11321 代理人 刘立天 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于通道注意力机制的神经网络压缩方法 及相关设备 (57)摘。

2、要 本申请涉及人工智能领域， 本申请公开了一 种基于通道注意力机制的神经网络压缩方法及 相关设备， 所述方法包括： 构建神经网络模型， 并 在所述神经网络模型中建立通道注意力机制， 所 述神经网络模型包含多个通道； 对所述神经网络 模型进行训练； 在对所述神经网络模型的训练过 程中根据所述通道注意力机制对所述神经网络 模型中的通道进行删减。 本申请通过在神经网络 模型的全连接层前加入通道注意力层， 并计算通 道权重， 将权重低的通道进行删减， 实现对神经 网络的压缩。 权利要求书2页 说明书8页 附图3页 CN 109858611 A 2019.06.07 CN 109858611 A 1.一。

3、种基于通道注意力机制的神经网络压缩方法， 其特征在于， 包括以下步骤： 构建神经网络模型， 并在所述神经网络模型中建立通道注意力机制， 所述神经网络模 型包含多个通道； 对所述神经网络模型进行训练； 在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型 中的通道进行删减。 2.如权利要求1所述的基于通道注意力机制的神经网络压缩方法， 其特征在于， 所述构 建神经网络模型， 并在所述神经网络模型中建立通道注意力机制， 所述神经网络模型包含 多个通道， 包括： 构建神经网络模型， 在所述神经网络模型中的全连接层与卷积层之间构建通道注意力 层， 并在所述通道注意力层中设置soft。

4、max函数， 所述通道注意力层中的每个通道与所述神 经网络模型中的每个通道一一对应； 根据所述softmax函数为所述通道注意力层中的每个通道分配通道权重。 3.如权利要求2所述的基于通道注意力机制的神经网络压缩方法， 其特征在于， 所述根 据所述softmax函数为所述通道注意力层中的每个通道分配通道权重， 包括： 获取输入信息并将所述输入信息通过所述神经网络模型中的卷积层的卷积运算以及 所述通道注意力层的通道权重运算后获得当前时刻的隐层输出向量； 计算上一时刻的隐层输出向量与所述输入信息之间的相似度， 将所述相似度输入所述 softmax函数并进行归一化处理， 获得所述通道注意力层中的每个。

5、通道的通道权重。 4.如权利要求1所述的基于通道注意力机制的神经网络压缩方法， 其特征在于， 所述对 所述神经网络模型进行训练， 包括： 对所述神经网络模型根据公式： 进行训练， 获得所述神经网络模型的参数Wij和 ， 其中， Yi表示神经元i的输出， 函数f表 示激活函数， Wij表示神经元j到神经元i的连接权值， 表示偏置， Xj表示神经元j的输入。 5.如权利要求1所述的基于通道注意力机制的神经网络压缩方法， 其特征在于， 所述对 所述神经网络模型进行训练， 包括： 当在对所述神经网络模型进行训练时， 检测所述神经网络模型的交叉熵损失函数的收 敛状态； 当检测到所述神经网络模型的交叉熵损。

6、失函数的收敛状态为收敛时， 启动对所述神经 网络模型中的通道的删减。 6.如权利要求1所述的基于通道注意力机制的神经网络压缩方法， 其特征在于， 所述在 对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型中的通 道进行删减， 包括： 预设通道的通道权重阈值； 在对所述神经网络模型的训练过程中将所述每个通道的通道权重与所述通道权重阈 值进行比较， 并将低于所述通道权重阈值的通道进行删减。 7.如权利要求1所述的基于通道注意力机制的神经网络压缩方法， 其特征在于， 所述在 权利要求书 1/2 页 2 CN 109858611 A 2 对所述神经网络模型的训练过程中根据所述通道注。

7、意力机制对所述神经网络模型中的通 道进行删减之后， 包括： 预设所述神经网络模型的最低通道数； 当对所述神经网络模型中的通道进行删减时， 将所述神经网络模型中的当前通道数与 所述预设的最低通道数进行比较， 当所述神经网络模型中的当前通道数不大于所述预设的 最低通道数时， 停止删减。 8.一种基于通道注意力机制的神经网络压缩装置， 其特征在于， 所述装置包括： 模型构建模块： 设置为构建神经网络模型， 并在所述神经网络模型中建立通道注意力 机制， 所述神经网络模型包含多个通道； 训练模块： 设置为对所述神经网络模型进行训练； 通道删减模块： 设置为在对所述神经网络模型的训练过程中根据所述通道注意。

8、力机制 对所述神经网络模型中的通道进行删减。 9.一种计算机设备， 其特征在于， 所述计算机设备包括存储器和处理器， 所述存储器中 存储有计算机可读指令， 所述计算机可读指令被一个或多个所述处理器执行时， 使得一个 或多个所述处理器执行如权利要求1至7中任一项所述神经网络压缩方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质可被处理器读写， 所述存储介质存储有 计算机指令， 所述计算机可读指令被一个或多个处理器执行时， 使得一个或多个处理器执 行如权利要求1至7中任一项所述神经网络压缩方法的步骤。 权利要求书 2/2 页 3 CN 109858611 A 3 基于通道注意力机制的神。

9、经网络压缩方法及相关设备 技术领域 0001 本申请涉及人工智能领域， 特别涉及一种基于通道注意力机制的神经网络压缩方 法及相关设备。 背景技术 0002 卷积神经网络(CNN)由输入层、 卷积层、 激活函数、 池化层、 全连接层组成， 即INPUT (输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)， 全连接层的每一 个结点都与上一层的所有结点相连， 用来把前边提取到的特征综合起来。 由于其全相连的 特性， 一般全连接层的参数也是最多的。 全连接层(fullyconnectedlayers， FC)在整个卷积 神经网络中起到 “分类器” 的作用， 目前。

10、由于全连接层参数冗余(仅全连接层参数就可占整 个网络参数80左右)， 运算时间耗时很久， 且大量占用资源， 效率低下。 因此有必要对卷积 神经网络进行压缩。 发明内容 0003 本申请的目的在于针对现有技术的不足， 提供一种基于通道注意力机制的神经网 络压缩方法及相关设备， 通过在神经网络模型的全连接层前加入通道注意力层， 并计算通 道权重， 将权重低的通道进行删减， 实现对神经网络的压缩。 0004 为达到上述目的， 本申请的技术方案提供一种基于通道注意力机制的神经网络压 缩方法及相关设备。 0005 本申请公开了一种基于通道注意力机制的神经网络压缩方法， 包括以下步骤： 0006 构建神经。

11、网络模型， 并在所述神经网络模型中建立通道注意力机制， 所述神经网 络模型包含多个通道； 0007 对所述神经网络模型进行训练； 0008 在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络 模型中的通道进行删减。 0009 较佳地， 所述构建神经网络模型， 并在所述神经网络模型中建立通道注意力机制， 所述神经网络模型包含多个通道， 包括： 0010 构建神经网络模型， 在所述神经网络模型中的全连接层与卷积层之间构建通道注 意力层， 并在所述通道注意力层中设置softmax函数， 所述通道注意力层中的每个通道与所 述神经网络模型中的每个通道一一对应； 0011 根据所述sof。

12、tmax函数为所述通道注意力层中的每个通道分配通道权重。 0012 较佳地， 所述根据所述softmax函数为所述通道注意力层中的每个通道分配通道 权重， 包括： 0013 获取输入信息并将所述输入信息通过所述神经网络模型中的卷积层的卷积运算 以及所述通道注意力层的通道权重运算后获得当前时刻的隐层输出向量； 0014 计算上一时刻的隐层输出向量与所述输入信息之间的相似度， 将所述相似度输入 说明书 1/8 页 4 CN 109858611 A 4 所述softmax函数并进行归一化处理， 获得所述通道注意力层中的每个通道的通道权重。 0015 较佳地， 所述对所述神经网络模型进行训练， 包括：。

13、 0016 对所述神经网络模型根据公式： 0017 0018 进行训练， 获得所述神经网络模型的参数Wij和 ， 其中， Yi表示神经元i的输出， 函 数f表示激活函数， Wij表示神经元j到神经元i的连接权值， 表示偏置， Xj表示神经元j的输 入。 0019 较佳地， 所述对所述神经网络模型进行训练， 包括： 0020 当在对所述神经网络模型进行训练时， 检测所述神经网络模型的交叉熵损失函数 的收敛状态； 0021 当检测到所述神经网络模型的交叉熵损失函数的收敛状态为收敛时， 启动对所述 神经网络模型中的通道的删减。 0022 较佳地， 所述在对所述神经网络模型的训练过程中根据所述通道注意。

14、力机制对所 述神经网络模型中的通道进行删减， 包括： 0023 预设通道的通道权重阈值； 0024 在对所述神经网络模型的训练过程中将所述每个通道的通道权重与所述通道权 重阈值进行比较， 并将低于所述通道权重阈值的通道进行删减。 0025 较佳地， 所述在对所述神经网络模型的训练过程中根据所述通道注意力机制对所 述神经网络模型中的通道进行删减之后， 包括： 0026 预设所述神经网络模型的最低通道数； 0027 当对所述神经网络模型中的通道进行删减时， 将所述神经网络模型中的当前通道 数与所述预设的最低通道数进行比较， 当所述神经网络模型中的当前通道数不大于所述预 设的最低通道数时， 停止删减。

15、。 0028 本申请还公开了一种基于通道注意力机制的神经网络压缩装置， 所述装置包括： 0029 模型构建模块： 设置为构建神经网络模型， 并在所述神经网络模型中建立通道注 意力机制， 所述神经网络模型包含多个通道； 0030 训练模块： 设置为对所述神经网络模型进行训练； 0031 通道删减模块： 设置为在对所述神经网络模型的训练过程中根据所述通道注意力 机制对所述神经网络模型中的通道进行删减。 0032 本申请还公开了一种计算机设备， 所述计算机设备包括存储器和处理器， 所述存 储器中存储有计算机可读指令， 所述计算机可读指令被一个或多个所述处理器执行时， 使 得一个或多个所述处理器执行上。

16、述所述神经网络压缩方法的步骤。 0033 本申请还公开了一种存储介质， 所述存储介质可被处理器读写， 所述存储介质存 储有计算机指令， 所述计算机可读指令被一个或多个处理器执行时， 使得一个或多个处理 器执行上述所述神经网络压缩方法的步骤。 0034 本申请的有益效果是： 本申请通过在神经网络模型的全连接层前加入通道注意力 层， 并计算通道权重， 将权重低的通道进行删减， 实现对神经网络的压缩。 说明书 2/8 页 5 CN 109858611 A 5 附图说明 0035 图1为本申请实施例的一种基于通道注意力机制的神经网络压缩方法的流程示意 图； 0036 图2为本申请实施例的一种基于通道注。

17、意力机制的神经网络压缩方法的流程示意 图； 0037 图3为本申请实施例的一种基于通道注意力机制的神经网络压缩方法的流程示意 图； 0038 图4为本申请实施例的一种基于通道注意力机制的神经网络压缩方法的流程示意 图； 0039 图5为本申请实施例的一种基于通道注意力机制的神经网络压缩方法的流程示意 图； 0040 图6为本申请实施例的一种基于通道注意力机制的神经网络压缩方法的流程示意 图； 0041 图7为本申请实施例的一种基于通道注意力机制的神经网络压缩装置结构示意 图。 具体实施方式 0042 为了使本申请的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例， 对 本申请进行进一。

18、步详细说明。 应当理解， 此处所描述的具体实施例仅仅用以解释本申请， 并 不用于限定本申请。 0043 本技术领域技术人员可以理解， 除非特意声明， 这里使用的单数形式 “一” 、“一 个” 、“所述” 和 “该” 也可包括复数形式。 应该进一步理解的是， 本申请的说明书中使用的措 辞 “包括” 是指存在所述特征、 整数、 步骤、 操作、 元件和/或组件， 但是并不排除存在或添加 一个或多个其他特征、 整数、 步骤、 操作、 元件、 组件和/或它们的组。 0044 本申请实施例的一种基于通道注意力机制的神经网络压缩方法流程如图1所示， 本实施例包括以下步骤： 0045 步骤s101， 构建神经。

19、网络模型， 并在所述神经网络模型中建立通道注意力机制， 所 述神经网络模型包含多个通道； 0046 具体的， 所述神经网络模型可包含输入层、 卷积层、 激活函数、 池化层和全连接层， 即INPUT(输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)， 所述神 经网络包含多个通道， 所述通道与全连接层相连， 所述的通道输出作为全连接层的输入。 0047 具体的， 所述通道注意力机制可通过建立通道注意力层实现， 所述通道注意力层 可建立在神经网络模型中的全连接层与卷积层之间， 所述通道注意力层可包含多个通道， 所述通道注意力层的每个通道可与所述神经网络中的每个。

20、通道一一对应， 即通道注意力层 的每个通道与经过卷积运算后的每个通道一一对应， 并在通道注意力层中设置softmax函 数， 所述softmax函数与通道注意力层的每个通道相连， 用于为通道注意力层的每个通道分 配权重。 所述经过softmax函数计算后的权重数值在0-1之间， 且所有通道的权重之和为1， 计算公式如下： 说明书 3/8 页 6 CN 109858611 A 6 0048 0049 其中， i表示第i个通道， j表示通道总数， Si为第i个通道的通道权重， V表示的是一 个数组。 0050 步骤s102， 对所述神经网络模型进行训练； 0051 具体的， 当神经网络模型建立完毕。

21、后， 可对所述神经网络模型中的参数进行训练， 并观察所述神经网络模型的损失函数， 以文本分类模型TextCNN为例， 所述文本分类模型的 损失函数为交叉熵， 并通过ADAM自适应矩估计的梯度优化算法对所述神经网络模型进行优 化。 所述的训练可分为多轮进行， 如第一轮是对100篇文本进行训练， 第二轮是对150篇文本 进行训练， 第三轮是对120篇文本进行训练， 每一轮的训练量尽量接近， 不要相差过大， 便于 参数调整； 在对第一轮的100篇文本进行训练时， 可将这100篇文本分成10份， 每份10篇文 档， 也可将这100篇文本分成20份， 每份5篇文本， 并分别对每一份文本输入神经网络模型进。

22、 行训练， 在对每一份文本进行训练时， 都可对神经网络模型的参数进行调整， 当对第一轮的 100篇文本都输入神经网络模型训练过后， 第一轮的训练就结束了， 这时可以获取到调整的 神经网络的参数及满意的损失函数输出。 0052 步骤s103， 在对所述神经网络模型的训练过程中根据所述通道注意力机制对所述 神经网络模型中的通道进行删减。 0053 具体的， 当对神经网络模型进行训练过后， 可以检测所述神经网络模型的状态， 如 检测所述神经网络模型的损失函数的状态， 如果所述神经网络模型的交叉熵损失函数的收 敛状态为收敛时， 说明本轮的训练结果已经趋于稳定， 这时可以启动对神经网络模型的通 道的删减。

23、。 0054 具体的， 所述的删减可以通过对每个通道的通道权重的判断完成， 由于权重较小 的通道价值比较低， 因此可对通道权重值垫底的几个通道进行删减， 例如， 当所述神经网络 模型中的通道的通道权重小于预设的值时， 可以对所述通道进行删减。 0055 本实施例中， 通过在神经网络模型的全连接层前加入通道注意力层， 并计算通道 权重， 将权重低的通道进行删减， 实现对神经网络的压缩。 0056 图2为本申请实施例的一种基于通道注意力机制的神经网络压缩方法流程示意 图， 如图所示， 所述步骤s101， 构建神经网络模型， 并在所述神经网络模型中建立通道注意 力机制， 所述神经网络模型包含多个通道。

24、， 包括： 0057 步骤s201， 构建神经网络模型， 在所述神经网络模型中的全连接层与卷积层之间 构建通道注意力层， 并在所述通道注意力层中设置softmax函数， 所述通道注意力层中的每 个通道与所述神经网络模型中的每个通道一一对应； 0058 具体的， 所述通道注意力机制可在所述神经网络模型中通过建立通道注意力层实 现， 所述通道注意力层可建立在神经网络模型中的全连接层与卷积层之间， 所述通道注意 力层可包含多个通道， 所述通道注意力层的每个通道可与所述神经网络中的每个通道一一 对应， 即通道注意力层的每个通道与经过卷积运算后的每个通道一一对应， 并在通道注意 力层中设置softmax。

25、函数， 所述softmax函数与通道注意力层的每个通道相连， 用于为通道 注意力层的每个通道分配权重。 0059 步骤s202， 根据所述softmax函数为所述通道注意力层中的每个通道分配通道权 说明书 4/8 页 7 CN 109858611 A 7 重。 0060 具体的， 在经过神经网络模型中卷积层的卷积运算后的输出需经过softmax函数 计算分配每条通道的权重， 且在经过softmax函数之前还可学习各通道隐含特征及重要性 和相关性。 所述经过softmax函数计算后的通道权重数值在0-1之间， 且所有通道的权重之 和为1， 计算公式如下： 0061 0062 其中， i表示第i个。

26、通道， j表示通道总数， Si为第i个通道的通道权重， V表示的是一 个数组。 0063 本实施例中， 通过在神经网络模型中建立注意力机制， 可以对每个通道的重要程 度进行识别， 并进行相应的删减。 0064 图3为本申请实施例的一种基于通道注意力机制的神经网络压缩方法流程示意 图， 如图所示， 所述步骤s202， 根据所述softmax函数为所述通道注意力层中的每个通道分 配通道权重， 包括： 0065 步骤s301， 获取输入信息并将所述输入信息通过所述神经网络模型中的卷积层的 卷积运算以及所述通道注意力层的通道权重运算后获得当前时刻的隐层输出向量； 0066 具体的， 当在神经网络模型中。

27、获取到输入信息之后， 如一段文字或者一副图像之 后， 在进入全连接层之前， 需要经过其它层的处理， 如经过卷积层的卷积运算、 激活函数进 行激活、 池化层的池化操作以及通道注意力层的通道权重运算后将所述输入信息转换成当 前时刻的隐层输出向量， 所述的权重运算可以为加权求和。 0067 步骤s302， 计算上一时刻的隐层输出向量与所述输入信息之间的相似度， 将所述 相似度输入所述softmax函数并进行归一化处理， 获得所述通道注意力层中的每个通道的 通道权重。 0068 具体的， 对于当前时刻来说， 上一时刻的隐层输出向量是已知的， 当获得上一时刻 的隐层输出向量后， 可先计算上一时刻的隐层输。

28、出向量与所述输入信息之间的相似度即上 一时刻的隐层输出向量与输入信息对应的每个通道之间的相似度， 所述相似度的计算方法 可通过余弦相似度或点积运算方法进行， 当计算完上一时刻的隐层输出向量与所述输入信 息对应的每个通道之间的相似度之后， 再通过softmax函数对所述相似度结果进行归一化 处理， 就可获得每个通道的权重。 0069 本实施例中， 通过softmax函数为神经网络模型的每个通道分配通道权重， 可以通 过通道权重识别每个通道的重要程度， 并进行相应的删减。 0070 在一个实施例中， 所述步骤s102， 对所述神经网络模型进行训练， 包括： 0071 对所述神经网络模型根据公式： 。

29、0072 0073 进行训练， 获得所述神经网络模型的参数Wij和 ， 其中， Yi表示神经元i的输出， 函 数f表示激活函数， Wij表示神经元j到神经元i的连接权值， 表示偏置， Xj表示神经元j的输 入。 说明书 5/8 页 8 CN 109858611 A 8 0074 具体的， 神经网络中包含大量单元和连接， 连接公式为： 0075 0076 其中， Yi表示神经元i的输出， 函数f表示激活函数， Wij表示神经元j到神经元i的连 接权值， 表示偏置， Xj表示神经元j的输入； 而参数Wij和 是需要训练获得的， 以文本分类模 型为例， 所述文本分类模型的损失函数为交叉熵， 通过ad。

30、am算法可对所述文本分类模型进 行训练优化， 更新参数Wij和 ， 实现精度提升。 0077 本实施例中， 通过对神经网络模型的训练， 获取适合模型的参数， 为通道的删减做 好预备工作， 提高对通道删减的效率。 0078 图4为本申请实施例的一种基于通道注意力机制的神经网络压缩方法流程示意 图， 如图所示， 所述步骤s102， 对所述神经网络模型进行训练， 包括： 0079 步骤s401， 当在对所述神经网络模型进行训练时， 检测所述神经网络模型的交叉 熵损失函数的收敛状态； 0080 具体的， 当神经网络模型建立完毕后， 对所述神经网络模型中的参数进行训练， 并 观察所述神经网络模型的损失函。

31、数， 以文本分类模型TextCNN为例， 所述文本分类模型的损 失函数为交叉熵， 并通过ADAM自适应矩估计的梯度优化算法对所述神经网络模型进行优 化， 在对所述神经网络模型的训练过程中， 每一次训练过后， 观察所述神经网络模型的交叉 熵收敛状态， 如第一次的任务是训练100篇文本， 可把这100篇文本分成10份， 每份10篇文 本， 当完成这100篇文本的训练时， 可观察交叉熵的收敛状态。 0081 步骤s402， 当检测到所述神经网络模型的交叉熵损失函数的收敛状态为收敛时， 启动对所述神经网络模型中的通道的删减。 0082 具体的， 当对所述神经网络模型进行训练后， 如果检测到所述神经网络。

32、模型的交 叉熵损失函数的收敛状态为收敛时， 这时可启动对所述神经网络模型中的通道的删减， 所 述神经网络模型的参数不再调整， 只对所述神经网络模型中的通道进行删减， 如果检测到 所述神经网络模型的交叉熵损失函数的收敛状态不是收敛时， 则继续对所述神经网络模型 进行训练。 0083 本实施例中， 通过对所述神经网络模型的交叉熵损失函数进行检测， 启动对所述 神经网络模型的通道的删减， 可以提高对通道删减的精确度， 减少模型的损失。 0084 图5为本申请实施例的一种基于通道注意力机制的神经网络压缩方法流程示意 图， 如图所示， 所述步骤s103， 在对所述神经网络模型的训练过程中根据所述通道注意。

33、力机 制对所述神经网络模型中的通道进行删减， 包括： 0085 步骤s501， 预设通道的通道权重阈值； 0086 具体的， 预先可对所述神经网络模型的通道设置通道权重阈值， 通常在训练过程 中只对权重排在末尾的几个通道进行删减， 保证不给模型带来太大的损失， 因此所述的权 重阈值可以设置的较小。 0087 步骤s502， 在对所述神经网络模型的训练过程中将所述每个通道的通道权重与所 述通道权重阈值进行比较， 并将低于所述通道权重阈值的通道进行删减。 0088 具体的， 当通过softmax函数对所述神经网络模型的所有通道分配完通道权重以 后， 可以将所述神经网络模型中的每个通道的通道权重与所。

34、述预设的通道权重阈值进行比 说明书 6/8 页 9 CN 109858611 A 9 较， 并将低于所述通道权重阈值的通道进行删减。 0089 本实施例中， 通过预设通道权重阈值对所述神经网络模型中的通道进行删减， 可 以有效压缩神经网络。 0090 图6为本申请实施例的一种基于通道注意力机制的神经网络压缩方法流程示意 图， 如图所示， 所述步骤s103， 在对所述神经网络模型的训练过程中根据所述通道注意力机 制对所述神经网络模型中的通道进行删减之后， 包括： 0091 步骤s601， 预设所述神经网络模型的最低通道数； 0092 具体的， 可在神经网络模型构建的时候确定通道数， 当所述神经网。

35、络模型的通道 数确定以后， 可预设最低通道数， 如神经网络模型的总通道数为128， 最低通道数可设为 120。 0093 步骤s602， 当对所述神经网络模型中的通道进行删减时， 将所述神经网络模型中 的当前通道数与所述预设的最低通道数进行比较， 当所述神经网络模型中的当前通道数不 大于所述预设的最低通道数时， 停止删减。 0094 具体的， 当通过通道权重与通道权重阈值的比较后进行通道的删减时， 检测所述 神经网络模型中的当前总通道数， 如果所述神经网络模型中的总通道数不大于预设的最低 通道数， 则不再进行通道的删减。 0095 具体的， 所述的删减可以从最小的通道开始， 即在所述神经网络模。

36、型的当前通道 中首先找出最小的通道权重对应的通道， 如果所述最小的通道权重对应通道的通道权重小 于预设的通道权重阈值时， 那么继续判断当前的总通道数是否小于预设的最低通道数； 如 果不是， 就进行通道的删减， 接下来在剩下的通道中再查找最小的通道权重对应的通道， 继 续进行判断和删减； 如果是， 那么就停止对通道的删减， 并不再进行通道权重与通道权重阈 值的比较。 0096 本实施例中， 通过预设最低通道数， 并在当前通道数达到最低通道数时不再删减， 保证模型的损失不会过大。 0097 本申请实施例的一种基于通道注意力机制的神经网络压缩装置结构如图7所示， 包括： 0098 模型构建模块701。

37、、 训练模块702及通道删减模块703； 其中， 模型构建模块701与训 练模块702相连， 训练模块702及通道删减模块703相连； 模型构建模块701设置为构建神经 网络模型， 并在所述神经网络模型中建立通道注意力机制， 所述神经网络模型包含多个通 道； 训练模块702设置为对所述神经网络模型进行训练； 通道删减模块703设置为在对所述 神经网络模型的训练过程中根据所述通道注意力机制对所述神经网络模型中的通道进行 删减。 0099 本申请实施例还公开了一种计算机设备， 所述计算机设备包括存储器和处理器， 所述存储器中存储有计算机可读指令， 所述计算机可读指令被一个或多个所述处理器执行 时，。

38、 使得一个或多个所述处理器执行上述各实施例中所述神经网络压缩方法中的步骤。 0100 本申请实施例还公开了一种存储介质， 所述存储介质可被处理器读写， 所述存储 器存储有计算机可读指令， 所述计算机可读指令被一个或多个处理器执行时， 使得一个或 多个处理器执行上述各实施例中所述神经网络压缩方法中的步骤。 0101 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以 说明书 7/8 页 10 CN 109858611 A 10 通过计算机程序来指令相关的硬件来完成， 该计算机程序可存储于一计算机可读取存储介 质中， 该程序在执行时， 可包括如上述各方法的实施例的流程。 其中。

39、， 前述的存储介质可为 磁碟、 光盘、 只读存储记忆体(Read-OnlyMemory， ROM)等非易失性存储介质， 或随机存储记 忆体(RandomAccessMemory， RAM)等。 0102 以上所述实施例的各技术特征可以进行任意的组合， 为使描述简洁， 未对上述实 施例中的各个技术特征所有可能的组合都进行描述， 然而， 只要这些技术特征的组合不存 在矛盾， 都应当认为是本说明书记载的范围。 0103 以上所述实施例仅表达了本申请的几种实施方式， 其描述较为具体和详细， 但并 不能因此而理解为对本申请专利范围的限制。 应当指出的是， 对于本领域的普通技术人员 来说， 在不脱离本申请构思的前提下， 还可以做出若干变形和改进， 这些都属于本申请的保 护范围。 因此， 本申请专利的保护范围应以所附权利要求为准。 说明书 8/8 页 11 CN 109858611 A 11 图1 图2 图3 说明书附图 1/3 页 12 CN 109858611 A 12 图4 图5 图6 说明书附图 2/3 页 13 CN 109858611 A 13 图7 说明书附图 3/3 页 14 CN 109858611 A 14 。