基于分解和剪枝的卷积神经网络压缩方法、系统、装置.pdf

《基于分解和剪枝的卷积神经网络压缩方法、系统、装置.pdf》由会员分享，可在线阅读，更多相关《基于分解和剪枝的卷积神经网络压缩方法、系统、装置.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911029615.6 (22)申请日 2019.10.28 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 胡卫明刘雨帆阮晓峰李兵 原春锋潘健 (74)专利代理机构 北京市恒有知识产权代理事 务所(普通合伙) 11576 代理人 郭文浩尹文会 (51)Int.Cl. G06N 3/04(2006.01) (54)发明名称 基于分解和剪枝的卷积神经网络压缩方法、 系统、 装置 (57)摘要 本发明属于人工智能领域，。

2、 具体涉及一种基 于分解和剪枝的卷积神经网络压缩方法、 系统、 装置， 旨在解决采用低秩近似分解或结构化稀疏 剪枝进行卷积神经网络压缩， 导致压缩力度较小 的问题。 本系统方法包括将每个待压缩的卷积层 后面添加一层系数矩阵表示层； 通过低秩近似分 解算法对系数矩阵表示层进行稀疏处理， 并根据 系数矩阵表示层稀疏的位置对对应的卷积层的 滤波器进行剪枝处理； 采用结构化稀疏剪枝方法 对分解后的系数矩阵表示层进行稀疏处理， 并根 据系数矩阵表示层稀疏的位置对其滤波器进行 剪枝处理； 对稀疏剪枝处理后的卷积神经网络进 行训练。 本发明通过将低秩近似分解和结构化稀 疏剪枝两种方法融合， 解决了单一方法引。

3、起的缺 陷， 提高了压缩力度。 权利要求书2页 说明书8页 附图3页 CN 110782019 A 2020.02.11 CN 110782019 A 1.一种基于分解和剪枝的卷积神经网络压缩方法， 其特征在于， 该方法包括以下步骤： 步骤S100， 获取待压缩的卷积神经网络， 将所述卷积神经网络中每个待压缩的卷积层 后面添加一层系数矩阵表示层， 作为第一网络； 步骤S200， 通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理， 并根 据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理， 得到第二网 络； 步骤S300， 采用结构化稀疏剪枝方法分别对所述第二网络的各系数。

4、矩阵表示层进行稀 疏处理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行剪枝 处理， 得到第三网络； 步骤S400， 对所述第三网络进行训练， 将训练完成的网络作为压缩后的卷积神经网络。 2.根据权利要求1所述的基于分解和剪枝的卷积神经网络压缩方法， 其特征在于， 所述 系数矩阵表示层为卷积核11的卷积层， 其输入和输出通道数目都与对应的卷积层输出通 道数目相同。 3.根据权利要求1所述的基于分解和剪枝的卷积神经网络压缩方法， 其特征在于， 步骤 S200中 “通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理” ， 其方法为： 将各所述系数矩阵表示层的权重参数分。

5、别进行张量展开， 得到各所述系数矩阵表示层 对应的二维矩阵； 基于L21范数对各所述二维矩阵进行正则化， 得到正则项； 将各正则项加入到所述卷积神经网络的损失函数， 进行权重参数的更新。 4.根据权利要求3所述的基于分解和剪枝的卷积神经网络压缩方法， 其特征在于，“将 各正则项加入到所述卷积神经网络的损失函数， 进行权重参数的更新” ， 其方法为： 将各正 则项加入到所述卷积神经网络的损失函数， 通过二次近似算法和迭代阈值收敛算法对权重 参数进行更新。 5.根据权利要求3所述的基于分解和剪枝的卷积神经网络压缩方法， 其特征在于， 步骤 S200中 “根据所述系数矩阵表示层稀疏的位置对对应的卷积。

6、层的滤波器进行剪枝处理” ， 其 方法为： 所述系数矩阵表示层稀疏的位置为基于L21范数对各所述二维矩阵进行正则化后列 L2范数为0对应的索引值。 6.根据权利要求3所述的基于分解和剪枝的卷积神经网络压缩方法， 其特征在于， 步骤 S300中 “采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进行稀疏处 理” ， 其方法为： 将各所述系数矩阵表示层的权重参数张量展开得到的二维矩阵进行转置， 得到转置二 维矩阵； 基于L21范数对各所述转置二维矩阵进行正则化， 得到正则项； 将各正则项加入到所述卷积神经网络的损失函数， 进行权重参数的更新。 7.根据权利要求6所述的基于分解和剪枝的卷积。

7、神经网络压缩方法， 其特征在于， 步骤 S300中 “根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行剪枝处 理” ， 其方法为： 所述系数矩阵表示层稀疏的位置为基于L21范数对各所述转置二维矩阵进行 正则化后行L2范数为0对应的索引值。 8.一种基于分解和剪枝的卷积神经网络压缩系统， 其特征在于， 该系统包括获取添加 权利要求书 1/2 页 2 CN 110782019 A 2 模块、 低秩近似分解模块、 结构化稀疏模块、 训练输出模块； 所述获取添加模块， 配置为获取待压缩的卷积神经网络， 将所述卷积神经网络中每个 待压缩的卷积层后面添加一层系数矩阵表示层， 作为第一网络；。

8、 所述低秩近似分解模块， 配置为通过低秩近似分解算法分别对各所述系数矩阵表示层 进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝 处理， 得到第二网络； 所述结构化稀疏模块， 配置为采用结构化稀疏剪枝方法分别对所述第二网络的各系数 矩阵表示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层 的滤波器进行剪枝处理， 得到第三网络； 所述训练输出模块， 配置为对所述第三网络进行训练， 将训练完成的网络作为压缩后 的卷积神经网络。 9.一种存储装置， 其中存储有多条程序， 其特征在于， 所述程序应用由处理器加载并执 行以实现权利要求1-7任一项所。

9、述的基于分解和剪枝的卷积神经网络压缩方法。 10.一种处理装置， 包括处理器、 存储装置； 处理器， 适用于执行各条程序； 存储装置， 适 用于存储多条程序； 其特征在于， 所述程序适用于由处理器加载并执行以实现权利要求1-7 任一项所述的基于分解和剪枝的卷积神经网络压缩方法。 权利要求书 2/2 页 3 CN 110782019 A 3 基于分解和剪枝的卷积神经网络压缩方法、 系统、 装置 技术领域 0001 本发明属于人工智能领域， 具体涉及一种基于分解和剪枝的卷积神经网络压缩方 法、 系统、 装置。 背景技术 0002 随着深度学习在人工智能领域表现出来的绝对优势， 比如计算机视觉、 语。

10、音识别 和自然语言处理等， 人工智能的研究迎来了新一轮高潮。 近年来， 深度学习算法逐渐应用到 工业界中， 但是由于深度学习模型参数庞大， 运算消耗时间长， 限制了深度学习在移动设备 和嵌入式设备中的应用。 而神经网络模型压缩和加速方法可以减少模型存储， 降低计算能 量消耗， 减少实时内存消耗， 同时缩短推理延迟时间。 0003 模型压缩大致可以分为以下4个方面： 1)权重稀疏； 通过在模型训练损失函数中引 入稀疏正则项， 比如L1范数， 使模型参数稀疏， 将小于一定阈值的参数进行剪枝， 以达到模 型参数减少的目的。 2)低秩近似分解； 通常采用低秩近似方法， 比如SVD， 对卷积层权重参数 。

11、矩阵进行分解， 来达到减少参数的目的。 3)参数量化； 将浮点数参数量化为低位定点数参 数。 4)结构化稀疏剪枝； 以通道或者滤波器为最小单位稀疏剪枝的方法。 0004 结构化稀疏剪枝的方法由于具有良好的硬件支持， 大量的地应用在模型压缩中。 但是， 通常的训练过程比较繁琐， 需要预训练、 剪枝和微调模型3个阶段。 低秩近似分解方法 可以大大减少模型参数， 但是， 分解后的模型通道具有一定的冗余性， 削减了模型压缩的力 度。 0005 因此， 如何合理融合低秩近似分解和结构化稀疏剪枝两种方法， 扬长避短， 是本领 域研究人员需要解决的问题。 发明内容 0006 为了解决现有技术中的上述问题， 。

12、即为了解决采用低秩近似分解方法或结构化稀 疏剪枝方法进行卷积神经网络压缩， 导致压缩力度较小的问题， 本发明第一方面， 提出了一 种基于分解和剪枝的卷积神经网络压缩方法， 该方法包括： 0007 步骤S100， 获取待压缩的卷积神经网络， 将所述卷积神经网络中每个待压缩的卷 积层后面添加一层系数矩阵表示层， 作为第一网络； 0008 步骤S200， 通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理， 得到第二 网络； 0009 步骤S300， 采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进 行稀疏处。

13、理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行 剪枝处理， 得到第三网络； 0010 步骤S400， 对所述第三网络进行训练， 将训练完成的网络作为压缩后的卷积神经 网络。 说明书 1/8 页 4 CN 110782019 A 4 0011 在一些优选的实施方式中， 所述系数矩阵表示层为卷积核11的卷积层， 其输入 和输出通道数目都与对应的卷积层输出通道数目相同。 0012 在一些优选的实施方式中， 步骤S200中 “通过低秩近似分解算法分别对各所述系 数矩阵表示层进行稀疏处理” ， 其方法为： 0013 将各所述系数矩阵表示层的权重参数分别进行张量展开， 得到各所述。

14、系数矩阵表 示层对应的二维矩阵； 0014 基于L21范数对各所述二维矩阵进行正则化， 得到正则项； 0015 将各正则项加入到所述卷积神经网络的损失函数， 进行权重参数的更新。 0016 在一些优选的实施方式中，“将各正则项加入到所述卷积神经网络的损失函数， 进 行权重参数的更新” ， 其方法为： 将各正则项加入到所述卷积神经网络的损失函数， 通过二 次近似算法和迭代阈值收敛算法对权重参数进行更新。 0017 在一些优选的实施方式中， 步骤S200中 “根据所述系数矩阵表示层稀疏的位置对 对应的卷积层的滤波器进行剪枝处理” ， 其方法为： 所述系数矩阵表示层稀疏的位置为基于 L21范数对各所。

15、述二维矩阵进行正则化后列L2范数为0对应的索引值。 0018 在一些优选的实施方式中， 步骤S300中 “采用结构化稀疏剪枝方法分别对所述第 二网络的各系数矩阵表示层进行稀疏处理” ， 其方法为： 0019 将各所述系数矩阵表示层的权重参数张量展开得到的二维矩阵进行转置， 得到转 置二维矩阵； 0020 基于L21范数对各所述转置二维矩阵进行正则化， 得到正则项； 0021 将各正则项加入到所述卷积神经网络的损失函数， 进行权重参数的更新。 0022 在一些优选的实施方式中， 步骤S300中 “根据所述系数矩阵表示层稀疏的位置对 所述系数矩阵表示层的滤波器进行剪枝处理” ， 其方法为： 所述系。

16、数矩阵表示层稀疏的位置 为基于L21范数对各所述转置二维矩阵进行正则化后行L2范数为0对应的索引值。 0023 本发明的第二方面， 提出了一种基于分解和剪枝的卷积神经网络压缩系统， 该系 统包括获取添加模块、 低秩近似分解模块、 结构化稀疏模块、 训练输出模块； 0024 所述获取添加模块， 配置为获取待压缩的卷积神经网络， 将所述卷积神经网络中 每个待压缩的卷积层后面添加一层系数矩阵表示层， 作为第一网络； 0025 所述低秩近似分解模块， 配置为通过低秩近似分解算法分别对各所述系数矩阵表 示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行 剪枝处理， 得到第二。

17、网络； 0026 所述结构化稀疏模块， 配置为采用结构化稀疏剪枝方法分别对所述第二网络的各 系数矩阵表示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表 示层的滤波器进行剪枝处理， 得到第三网络； 0027 所述训练输出模块， 配置为对所述第三网络进行训练， 将训练完成的网络作为压 缩后的卷积神经网络。 0028 本发明的第三方面， 提出了一种存储装置， 其中存储有多条程序， 所述程序应用由 处理器加载并执行以实现上述的基于分解和剪枝的卷积神经网络压缩方法。 0029 本发明的第四方面， 提出了一种处理装置， 包括处理器、 存储装置； 处理器， 适用于 执行各条程序； 存储。

18、装置， 适用于存储多条程序； 所述程序适用于由处理器加载并执行以实 说明书 2/8 页 5 CN 110782019 A 5 现上述的基于分解和剪枝的卷积神经网络压缩方法。 0030 本发明的有益效果： 0031 本发明通过将低秩近似分解和结构化稀疏剪枝两种方法融合， 解决了单一方法引 起的缺陷， 提高了卷积神经网络的压缩力度。 本发明在卷积神经网络的卷积层添加系数矩 阵表示层， 对系数矩阵表示层采用低秩近似分解稀疏处理， 根据稀疏处理的位置对卷积层 的滤波器进行剪枝处理， 然后对系数矩阵表示层采用结构化稀疏剪枝进行稀疏处理， 根据 稀疏处理的位置对系数矩阵表示层的滤波器进行剪枝处理。 通过稀。

19、疏矩阵表示层将低秩近 似分解和结构化稀疏剪枝两种方法进行融合， 提高了卷积神经网络的压缩力度。 附图说明 0032 通过阅读参照以下附图所做的对非限制性实施例所做的详细描述， 本申请的其他 特征、 目的和优点将会变得更明显。 0033 图1是本发明一种实施例的基于分解和剪枝的卷积神经网络压缩方法的流程示意 图； 0034 图2是本发明一种实施例的基于分解和剪枝的卷积神经网络压缩系统的框架示意 图； 0035 图3是本发明一种实施例的VGG-16网络结构预处理的示例图； 0036 图4是本发明一种实施例的基于分解和剪枝的卷积神经网络压缩过程的详细示例 图。 具体实施方式 0037 为使本发明的目。

20、的、 技术方案和优点更加清楚， 下面将结合附图对本发明实施例 中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不 是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动前 提下所获得的所有其他实施例， 都属于本发明保护的范围。 0038 下面结合附图和实施例对本申请作进一步的详细说明。 可以理解的是， 此处所描 述的具体实施例仅用于解释相关发明， 而非对该发明的限定。 另外还需要说明的是， 为了便 于描述， 附图中仅示出了与有关发明相关的部分。 0039 需要说明的是， 在不冲突的情况下， 本申请中的实施例及实施例中的特征可以相 。

21、互组合。 0040 本发明的基于分解和剪枝的卷积神经网络压缩方法， 如图1所示， 包括以下步骤： 0041 步骤S100， 获取待压缩的卷积神经网络， 将所述卷积神经网络中每个待压缩的卷 积层后面添加一层系数矩阵表示层， 作为第一网络； 0042 步骤S200， 通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理， 得到第二 网络； 0043 步骤S300， 采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进 行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行 剪枝处理， 得。

22、到第三网络； 说明书 3/8 页 6 CN 110782019 A 6 0044 步骤S400， 对所述第三网络进行训练， 将训练完成的网络作为压缩后的卷积神经 网络。 0045 为了更清晰地对本发明基于分解和剪枝的卷积神经网络压缩方法进行说明， 下面 结合附图对本发明方法一种实施例中各步骤进行展开详述。 0046 本发明的方法具体运行的硬件和编程语言并不受限制， 可以根据实际需要进行选 择。 本发明优选采用服务器配置为i7-6850K CPU和NVIDIA GTX TITAN GPU， 整个网络的训 练使用Pytorch深度学习框架实现本发明的方法。 0047 下文优选实施例中， 优选以VG。

23、G-16网络为例对本发明的压缩方法进行详述。 0048 步骤S100， 获取待压缩的卷积神经网络， 将所述卷积神经网络中每个待压缩的卷 积层后面添加一层系数矩阵表示层， 作为第一网络。 0049 获取待压缩的卷积神经网络， 如图3所示， 其中Conv表示卷积层， Pooling表示池化 层， fc表示全连接层。 原始的VGG-16网络有两层卷积核33的卷积层， Conv 33 1-1、 Conv 33 1-2， 通过预处理， 也就是将所述卷积神经网络中每个待压缩的卷积层后面添加一层 系数矩阵表示层， 系数矩阵表示层为卷积核11的卷积层， 系数矩阵表示层的输入和输出 通道数目都与其对应的卷积层输。

24、出通道数目相同， 预处理后VGG-16网络变成Conv 33 1- 1Conv 11 1-1、 Conv 33 1-2Conv 11 1-2。 如图4所示， 给出了其中一个卷积层一阶 段压缩处理的过程， 分为预处理过程、 低秩近似分解过程(0e1)、 通道剪枝过程(e1e2)、 正常训练过程(e2E)， 其中e1、 e2和E分别表示低秩近似分解、 通道剪枝和整个训练过程结 束轮数， 具体的压缩方法在下文中一一详述。 0050 其中， 卷积层l输入和输出关系可表示为fl ( lfl-1)， 其中， fl-1和fl分别为输入 和输出对应的特征图(feature map)， 通道数目分别为cl-1和。

25、cl， ()为非线性激活函数， 比 如Relu函数， l为卷积层l的权重参数， 为了后续表示方便， 其由clkkcl-1维张量展开 为clkkcl-1维矩阵， kk为卷积层中卷积核的大小。 对于成对数据集x,y为批次 成对训练数据， 为全部训练数据集， 原始VGG-16网络训练损失函数如公式(1)所示： 0051 0052其中，为标准损失函数， 此处采用交叉熵损失函数，为网络前向函数， 为 原始网络参数集，Loss为损失函数， L为卷积神经网络卷积层总数。 0053 经过预处理后， 对于卷积层l， 其权重参数由 l变为 ll， 同样， l为系数矩阵表示 层的权重参数， l由cl11rl维张量展。

26、开为clrl维矩阵， l由rlkkcl-1维张 量展开为rlkkcl-1维矩阵， 由于网络压缩后可以获得cl,rl的最小值， 此处取初始化cl cl， rlcl， cl、 rl为系数矩阵表示层的输入通道数目、 输出通道数目。 损失函数变为公式 (2)： 0054 0055其中， 0056 步骤S200， 通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理， 说明书 4/8 页 7 CN 110782019 A 7 并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理， 得到第二 网络。 0057 在本实施例中， 基于L21范数对系数矩阵表示层的权重参数张量展开为二维矩阵。

27、， 进行正则化得到正则项， 将各正则项加入到网络的损失函数， 进行权重参数的更新。 其具体 步骤如下： 0058 步骤S210， 将系数矩阵表示层的权重参数张量展开为二维矩阵， 对二维矩阵求L21 范数， 并将其作为正则项， 加入到网络训练损失函数中。 0059 损失函数变为公式(3)： 0060 0061其 中 ， ( ) 为 正 则 化 函 数 ，1为 正 则 化 参 数 ， i,j为权重矩阵对应行和列下标。 0062 损失函数最小化作为目标函数， 如式(4)所示： 0063 0064 为了后续描述方便， 目标函数变为公式(5)： 0065 ming()+() (5) 0066其中， 00。

28、67 步骤S220， 采用二次近似法和迭代阈值收敛算法， 完成网络权重参数的更新。 0068 采用二次近似法求解目标函数， 可得公式(6)： 0069 0070 其中， 为学习率， +为网络参数更新后的值， z是所有可能的更新值， F为 Frobenius范数。 0071 对权重参数进行更新， 更新过程如公式(7)(8)(9)所示： 0072 0073 0074 0075其中， n为迭代次数，为阈值函数， l为原始网络参数， (n) 为n在迭代过程的 过渡形式。 0076采用迭代阈值收敛算法，如公式(10)所示： 说明书 5/8 页 8 CN 110782019 A 8 0077 0078 步。

29、骤S230， 根据系数矩阵表示层稀疏的位置剪枝对应的卷积层的滤波器。 0079 求 l每一列的L2范数， 生成一个向量， 确定值为0对应的索引值， 即为 l需要剪枝 掉的对应滤波器； 最终rlcl， 达到低秩近似分解的目的。 0080 步骤S300， 采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进 行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行 剪枝处理， 得到第三网络。 0081 在本实施例中， 将步骤S200中系数矩阵表示层的权重参数张量展开得到的二维矩 阵进行转置， 得到转置二维矩阵， 基于L21范数对转置二维矩阵进行正则化， 得到正则项，。

30、 将 各正则项加入到所述卷积神经网络的损失函数， 进行权重参数的更新。 其具体步骤如下： 0082 步骤S310， 将步骤S200中系数矩阵表示层的权重参数张量展开得到的二维矩阵进 行转置， 得到转置二维矩阵； 0083 步骤S320， 对转置二维矩阵求L21范数， 并将其作为正则项， 加入到经过低秩近似分 解的网络训练损失函数中， 采用二次近似法和迭代阈值收敛算法， 完成网络权重参数的更 新。 0084 对于低秩近似分解后的模型， 对 l转置求L21范数， 损失函数可表示为公式(11)： 0085 0086其中，2为超参数， T为转置。 0087 通过类似步骤S210、 步骤S220的方法进。

31、行优化， 得到权重参数的更新， 如公式(12) (13)(14)所示： 0088 0089 0090 0091其中采用迭代阈值收敛算法，如公式(15)所示： 0092 0093 步骤S330， 根据系数矩阵表示层稀疏的位置剪枝系数矩阵表示层对应的滤波器。 0094 求 l每一行的L2范数， 生成一个向量， 确定值为0对应的索引值， 即为 l需要剪枝掉 的对应滤波器。 最终clcl， 达到通道剪枝的目的。 0095 步骤S400， 对所述第三网络进行训练， 将训练完成的网络作为压缩后的卷积神经 网络。 说明书 6/8 页 9 CN 110782019 A 9 0096 在本实施例的网络训练过程中。

32、， 对系数矩阵表示层不进行结构化稀疏， 直到网络 训练结束。 0097 本发明第二实施例的一种基于分解和剪枝的卷积神经网络压缩系统， 如图2所示， 包括： 获取添加模块100、 低秩近似分解模块200、 结构化稀疏模块300、 训练输出模块400； 0098 所述获取添加模块100， 配置为获取待压缩的卷积神经网络， 将所述卷积神经网络 中每个待压缩的卷积层后面添加一层系数矩阵表示层， 作为第一网络； 0099 所述低秩近似分解模块200， 配置为通过低秩近似分解算法分别对各所述系数矩 阵表示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器 进行剪枝处理， 得到第二网。

33、络； 0100 所述结构化稀疏模块300， 配置为采用结构化稀疏剪枝方法分别对所述第二网络 的各系数矩阵表示层进行稀疏处理， 并根据所述系数矩阵表示层稀疏的位置对所述系数矩 阵表示层的滤波器进行剪枝处理， 得到第三网络； 0101 所述训练输出模块400， 配置为对所述第三网络进行训练， 将训练完成的网络作为 压缩后的卷积神经网络。 0102 所述技术领域的技术人员可以清楚的了解到， 为描述的方便和简洁， 上述描述的 系统的具体的工作过程及有关说明， 可以参考前述方法实施例中的对应过程， 在此不再赘 述。 0103 需要说明的是， 上述实施例提供的基于分解和剪枝的卷积神经网络压缩系统， 仅 以。

34、上述各功能模块的划分进行举例说明， 在实际应用中， 可以根据需要而将上述功能分配 由不同的功能模块来完成， 即将本发明实施例中的模块或者步骤再分解或者组合， 例如， 上 述实施例的模块可以合并为一个模块， 也可以进一步拆分成多个子模块， 以完成以上描述 的全部或者部分功能。 对于本发明实施例中涉及的模块、 步骤的名称， 仅仅是为了区分各个 模块或者步骤， 不视为对本发明的不当限定。 0104 本发明第三实施例的一种存储装置， 其中存储有多条程序， 所述程序适用于由处 理器加载并实现上述的基于分解和剪枝的卷积神经网络压缩方法。 0105 本发明第四实施例的一种处理装置， 包括处理器、 存储装置；。

35、 处理器， 适于执行各 条程序； 存储装置， 适于存储多条程序； 所述程序适于由处理器加载并执行以实现上述的基 于分解和剪枝的卷积神经网络压缩方法。 0106 所述技术领域的技术人员可以清楚的了解到， 未描述的方便和简洁， 上述描述的 存储装置、 处理装置的具体工作过程及有关说明， 可以参考前述方法实例中的对应过程， 在 此不再赘述。 0107 本领域技术人员应该能够意识到， 结合本文中所公开的实施例描述的各示例的模 块、 方法步骤， 能够以电子硬件、 计算机软件或者二者的结合来实现， 软件模块、 方法步骤对 应的程序可以置于随机存储器(RAM)、 内存、 只读存储器(ROM)、 电可编程RO。

36、M、 电可擦除可编 程ROM、 寄存器、 硬盘、 可移动磁盘、 CD-ROM、 或技术领域内所公知的任意其它形式的存储介 质中。 为了清楚地说明电子硬件和软件的可互换性， 在上述说明中已经按照功能一般性地 描述了各示例的组成及步骤。 这些功能究竟以电子硬件还是软件方式来执行， 取决于技术 方案的特定应用和设计约束条件。 本领域技术人员可以对每个特定的应用来使用不同方法 来实现所描述的功能， 但是这种实现不应认为超出本发明的范围。 说明书 7/8 页 10 CN 110782019 A 10 0108 术语 “第一” 、“第二” 等是用于区别类似的对象， 而不是用于描述或表示特定的顺 序或先后次。

37、序。 0109 术语 “包括” 或者任何其它类似用语旨在涵盖非排他性的包含， 从而使得包括一系 列要素的过程、 方法、 物品或者设备/装置不仅包括那些要素， 而且还包括没有明确列出的 其它要素， 或者还包括这些过程、 方法、 物品或者设备/装置所固有的要素。 0110 至此， 已经结合附图所示的优选实施方式描述了本发明的技术方案， 但是， 本领域 技术人员容易理解的是， 本发明的保护范围显然不局限于这些具体实施方式。 在不偏离本 发明的原理的前提下， 本领域技术人员可以对相关技术特征作出等同的更改或替换， 这些 更改或替换之后的技术方案都将落入本发明的保护范围之内。 说明书 8/8 页 11 CN 110782019 A 11 图1 说明书附图 1/3 页 12 CN 110782019 A 12 图2 图3 说明书附图 2/3 页 13 CN 110782019 A 13 图4 说明书附图 3/3 页 14 CN 110782019 A 14 。