输入特征分解的高效CNN推理方法与装置.pdf

《输入特征分解的高效CNN推理方法与装置.pdf》由会员分享，可在线阅读，更多相关《输入特征分解的高效CNN推理方法与装置.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010086723.3 (22)申请日 2020.02.11 (71)申请人 北京邮电大学 地址 100876 北京市海淀区西土城路10号 (72)发明人 李斌陈沛鋆刘宏福曹先彬 赵成林 (74)专利代理机构 北京风雅颂专利代理有限公 司 11403 代理人 李莎 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) G06F 17/16(2006.01) (54)发明名称 一种输入特征分解。

2、的高效CNN推理方法与装 置 (57)摘要 本说明书一个或多个实施例提供一种输入 特征分解的高效CNN推理方法与装置， 能够解决 推理计算复杂度高的问题。 所述方法包括： 利用 卷积神经网络卷积层的权重张量对输入张量进 行降维展开变换， 得到过渡输入张量， 对所述过 渡输入张量进行行采样操作， 得到行表征矩阵； 根据所述行表征矩阵对所述过渡输入张量进行 列采样操作， 得到列表征矩阵； 根据所述过渡输 入张量、 所述行表征矩阵与所述列表征矩阵， 计 算确定核心表征矩阵； 调整所述行表征矩阵、 所 述列表征矩阵、 所述核心表征矩阵与所述权重张 量间的相乘顺序， 使计算复杂度最低， 根据相乘 结果确。

3、定输出张量。 所述装置包括行表征矩阵构 建模块、 列表征矩阵构建模块、 核心表征矩阵构 建模块与推理计算模块。 权利要求书2页 说明书8页 附图3页 CN 111310895 A 2020.06.19 CN 111310895 A 1.一种输入特征分解的高效CNN推理方法， 其特征在于， 包括： 根据卷积神经网络卷积层的权重张量对输入张量进行降维展开变换， 得到过渡输入张 量； 对所述过渡输入张量进行行采样操作， 得到行表征矩阵； 根据所述行表征矩阵对所述过渡输入张量进行列采样操作， 得到列表征矩阵； 根据所述过渡输入张量、 所述行表征矩阵与所述列表征矩阵， 计算确定核心表征矩阵； 调整所述行。

4、表征矩阵、 所述列表征矩阵、 所述核心表征矩阵与所述权重张量间的相乘 顺序， 使计算复杂度最低， 根据相乘结果确定输出张量。 2.根据权利要求1所述的方法， 其特征在于， 根据卷积神经网络卷积层的权重张量对输 入张量进行降维展开变换， 得到过渡输入张量， 包括： 所述卷积层的输入张量为权重张量为 其中， m表示输入样本数， h、 w分别表示所述输入张量的高和宽， c表示所述输入张量的 通道数， k,l分别表示所述卷积层卷积核的高和宽， n表示卷积核数； 对所述权重张量W的前三个维度进行合并， 得到过渡权重张量确定所述 过渡权重张量的大小， 其中a为权重合并维度， aklc； 根据所述过渡权重张。

5、量的大小， 将所述输入张量X展开得到所述过渡输入张量Xm： Xmunfold(X,height,width,strides,padding) 其中，b为输入展开维度， unfold( )为展开函数， 展开参数heightk, widthl， strides表示扫描步长， padding表示边缘填充。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述过渡输入张量进行行采样操 作， 得到行表征矩阵， 包括： 对所述过渡输入张量Xm进行行采样， 选取所述过渡输入张量中的t(ta)行构建行采 样矩阵利用所述行采样矩阵Sr对所述过渡输入张量Xm进行采样， 得到所述行表 征矩阵R： 4.根据权利要。

6、求1所述的方法， 其特征在于， 所述根据所述行表征矩阵对所述过渡输入 张量进行采样操作， 得到列表征矩阵， 包括： 对所述过渡输入张量Xm进行列采样， 选取所述过渡输入张量Xm中的s(sb)列构建列 采样矩阵利用所述列采样矩阵Sc对所述过渡输入张量Xm进行采样， 得到所述列 表征矩阵C： 5.根据权利要求4所述的方法， 其特征在于， 所述对所述过渡输入张量Xm进行列采样， 选 取所述过渡输入张量Xm中的s(sb)列构建列采样矩阵时， 所述过渡输入张 量Xm中每一列被采样选中的概率为所述行表征矩阵中列向量平方和与所有元素平方和之 比： Pp1,p2,paT 权利要求书 1/2 页 2 CN 11。

7、1310895 A 2 其中， ri,j表示所述行表征矩阵R中位于第i行， 第j列的元素， ri,q表示所述行表征矩阵R 中位于第i行， 第q列的元素， P表示采样概率向量。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述过渡输入张量、 所述行表征 矩阵与所述列表征矩阵， 计算确定核心表征矩阵， 包括： 根据所述行表征矩阵相应的行采样矩阵与所述列表征矩阵相应的列采样矩阵以及所 述过渡输入张量确定行列采样的交叉矩阵V： VSrTXmSc 其中， Sr,Sc分别表示所述行采样矩阵与所述列采样矩阵， Xm表示所述过渡输入张量； 根据所述交叉矩阵V计算确定所述核心表征矩阵U： 其中，表示对。

8、所述交叉矩阵V进行伪逆运算， 所述核心表征矩阵 7.根据权利要求1所述的方法， 其特征在于， 所述调整所述行表征矩阵、 所述列表征矩 阵、 所述核心表征矩阵与所述权重张量间的相乘顺序， 使计算复杂度最低， 根据相乘结果确 定输出张量， 包括： 控制所述行表征矩阵R、 所述列表征矩阵C、 所述核心表征矩阵U与所述权重张量W的相 乘顺序， 再相乘计算量最低的情况下确定乘积结果； 根据所述乘积结果计算确定过渡输出张量： Xm f(C(URWm)+b) 其中， Xm 表示过渡输出张量，f( )表示激活函数， b表示偏置向量， Wm为与所述权重张量W相对应的过渡权重张量； 将所述过渡输出张量Xm 恢复为。

9、四维张量， 得到所述输出张量 其中m表示输入样本数， h 、 w 分别表示所述输出张量的高和宽， n表示卷积核数。 8.一种输入特征分解的高效CNN推理装置， 其特征在于， 包括： 行表征矩阵构建模块， 被配置为利用卷积神经网络卷积层的权重张量对输入张量进行 降维展开变换， 得到过渡输入张量， 并对所述过渡输入张量进行采样操作， 得到行表征矩 阵； 列表征矩阵构建模块， 被配置为根据所述行表征矩阵对所述过渡输入张量进行采样操 作， 得到列表征矩阵； 核心表征矩阵构建模块， 被配置为根据所述过渡输入张量、 所述行表征矩阵与所述列 表征矩阵， 计算确定核心表征矩阵； 推理计算模块， 被配置为调整所。

10、述行表征矩阵、 所述列表征矩阵、 所述核心表征矩阵与 所述权重张量间的相乘顺序， 使计算复杂度最低， 根据相乘结果确定输出张量。 权利要求书 2/2 页 3 CN 111310895 A 3 一种输入特征分解的高效CNN推理方法与装置 技术领域 0001 本说明书一个或多个实施例涉及机器学习技术领域， 尤其涉及一种输入特征分解 的高效CNN推理方法与装置。 背景技术 0002 随着深度学习研究不断发展， 相关应用迅速普及， 在社会生活、 经济发展、 科学研 究等领域发挥着越来越重要的作用， 而其中最具代表性的技术是深度神经网络。 随着需要 解决的问题难度的增大， 新的神经网络模型结构越来越复杂。

11、， 完成深度神经网络的训练和 推理需要耗费极大的计算资源。 其中训练过程对计算资源的要求极高并且往往需要人工调 整参数， 可以将此阶段部署在在计算资源丰富的数据中心或云服务器上， 但是同样的解决 方法并不适合用于深度CNN的推理阶段。 降低深度CNN推理计算复杂度， 使其能够在海量的 边缘设备或嵌入式设备中完成本地推理和决策无疑是一个需求急切且潜力巨大的发展方 向 发明内容 0003 有鉴于此， 本说明书一个或多个实施例的目的在于提出一种输入特征分解的高效 CNN推理方法与装置， 以解决深度卷积神经网络推理计算复杂度高的问题。 0004 基于上述目的， 本说明书一个或多个实施例提供了一种输入特。

12、征分解的高效CNN 推理方法， 包括： 0005 根据卷积神经网络卷积层的权重张量对输入张量进行降维展开变换， 得到过渡输 入张量； 0006 对所述过渡输入张量进行行采样操作， 得到行表征矩阵； 0007 根据所述行表征矩阵对所述过渡输入张量进行列采样操作， 得到列表征矩阵； 0008 根据所述过渡输入张量、 所述行表征矩阵与所述列表征矩阵， 计算确定核心表征 矩阵； 0009 调整所述行表征矩阵、 所述列表征矩阵、 所述核心表征矩阵与所述权重张量间的 相乘顺序， 使计算复杂度最低， 根据相乘结果确定输出张量。 0010 可选的， 根据卷积神经网络卷积层的权重张量对输入张量进行降维展开变换，。

13、 得 到过渡输入张量， 包括： 0011所述卷积层的输入张量为权重张量为 0012 其中， m表示输入样本数， h、 w分别表示所述输入张量的高和宽， c表示所述输入张 量的通道数， k,l分别表示所述卷积层卷积核的高和宽， n表示卷积核数； 0013对所述权重张量W的前三个维度进行合并， 得到过渡权重张量确定 所述过渡权重张量的大小， 其中a为权重合并维度， aklc； 0014 根据所述过渡权重张量的大小， 将所述输入张量X展开得到所述过渡输入张量Xm： 0015 Xmunfold(X,height,width,strides,padding) 说明书 1/8 页 4 CN 1113108。

14、95 A 4 0016其中，b为输入展开维度， unfold()为展开函数， 展开参数height k,widthl， strides表示扫描步长， padding表示边缘填充。 0017 可选的， 所述对所述过渡输入张量进行行采样操作， 得到行表征矩阵， 包括： 0018 对所述过渡输入张量Xm进行行采样， 选取所述过渡输入张量中的t(ta)行构 建行采样矩阵利用所述行采样矩阵Sr对所述过渡输入张量Xm进行采样， 得到 所述行表征矩阵R： 0019 0020 可选的， 所述根据所述行表征矩阵对所述过渡输入张量进行采样操作， 得到列表 征矩阵， 包括： 0021 对所述过渡输入张量Xm进行列采。

15、样， 选取所述过渡输入张量Xm中的s(sb)列构 建列采样矩阵利用所述列采样矩阵Sc对所述过渡输入张量Xm进行采样， 得到所 述列表征矩阵C： 0022 0023 可选的， 所述对所述过渡输入张量Xm进行列采样， 选取所述过渡输入张量Xm中的s (s1,b)列构建列采样矩阵时， 所述过渡输入张量Xm中每一列被采样选中的 概率为所述行表征矩阵中列向量平方和与所有元素平方和之比： 0024 Pp1,p2,paT 0025 0026 其中， ri,j表示所述行表征矩阵R中位于第i行， 第j列的元素， ri,q表示所述行表征 矩阵R中位于第i行， 第q列的元素， P表示采样概率向量。 0027 可选的。

16、， 所述根据所述过渡输入张量、 所述行表征矩阵与所述列表征矩阵， 计算确 定核心表征矩阵， 包括： 0028 根据所述行表征矩阵相应的行采样矩阵与所述列表征矩阵相应的列采样矩阵以 及所述过渡输入张量确定行列采样的交叉矩阵V： 0029 VSrTXmSc 0030 其中， Sr,Sc分别表示所述行采样矩阵与所述列采样矩阵， Xm表示所述过渡输入张 量； 0031 根据所述交叉矩阵V计算确定所述核心表征矩阵U： 0032 0033其中，表示对所述交叉矩阵V进行伪逆运算， 所述核心表征矩阵 0034 可选的， 所述调整所述行表征矩阵、 所述列表征矩阵、 所述核心表征矩阵与所述权 重张量间的相乘顺序，。

17、 使计算复杂度最低， 根据相乘结果确定输出张量， 包括： 0035 控制所述行表征矩阵R、 所述列表征矩阵C、 所述核心表征矩阵U与所述权重张量W 的相乘顺序， 再相乘计算量最低的情况下确定乘积结果； 说明书 2/8 页 5 CN 111310895 A 5 0036 根据所述乘积结果计算确定过渡输出张量： 0037 Xm f(C(URWm)+b) 0038其中， Xm 表示过渡输出张量，f()表示激活函数， b表示偏置向量， Wm为与所述权重张量W相对应的过渡权重张量； 0039 将 所 述 过 渡 输 出 张 量 Xm 恢 复 为 四 维 张 量 ， 得 到 所 述 输 出 张 量 其中m。

18、表示输入样本数， h 、 w 分别表示所述输出张量的高和宽， n表 示卷积核数。 0040 基于上述目的， 本说明书一个或多个实施例提供了一种输入特征分解的高效CNN 推理装置， 包括： 0041 行表征矩阵构建模块， 被配置为利用卷积神经网络卷积层的权重张量对输入张量 进行降维展开变换， 得到过渡输入张量， 对所述过渡输入张量进行采样操作， 得到行表征矩 阵； 0042 列表征矩阵构建模块， 被配置为根据所述行表征矩阵对所述过渡输入张量进行采 样操作， 得到列表征矩阵； 0043 核心表征矩阵构建模块， 被配置为根据所述过渡输入张量、 所述行表征矩阵与所 述列表征矩阵， 计算确定核心表征矩阵。

19、； 0044 推理计算模块， 被配置为调整所述行表征矩阵、 所述列表征矩阵、 所述核心表征矩 阵与所述权重张量间的相乘顺序， 使计算复杂度最低， 根据相乘结果确定输出张量。 0045 从上面所述可以看出， 本说明书一个或多个实施例提供的输入特征分解的高效 CNN推理方法与装置， 在传统的CNN推理计算框架中引入了一种新型输入特征的低维表征机 制， 从输入特征入手， 利用和借鉴了高维矩阵逼近的思想， 利用多个低维矩阵近似表征高维 输入矩阵， 继而在推理计算中将高维大矩阵的乘法替换成多个低维小矩阵的乘法运算， 能 够大大降低推理计算的时间复杂度， 同时还能够与卷积核压缩的方法相结合， 分别对输入 。

20、和卷积核进行优化， 能够更进一步地加速深度CNN的推理计算， 可以很好解决推理计算复杂 度高的问题。 附图说明 0046 为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案， 下面将 对实施例或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的 附图仅仅是本说明书一个或多个实施例， 对于本领域普通技术人员来讲， 在不付出创造性 劳动的前提下， 还可以根据这些附图获得其他的附图。 0047 图1为本说明书一个或多个实施例所提供的一种输入特征分解的高效CNN推理方 法示意图； 0048 图2为本说明书一个或多个实施例所提供的一种输入特征分解的高效CNN推理方 法中。

21、输入张量降维展开方法示意图； 0049 图3为本说明书一个或多个实施例所提供的一种输入特征分解的高效CNN推理方 法中权重张量展开示意图； 0050 图4为本说明书一个或多个实施例所提供的一种输入特征分解的高效CNN推理方 说明书 3/8 页 6 CN 111310895 A 6 法中输入张量展开示意图； 0051 图5为本说明书一个或多个实施例所提供的一种输入特征分解的高效CNN推理装 置示意图。 具体实施方式 0052 为使本公开的目的、 技术方案和优点更加清楚明白， 以下结合具体实施例， 并参照 附图， 对本公开进一步详细说明。 0053 需要说明的是， 除非另外定义， 本说明书一个或多。

22、个实施例使用的技术术语或者 科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。 本说明书一个 或多个实施例中使用的 “第一” 、“第二” 以及类似的词语并不表示任何顺序、 数量或者重要 性， 而只是用来区分不同的组成部分。“包括” 或者 “包含” 等类似的词语意指出现该词前面 的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同， 而不排除其他元件或 者物件。“连接” 或者 “相连” 等类似的词语并非限定于物理的或者机械的连接， 而是可以包 括电性的连接， 不管是直接的还是间接的。“上” 、“下” 、“左” 、“右” 等仅用于表示相对位置关 系， 当被描述对象的绝对位置改。

23、变后， 则该相对位置关系也可能相应地改变。 0054 随着深度学习研究不断发展， 相关应用迅速普及， 在社会生活、 经济发展、 科学研 究等领域发挥着越来越重要的作用， 而其中最具代表性的技术是深度神经网络。 随着需要 解决的问题难度的增大， 新的神经网络模型结构越来越复杂， 完成深度神经网络的训练和 推理需要耗费极大的计算资源。 其中训练过程对计算资源的要求极高并且往往需要人工调 整参数， 可以将此阶段部署在在计算资源丰富的数据中心或云服务器上， 但是同样的解决 方法并不适合用于深度CNN的推理阶段。 降低深度CNN推理计算复杂度， 使其能够在海量的 边缘设备或嵌入式设备中完成本地推理和决策。

24、无疑是一个需求急切且潜力巨大的发展方 向 0055 本发明方法与装置从高维输入特征分解的全新角度出发， 改进了深度CNN推理计 算机制， 用多个低维矩阵来近似表征高维输入矩阵， 将高维大矩阵的乘法运算替代成多个 低复杂度的低维小矩阵运算， 从而在不牺牲CNN的推理精度的前提下， 显著降低推理过程的 计算复杂度， 实现高效的轻量级CNN推理计算。 0056 在一方面， 本说明书的一个或多个实施例提供了一种输入特征分解的高效CNN推 理方法。 0057 如图1所示， 本说明书一个或多个实施例提供的输入特征分解的卷积神经网络推 理方法， 包括 0058 S1： 根据卷积神经网络卷积层的权重张量对输入。

25、张量进行降维展开变换， 得到过 渡输入张量； 0059 S2： 对所述过渡输入张量进行行采样操作， 得到行表征矩阵； 0060 S3： 根据所述行表征矩阵对所述过渡输入张量进行列采样操作， 得到列表征矩阵； 0061 S4： 根据所述过渡输入张量、 所述行表征矩阵与所述列表征矩阵， 计算确定核心表 征矩阵； 0062 S5： 调整所述行表征矩阵、 所述列表征矩阵、 所述核心表征矩阵与所述权重张量间 的相乘顺序， 使计算复杂度最低， 根据相乘结果确定输出张量。 说明书 4/8 页 7 CN 111310895 A 7 0063 本说明书一个或多个实施例提供的输入特征分解的高效CNN推理方法， 在。

26、传统的 CNN推理计算框架中引入了一种新型输入特征的低维表征机制， 从输入特征入手， 利用和借 鉴了高维矩阵逼近的思想， 利用多个低维矩阵近似表征高维输入矩阵， 继而在推理计算中 将高维大矩阵的乘法替换成多个低维小矩阵的乘法运算， 能够大大降低推理计算的时间复 杂度， 同时还能够与卷积核压缩的方法相结合， 分别对输入和卷积核进行优化， 能够更进一 步地加速深度CNN的推理计算， 可以很好解决推理计算复杂度高的问题。 0064 如图2所示， 在本说明书的一个或多个实施例提供的输入特征分解的高效CNN推理 方法中， 所述根据卷积神经网络卷积层的权重张量对输入张量进行降维展开变换， 得到过 渡输入张。

27、量S1， 包括： 0065所述卷积层的输入张量为权重张量为 0066 其中， m表示输入样本数， h、 w分别表示所述输入张量的高和宽， c表示所述输入张 量的通道数， k、 l分别表示所述卷积层卷积核的高和宽， n表示卷积核数， 表示所述输入张量X为大小是mhwc的高维矩阵， 同样的， 所述权重张量W为大小是k lcn的高维矩阵； 0067S11： 对所述权重张量W的前三个维度进行合并， 得到过渡权重张量 其中a为权重合并维度， aklc， 参考图3所示， 为高维权重张量展开的过程示意图， 经过维 度合并将四维权重矩阵转化为二维的过渡权重矩阵； 0068 S12： 根据所述过渡权重张量的大小。

28、， 将所述输入张量X展开得到所述过渡输入张 量Xm： 0069 Xmunfold(X,height,width,strides,padding) 0070其中，b为输入展开维度， unfold()为展开函数， 展开参数height k,widthl， strides表示扫描步长， padding表示边缘填充。 0071 在一些可选实施例中， 扫描步长为1时， 所述输入展开维度b(m(h-k+1)(w-l+ 1)。 0072 如图4所示， 为高维输入张量展开的过程示意图， 经过展开将四维输入权重矩阵转 化为二维的过渡输入矩阵； 0073 所述输入特征分解的高效CNN推理方法中， 首先将卷积层的权。

29、重张量进行维度合 并， 将表征卷积核的权重张量转换为低维矩阵表示， 将卷积核相关的高、 宽以及通道数三个 参量合并为一个维度， 根据权重张量的转换结果利用展开函数将所述输入张量展开为低维 矩阵形式。 根据卷积核的高、 宽、 扫描步长以及边缘填充参数将高维的输入张量X进行展开， 得到低维过渡输入张量Xm， 能够保证高维矩阵的降维展开后得到的矩阵中原张量所涵盖的 信息不丢失， 使得推理精度得到保障。 0074 在本说明书的一个或多个实施例提供的输入特征分解的高效CNN推理方法中， 所 述对所述过渡输入张量进行行采样操作， 得到行表征矩阵S2， 包括： 0075 对所述过渡输入张量Xm进行行采样， 。

30、选取所述过渡输入张量中的t(t1,a， 且t a)行构建行采样矩阵利用所述行采样矩阵Sr对所述过渡输入张量Xm进行 采样， 得到所述行表征矩阵R： 说明书 5/8 页 8 CN 111310895 A 8 0076 0077 在对所述过渡输入张量Xm进行行采样时， 一种可选的方式是均匀采样， 所述过渡 输入张量Xm中每行被选中采样的概率相同pdt/b. 0078 所述输入特征分解的高效CNN推理方法中， 对低维矩阵形式的过渡输入张量进行 行采样， 得到表征所述输入张量行相关信息的行表征矩阵， 通过这样的方法将高维输入张 量中的行相关信息分解出来， 降低了矩阵计算的维度， 能够降低推理过程的计算。

31、复杂度。 0079 在本说明书的一个或多个实施例提供的输入特征分解的高效CNN推理方法中， 所 述根据所述行表征矩阵对所述过渡输入张量进行采样操作， 得到列表征矩阵S3， 包括： 0080 对所述过渡输入张量Xm进行列采样， 选取所述过渡输入张量Xm中的s(s1,b， 且 sb)列构建列采样矩阵利用所述列采样矩阵Sc对所述过渡输入张量Xm进行 采样， 得到所述列表征矩阵C： 0081 0082 所述输入特征分解的卷积神经网络推理方法中， 在得到表征所述输入张量行相关 信息的行表征矩阵之后， 相应的通过列采样的方式继续从所述过渡输入张量中分解获取得 到表征列相关信息的列表征矩阵， 降低矩阵计算的。

32、维度， 能够降低推理过程的计算复杂度。 0083 在本说明书的一个或多个实施例提供的输入特征分解的高效CNN推理方法中， 所 述对所述过渡输入张量Xm进行列采样， 选取所述过渡输入张量Xm中的s(s1,b且sb) 列构建列采样矩阵时， 所述过渡输入张量Xm中每一列被采样选中的概率为所述 行表征矩阵中列向量平方和与所有元素平方和之比： 0084 Pp1,p2,paT 0085 0086 其中， ri,j表示所述行表征矩阵R中位于第i行， 第j列的元素， ri,q表示所述行表征 矩阵R中位于第i行， 第q列的元素， P表示采样概率向量。 0087 所述输入特征分解的卷积神经网络推理方法中， 对过渡。

33、输入张量Xm进行列采样 时， 采用概率采样方式， 每一列选中的概率根据之前所确定的行表征矩阵来确定， 从而能够 保证利用构建得到的列采样矩阵Sc从所述过渡输入张量Xm中采样得到的所述列表征矩阵C 与所述行采样矩阵R相对应。 0088 在本说明书的一个或多个实施例提供的输入特征分解的高效CNN推理方法中， 所 述根据所述过渡输入张量、 所述行表征矩阵与所述列表征矩阵， 计算确定核心表征矩阵S4， 包括： 0089 根据所述行表征矩阵相应的行采样矩阵与所述列表征矩阵相应的列采样矩阵以 及所述过渡输入张量确定行列采样的交叉矩阵V： 0090 VSrTXmSc 0091 其中， Sr,Sc分别表示所述。

34、行采样矩阵与所述列采样矩阵， Xm表示所述过渡输入张 量； 0092 根据所述交叉矩阵V计算确定所述核心表征矩阵U： 说明书 6/8 页 9 CN 111310895 A 9 0093 0094其中，表示对所述交叉矩阵V进行伪逆运算， 所述核心表征矩阵 0095 所述输入特征分解的高效CNN推理方法中， 在从过渡输入矩阵中采样分解出分别 与行、 列相关信息相应的行表征矩阵和列表征矩阵之后， 进一步的根据行、 列采样矩阵， 确 定行列间相关联的核心表征矩阵， 由此得到的三个低维表征矩阵能够全面的表征和涵盖原 输入矩阵中的信息， 利用三个低维表征矩阵进行推理计算的结果， 其推理精度不会受到影 响。。

35、 0096 在本说明书的一个或多个实施例提供的输入特征分解的高效CNN推理方法中， 所 述调整所述行表征矩阵、 所述列表征矩阵、 所述核心表征矩阵与所述权重张量间的相乘顺 序， 使计算复杂度最低， 根据相乘结果确定输出张量S5， 包括： 0097 控制所述行表征矩阵R、 所述列表征矩阵C、 所述核心表征矩阵U与所述权重张量W 的相乘顺序， 再相乘计算量最低的情况下确定乘积结果； 0098 根据所述乘积结果计算确定过渡输出张量： 0099 Xm f(C(URWm)+b) 0100其中， Xm 表示过渡输出张量，f()表示激活函数， b表示偏置向量， Wm为与所述权重张量W相对应的过渡权重张量； 。

36、0101 将所述过渡输出张量Xm 恢复为四维张量， 在扫描步长为1时， 得到所述输出张量 其中m表示输入样本数， h 、 w 分别表示所述输出张量的高和宽， n表 示卷积核数。 0102 所述输入特征分解的高效CNN推理方法中， 将输入张量分解为三个低维表征矩阵 之后， 推理过程就转化为三个低维表征矩阵与权重矩阵相乘， 调整矩阵间乘法顺序， 进一步 将计算复杂度降低， 所述实施方式中所展示方法的计算复杂度约为O(asn+bsn+ast)， 远小 于现有推理过程方法中的计算复杂度O(abn)， 由此可以看出本发明方法的大大降低了卷积 网络前向推理的计算复杂度。 0103 在一方面， 本说明书的一。

37、个或多个实施例提供了一种输入特征分解的高效CNN推 理装置。 0104 如图5所示， 本说明书的一个或多个实施例提供的输入特征分解的卷积神经网络 推理装置， 包括： 0105 行表征矩阵构建模块1， 被配置为利用卷积神经网络卷积层的权重张量对输入张 量进行降维展开变换， 得到过渡输入张量， 并对所述过渡输入张量进行采样操作， 得到行表 征矩阵； 0106 列表征矩阵构建模块2， 被配置为根据所述行表征矩阵对所述过渡输入张量进行 采样操作， 得到列表征矩阵； 0107 核心表征矩阵构建模块3， 被配置为根据所述过渡输入张量、 所述行表征矩阵与所 述列表征矩阵， 计算确定核心表征矩阵； 0108 。

38、推理计算模块4， 被配置为调整所述行表征矩阵、 所述列表征矩阵、 所述核心表征 矩阵与所述权重张量间的相乘顺序， 使计算复杂度最低， 根据相乘结果确定输出张量。 说明书 7/8 页 10 CN 111310895 A 10 0109 上述实施例的装置用于实现前述实施例中相应的方法， 并且具有相应的方法实施 例的有益效果， 在此不再赘述。 0110 为了描述的方便， 描述以上装置时以功能分为各种模块分别描述。 当然， 在实施本 说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。 0111 所属领域的普通技术人员应当理解： 以上任何实施例的讨论仅为示例性的， 并非 旨在。

39、暗示本公开的范围(包括权利要求)被限于这些例子； 在本公开的思路下， 以上实施例 或者不同实施例中的技术特征之间也可以进行组合， 步骤可以以任意顺序实现， 并存在如 上所述的本说明书一个或多个实施例的不同方面的许多其它变化， 为了简明它们没有在细 节中提供。 0112 另外， 为简化说明和讨论， 并且为了不会使本说明书一个或多个实施例难以理解， 在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/ 接地连接。 此外， 可以以框图的形式示出装置， 以便避免使本说明书一个或多个实施例难以 理解， 并且这也考虑了以下事实， 即关于这些框图装置的实施方式的细节是高度取决于。

40、将 要实施本说明书一个或多个实施例的平台的(即， 这些细节应当完全处于本领域技术人员 的理解范围内)。 在阐述了具体细节(例如， 电路)以描述本公开的示例性实施例的情况下， 对本领域技术人员来说显而易见的是， 可以在没有这些具体细节的情况下或者这些具体细 节有变化的情况下实施本说明书一个或多个实施例。 因此， 这些描述应被认为是说明性的 而不是限制性的。 0113 尽管已经结合了本公开的具体实施例对本公开进行了描述， 但是根据前面的描 述， 这些实施例的很多替换、 修改和变型对本领域普通技术人员来说将是显而易见的。 例 如， 其它存储器架构(例如， 动态RAM(DRAM)可以使用所讨论的实施例。 0114 本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有 这样的替换、 修改和变型。 因此， 凡在本说明书一个或多个实施例的精神和原则之内， 所做 的任何省略、 修改、 等同替换、 改进等， 均应包含在本公开的保护范围之内。 说明书 8/8 页 11 CN 111310895 A 11 图1 图2 说明书附图 1/3 页 12 CN 111310895 A 12 图3 图4 说明书附图 2/3 页 13 CN 111310895 A 13 图5 说明书附图 3/3 页 14 CN 111310895 A 14 。