忆阻神经网络的训练方法、装置、设备及存储介质.pdf

《忆阻神经网络的训练方法、装置、设备及存储介质.pdf》由会员分享，可在线阅读，更多相关《忆阻神经网络的训练方法、装置、设备及存储介质.pdf（20页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010390038.X (22)申请日 2020.05.11 (71)申请人 中国人民解放军国防科技大学 地址 410000 湖南省长沙市开福区德雅路 109号 (72)发明人 刘海军李智炜李清江孙盛阳 李楠徐晖刁节涛陈长林 宋兵刘森王义楠王伟 于红旗步凯王玺 (74)专利代理机构 北京超成律师事务所 11646 代理人 裴素英 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 忆阻神经网络的训练方法、 装。

2、置、 设备及存 储介质 (57)摘要 本申请提供一种忆阻神经网络的训练方法、 装置、 设备及存储介质， 涉及硬件神经网络技术 领域。 该方法包括： 对忆阻交叉阵列进行读写操 作， 确定忆阻交叉阵列中的已损坏忆阻单元； 根 据已损坏忆阻单元在忆阻交叉阵列中的位置， 确 定已损坏忆阻单元的目标阻态模式； 根据目标阻 态模式， 采用预设的权值网络算法进行训练， 得 到忆阻交叉阵列的权值集合， 权值集合中每个权 值参数对应一个忆阻单元， 权值集合中已损坏忆 阻单元对应的权值参数为： 目标阻态模式对应的 权值参数。 本申请可在考虑忆阻交叉阵列的良率 即已损坏忆阻单元的情况下， 实现忆阻神经网络 的训练，。

3、 提高忆阻神经网络计算精度。 权利要求书2页 说明书13页 附图4页 CN 111476356 A 2020.07.31 CN 111476356 A 1.一种忆阻神经网络的训练方法， 其特征在于， 包括： 对忆阻神经网络中的忆阻交叉阵列进行读写操作， 确定所述忆阻交叉阵列中的已损坏 忆阻单元； 根据所述已损坏忆阻单元在所述忆阻交叉阵列中的位置， 确定所述已损坏忆阻单元的 目标阻态模式； 根据所述目标阻态模式， 采用预设的权值网络算法进行训练， 得到所述忆阻交叉阵列 的权值集合， 其中， 所述权值集合中每个权值参数对应所述忆阻交叉阵列中的一个忆阻单 元， 所述权值集合中所述已损坏忆阻单元对应的。

4、权值参数为： 所述目标阻态模式对应的权 值参数。 2.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 根据预设的权值参数阈值， 对所述每个权值参数的值进行修正， 得到修正后的权值集 合， 所述修正后的权值集合中每个权值参数的值为预设的量化权值。 3.根据权利要求2所述的方法， 其特征在于， 所述根据预设的权值参数阈值， 对所述权 值集合中每个权值参数的值进行修正， 得到修正后的权值集合之前， 所述方法还包括： 根据所述权值集合的大小， 以及所述权值集合中各权值参数的值， 确定所述权值参数 阈值。 4.根据权利要求2所述的方法， 其特征在于， 所述根据预设的权值参数阈值， 对所述权 。

5、值集合中每个权值参数的值进行修正， 得到修正后的权值集合， 包括： 根据所述权值集合中每个权值参数的值与所述权值参数阈值进行比较； 根据比较结果， 对所述每个权值参数进行修正， 使得修正后的所述每个权值参数的值 为所述比较结果对应的量化权值。 5.根据权利要求4所述的方法， 其特征在于， 若所述忆阻单元包括两个忆阻器， 所述预 设的权值网络算法为三元权值网络算法， 则所述根据比较结果， 对所述每个权值参数进行 修正， 使得修正后的所述每个权值参数的值为所述比较结果对应的量化权值， 包括： 若所述每个权值参数的值小于负的所述权值参数阈值， 则将所述每个权值参数的值修 正为第一量化权值； 或者， 。

6、若所述每个权值参数的绝对值小于或等于所述权值参数阈值， 则将所述每个权值参数 的值修正为第二量化权值； 或者， 若所述每个权值参数的值大于所述权值参数阈值， 则将所述每个权值参数的值修正为 第三量化权值。 6.根据权利要求1-5中任一所述的方法， 其特征在于， 若所述忆阻单元包括两个忆阻 器， 则所述目标阻态模式为： 第一阻态模式、 第二阻态模式， 或者， 第三阻态模式； 其中， 所述第一阻态模式用于指示所述两个忆阻器中第一列忆阻器的阻态为固定高阻 态， 第二列忆阻器的阻态为可编程状态， 或者， 所述第一列忆阻器的阻态为可编程状态， 所 述第二列忆阻器的阻态为固定低阻态； 所述第二阻态模式用于。

7、指示所述两个忆阻器中两列忆阻器的阻态均为固定高阻态或 固定低阻态； 所述第三阻态模式用于指示所述第一列忆阻器的阻态为固定低阻态， 所述第二列忆阻 器的阻态为可编程状态， 或者， 所述第一列忆阻器的阻态为可编程状态， 所述第二列忆阻器 权利要求书 1/2 页 2 CN 111476356 A 2 的阻态为固定高阻态。 7.根据权利要求1-5中任一所述的方法， 其特征在于， 所述对忆阻神经网络中的忆阻交 叉阵列进行读写操作， 确定所述忆阻交叉阵列中的已损坏忆阻单元， 包括： 对所述忆阻交叉阵列中每个忆阻单元进行读写操作， 以确定所述忆阻单元的阻态是否 变化； 若所述忆阻交叉阵列中存在阻态不变化的忆。

8、阻单元， 则确定所述阻态不变化的忆阻单 元为所述已损坏忆阻单元。 8.一种忆阻神经网络的训练装置， 其特征在于， 包括： 读写操作， 用于对忆阻神经网络中的忆阻交叉阵列进行读写操作， 确定所述忆阻交叉 阵列中的已损坏忆阻单元； 训练模块， 用于根据所述已损坏忆阻单元在所述忆阻交叉阵列中的位置， 确定所述已 损坏忆阻单元的目标阻态模式， 并根据所述目标阻态模式， 采用预设的权值网络算法进行 训练， 得到所述忆阻神经网络中忆阻交叉阵列的权值集合， 其中， 所述权值集合中每个权值 参数对应所述忆阻交叉阵列中的一个忆阻单元， 所述权值集合中所述已损坏忆阻单元对应 的权值参数为： 所述目标阻态模式对应的。

9、权值参数。 9.一种计算机设备， 其特征在于， 包括： 存储器和处理器， 所述存储器存储有所述处理 器可执行的计算机程序， 所述处理器执行所述计算机程序时实现上述权利要求1-7任一项 所述的忆阻神经网络的训练方法。 10.一种存储介质， 其特征在于， 所述存储介质上存储有计算机程序， 所述计算机程序 被读取并执行时， 实现上述权利要求1-7任一项所述的忆阻神经网络的训练方法。 权利要求书 2/2 页 3 CN 111476356 A 3 忆阻神经网络的训练方法、 装置、 设备及存储介质 技术领域 0001 本发明涉及硬件神经网络技术领域， 具体而言， 涉及一种忆阻神经网络的训练方 法、 装置、。

10、 设备及存储介质。 背景技术 0002 随着对于忆阻器技术的研究， 基于忆阻器的神经网络的研究以及应用也越来越 多。 0003 基于忆阻器的神经网络也可称为忆阻神经网络， 其可通过忆阻交叉阵列模拟矢量 矩阵乘法计算， 从而提高计算效率， 但同时， 也增加了功耗和实现复杂度。 同时， 忆阻交叉阵 列的良率仍是忆阻神经网络的主要问题。 0004 如何在考虑忆阻交叉阵列的良率的情况下实现忆阻神经网络的训练， 对提高忆阻 神经网络计算精度显的格外重要。 发明内容 0005 本发明的目的在于， 针对上述现有技术中的不足， 提供一种忆阻神经网络的训练 方法、 装置、 设备及存储介质， 以在考虑忆阻交叉阵列。

11、的良率的情况下， 实现忆阻神经网络 的训练， 提高忆阻神经网络的计算精度。 0006 为实现上述目的， 本发明实施例采用的技术方案如下： 0007 第一方面， 本发明实施例提供了一种忆阻神经网络的训练方法， 所述方法包括： 0008 对忆阻神经网络中的忆阻交叉阵列进行读写操作， 确定所述忆阻交叉阵列中的已 损坏忆阻单元； 0009 根据所述已损坏忆阻单元在所述忆阻交叉阵列中的位置， 确定所述已损坏忆阻单 元的目标阻态模式； 0010 根据所述目标阻态模式， 采用预设的权值网络算法进行训练， 得到所述忆阻交叉 阵列的权值集合， 其中， 所述权值集合中每个权值参数对应所述忆阻交叉阵列中的一个忆 阻。

12、单元， 所述权值集合中所述已损坏忆阻单元对应的权值参数为： 所述目标阻态模式对应 的权值参数。 0011 可选的， 所述方法还包括： 0012 根据预设的权值参数阈值， 对所述每个权值参数的值进行修正， 得到修正后的权 值集合， 所述修正后的权值集合中每个权值参数的值为预设的量化权值。 0013 可选的， 所述根据预设的权值参数阈值， 对所述权值集合中每个权值参数的值进 行修正， 得到修正后的权值集合之前， 所述方法还包括： 0014 根据所述权值集合的大小， 以及所述权值集合中各权值参数的值， 确定所述权值 参数阈值。 0015 可选的， 所述根据预设的权值参数阈值， 对所述权值集合中每个权。

13、值参数的值进 行修正， 得到修正后的权值集合， 包括： 说明书 1/13 页 4 CN 111476356 A 4 0016 根据所述权值集合中每个权值参数的值与所述权值参数阈值进行比较； 0017 根据比较结果， 对所述每个权值参数进行修正， 使得修正后的所述每个权值参数 的值为所述比较结果对应的量化权值。 0018 可选的， 若所述忆阻单元包括两个忆阻器， 所述预设的权值网络算法为三元权值 网络算法， 则所述根据比较结果， 对所述每个权值参数进行修正， 使得修正后的所述每个权 值参数的值为所述比较结果对应的量化权值， 包括： 0019 若所述每个权值参数的值小于负的所述权值参数阈值， 则将。

14、所述每个权值参数的 值修正为第一量化权值； 或者， 0020 若所述每个权值参数的绝对值小于或等于所述权值参数阈值， 则将所述每个权值 参数的值修正为第二量化权值； 或者， 0021 若所述每个权值参数的值大于所述权值参数阈值， 则将所述每个权值参数的值修 正为第三量化权值。 0022 可选的， 若所述忆阻单元包括两个忆阻器， 则所述目标阻态模式为第一阻态模式、 第二阻态模式， 或者， 第三阻态模式； 0023 其中， 所述第一阻态模式用于指示所述两个忆阻器中第一列忆阻器的阻态为固定 高阻态， 第二列忆阻器的阻态为可编程状态， 或者， 所述第一列忆阻器的阻态为可编程状 态， 所述第二列忆阻器的。

15、阻态为固定低阻态； 0024 所述第二阻态模式用于指示所述两个忆阻器中两列忆阻器的阻态均为固定高阻 态或固定低阻态； 0025 所述第三阻态模式用于指示所述第一列忆阻器的阻态为固定低阻态， 所述第二列 忆阻器的阻态为可编程状态， 或者， 所述第一列忆阻器的阻态为可编程状态， 所述第二列忆 阻器的阻态为固定高阻态。 0026 可选的， 所述对忆阻神经网络中的忆阻交叉阵列进行读写操作， 确定所述忆阻交 叉阵列中的已损坏忆阻单元， 包括： 0027 对所述忆阻交叉阵列中每个忆阻单元进行读写操作， 以确定所述忆阻单元的阻态 是否变化； 0028 若所述忆阻交叉阵列中存在阻态不变化的忆阻单元， 则确定所。

16、述阻态不变化的忆 阻单元为所述已损坏忆阻单元。 0029 第二方面， 本申请实施例还提供一种忆阻神经网络的训练装置， 所述方法包括： 0030 读写操作， 用于对忆阻神经网络中的忆阻交叉阵列进行读写操作， 确定所述忆阻 交叉阵列中的已损坏忆阻单元； 0031 训练模块， 用于根据所述已损坏忆阻单元在所述忆阻交叉阵列中的位置， 确定所 述已损坏忆阻单元的目标阻态模式； 并根据所述目标阻态模式， 采用预设的权值网络算法 进行训练， 得到所述忆阻神经网络中忆阻交叉阵列的权值集合； 0032 其中， 所述权值集合中每个权值参数对应所述忆阻交叉阵列中的一个忆阻单元， 所述权值集合中所述已损坏忆阻单元对应。

17、的权值参数为： 所述目标阻态模式对应的权值参 数。 0033 第三方面， 本申请实施例还提供一种计算机设备， 包括： 存储器和处理器， 所述存 储器存储有所述处理器可执行的计算机程序， 所述处理器执行所述计算机程序时实现上述 说明书 2/13 页 5 CN 111476356 A 5 第一方面所提供的任一忆阻神经网络的训练方法。 0034 第四方面， 本申请实施例还提供一种存储介质， 所述存储介质上存储有计算机程 序， 所述计算机程序被读取并执行时， 实现上述第一方面所提供的任一忆阻神经网络的训 练方法。 0035 本申请的有益效果是： 0036 本申请所提供的忆阻神经网络的训练方法、 装置、。

18、 设备及存储介质中， 可对忆阻神 经网络中的忆阻交叉阵列进行读写操作， 确定该忆阻交叉阵列中的已损坏忆阻单元， 并根 据该已损坏忆阻单元在该忆阻交叉阵列中的位置， 确定该已损坏忆阻单元的目标阻态模 式， 继而根据该目标阻态模式， 采用预设的权值网络算法进行训练， 得到该忆阻交叉阵列的 权值集合， 其中， 该权值集合中每个权值参数对应该忆阻交叉阵列中的一个忆阻单元， 该权 值集合中该已损坏忆阻单元对应的权值参数为： 该目标阻态模式对应的权值参数。 在该忆 阻神经网络的训练方法中， 可基于确定的该已损坏忆阻单元的位置， 确定该已损坏忆阻单 元的目标阻态模式， 继而根据该目标阻态模式进行神经网络的训。

19、练， 即充分考虑了忆阻神 进网络中忆阻交叉阵列的忆阻单元的良率情况， 使得训练得到的忆阻交叉阵列的权值集 合， 与忆阻交叉阵列更匹配， 也更准确， 有效保证基于该权值集合对忆阻交叉阵列中忆阻单 元的阻态控制更准确， 从而保证忆阻神经网络的计算处理精度。 附图说明 0037 为了更清楚地说明本发明实施例的技术方案， 下面将对实施例中所需要使用的附 图作简单地介绍， 应当理解， 以下附图仅示出了本发明的某些实施例， 因此不应被看作是对 范围的限定， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这 些附图获得其他相关的附图。 0038 图1为本申请实施例提供的一种忆阻神经网。

20、络的训练方法的流程示意图； 0039 图2为本申请实施例提供的另一种忆阻神经网络的训练方法的流程示意图； 0040 图3为本申请实施例提供的又一种忆阻神经网络的训练方法的流程示意图； 0041 图4为本申请实施例提供的一种忆阻交叉阵列与权值集合的关系图； 0042 图5为本申请实施例提供的再一种忆阻神经网络的训练方法的流程示意图； 0043 图6为本申请实施例提供的训练方法得到的忆阻神经网络与其他训练方法得到的 忆阻神经网络的识别准确度的对比图； 0044 图7为本申请实施例提供的一种忆阻神经网络的训练装置的示意图； 0045 图8为本申请实施例提供的一种计算机设备的示意图。 具体实施方式 0。

21、046 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发明实施例 中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本发明一部分实施例， 而不是全部的实施例。 0047 本申请下述各实施例所提供的忆阻神经网络的训练方法、 装置等， 可用于对忆阻 神经网络进行训练， 以获取该忆阻神经网络中忆阻交叉阵列的权值集合， 继而在该忆阻神 经网络的应用过程中， 采用训练过程中所得到的权值矩阵， 对该忆阻神经网络中的忆阻交 说明书 3/13 页 6 CN 111476356 A 6 叉阵列中各忆阻单元的阻态进行驱动控制， 以实现对应的权值， 继而使得。

22、该忆阻神经网络 实现对应的数据处理等运算。 0048 需要指出的是， 忆阻神经网络， 又称电子神经网络或硬件神经网络， 其可包括至少 一个忆阻交叉阵列， 每个忆阻交叉阵列可为m*n个忆阻单元构成的交叉阵列。 其中， 每个忆 阻单元可由k个忆阻器构成， k为大于或等于2的整数。 因此， 该每个忆阻交叉阵列可包括： m 个行线， nk个列线， 每个行线上连接nk个忆阻器的一端， nk个忆阻器的另一端分别连接nk个 列线。 0049 在该忆阻神经网络的应用中， 即采用该忆阻神经网络进行信息处理的过程中， 可 将待处理的数据转换为模拟电压， 通过每个忆阻交叉阵列的行线(字线)输入， 该每个忆阻 交叉阵。

23、列的列线(位线)输出的电流即为该每个忆阻交叉阵列处理后的数据对应的模拟电 流。 0050 为采用该忆阻神经网络进行信息处理， 可预先对该忆阻神经网络进行训练， 以获 取该忆阻神经网络中每个忆阻交叉阵列所对应的权值集合， 又称权值矩阵。 该权值集合中 的每个权值参数可对应忆阻交叉阵列中的一个忆阻单元。 在获取该每个忆阻交叉阵列对应 的权值集合后， 可通过驱动器或者其它控制设备， 根据每个忆阻交叉阵列的权值集合又称 权值矩阵， 对每个忆阻交叉阵列中忆阻单元的阻态进行控制， 实现对忆阻神经网络的参数 配置。 0051 忆阻交叉阵列对应的权值集合， 直接影响该忆阻交叉阵列的计算准确度以及其所 在忆阻神。

24、经网络的信息处理精度。 因此， 对于忆阻神经网络的处理精度， 该忆阻神经网络的 训练至关重要。 然而， 在目前的技术中， 对忆阻神经网络的训练过程中， 通常是以忆阻交叉 阵列的理想状态进行训练， 这使得， 采用训练得到的权值集合对不够准确， 基于该不够准确 的权值集合对忆阻交叉阵列中忆阻单元的阻态控制不够准确， 难以保证忆阻神经网络的计 算处理精度。 0052 为提高忆阻神经网络的处理计算精度， 本申请实施例提供了下述多种可能的训练 方法， 以在网络训练的过程中， 充分考虑了忆阻神进网络中忆阻交叉阵列的良率情况， 使得 训练得到的忆阻交叉阵列的权值集合， 与忆阻交叉阵列的状态更匹配， 也更准确。

25、， 有效保证 基于该权值集合对忆阻交叉阵列中忆阻单元的阻态控制更准确， 从而保证忆阻神经网络的 计算处理精度。 0053 如下通过多个实例对本申请所提供的忆阻神经网络的训练方法进行示例说明。 图 1为本申请施例提供的一种忆阻神经网络的训练方法的流程示意图， 该忆阻神经网络的训 练方法可由训练设备通过软件和/或硬件的方式实现。 该模型训练设备可由安装有神经网 络训练程序或应用的计算机设备实现， 其例如可以为笔记本电脑、 台式电脑或者其它专用 的模型训练设备。 图1所示， 该方法可包括： 0054 S101、 对忆阻神经网络中的忆阻交叉阵列进行读写操作， 确定该忆阻交叉阵列中 的已损坏忆阻单元。 。

26、0055 在可能的实现方式中， 可根据预设的读写顺序， 对该忆阻交叉阵列的各忆阻单元 进行读写操作。 例如可先根据该预设的写顺序， 对该忆阻交叉阵列的各忆阻单元进行写操 作， 并根据预设的读顺序， 对该忆阻交叉阵列的各忆阻单元进行读操作， 以确定该各忆阻单 元中是否写入数据， 从而根据该读写操作的结果， 确定该忆阻交叉阵列中的已损坏忆阻单 说明书 4/13 页 7 CN 111476356 A 7 元。 0056 一旦该已损坏忆阻单元确定了， 其在该忆阻交叉阵列中的位置便确定了。 该已损 坏忆阻单元在该忆阻交叉阵列中的位置， 例如可包括： 该已损坏忆阻单元在该忆阻单元阵 列中的行列信息， 即其。

27、所在行线的信息以及列线的信息。 0057 S102、 根据该已损坏忆阻单元在该忆阻交叉阵列中的位置， 确定该已损坏忆阻单 元的目标阻态模式。 0058 通过上述S101的读写操作， 所确定的该已损坏忆阻单元， 由于每个忆阻单元内部 还包括： 至少两个忆阻器， 忆阻单元的损坏可以是其中的部分忆阻器损坏， 也可以是全部忆 阻器均损坏引起。 为确定忆阻单元的损坏的忆阻器的阻态， 可采用该S102确定目标阻态模 式， 该目标阻态模式可用于指示该已损坏忆阻单元中所损坏的忆阻器的阻态。 以具有两个 忆阻器的忆阻单元为例， 该目标阻态模式例如可以为三种阻态模式中的任一阻态模式。 0059 该方法中， 可基于。

28、上述所确定的该已损坏忆阻单元在该忆阻交叉阵列中的位置， 以及多种阻态模式确定该已损坏忆阻单元的目标阻态模式。 0060 该目标阻态模式可以为忆阻单元的个数对应的多种阻态模式中的任一阻态模式。 每组阻态模式中可包括： 至少一个忆阻器的阻态为冻结状态如固定高阻态或固定低阻态。 0061 因此， 确定了该已损坏忆阻单元的目标阻态模式， 即准确确定了该已损坏忆阻单 元中实际损坏的忆阻器的阻态。 0062 S103、 根据该目标阻态模式， 采用预设的权值网络算法进行训练， 得到该忆阻交叉 阵列的权值集合。 0063 其中， 该权值集合中每个权值参数对应该忆阻交叉阵列中的一个忆阻单元， 该忆 阻单元包括：。

29、 至少两个忆阻器。 该权值集合中该已损坏忆阻单元对应的权值参数为： 该目标 阻态模式对应的权值参数。 0064 在确定该已损坏忆阻单元的目标阻态模式下， 可基于该目标阻态模式， 采用预设 的阻态模式与权值参数的对应关系， 确定该目标阻态模式对应的权值参数为该已损坏忆阻 单元对应的权值参数。 0065 那么在网络训练过程中， 便可将该已损坏忆阻单元对应的权值参数固定为该目标 阻态模式对应的权值参数， 从而进行网络训练， 得到其它忆阻单元在该已损坏忆阻单元的 作用下， 该其它忆阻单元对应的权值参数， 从而得到该忆阻交叉阵列的权值集合。 0066 可选的， 在具体的应用示例中， 可根据该目标阻态模式。

30、以及该忆阻神经网络的结 构， 采用预设的权值网络算法进行训练， 得到所述忆阻交叉阵列的权值集合。 其中， 该忆阻 神经网络的结构例如可以包括： 该忆阻神经网络的类型， 以及该类型忆阻神经网络中各处 理层的电路结构以及相邻处理层之间的连接关系， 例如其至少可包括： 该忆阻神经网络中 所包括的忆阻交叉阵列的个数， 以及每个忆阻交叉阵列的结构等等。 其中， 该忆阻神经网络 的类型例如可以为忆阻卷积神经网络、 忆阻多层感知机又称忆阻多层感知神经网络、 或者 其它类型的忆阻神经网络等。 0067 该预设的权值网络算法例如可以为该忆阻交叉阵列对应的权值网络算法， 其可基 于该忆阻交叉阵列中各忆阻单元所包括。

31、的忆阻器的个数进行确定。 示例的， 在一种可能的 实现方式中， 若该忆阻交叉阵列中， 每个忆阻单元包括两个忆阻器， 对应的， 该预设的权值 网络算法例如可以为三元权值网络(Ternary Weight Networks， TWNs)算法。 说明书 5/13 页 8 CN 111476356 A 8 0068 本实施例所提供的忆阻神经网络的训练方法， 可对忆阻神经网络中的忆阻交叉阵 列进行读写操作， 确定该忆阻交叉阵列中的已损坏忆阻单元， 并根据该已损坏忆阻单元在 该忆阻交叉阵列中的位置， 确定该已损坏忆阻单元的目标阻态模式， 继而根据该目标阻态 模式， 采用预设的权值网络算法进行训练， 得到忆。

32、阻交叉阵列的权值集合， 其中， 权值集合 中每个权值参数对应忆阻交叉阵列中的一个忆阻单元。 在该忆阻神经网络的训练方法中， 可基于确定的该已损坏忆阻单元的位置， 确定该已损坏忆阻单元的目标阻态模式， 继而根 据该目标阻态模式进行神经网络的训练， 即充分考虑了忆阻神进网络中忆阻交叉阵列的忆 阻单元的良率情况， 使得训练得到的忆阻交叉阵列的权值集合， 与忆阻交叉阵列更匹配， 也 更准确， 有效保证基于权值集合对忆阻交叉阵列中忆阻单元的阻态控制更准确， 从而保证 忆阻神经网络的计算处理精度。 0069 需要指出的是， 采用上述方式训练得到的该权值集合中， 该已损坏忆阻单元对应 的权值参数为： 该目标。

33、阻态模式对应的权值参数， 而其他忆阻单元对应的权值参数与实际 的训练过程相关。 因此， 在本申请上述实施例基础上， 还可先对上述S103获取的权值集合中 的权值参数进行修正后， 得到修正后的权值集合。 0070 如下通过一个示例对可能的实现方式进行解释说明。 图2为本申请实施例提供的 另一种忆阻神经网络的训练方法的流程示意图。 如图2所示， 在上述实施例的基础上， 该方 法还可包括： 0071 S201、 根据预设的权值参数阈值， 对该每个权值参数的值进行修正， 得到修正后的 权值集合。 0072 该修正后的权值集合中每个权值参数的值为预设的量化权值。 其中， 该权值参数 阈值例如可以为大于0。

34、， 小于1的数。 0073 其中， 该预设的量化权值例如可以为该权值网络算法对应的量化权值。 以TWN算法 为例， 通过执行上述权值参数的修正操作， 可将该每个权值参数的值进行修正， 使得修正后 的该每个权值参数的值为-1,0或者+1中任一量化权值。 0074 若权值集合中， 已损坏忆阻单元对应的权值参数为该目标阻态模式对应的量化权 值。 在一种可能的实现示例中， 可根据预设的权值参数阈值， 对该权值集合中包括该已损坏 忆阻单元对应的权值参数在内的每个权值参数的值进行修正， 使得修正后的每个权值参数 的值为预设的量化权值； 在另一种可能的示例中， 可根据预设的权值参数阈值， 对该权值集 合中其。

35、它忆阻单元对应的权值参数进行修正即可， 而无需对该已损坏忆阻单元对应的权值 参数进行修正。 0075 如下以该另一种可能的示例进行解释说明。 采用上述S103所得到的权值集合中其 它忆阻单元对应的权值参数可以为该权值网络算法对应的全精度参数。 以TWNs算法为例， 该其它忆阻单元对应的权值参数可以为该TWNs算法对应的各量化权值对应的全精度参数。 该TWNs算法对应各量化权值例如可以包括： -1、 0、 +1。 0076 在一种可能实现方式中， 其它忆阻单元对应的权值参数可以为-1对应的全精度参 数， 其与-1的绝对差值在预设范围内， 其例如可以为-0.8或者-0.9等与-1的偏差在预设精 度。

36、偏差内数值。 0077 在另一种可能实现方式中， 该其它忆阻单元对应的权值参数也可以为0对应的全 精度参数， 其与0的绝对差值在预设范围内， 其例如可以为-0.1或0.2等其他与0的偏差在预 说明书 6/13 页 9 CN 111476356 A 9 设精度偏差内的数值。 0078 在又一种可能实现方式中， 该其它忆阻单元对应的权值参数也可以为+1对应的全 精度参数， 其与0的绝对差值在预设范围内， 其例如可以为0.8或0.9等其他与+1的偏差在预 设精度偏差内的数值。 0079 也就是说， 在实施例中， 训练得到的权值集合， 即权值集合中， 其它忆阻单元对应 的权值参数为该权值网络算法对应的。

37、全精度参数， 其与该权值网络的预设量化权值的差值 在预设的精度偏差范围内。 0080 需要指出是， 上述仅是以TWNs算法为例， 对权值集合的示例解释， 需要指出的是， 本申请实施例所涉及的权值网络算法还可以为更多量化权值对应的权值网络算法， 而不限 于上述TWNs算法的三元权值或者说三值权重， 其也可另一位更多权值， 本申请在此不再赘 述。 0081 如上S103中采用预设的权值网络算法进行训练得到的权值集合可以为全精度权 值矩阵， 即该权值集合中该其它忆阻单元对应的权值参数可以为该权值网络算法对应的全 精度参数， 其均为浮点数。 因此， 为降低忆阻神经网络的规模， 减少使用资源， 可对该权。

38、值集 合中的每个权值参数进行量化修正， 以减少权值参数的浮点部分对忆阻神经网络的影响。 0082 若该已损坏忆阻单元对应的权值参数为该目标阻态模式对应的量化权值， 根据预 设的权值参数阈值， 对该权值集合中其它忆阻单元对应的权值参数进行修正， 可减少修正 权值参数的处理量， 提高权值集合的修正效率。 0083 本申请实施例提供的方法， 可通过预设的权值参数阈值对每个权值参数进行量化 修正， 可在保证忆阻神经网络的计算处理精度的基础上， 降低忆阻神经网络的规模， 减少使 用资源。 0084 可选的， 如上S103得到的权值集合例如可以为全精度权值集合， 该预设的权值参 数阈值例如可以为根据上述S。

39、103得到的权值集合进行计算得到， 也可以为预先配置的权值 参数阈值， 或者采用其它方式得到的权值参数阈值。 0085 在一种可能的实现方式中， 在上述S201中根据预设的权值参数阈值， 对该每个权 值参数的值进行修正， 得到修正后的权值集合之前， 该方法还可包括： 0086 S201a、 根据该权值集合的大小， 以及该权值集合中各权值参数的值， 确定该权值 参数阈值。 0087 在具体实现示例中， 可根据训练得到的全精度权值集合的大小， 以及该全精度权 值集合中各权值参数的值， 采用下述公式(1)进行计算， 得到该权值参数阈值。 需要指出的 是， 在该示例中， 该权值集合中， 已损坏忆阻单元。

40、对应的权值参数为该目标阻态模式对应的 权值参数， 如目标阻态模式对应的量化权值。 0088 0089 其中， 为该权值参数阈值， n为全精度权值集合Wf的大小， 即权值集合中权值参 数的总个数， Wi为全精度权值集合Wf中的权值参数。 0090 以忆阻单元包括两个忆阻器为例， 采用TWN网络算法进行训练所得到的权值集合 Wf例如可表示为下述公式(2)。 说明书 7/13 页 10 CN 111476356 A 10 0091 0092 其中， 是缩放系数且非负， 训练预期的权值集合Wt与全精度权值集合Wf可满足： WtWf。 因此忆阻神经网络的前向传播可以表示为下述公式(3)。 0093 00。

41、94 其中， Z表示忆阻神经网络的输出层， X表示忆阻神经网络的输入层， 为忆阻神经 网络的非线性激活函数， *表示忆阻神经网络的矩阵乘法计算或卷积计算， 即执行该些计算 的忆阻交叉阵列， 表示忆阻神经网络的没有乘法运算的卷积操作或向量的点积运算的器 件。 0095 可选的， 在如上所示的忆阻神经网络的训练方法的基础上， 本申请实施例还可提 供一种可能的实现方式， 如下以权值参数的修正的可能示例进行说明。 图3为本申请实施例 提供的又一种忆阻神经网络的训练方法的流程示意图。 如图3所示， 该方法在上述S201中根 据预设的权值参数阈值， 对该每个权值参数的值进行修正， 得到修正后的权值集合可以。

42、包 括： 0096 S301、 根据该权值集合中每个权值参数的值与该权值参数阈值进行比较。 0097 若忆阻单元包括两个忆阻器， 该预设的权值网络算法为TWNs算法， 在可能的实现 示例中， 可分别比较该每个权值参数的值与该权值阈值、 该每个权值参数与负的权值参数 阈值， 该每个权值参数的绝对值与该权值参数阈值， 从而确定每个权值参数所满足的权值 条件。 0098 S302、 根据比较结果， 对该每个权值参数进行修正， 使得更新后的该每个权值参数 的值为该比较结果对应的量化权值。 0099 在可能的实现示例中， 可根据比较结果， 确定该每个权值参数所满足的权值条件， 基于其所满足的权值条件， 。

43、确定该权值条件对应的量化权值， 继而将该每个权值参数更新 为其在满足的权值条件对应的量化权值。 0100 可选的， 以忆阻单元包括两个忆阻器， 该预设的权值网络算法为TWNs算法为例， S302中根据比较结果， 对该每个权值参数进行修正， 使得更新后的该每个权值参数的值为 该比较结果对应的量化权值， 可包括： 0101 若该每个权值参数的值小于负的该权值参数阈值， 则将该每个权值参数的值修正 为第一量化权值； 或者， 0102 若该每个权值参数的绝对值小于或等于该权值参数阈值， 则将该每个权值参数的 值修正为第二量化权值； 或者， 0103 若该每个权值参数的值大于该权值参数阈值， 则将该每个。

44、权值参数的值修正为第 三量化权值。 0104 如上所示的第一量化权值例如可以为-1， 第二量化权值例如可以为0， 第三量化权 值例如可以为+1， 当然， 各预设阈值还可以为其它的对应形式， 而不限于下述表1所示， 下述 表1仅为一种可能的示例。 0105 可选的， 该实现示例的实现方式中例如可基于其所满足的权值条件， 结合如下表1 所示的多个权值条件和量化权值的映射关系， 确定该权值条件对应的量化权值。 若为TWNs 说明书 8/13 页 11 CN 111476356 A 11 算法， 则对应的量化权值还可称为三值权值。 0106 三值权值R+R-权值条件 -1HRSLRSWi 0107 表。

45、1 0108 如下结合附图对忆阻交叉阵列以及对应的权值集合进行示例说明。 图4为本申请 实施例提供的一种忆阻交叉阵列与权值集合的关系图。 如图4所示， 若忆阻交叉阵列为4*4 的二值化忆阻交叉阵列， 即由4行4列的忆阻器构成， 其对应的权值集合即为4*2， 其中， 一个 权值参数表示两个忆阻器构成的忆阻单元。 权值集合中的第一行的第一个权值参数-1， 可 表示其对应的两个忆阻器， 第一列忆阻器为高阻态， 第二列忆阻器为低阻态； 第一行的第二 个权值参数+1， 可表示其对应的两个忆阻器中， 第一列忆阻器为低阻态， 第二列忆阻器为高 阻态； 第二行的第一个权值参数0， 可表示其对应的两个忆阻器中，。

46、 第一列忆阻器和第二列 忆阻器均为高阻态。 0109 也就是说， 在该示例中， 上述训练预期的权值集合Wt与全精度权值集合Wf的大小均 可以为4*2。 训练预期的权值集合Wt即为修正后的权值集合。 其中， R+用于表示忆阻单元中的 第一列忆阻器， R-用于表示忆阻单元中的第二列忆阻器。 0110 若全精度权值集合Wf中的权值参数Wi小于负的权值参数阈值， 其满足上述表1中 的第一种权值条件， 结合表1， 将该权值参数Wi修正为-1， 其可表示对应忆阻单元中第一列 忆阻器的阻态为高阻态(HRS)， 第二列忆阻器的阻态为低阻态(LRS)。 0111 若全精度权值集合Wf中的权值参数Wi的绝对值小于。

47、或等于权值参数阈值， 其满 足上述表1中的第二种权值条件， 结合表1， 将该权值参数Wi修正为0， 其可表示对应忆阻单 元中第一列忆阻器的阻态为高阻态(HRS)， 第二列忆阻器的阻态为高阻态(HRS)。 0112 若全精度权值集合Wf中的权值参数Wi大于权值参数阈值， 其满足上述表1中的第 三种权值条件， 结合表1， 将该权值参数Wi修正为+1， 其可表示对应忆阻单元中第一列忆阻 器的阻态为低阻态(LRS)， 第二列忆阻器的阻态为高阻态(HRS)。 0113 该实施例提供的方法中， 可根据该权值集合中每个权值参数的值与该权值参数阈 值进行比较， 继而根据比较结果， 对该每个权值参数进行修正， 。

48、使得修正后的该每个权值参 数的值为该比较结果对应的量化权值， 可使得修正后的权值集合中的权值参数尽可能满足 预期的量化权值， 从而提高网络训练精度， 继而保证网络的计算精度。 0114 可选的， 在上述任一所示的忆阻神经网络的训练方法的基础上， 若该忆阻单元包 括两个忆阻器， 则该目标阻态模式为第一阻态模式、 第二阻态模式， 或者， 第三阻态模式。 0115 其中， 该第一阻态模式可称为 “HL” 模式， 其可用于指示该两个忆阻器中第一列忆 阻器R+的阻态为固定高阻态， 第二列忆阻器R-的阻态为可编程状态， 或者， 该第一列忆阻器R +的阻态为可编程状态， 该第二列忆阻器R-的阻态为固定低阻态。

49、。 固定高阻态即被冻结在高 阻态下， 其阻态一直保持为高阻态， 而不会通过编程变化为低阻态； 对应的， 所涉及的固定 低阻态即被冻结在低阻态下， 其阻态一直保持为低阻态， 而不会通过编程变化为高阻态。 而 阻态可编程状态， 指的是， 忆阻器的阻态可通过编程进行变化。 0116 该第二阻态模式可称为 “HH” 或 “LL” 模式， 其可用于指示该两个忆阻器中两列忆阻 说明书 9/13 页 12 CN 111476356 A 12 器的阻态均为固定高阻态或固定低阻态， 即该第一列忆阻器R+和第二列忆阻器R+都冻结在 高阻态下， 均为固定高阻态， 或者， 均冻结在低阻态， 均为固定低阻态。 0117。

50、 该第三阻态模式可称为 “LH” 模式， 其可用于指示该第一列忆阻器R+的阻态为固定 低阻态， 该第二列忆阻器R-的阻态为可编程状态， 或者， 该第一列忆阻器R+的阻态为可编程 状态， 该第二列忆阻器R-的阻态为固定高阻态。 0118 结合此处阻态模式的示例， 假设， 已损坏忆阻单元对应的目标阻态模式为上述任 一阻态模式， 例如可根据目标阻态模式， 基于下述公式(4)得到该目标阻态模式对应的权值 参数， 继而对该权值集合中该已损坏忆阻单元对应的权值参数进行更新。 0119 0120其中，可用于表示权值集合中该已损坏忆阻单元对应的权值参数，“HL” mode用 于表示上述第一阻态模式， 其对应的。