深度神经网络架构的自适应搜索方法和系统.pdf

《深度神经网络架构的自适应搜索方法和系统.pdf》由会员分享，可在线阅读，更多相关《深度神经网络架构的自适应搜索方法和系统.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010739741.7 (22)申请日 2020.07.28 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 刘譞哲马郓赵宇昕徐梦炜 黄罡 (74)专利代理机构 北京润泽恒知识产权代理有 限公司 11319 代理人 莎日娜 (51)Int.Cl. H04L 29/06(2006.01) H04L 29/08(2006.01) G06N 3/08(2006.01) (54)发明名称 一种深度神经网络架构的自适应搜索方法 和系统 (57)。

2、摘要 本发明提供了一种深度神经网络架构的自 适应搜索方法和系统， 旨在保护数据隐私的前提 下， 降低计算开销和通信开销， 实现深度学习从 云端分载到终端， 提高终端参与效率。 所述方法 包括： 终端调度模块根据终端属性对终端分组； 网络架构搜索模块搜索到若干模型架构； 决策与 聚合模块基于动态训练策略， 控制终端组对模型 架构进行短期训练测试； 根据融合模型架构准确 率， 得到优选模型架构； 优选模型架构满足资源 限制， 则更新资源限制， 进行新一轮迭代， 不满足 资源限制， 则停止迭代； 对每轮获得的优选模型 架构， 进行长期训练， 得到每轮对应资源限制下 最优模型架构。 权利要求书2页 说。

3、明书11页 附图3页 CN 112019510 A 2020.12.01 CN 112019510 A 1.一种深度神经网络架构的自适应搜索方法， 所述方法应用于深度学习中， 其特征在 于， 所述方法包括云端模块、 多个终端设备； 所述云端模块包括： 终端调度模块、 网络架构搜 索模块、 决策与聚合模块； 所述终端调度模块对所述终端设备进行分组， 以得到不同的终端设备组； 所述网络架构搜索模块输入一个预训练的复杂模型架构， 基于资源限制条件， 通过结 构化剪枝搜索到若干第一模型架构； 所述决策与聚合模块将搜索到的第一模型架构发送至对应的终端设备组； 同一终端设 备组的不同终端设备接收到的第一模。

4、型架构相同； 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接收到的第一模型架 构执行短期训练测试任务， 完成训练任务后， 得到所有终端设备相对应的第二模型架构； 所述决策与聚合模块将聚合同一终端设备组的不同终端设备的第二模型架构， 得到所 有终端设备组的不同融合模型架构； 根据所述所有终端设备组的融合模型架构的准确率， 得到系统的优选模型架构； 所述系统的优选模型架构满足所述资源限制条件， 则根据模型实际资源消耗， 更新所 述资源限制条件， 进行新一轮的所述优选模型架构搜索的全局迭代任务； 所述优选模型架构不满足所述资源限制条件， 则停止系统迭代； 针对每一轮得到的所述优选模型。

5、架构， 进行长期训练， 以得到相应资源限制下的最优 模型架构。 2.根据权利要求1所述的方法， 其特征在于， 所述终端调度模块对所述终端设备进行分 组， 以得到不同的终端设备组， 还包括： 所述终端调度模块基于终端设备属性， 对所述终端设备进行分组， 以得到不同的终端 设备组； 其中， 所述终端设备属性包括所述终端设备的数据量、 所述终端设备的数据分布、 所述 终端设备的工作状态。 3.根据权利要求2所述的方法， 其特征在于， 所述终端调度模块基于终端设备属性， 对 所述终端设备进行分组， 以得到不同的终端设备组， 包括： 所述终端设备统计所述终端设备属性； 所述终端设备将所述终端设备属性上传。

6、至所述终端调度模块； 所述终端调度模块根据上传的所述终端设备属性， 对终端设备进行分组， 每个终端设 备分组数据总量保持均衡、 每个终端设备分组的数据分布均衡。 4.根据权利要求1所述的方法， 其特征在于， 所述网络架构搜索模块输入一个预训练的 复杂模型架构， 基于资源限制条件， 通过结构化剪枝搜索到若干第一模型架构， 还包括： 所述网络架构搜索模块是迭代式的， 在所述全局迭代任务中将资源限制条件分解为若 干个逐渐收紧的资源约束， 基于所述资源约束进行结构化剪枝搜索。 5.根据权利要求1所述的方法， 其特征在于， 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接收到的第一模型架构。

7、执行短期训练测试任务， 完成训练任务后， 得 到所有终端设备相对应的第二模型架构， 包括： 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接收到的第一模型架 构执行短期训练测试任务； 权利要求书 1/2 页 2 CN 112019510 A 2 所述动态训练策略包括动态的云端轮数设置和提前剪枝掉队备选模型； 所述短期训练测试任务完成后， 获得所有终端设备相对应的第二模型架构； 其中， 所述云端轮数为所述决策与聚合模块聚合同一终端设备组的不同终端设备的第 二模型架构的次数； 其中， 所述动态云端轮数设置包括所述第二模型架构在所述决策与聚合模块聚合的次 数随着所述优选模型架构搜索的全。

8、局迭代次数动态变化； 所述提前剪枝掉队备选模型包括 所述第二模型架构在预设云端轮数后， 相对于其他模型架构表现最差的部分模型， 提前剪 枝停止当前短期训练测试任务。 6.根据权利要求1所述的方法， 其特征在于， 所述决策与聚合模块将聚合同一终端设备 组的不同终端设备的第二模型架构， 得到所有终端设备组的不同融合模型架构， 包括： 所述决策与聚合模块聚合同一终端设备组的不同终端设备的第二模型架构， 以得到所 有终端设备组的不同融合模型架构； 所述决策与聚合模块中的聚合模块包括模型聚合单元和指标聚合单元； 其中， 所述模型聚合单元包括聚合同一终端设备组的不同终端设备的第二模型架构， 得到本轮所述终。

9、端设备组的融合模型架构； 所述指标聚合单元包括每轮短期训练测试完成 后， 指标聚合单元得到聚合准确率， 指导提前剪枝掉队备选模型的剪枝策略。 7.根据权利要求1所述的方法， 其特征在于， 所述决策与聚合模块基于动态训练策略， 控制所有终端设备组， 对各自相对应的第一模型架构执行短期训练测试任务， 以得到第二 模型架构； 所述决策与聚合模块聚合同一终端设备组的不同终端设备的第二模型架构， 以 得到所有终端设备组的融合模型架构， 还包括： 所述决策与聚合模块在控制终端设备进行短期训练测试任务时， 所述终端设备将收集 推断测试指标， 所述推断测试指标反馈到所述决策与聚合模块， 指导所述动态训练策略的。

10、 执行。 8.一种深度神经网络架构的自适应搜索系统， 其特征在于， 所述系统运行时， 实现如权 利要求1至7任一所述的方法中的步骤。 权利要求书 2/2 页 3 CN 112019510 A 3 一种深度神经网络架构的自适应搜索方法和系统 技术领域 0001 本发明涉及深度学习领域， 特别是涉及一种深度神经网络架构的自适应搜索方法 和系统。 背景技术 0002 深度学习是机器学习的一种， 目的在于建立模拟人脑进行分析学习的神经网络， 它模仿人脑的机制来解释数据， 例如图像， 声音和文本等。 0003 目前， 深度学习技术在移动端的多个不同领域落地， 包括照片美化、 输入法预测、 购物推荐、 语。

11、音识别等等， 扩展了应用的服务功能， 大大提升了用户体验， 成为很多应用必 不可少的组成部分。 另一方面， 移动场景也是深度学习现在非常重要的应用平台， 很多深度 学习技术得以在移动平台上体现价值。 0004 然而， 现在传统的深度学习模型， 往往向着更加复杂、 更加高运算量的方向发展， 经典的卷积神经网络模型体积可达上百MB， 一次推理运算量达到109级别。 这些大模型由于 受到资源限制的诸多约束， 包括电池电量较小、 计算资源有限、 存储空间不足、 网络带宽限 制等， 而不能直接运行于终端。 同时， 精准复杂的深度学习模型， 依赖海量的真实数据参与 训练调优， 这往往需要大规模、 甚至跨领。

12、域地采集用户私人敏感数据上传到云端被处理和 使用， 带来潜在泄露隐私风险。 发明内容 0005 本发明所要解决的技术问题是提供一种深度神经网络架构的自适应搜索方法和 系统， 以解决现有技术中资源限制导致网络架构不能直接运行于终端中进行深度学习。 0006 为了解决上述问题， 本发明实施例第一方面提供一种深度神经网络架构的自适应 搜索方法， 包括云端模块、 多个终端设备； 所述云端模块包括： 终端调度模块、 网络架构搜索 模块、 决策与聚合模块； 0007 所述终端调度模块对所述终端设备进行分组， 以得到不同的终端设备组； 0008 所述网络架构搜索模块输入一个预训练的复杂模型架构， 基于资源限。

13、制条件， 通 过结构化剪枝搜索到若干第一模型架构； 0009 所述决策与聚合模块将搜索到的第一模型架构发送至对应的终端设备组； 同一终 端设备组的不同终端设备接收到的第一模型架构相同； 0010 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接收到的第一模 型架构执行短期训练测试任务， 完成训练任务后， 得到所有终端设备相对应的第二模型架 构； 0011 所述决策与聚合模块将聚合同一终端设备组的不同终端设备的第二模型架构， 得 到所有终端设备组的不同融合模型架构； 0012 根据所述所有终端设备组的融合模型架构的准确率， 得到系统的优选模型架构； 0013 所述系统的优选模型架构。

14、满足所述资源限制条件， 则根据模型实际资源消耗， 更 说明书 1/11 页 4 CN 112019510 A 4 新所述资源限制条件， 进行新一轮的所述优选模型架构搜索的全局迭代任务； 0014 所述优选模型架构不满足所述资源限制条件， 则停止系统迭代； 0015 针对每一轮得到的所述优选模型架构， 进行长期训练， 以得到相应资源限制下的 最优模型架构。 0016 可选地， 所述终端调度模块对所述终端设备进行分组， 以得到不同的终端设备组， 还包括： 0017 所述终端调度模块基于终端设备属性， 对所述终端设备进行分组， 以得到不同的 终端设备组； 0018 其中， 所述终端设备属性包括所述终。

15、端设备的数据量、 所述终端设备的数据分布、 所述终端设备的工作状态。 0019 可选地， 所述终端调度模块基于终端设备属性， 对所述终端设备进行分组， 以得到 不同的终端设备组， 包括： 0020 所述终端设备统计所述终端设备属性； 0021 所述终端设备将所述终端设备属性上传至所述终端调度模块； 0022 所述终端调度模块根据上传的所述终端设备属性， 对终端设备进行分组， 每个终 端设备分组数据总量保持均衡、 每个终端设备分组的数据分布均衡。 0023 可选地， 所述网络架构搜索模块输入一个预训练的复杂模型架构， 基于资源限制 条件， 通过结构化剪枝搜索到若干第一模型架构， 还包括： 002。

16、4 所述网络架构搜索模块是迭代式的， 在所述全局迭代任务中将资源限制条件分解 为若干个逐渐收紧的资源约束， 基于所述资源约束进行结构化剪枝搜索。 0025 可选地， 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接收到的 第一模型架构执行短期训练测试任务， 完成训练任务后， 得到所有终端设备相对应的第二 模型架构， 包括： 0026 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接收到的第一模 型架构执行短期训练测试任务； 0027 所述动态训练策略包括动态的云端轮数设置和提前剪枝掉队备选模型； 0028 所述短期训练测试任务完成后， 获得所有终端设备相对应的第二模。

17、型架构； 0029 其中， 所述云端轮数为所述决策与聚合模块聚合同一终端设备组的不同终端设备 的第二模型架构的次数； 0030 其中， 所述动态云端轮数设置包括所述第二模型架构在所述决策与聚合模块聚合 的次数随着所述优选模型架构搜索的全局迭代次数动态变化； 所述提前剪枝掉队备选模型 包括所述第二模型架构在预设云端轮数后， 相对于其他模型架构表现最差的部分模型， 提 前剪枝停止当前短期训练测试任务。 0031 可选地， 所述决策与聚合模块将聚合同一终端设备组的不同终端设备的第二模型 架构， 得到所有终端设备组的不同融合模型架构， 包括： 0032 所述决策与聚合模块聚合同一终端设备组的不同终端设。

18、备的第二模型架构， 以得 到所有终端设备组的不同融合模型架构； 0033 所述决策与聚合模块中的聚合模块包括模型聚合单元和指标聚合单元； 0034 其中， 所述模型聚合单元包括聚合同一终端设备组的不同终端设备的第二模型架 说明书 2/11 页 5 CN 112019510 A 5 构， 得到本轮所述终端设备组的融合模型架构； 所述指标聚合单元包括每轮短期训练测试 完成后， 指标聚合单元得到聚合准确率， 指导提前剪枝掉队备选模型的剪枝策略。 0035 可选地， 所述决策与聚合模块基于动态训练策略， 控制所有终端设备组， 对各自相 对应的第一模型架构执行短期训练测试任务， 以得到第二模型架构； 所。

19、述决策与聚合模块 聚合同一终端设备组的不同终端设备的第二模型架构， 以得到所有终端设备组的融合模型 架构， 还包括： 0036 所述决策与聚合模块在控制终端设备进行短期训练测试任务时， 所述终端设备将 收集推断测试指标， 所述推断测试指标反馈到所述决策与聚合模块， 指导所述动态训练策 略的执行。 0037 本申请实施例第二方面提供一种深度神经网络架构的自适应搜索系统， 所述系统 运行时， 实现本申请实施例第一方面所述的方法中的步骤。 0038 本发明包括以下优点： 在本发明中， 终端调度模块根据终端属性对终端分组， 网络 架构搜索模块搜索到若干模型架构， 决策与聚合模块将模型架构发送到对应的终。

20、端设备 组， 基于动态训练策略， 控制终端组对模型架构进行短期训练测试， 根据训练测试结果， 得 到优选模型架构， 若优选模型架构满足资源限制， 则更新资源限制， 进行新一轮迭代， 对每 轮迭代获得的优选模型架构， 进行长期训练， 得到每轮最优模型架构， 不满足资源限制， 则 停止迭代。 本发明根据终端属性对终端分组， 基于动态训练策略， 控制终端组进行训练测 试， 在保证数据隐私情况下， 有效降低计算开销和通信开销， 实现深度学习从云端分载到终 端， 且在大终端数量的场景下， 有利于提高终端参与效率。 附图说明 0039 为了更清楚地说明本申请实施例的技术方案， 下面将对本申请实施例的描述中。

21、所 需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申请的一些实施 例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以根据这些附图 获得其他的附图。 0040 图1是本申请的一实施例提出的深度神经网络架构的自适应搜索方法的流程图； 0041 图2是本申请的终端调度模块对终端进行分组的流程图； 0042 图3是本申请的一种滤波器级结构化剪枝示意图； 0043 图4是本申请的一实施例提出的深度神经网络架构的自适应搜索方法的训练测试 流程图； 0044 图5是本申请的一实施例提出的深度神经网络架构的自适应搜索方法的全局迭代 流程图。 具体实施方式 0045。

22、 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完 整地描述， 显然， 所描述的实施例是本申请一部分实施例， 而不是全部的实施例。 基于本申 请中的实施例， 本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他所有 实施例， 都应属于本申请保护的范围。 0046 相关技术中， 深度学习技术在移动端的多个不同领域落地， 包括照片美化、 输入法 说明书 3/11 页 6 CN 112019510 A 6 预测、 购物推荐、 语音识别等等， 扩展了应用的服务功能， 大大提升了用户体验， 成为很多应 用必不可少的组成部分。 另一方面， 移动场景也是深度学习现在非常重要。

23、的应用平台， 很多 深度学习技术得以在移动平台上体现价值。 0047 然而传统深度学习模型， 往往向着更加复杂、 更加高运算量的方向发展。 这些大模 型由于受到资源限制的诸多约束， 包括电池电量较小、 计算资源有限、 存储空间不足、 网络 带宽限制等， 而不能直接运行于终端。 为此， 本申请提供了一种深度神经网络架构的自适应 搜索方法和系统， 旨在保证数据隐私情况下， 有效降低计算开销和通信开销， 实现深度学习 从云端分载到终端， 提高终端参与效率。 0048 参照图1， 图1是本申请的一实施例提出的深度神经网络架构的自适应搜索方法的 流程图。 该方法包括云端模块、 多个终端设备， 其中， 云。

24、端模块包括终端调度模块、 网络架构 搜索模块、 决策与聚合模块， 具体可以包括如下步骤： 0049 步骤S101： 终端调度模块对所述终端设备进行分组， 以得到不同的终端设备组。 0050 本实施例中， 终端设备可以包括不同类型的硬件和软件配置的设备， 包括智能手 机、 PAD(Portable Android Device， 平板电脑)、 可穿戴设备等。 0051 在具体实施中， 终端调度模块对终端设备进行分组， 会有一定分组依据对终端设 备进行分组。 在这些实施例中， 所述终端调度模块基于终端设备属性， 对所述终端设备进行 分组， 以得到不同的终端设备组， 所述终端设备属性包括所述终端设备。

25、的数据量、 所述终端 设备的数据分布、 所述终端设备的工作状态。 0052 示例地， 参考图2， 图2是本申请的终端调度模块对终端进行分组的流程图。 如图2 所示， 步骤S101的终端调度模块对终端进行分组步骤可具体包括以下步骤： 0053 S1011： 所述终端设备统计所述终端设备属性； 0054 S1012： 所述终端设备将所述终端设备属性上传至所述终端调度模块； 0055 S1013： 所述终端调度模块根据上传的所述终端设备属性， 对终端设备进行分组， 每个终端设备分组数据总量保持均衡、 每个终端设备分组的数据分布均衡。 0056 具体地， 步骤S1011中， 终端设备统计终端设备属性，。

26、 例如统计终端设备当前是否 可用、 终端设备的数据量和终端设备的数据分布情况,。 完成步骤S1011设备属性统计后， 进 行步骤S1012， 将统计的属性发送至终端调度模块， 终端调度模块根据收到的终端设备属性 对终端设备进行分组。 为保证终端设备分组的每个终端设备分组的数据总量保持均衡和每 个终端设备分组的数据分布均衡， 抽象为如下约束优化问题： 0057 0058 subjectto max(dj)rmin(dj)， j1， 2.K 0059 其中， 设备分组为G1,G2,.GK,分组Gi的数据总量为di， r为数据量不均衡的容忍 系数， 控制数据量差异， 由开发者指定， K为终端设备组的。

27、数量， 控制终端设备的通信开销， dist()计算两个数据分组之间的相似度， 采用Manhattan距离， Manhattan距离定义如下： 0060 0061 终端调度模块收集所有可用的空闲终端， 获取其数据分布特征， 包括数据量以及 说明书 4/11 页 7 CN 112019510 A 7 数据分布。 针对分类问题， 如k-分类问题， 使用向量v来表示数据标签分布： 0062 v(v1，2， .，k) 0063 0064 其中， data_numi为当前终端， k-分类问题下， 分到第i类的数据量， v为数据标签的 分布向量。 0065 在获得数据分布后， 首先根据数据量对终端进行从大到。

28、小排序。 之后， 根据数据量 从大到小依次遍历终端， 每次将当前终端分配到一个终端组， 使得各个终端设备组和数据 分布向量的平均曼哈顿距离最短， 最终终端设备组的数据量和数据分布达到均衡。 开发者 指定分组数目K， 对终端进行分组调度， 每个组内可以包含一个或多个终端设备， 完成步骤 S1013终端设备分组。 0066 指导终端调度模块对终端设备分组的数据为各终端设备的数据量和数据分布情 况， 未将终端设备数据的具体内容上传至云端， 有效保护终端设备的数据隐私。 0067 步骤S102： 网络架构搜索模块输入一个预训练的复杂模型架构， 基于资源限制条 件， 通过结构化剪枝搜索到若干第一模型架构。

29、。 0068 本实施例中， 资源限制可以包括计算开销(如MACs)、 推理延迟时间、 能量消耗以及 内存占用等， 也可以指几种资源限制的组合指标。 0069 本实施例中， 结构化剪枝算法是采用针对卷积层和全连接层， 在滤波器层面上进 行的结构化剪枝。 0070 示例地， 参考图3， 图3是本申请的一种滤波器级结构化剪枝示意图。 给定一个复杂 的模型架构， 网络架构搜索模块基于资源限制条件， 确定滤波器的裁剪比例 。 对每个滤波 器， 计算其L2-范数， 并将滤波器按其L2-范数从大到小进行排序， 其中L2-范数可根据算法 的不同更换其他的度量标准， 如L1-范数或F-范数等。 根据裁剪比例 ，。

30、 将对应个数的滤波器 剪枝， 只保留L2-范数较大的卷积核。 在下一层中， 减去与剪枝滤波器相应的通道， 从而产生 新的矩阵， 将对应权重放入复杂的模型架构中， 指导搜索到若干的第一模型架构。 0071 网络架构搜索模块除了实现基于资源约束的网络架构剪枝搜索， 还包括所述网络 架构搜索模块是迭代式的， 在所述全局迭代任务中将资源限制条件分解为若干个逐渐收紧 的资源约束， 基于所述资源约束进行结构化剪枝搜索。 可形式化表现为： 0072 maximize Acc(DNNi) 0073 subjectto Resj(DNNi)Resj(DNNi-1)-Ri， j， j1， 2， .， n 0074。

31、 Ri， jinit_resiurcereduction* i-1， j1， 2， .， n 0075 其中DNNi表示第i轮迭代生成的模型， Acc()计算模型准确率， Resi()衡量模型在 第i次资源类型上的资源消耗， Ri， j表示第i轮第j种资源约束， init_resiurcereduction为指 定的初始被剪枝层滤波器个数。 最后算法的资源约束Resj(DNNi-1)-Ri， j小于等于资源限 制条件时， 算法终止， 输出一系列匹配不同资源约束的模型。 为了简化问题， 预设只考虑一 种资源限制， 即n1。 0076 步骤S103： 所述决策与聚合模块将搜索到的第一模型架构发送至。

32、对应的终端设备 组； 同一终端设备组的不同终端设备接收到的第一模型架构相同； 所述决策与聚合模块基 说明书 5/11 页 8 CN 112019510 A 8 于动态训练策略， 控制所有终端设备， 对接收到的第一模型架构执行短期训练测试任务， 完 成训练任务后， 得到所有终端设备相对应的第二模型架构； 所述决策与聚合模块将聚合同 一终端设备组的不同终端设备的第二模型架构， 得到所有终端设备组的不同融合模型架 构。 0077 本实施例中， 动态训练策略包括动态的云端轮数设置和提前剪枝掉队备选模型。 0078 本实施例中， 所述云端轮数为所述决策与聚合模块聚合同一终端设备组的不同终 端设备的第二模。

33、型架构的次数。 例如当前第一模型架构为(AH1)， 同一终端设备组有终端设 备(A1， A2， .， An)， 对第一模型架构进行短期训练任务得到第二模型架构为(A11， A21， .， An1)， 决策与聚合模块第一次聚合同一终端设备组的不同终端设备的第二模型架构， 得到的 融合模型架构为(AR1)， 此时为第一次云端轮数； 若继续进行云端轮数， 则此时融合模型架构 (AR1)为第二轮该终端设备组的第一模型架构(AH2)， 对第一模型架构进行短期训练任务得 到第二模型架构为(A12， A22， .， An2)， 决策与聚合模块第二次聚合同一终端设备组的不同 终端设备的第二模型架构， 得到的融。

34、合模型架构为(AR2)， 此时为第二次云端轮数。 0079 本实施例中， 动态的云端轮数设置是指决策与聚合模块聚合第二模型架构的次数 随着全局迭代次数动态变化， 随着全局迭代次数的增加， 云端轮数增加。 0080 本实施例中， 全局迭代次数为基于不同资源限制的全局轮数。 例如根据所有参与 训练的终端设备组的训练测试结果， 选出系统优选模型架构(AY0)， 若满足资源限制条件 (T0)， 更新资源限制条件为(T1)， 该更新的资源限制条件为逐渐收紧的资源约束， 进行新一 轮的全局迭代任务， 根据所有终端设备组的融合模型架构的准确率， 选出准确率最高的系 统优选模型架构(AY1)， 若满足资源限制。

35、条件(T1)， 则为第一次全局迭代； 更新资源限制条件 为(T2)， 进行新一轮的全局迭代任务， 根据所有终端设备组的融合模型架构的准确率， 选出 准确率最高的系统优选模型架构(AY2)， 若满足资源限制条件(T2)， 则为第二次全局迭代； 更 新资源限制条件为(T3)， 进行新一轮的全局迭代任务， 根据所有终端设备组的融合模型架 构的准确率， 选出准确率最高的系统优选模型架构(AY3)， 若不满足资源限制条件(T3)， 则停 止全局迭代。 0081 本实施例中， 提前剪枝掉队备选模型指第二模型架构在预设云端轮数后， 相对于 其他模型架构表现最差的部分模型， 提前剪枝停止当前短期训练测试任务。。

36、 0082 参考图4， 图4是本申请的一实施例提出的深度神经网络架构的自适应搜索方法的 训练测试流程图。 0083 本实施例中， 如图4所示， 步骤S103可具体包括以下子步骤： 0084 子步骤S1031： 所述决策与聚合模块将搜索到的第一模型架构发送至对应的终端 设备组； 同一终端设备组的不同终端设备接收到的第一模型架构相同； 0085 子步骤S1032： 所述决策与聚合模块基于动态训练策略， 控制所有终端设备， 对接 收到的第一模型架构执行短期训练测试任务， 完成训练任务后， 得到所有终端设备相对应 的第二模型架构； 0086 子步骤S1033： 所述决策与聚合模块将聚合同一终端设备组的。

37、不同终端设备的第 二模型架构， 得到所有终端设备组的不同融合模型架构。 0087 示例地， 在步骤S1031中， 决策与聚合模块会将同一第一模型架构发送至相对应的 同一终端设备组的不同终端设备。 其中， 对于所有的终端设备组， 不同终端设备组的第一模 说明书 6/11 页 9 CN 112019510 A 9 型架构不同， 同一终端设备组得到的第一模型架构相同。 0088 在步骤S1031的模型架构发送到终端设备组后， 在步骤S1032中， 决策与聚合模块 通过动态训练策略， 控制终端设备， 对各自相对应的第一模型架构进行不充分的短期训练 测试任务， 指导正确的搜索方向。 0089 对于动态训。

38、练策略中的动态云端轮数设置的优化， 对每一轮全局迭代动态设置云 端轮数， 通过如下命令行参数设置初始轮数， 定期调整， 控制其云端轮数从小到大变动， 针 对不同的数据集、 不同的网络架构需调整不同的参数配置。 云端轮数调整如表1命令行， 设 置初始云端轮数， 迭代每增加1次， 云端轮数增加2次。 例如设置初始云端轮数为5轮， 第一次 迭代后， 云端轮数设置为7轮； 第二次迭代后， 云端轮数设置为9轮； 第n次迭代后， 云端轮数 设置为5+2n轮， 直到训练的模型架构不满足逐渐收紧的资源限制条件， 迭代结束为止。 0090 表1 0091 0092 对于动态训练策略中的提前剪枝掉队备选模型的优化。

39、， 给出表2训练决策流程。 定 义剪枝率 ， 对于每个模型架构， 待终端完成短期训练测试任务后反馈测试数据量和推断 测试指标结果， 待全部候选模型训练测试完成后， 根据剪枝率提前停止表现最差的部分模 型架构， 将其直接剪枝丢弃， 例如剪枝率为33， 即每个云端轮丢弃后33的较差候选网络 架构， 然后对于剩余模型进行模型融合， 完成本轮模型的更新。 完成动态训练策略后， 进入 步骤S1033的模型聚合。 0093 表2 说明书 7/11 页 10 CN 112019510 A 10 0094 0095 0096 步骤S1033中， 聚合模块包括模型聚合单元和指标聚合单元， 所述模型聚合单元包 括。

40、聚合同一个终端组的不同终端设备的第二模型架构。 具体地， 基于本地数据生成的模型 更新聚合为一个融合模型架构， 聚合过程是基于训练数据权重的模型梯度融合： 说明书 8/11 页 11 CN 112019510 A 11 0097 0098 PMiPMi+fused_gradi 0099 其中， train_numj， s为终端组Gj上第s号设备上的训练数据数量， gradj， s为上传的 梯度更新结果， gj为终端组Gj的终端数量。 0100 所述指标聚合单元包括每轮短期训练测试完成后， 指标聚合单元得到聚合准确 率， 指导提前剪枝掉队备选模型的剪枝策略。 具体地， 指标聚合单元针对中间结果采。

41、用指标 聚合的方式， 代替直接的模型聚合， 来指导剪枝搜索方向， 对于体积为M的模型， 将通信开销 从O(M)减少至O(1)。 对于模型架构PMi， 以及它被分配到的终端组Gj， 当Gj组内全部终端完成 训练并将指标测试结果反馈给云端， 云端进行基于权重的指标聚合： 0101 0102 其中， test_numj， s为终端组Gj上第s号设备上的测试数据数量， resj， s为该设备进 行的指标测试结果， gj为终端组Gj的终端数量。 0103 常用指标模型准确率， 计算公式： 0104 0105 在每一轮云端聚合完成后， 通过指标聚合得到聚合准确率， 基于聚合准确率， 实现 提前停止掉队备选。

42、模型的剪枝策略。 采用准确率下降程度(acc_degradation)来衡量架构 的优劣， 定义如下： 0106 0107 其中， prev_GM是上一次迭代的得到的全局模型， PMi为当前的候选模型， PM_iacc为 聚合准确率， Res()获得模型对应的资源消耗， Acc()获得模型实际测量的准确率。 0108 基于准确率下降程度(acc_degradation)， 对相对于其他模型架构表现最差的部 分模型， 提前剪枝停止当前训练测试任务。 例如， 准确率下降程度为20， 即当前模型准确 率相对于上一次迭代得到的全局模型准确率下降程度达到20， 则提前剪枝停止当前训练 测试任务。 010。

43、9 此外， 控制终端执行短期训练测试任务的是云端的决策与聚合模块， 该模块指导 动态训练策略的依据是由终端上传至云端的测试数据量和推断测试指标， 例如迭代次数、 终端设备数据量、 得到的模型架构准确率都是由终端上传的测试数据量和推断测试指标直 接或间接求解获得。 因此， 在实施例中， 所述决策与聚合模块在控制终端设备进行短期训练 测试任务时， 所述终端设备将收集推断测试指标， 所述推断测试指标反馈到所述决策与聚 合模块， 指导所述动态训练策略的执行。 0110 步骤S104： 根据所述所有终端设备组的融合模型架构的准确率， 得到系统的优选 说明书 9/11 页 12 CN 112019510 。

44、A 12 模型架构。 0111 步骤S105： 所述系统的优选模型架构满足所述资源限制条件， 则根据模型实际资 源消耗， 更新所述资源限制条件， 进行新一轮的所述优选模型架构搜索的全局迭代任务； 所 述优选模型架构不满足所述资源限制条件， 则停止系统迭代； 针对每一轮得到的所述优选 模型架构， 进行长期训练， 以得到相应资源限制下的最优模型架构。 0112 本实施例中， 步骤S105可具体包括以下子步骤： 0113 子步骤S1051： 所述系统的优选模型架构满足所述资源限制条件， 则根据模型实际 资源消耗， 更新所述资源限制条件， 进行新一轮的所述优选模型架构搜索的全局迭代任务； 所述优选模型。

45、架构不满足所述资源限制条件， 则停止系统迭代。 0114 子步骤S1052： 针对每一轮迭代得到的所述优选模型架构， 进行长期训练， 以得到 相应资源限制下的最优模型架构。 0115 示例的， 参考图5， 图5是本申请的一实施例提出的深度神经网络架构的自适应搜 索方法的全局迭代流程图。 子步骤S1051中， 对于完成系统短期训练任务的优选模型架构， 如果满足资源限制条件， 则该优选模型架构可进一步优化， 进入新一轮的全局迭代任务。 为 达到进一步优化模型架构的目的， 网络架构搜索模块会更新资源限制条件为逐渐收紧的资 源约束， 基于当前更新的收紧资源约束， 网络架构搜索模块进行结构化剪枝搜索到若。

46、干模 型架构， 进行新一轮全局迭代任务， 直到多次迭代后的优选模型架构不满足更新的收紧资 源约束为止。 如果不满足资源限制， 则该优选模型架构无更优解， 停止迭代任务。 0116 完成短期训练的优选模型架构， 进入子步骤S1052， 对每一轮迭代得到的优选模型 架构， 进行充分的长期训练， 得到对应资源限制条件下的最优模型架构。 0117 基于同一发明构思， 本申请另一实施例提供一种深度神经网络架构的自适应搜索 系统， 该系统运行时， 实现如本申请上述任一实施例所述的方法中的步骤。 0118 本发明实施例包括以下优点： 在本发明中， 终端设备通过上传的终端设备数据量、 数据分布和终端设备工作状。

47、态至终端调度模块用于终端设备分组， 有效保护终端设备数据 隐私； 对终端设备进行分组， 执行模型架构短期训练任务， 提高了终端设备参与效率； 对模 型架构进行结构化剪枝搜索， 实现复杂模型架构从云端分载到终端执行深度学习训练测试 任务； 动态训练策略显著降低模型架构在终端设备和云端模块的计算开销和通信开销。 因 此本发明在保护终端设备数据隐私的前提下， 显著降低计算开销和通信开销， 实现深度学 习从云端分载到终端， 提高了终端参与效率。 0119 本领域内的技术人员应明白， 本发明实施例的实施例可提供为方法、 装置、 或计算 机程序产品。 因此， 本发明实施例可采用完全硬件实施例、 完全软件实。

48、施例、 或结合软件和 硬件方面的实施例的形式。 而且， 本发明实施例可采用在一个或多个其中包含有计算机可 用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、 光学存储器等)上 实施的计算机程序产品的形式。 0120 本发明实施例是参照根据本发明实施例的方法、 终端设备(系统)、 和计算机程序 产品的流程图和/或方框图来描述的。 应理解可由计算机程序指令实现流程图和/或方框图 中的每一流程和/或方框、 以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些 计算机程序指令到通用计算机、 专用计算机、 嵌入式处理机或其他可编程数据处理终端设 备的处理器以产生一个机器， 。

49、使得通过计算机或其他可编程数据处理终端设备的处理器执 说明书 10/11 页 13 CN 112019510 A 13 行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的系统。 0121 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备 以特定方式工作的计算机可读存储器中， 使得存储在该计算机可读存储器中的指令产生包 括指令装置的制造品， 该指令装置实现在流程图一个流程或多个流程和/或方框图一个方 框或多个方框中指定的功能。 0122 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上， 使得 在计算机或其他可编程终端。

50、设备上执行一系列操作步骤以产生计算机实现的处理， 从而在 计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能的步骤。 0123 尽管已描述了本申请实施例的优选实施例， 但本领域内的技术人员一旦得知了基 本创造性概念， 则可对这些实施例做出另外的变更和修改。 所以， 所附权利要求意欲解释为 包括优选实施例以及落入本申请实施例范围的所有变更和修改。 0124 最后， 还需要说明的是， 在本文中， 诸如第一和第二等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作 之间存在任。