基于解耦的用户上下行接入方法及系统.pdf

《基于解耦的用户上下行接入方法及系统.pdf》由会员分享，可在线阅读，更多相关《基于解耦的用户上下行接入方法及系统.pdf（17页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201911066284.3 (22)申请日 2019.11.04 (71)申请人 北京工业大学 地址 100022 北京市朝阳区平乐园100号 (72)发明人 孙阳魏婷婷王朱伟方超 吴文君李萌张延华 (74)专利代理机构 北京路浩知识产权代理有限 公司 11002 代理人 张秀程 (51)Int.Cl. H04W 24/02(2009.01) H04W 52/02(2009.01) (54)发明名称 一种基于解耦的用户上下行接入方法及系 统 (57)摘要 本发明实施例提供一种基。

2、于解耦的用户上 下行接入方法及系统。 该方法包括： 获取用户节 点、 雾节点和核心网的网络结构信息， 根据所述 网络结构信息构建系统模型； 基于所述系统模 型， 建立所述用户节点与所述雾节点的连接优化 问题； 采用优化强化学习算法， 对所述连接优化 问题进行求解， 得到所述用户节点与所述雾节点 的最优接入策略。 本发明实施例通过将上下行解 耦技术与优化强化学习算法相结合， 求解得到用 户节点与雾节点的最优接入状态， 从而降低系统 的能耗， 使系统的性能得到提升。 权利要求书2页 说明书10页 附图4页 CN 110933687 A 2020.03.27 CN 110933687 A 1.一种基。

3、于解耦的用户上下行接入方法， 其特征在于， 包括： 获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结构信息构建系统模 型； 基于所述系统模型， 建立所述用户节点与所述雾节点的连接优化问题； 采用优化强化学习算法， 对所述连接优化问题进行求解， 得到所述用户节点与所述雾 节点的最优接入策略。 2.根据权利要求1所述的基于解耦的用户上下行接入方法， 其特征在于， 所述获取用户 节点、 雾节点和核心网的网络结构信息， 根据所述网络结构信息构建系统模型， 具体包括： 根据所述用户节点、 所述雾节点和所述核心网在网络结构中的状态信息， 获取高功率 雾节点信息和若干个低功率雾节点信息； 基于。

4、所述高功率雾节点信息和所述若干个低功率雾节点信息， 建立上行计算模型和下 行缓存模型。 3.根据权利要求1所述的基于解耦的用户上下行接入方法， 其特征在于， 所述上行计算 模型包括上行传输能耗、 上行计算能耗、 上行传输速率、 系统总带宽和用户节点与雾节点上 行链路状态表示； 所述下行缓存模型包括下行传输能耗、 下行传输速率、 回程链路能耗和用 户节点与雾节点下行链路状态表示。 4.根据权利要求3所述的基于解耦的用户上下行接入方法， 其特征在于， 所述基于所述 系统模型， 建立所述用户节点与所述雾节点的连接优化问题， 具体包括： 基于所述上行传输能耗、 所述下行传输能耗、 所述用户节点与雾节点。

5、上行链路状态表 示和所述用户节点与雾节点下行链路状态表示， 计算所述用户节点与所述雾节点之间的计 算能力之和、 所述用户节点与所述雾节点之间的下行传输功率之和、 上行任务执行时间和 分配给所述用户节点与所述雾节点之间的带宽之和。 5.根据权利要求4所述的基于解耦的用户上下行接入方法， 其特征在于， 所述采用优化 强化学习算法， 对所述连接优化问题进行求解， 得到所述用户节点与所述雾节点的最优接 入策略， 具体包括： 将强化学习的状态、 动作和奖励进行描述； 获取Q学习算法， 基于状态描述、 动作描述和奖励描述， 对所述Q学习算法进行改进， 得 到改进的Q学习算法； 基于所述改进的Q学习算法， 。

6、对所述连接优化问题进行求解， 使得所述计算能力之和不 大于边缘服务器的总计算能力， 所述下行传输功率之和不大于最大发射功率， 所述上行任 务执行时间小于预设时间间隔， 所述带宽之和不大于所述系统总带宽。 6.根据权利要求5所述的基于解耦的用户上下行接入方法， 其特征在于， 所述基于所述 改进的Q学习算法， 对所述连接优化问题进行求解， 使得所述计算能力之和不大于边缘服务 器的总计算能力， 所述下行传输功率之和不大于最大发射功率， 所述上行任务执行时间小 于预设时间间隔， 所述带宽之和不大于所述系统总带宽， 之后还包括： 将所述改进的Q学习算法中的Q表进行学习更新。 7.根据权利要求5所述的基于。

7、解耦的用户上下行接入方法， 其特征在于， 所述将强化学 习的状态、 动作和奖励进行描述， 具体包括： 所述强化学习的状态包括所述用户节点与所述雾节点的计算状态、 缓存状态和接入状 权利要求书 1/2 页 2 CN 110933687 A 2 态； 所述强化学习的动作包括所述用户节点与雾节点上行链路状态表示和所述用户节点 与雾节点下行链路状态表示； 所述强化学习的奖励包括系统能耗负值。 8.一种基于解耦的用户上下行接入系统， 其特征在于， 包括： 获取模块， 用于获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结构信 息构建系统模型； 建立模块， 用于基于所述系统模型， 建立所述用户。

8、节点与所述雾节点的连接优化问题； 处理模块， 用于采用优化强化学习算法， 对所述连接优化问题进行求解， 得到所述用户 节点与所述雾节点的最优接入策略。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所述基于解 耦的用户上下行接入方法的步骤。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机 程序被处理器执行时实现如权利要求1至7任一项所述基于解耦的用户上下行接入方法的 步骤。 权利要求书 2/2 页 3 CN 110933687 A 3 一种基于解耦。

9、的用户上下行接入方法及系统 技术领域 0001 本发明涉及通信技术领域， 尤其涉及一种基于解耦的用户上下行接入方法及系 统。 背景技术 0002 随着移动通信的快速发展， 与4G无线通信相比， 5G无线通信系统应实现至少1000 倍的系统容量增长和10倍的能效增长。 0003 为实现上述目标， 特提出了雾无线接入网(Fog Radio Access Networks， F- RANs)， 雾无线接入网将雾计算的概念融入到无线接入网的体系结构中， 被认为是未来无线 网络的一个很有前途的解决方案， F-RANs可以在非高峰时期在雾无线接入节点(Fog Access Points， F-APs)上缓。

10、存流行内容， 有效地减轻前向链路的拥塞的问题， 获得更好的 性能。 0004 上下行耦合技术是指用户与雾节点上下行接入相同基站， 对于上下行业务不均衡 用户， 这样会存在上下行资源利用效率不平衡的问题。 而现有技术中， 有的使用变量松弛和 优化最小化方法， 将所述优化问题转化成为非混合整数线性规划问题(Mixed Integer Non-linear Programming， MINLP)来优化无线资源分配和边缘卸载决策， 这个方法需要大 量的迭代才能获得最优解， 计算较为复杂； 还有的提出了一个基于Q学习的方法来替代马尔 科夫决策过程(Markov Decision Processes， M。

11、DP)， 再在此基础上提出利用深度Q网络 (Deep Q Network， DQN)， 将计算卸载和资源分配与强化学习相结合， 降低系统的能量消耗， 然而该方法仅仅考虑了上行， 没有考虑下行。 发明内容 0005 本发明实施例提供一种基于解耦的用户上下行接入方法及系统， 用以解决现有技 术中采用上下行耦合技术， 使得上下行传输存在不平衡， 资源利用率低， 整体能耗高的缺 陷。 0006 第一方面， 本发明实施例提供一种基于解耦的用户上下行接入方法， 包括： 0007 获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结构信息构建系 统模型； 0008 基于所述系统模型， 建立所述用户。

12、节点与所述雾节点的连接优化问题； 0009 采用优化强化学习算法， 对所述连接优化问题进行求解， 得到所述用户节点与所 述雾节点的最优接入策略。 0010 优选地， 所述获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结构 信息构建系统模型， 具体包括： 0011 根据所述用户节点、 所述雾节点和所述核心网在网络结构中的状态信息， 获取高 功率雾节点信息和若干个低功率雾节点信息； 0012 基于所述高功率雾节点信息和所述若干个低功率雾节点信息， 建立上行计算模型 说明书 1/10 页 4 CN 110933687 A 4 和下行缓存模型。 0013 优选地， 所述上行计算模型包括上。

13、行传输能耗、 上行计算能耗、 上行传输速率、 系 统总带宽和用户节点与雾节点上行链路状态表示； 所述下行缓存模型包括下行传输能耗、 下行传输速率、 回程链路能耗和用户节点与雾节点下行链路状态表示。 0014 优选地， 所述基于所述系统模型， 建立所述用户节点与所述雾节点的连接优化问 题， 具体包括： 0015 基于所述上行传输能耗、 所述下行传输能耗、 所述用户节点与雾节点上行链路状 态表示和所述用户节点与雾节点下行链路状态表示， 计算所述用户节点与所述雾节点之间 的计算能力之和、 所述用户节点与所述雾节点之间的下行传输功率之和、 上行任务执行时 间和分配给所述用户节点与所述雾节点之间的带宽之。

14、和。 0016 优选地， 所述采用优化强化学习算法， 对所述连接优化问题进行求解， 得到所述用 户节点与所述雾节点的最优接入策略， 具体包括： 0017 将强化学习的状态、 动作和奖励进行描述； 0018 获取Q学习算法， 基于状态描述、 动作描述和奖励描述， 对所述Q学习算法进行改 进， 得到改进的Q学习算法； 0019 基于所述改进的Q学习算法， 对所述连接优化问题进行求解， 使得所述计算能力之 和不大于边缘服务器的总计算能力， 所述下行传输功率之和不大于最大发射功率， 所述上 行任务执行时间小于预设时间间隔， 所述带宽之和不大于所述系统总带宽。 0020 优选地， 所述基于所述改进的Q学。

15、习算法， 对所述连接优化问题进行求解， 使得所 述计算能力之和不大于边缘服务器的总计算能力， 所述下行传输功率之和不大于最大发射 功率， 所述上行任务执行时间小于预设时间间隔， 所述带宽之和不大于所述系统总带宽， 之 后还包括： 0021 将所述改进的Q学习算法中的Q表进行学习更新。 0022 优选地， 所述将强化学习的状态、 动作和奖励进行描述， 具体包括： 0023 所述强化学习的状态包括所述用户节点与所述雾节点的计算状态、 缓存状态和接 入状态； 0024 所述强化学习的动作包括所述用户节点与雾节点上行链路状态表示和所述用户 节点与雾节点下行链路状态表示； 0025 所述强化学习的奖励包。

16、括系统能耗负值。 0026 第二方面， 本发明实施例提供一种基于解耦的用户上下行接入系统， 包括： 0027 获取模块， 用于获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结 构信息构建系统模型； 0028 建立模块， 用于基于所述系统模型， 建立所述用户节点与所述雾节点的连接优化 问题； 0029 处理模块， 用于采用优化强化学习算法， 对所述连接优化问题进行求解， 得到所述 用户节点与所述雾节点的最优接入策略。 0030 第三方面， 本发明实施例提供一种电子设备， 包括： 0031 存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序， 所述处理 器执行所述程序时实。

17、现任一项所述基于解耦的用户上下行接入方法的步骤。 说明书 2/10 页 5 CN 110933687 A 5 0032 第四方面， 本发明实施例提供一种非暂态计算机可读存储介质， 其上存储有计算 机程序， 该计算机程序被处理器执行时实现任一项所述基于解耦的用户上下行接入方法的 步骤。 0033 本发明实施例提供的视频输出模式选择方法及设备， 通过将上下行解耦技术与优 化强化学习算法相结合， 求解得到用户节点与雾节点的最优接入状态， 从而降低系统的能 耗， 使系统的性能得到提升。 附图说明 0034 为了更清楚地说明本发明实施例或现有技术中的技术方案， 下面将对实施例或现 有技术描述中所需要使用。

18、的附图作简单地介绍， 显而易见地， 下面描述中的附图是本发明 的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据 这些附图获得其他的附图。 0035 图1为本发明实施例提供的一种基于解耦的用户上下行接入方法流程图； 0036 图2为本发明实施例提供的组网模型架构图； 0037 图3为本发明实施例提供的接入算法和比较方法之间随用户数增加整体能耗的曲 线对比图； 0038 图4为本发明实施例提供的接入算法和比较方法之间随低功耗雾节点计算能力增 加整体能耗的曲线对比图； 0039 图5为本发明实施例提供的接入算法和比较方法之间随每个缓存内容大小的增加 整体能耗的曲。

19、线对比图； 0040 图6为本发明实施例提供的接入算法和比较方法之间随输入数据增加整体能耗的 曲线对比图； 0041 图7为本发明实施例提供的一种基于解耦的用户上下行接入系统结构图； 0042 图8为本发明实施例提供的电子设备的结构框图。 具体实施方式 0043 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发明实施例 中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是 本发明一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。 00。

20、44 本发明实施例立足现有技术的不足， 把强化学习与上下行解耦技术相结合， 提出 了在雾无线接入网络场景下降低能耗的最优接入方法， 综合考虑了上下行， 将上行业务定 义为计算业务， 下行业务定义为缓存业务， 并将系统问题构建为一个组合优化问题， 求解得 到用户与雾节点的最优接入状态， 从而降低系统的能耗， 使系统的性能得到提升。 0045 图1为本发明实施例提供的一种基于解耦的用户上下行接入方法流程图， 如图1所 示， 包括： 0046 S1， 获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结构信息构建 系统模型； 0047 S2， 基于所述系统模型， 建立所述用户节点与所述雾节。

21、点的连接优化问题； 说明书 3/10 页 6 CN 110933687 A 6 0048 S3， 采用优化强化学习算法， 对所述连接优化问题进行求解， 得到所述用户节点与 所述雾节点的最优接入策略。 0049 具体地， 步骤S1中， 获取组网中的用户节点信息， 接入的雾节点信息， 以及核心网 的信息， 根据上述信息构建整体的系统模型； 0050 步骤S2中， 在构建好的系统模型基础上， 通过系统中上下行的各参数， 建立待求解 的用户节点和雾节点之间的连接优化问题； 0051 步骤S3中， 采用改进的优化强化学习算法， 对上述建立的连接优化问题进行求解， 得到用户节点与雾节点的最优接入策略， 即。

22、满足低能耗的系统参数。 0052 本发明实施例通过将上下行解耦技术与优化强化学习算法相结合， 求解得到用户 节点与雾节点的最优接入状态， 从而降低系统的能耗， 使系统的性能得到提升。 0053 基于上述实施例， 所述获取用户节点、 雾节点和核心网的网络结构信息， 根据所述 网络结构信息构建系统模型， 具体包括： 0054 根据所述用户节点、 所述雾节点和所述核心网在网络结构中的状态信息， 获取高 功率雾节点信息和若干个低功率雾节点信息； 0055 基于所述高功率雾节点信息和所述若干个低功率雾节点信息， 建立上行计算模型 和下行缓存模型。 0056 其中， 所述上行计算模型包括上行传输能耗、 上。

23、行计算能耗、 上行传输速率、 系统 总带宽和用户节点与雾节点上行链路状态表示； 所述下行缓存模型包括下行传输能耗、 下 行传输速率、 回程链路能耗和用户节点与雾节点下行链路状态表示。 0057 具体地， 本发明实施例涉及的雾节点类型有两种： 高功率的雾节点和低功率的雾 节点。 考虑有1个高功率的雾节点和4个低功率的雾节点。 定义F为雾节点k在边缘的计算能 力， 包括Flow和Fhigh。 Flow是低功率雾节点的计算能力， Fhigh是高功率雾节点的计算能力。 4个 用户随机分布于雾节点的覆盖范围区域， 核心网位于雾节点的上方， 两者之间的连接为回 程连接， 整体的网络架构如图2所示。 用户向。

24、雾节点之间的传输为上行链路， 即计算业务， 雾 节点向用户之间的传输为下行链路， 即缓存业务。 0058 首先， 根据用户， 雾节点， 核心网状态信息， 建立上行计算模型： 0059 在提出的框架中， 假定用户u的计算密集型数据需要计算， 可以表示为Iu(Ru, Zu)， 其中Ru为输入数据的大小,Zu为完成这些计算任务所需要的CPU周期总数。 0060 根据测量用户与雾节点之间的距离(km)， 推导路径损耗模型： 0061 0062 通过路径损耗模型推导增益， 从而上行传输的速率可以表示为： 0063 0064其中， B表示系统总带宽，kK， 即第k个雾节点上行所接入的用 户数之和，是用户u。

25、与雾节点k之间的上行传输功率， gu,k为用户u与雾节点k的信道增 说明书 4/10 页 7 CN 110933687 A 7 益，是加性高斯白噪声。 0065和分别表示用户u与雾节点k的传输时延和任务执行时间，和可 以分别表示为： 0066 0067 0068 上行的能耗可以表示为： 0069 0070 其中， pr为传输信号处理的恒定电路功率， fu,k是雾节点k分配给用户u的计算能 力。 0071 上式可以进一步表示为： 0072 0073 然后， 根据用户， 雾节点， 核心网状态信息， 建立下行缓存模型： 0074假设每个雾节点可以缓存Nc个内容， 每个缓存内容的大小为H， 并且为用户。

26、缓 存指示。 下行的传输速率经前述步骤分析可以表示为： 0075 0076其中kK， 即第k个雾节点下行所接入的用户数之和， 是用户u与雾节点k之间的下行传输功率。 如果雾节点k上缓存了用户u所需要的内容， 那么 下行传输的能耗可以表示为： 0077 0078 当雾节点k上没有用户u所要缓存的内容时， 需要计算回程的能耗： 0079 0080其中，表示回程设备在支持最大数据速率时的能量消耗，是回 程设备的功率系数， Rbh是回程交通。 那么总体的能耗可以表示为： 0081 0082 因此， 下行的能耗可以表示为： 说明书 5/10 页 8 CN 110933687 A 8 0083 0084 。

27、本发明实施例通过将系统模型中的雾节点划分为高功率雾节点和低功率雾节点， 并进一步将上行计算、 下行缓存和回程链路传输的传输速率以及上下行传输能耗和上行业 务计算能耗进行量化， 为后续建立系统连接优化问题提供了关键参数和重要评价指标。 0085 基于上述任一实施例， 所述基于所述系统模型， 建立所述用户节点与所述雾节点 的连接优化问题， 具体包括： 0086 基于所述上行传输能耗、 所述下行传输能耗、 所述用户节点与雾节点上行链路状 态表示和所述用户节点与雾节点下行链路状态表示， 计算所述用户节点与所述雾节点之间 的计算能力之和、 所述用户节点与所述雾节点之间的下行传输功率之和、 上行任务执行时。

28、 间和分配给所述用户节点与所述雾节点之间的带宽之和。 0087 具体地， 在得出系统模型的一系列参数表示后， 开始建立用户节点与雾节点连接 的最优化问题： 0088 本发明实施例将计算、 缓存和接入作为一个优化问题来考虑， 通过接入选择来降 低计算和缓存整体的能耗， 因此优化目标可以表示为： 0089 0090s.t. 0091 0092 0093 0094C1中分别为上行、 下行用户接入指示， 保证用户u与雾节点k之间的 计算能力之和不能超过边缘服务器的总计算能力， C2保证用户u与雾节点k之间的下行传输 功率之和不能超过最大发射功率， C3保证上行任务u在时间间隔Tu之前完成， C4保证分。

29、配给 用户u与雾节点k的带宽之和不能超过总带宽B。 0095 本发明实施例通过获取系统模型的重要参数， 建立各重要参数之间的连接关系， 并建立对应的约束条件， 使系统满足较低的能耗。 0096 基于上述任一实施例， 所述采用优化强化学习算法， 对所述连接优化问题进行求 解， 得到所述用户节点与所述雾节点的最优接入策略， 具体包括： 0097 将强化学习的状态、 动作和奖励进行描述； 0098 获取Q学习算法， 基于状态描述、 动作描述和奖励描述， 对所述Q学习算法进行改 进， 得到改进的Q学习算法； 0099 基于所述改进的Q学习算法， 对所述连接优化问题进行求解， 使得所述计算能力之 和不大。

30、于边缘服务器的总计算能力， 所述下行传输功率之和不大于最大发射功率， 所述上 行任务执行时间小于预设时间间隔， 所述带宽之和不大于所述系统总带宽。 0100 其中， 所述将强化学习的状态、 动作和奖励进行描述， 具体包括： 0101 所述强化学习的状态包括所述用户节点与所述雾节点的计算状态、 缓存状态和接 说明书 6/10 页 9 CN 110933687 A 9 入状态； 0102 所述强化学习的动作包括所述用户节点与雾节点上行链路状态表示和所述用户 节点与雾节点下行链路状态表示； 0103 所述强化学习的奖励包括系统能耗负值。 0104 具体地， 首先分析强化学习的三个要素： 状态、 动作。

31、和奖励： 0105 状态： 状态可以表示为一个集合sscomputing,scache,saccess。 scomputing代表计算状 态， 用户u与雾节点k的计算状态可以表示为scache代表缓存状态， 用户u与雾节 点k的缓存状态可以表示为saccess代表接入状态， 用户u与雾节点k的接入状态可以 表示为 0106动作： 动作可以表示为一个集合其中代表用户u与雾节 点k的上行链路是否连接，代表用户u与雾节点k的下行链路是否连接。 0107 奖励： 对于每个步骤， 代理选择当前状态为s下的动作a以生成即时奖励R(s,a)， 代 理的目标是从长远来看， 使其获得的总报酬最大化， 奖励R被视。

32、为系统能耗的负值， 系统能 耗是优化目标中定义的计算和缓存所产生的能耗之和。 因此， 奖励定义如下： 0108 0109 然后引入强化学习， 并在该基础上进行改进。 0110 强化学习可分为无模型强化学习和基于模型的强化学习， 这取决于环境因素是否 已知。 无模型的强化学习算法之一为Q-learning， Q学习是经典的强化学习算法。 记录Q值是 一种学习方法， 每个状态动作对都有一个值Q(s,a)。 0111 Q学习算法是一种利用时序差分来解决学习控制问题的方法， Q(s,a)是行动a(a A)在一定时间内s状态下获得收益的期望， 其中A在此之前被定义为动作的集合。 环境将对 代理选择的行为。

33、进行反馈。 因此， 该算法的主要思想是构造一个Q表来存储Q值， 然后agent 根据Q值选择收益最大的动作。 0112 本发明实施例是在Q学习算法的基础上改进的。 首先初始化Q表， 状态s和动作a,在 每次迭代时， 随机选择状态s,在Q 时,在0和1之间随机产生一个数x,如果x小于贪婪系 数 ， 系统随机选择一个动作， 否则， 系统选择一个动作a使得执行动 作a， 状态st转换为st+1， 观察奖励R和st+1， Q表可根据公式更新为 0113 Q(st,at)Q(st,at)+ R+ maxQ(st+1,a)-Q(st,at) 0114 QR+ maxQ(st+1,a)-Q(st,at) 0。

34、115 本发明实施例通过对Q学习强化算法进行增强改进， 对Q表值进行优化求解， 实现 对状态更新的收益求解转换， 得到使系统最优求解的参数值。 0116 基于上述任一实施例， 所述基于所述改进的Q学习算法， 对所述连接优化问题进行 求解， 使得所述计算能力之和不大于边缘服务器的总计算能力， 所述下行传输功率之和不 大于最大发射功率， 所述上行任务执行时间小于预设时间间隔， 所述带宽之和不大于所述 说明书 7/10 页 10 CN 110933687 A 10 系统总带宽， 之后还包括： 0117 将所述改进的Q学习算法中的Q表进行学习更新。 0118 具体地， 在得到Q表的更新公式后， 执行s。

35、tst+1直到Q ； 0119 其中 为阈值， 为学习率， 为折扣因子。 此处， Q学习通过不断学习更新Q表， 待 Q 时， Q表停止迭代学习。 0120 本发明实施例通过Q表不断进行学习更新， 在每个状态上选择一个使最优Q值最大 的动作， 从而找到最优策略。 0121 为了进一步验证本发明实施例提出的方法的性能， 结合仿真实验结果进行性能分 析及比较。 0122 在仿真实验中， 假设有4个低功率雾节点， 1个高功率雾节点和4个UE随机分布在 500*500的正方形区域。 带宽B10MHz， 低功率雾节点和高功率雾节点的最大发射功率分别 设置为30dBm、 38dBm。 UE的最大发射功率设为。

36、23dBm。 用于发送信号处理的恒定电路功率pr 500mW， 用户u的高斯白噪声为低功率雾节点的计算能力为Flow 2GHz/sec。 高功率雾节点的计算能力为Fhigh10GHz/sec， 输入数据的大小为Ru4Mbit， CPU 周期数Zu(in Megacycles)服从(900,1100)的均匀分布， 每个缓存内容的大小设置为H 8Mbit， 回程设备的功率系数为wbh110-8J/bit。 0123 其中比较方法一为用强化学习的方法实现耦合接入， 与本发明方法的区别在于上 下行是耦合接入的， 比较方法二为最大参考信号接收功率接入， 参考信号接收功率是LTE网 络中能够代表无线信号强。

37、度的关键参数之一， 根据下行参考信号的强度为用户选择最大的 参考信号接收功率的雾节点接入。 得到结果如图3， 图4， 图5和图6所示。 图3随着用户数增加 整体能耗的变化曲线， 图4为低功耗雾节点计算能力的增加整体能耗的曲线， 图5为每个缓 存内容的大小增加整体能耗曲线图， 图6为随着输入数据的大小增加整体能耗的曲线。 可以 看出， 相比于比较方法一和比较方法二， 本发明实施例设计的用强化学习解耦上下行的方 法提高了系统的性能， 降低了整体的能耗。 0124 图7为本发明实施例提供的一种基于解耦的用户上下行接入系统结构图， 如图7所 示， 包括： 获取模块71、 建立模块72和处理模块73； 。

38、其中： 0125 获取模块71用于获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络 结构信息构建系统模型； 建立模块72用于基于所述系统模型， 建立所述用户节点与所述雾 节点的连接优化问题； 处理模块73用于采用优化强化学习算法， 对所述连接优化问题进行 求解， 得到所述用户节点与所述雾节点的最优接入策略。 0126 本发明实施例提供的系统用于执行上述对应的方法， 其具体的实施方式与方法的 实施方式一致， 涉及的算法流程与对应的方法算法流程相同， 此处不再赘述。 0127 本发明实施例通过将上下行解耦技术与优化强化学习算法相结合， 求解得到用户 节点与雾节点的最优接入状态， 从而降。

39、低系统的能耗， 使系统的性能得到提升。 0128 基于上述任一实施例， 所述获取模块71包括： 获取子模块711和建立子模块712； 其 中： 0129 获取子模块711用于根据所述用户节点、 所述雾节点和所述核心网在网络结构中 的状态信息， 获取高功率雾节点信息和若干个低功率雾节点信息； 建立子模块712基于所述 高功率雾节点信息和所述若干个低功率雾节点信息， 建立上行计算模型和下行缓存模型； 说明书 8/10 页 11 CN 110933687 A 11 0130 其中， 所述上行计算模型包括上行传输能耗、 上行计算能耗、 上行传输速率、 系统 总带宽和用户节点与雾节点上行链路状态表示； 。

40、所述下行缓存模型包括下行传输能耗、 下 行传输速率、 回程链路能耗和用户节点与雾节点下行链路状态表示。 0131 本发明实施例通过将系统模型中的雾节点划分为高功率雾节点和低功率雾节点， 并进一步将上行计算、 下行缓存和回程链路传输的传输速率以及上下行传输能耗和上行业 务计算能耗进行量化， 为后续建立系统连接优化问题提供了关键参数和重要评价指标。 0132 基于上述任一实施例， 所述建立模块72具体用于基于所述上行传输能耗、 所述下 行传输能耗、 所述用户节点与雾节点上行链路状态表示和所述用户节点与雾节点下行链路 状态表示， 计算所述用户节点与所述雾节点之间的计算能力之和、 所述用户节点与所述雾。

41、 节点之间的下行传输功率之和、 上行任务执行时间和分配给所述用户节点与所述雾节点之 间的带宽之和。 0133 本发明实施例通过获取系统模型的重要参数， 建立各重要参数之间的连接关系， 并建立对应的约束条件， 使系统满足较低的能耗。 0134 基于上述任一实施例， 所述处理模块73包括描述子模块731、 改进子模块732和求 解子模块733； 其中： 0135 描述子模块731用于将强化学习的状态、 动作和奖励进行描述； 改进子模块732用 于获取Q学习算法， 基于状态描述、 动作描述和奖励描述， 对所述Q学习算法进行改进， 得到 改进的Q学习算法； 求解子模块733用于基于所述改进的Q学习算法。

42、， 对所述连接优化问题进 行求解， 使得所述计算能力之和不大于边缘服务器的总计算能力， 所述下行传输功率之和 不大于最大发射功率， 所述上行任务执行时间小于预设时间间隔， 所述带宽之和不大于所 述系统总带宽。 0136 其中， 所述将强化学习的状态、 动作和奖励进行描述， 具体包括： 0137 所述强化学习的状态包括所述用户节点与所述雾节点的计算状态、 缓存状态和接 入状态； 0138 所述强化学习的动作包括所述用户节点与雾节点上行链路状态表示和所述用户 节点与雾节点下行链路状态表示； 0139 所述强化学习的奖励包括系统能耗负值。 0140 本发明实施例通过对Q学习强化算法进行增强改进， 对。

43、Q表值进行优化求解， 实现 对状态更新的收益求解转换， 得到使系统最优求解的参数值。 0141 基于上述任一实施例， 所述处理模块73还包括更新子模块734， 所述更新子模块 734用于将所述改进的Q学习算法中的Q表进行学习更新。 0142 本发明实施例通过Q表不断进行学习更新， 在每个状态上选择一个使最优Q值最大 的动作， 从而找到最优策略。 0143 图8示例了一种电子设备的实体结构示意图， 如图8所示， 该电子设备可以包括： 处 理器(processor)810、 通信接口(Communications Interface)820、 存储器(memory)830和 通信总线840， 其中。

44、， 处理器810， 通信接口820， 存储器830通过通信总线840完成相互间的通 信。 处理器810可以调用存储器830中的逻辑指令， 以执行如下方法： 获取用户节点、 雾节点 和核心网的网络结构信息， 根据所述网络结构信息构建系统模型； 基于所述系统模型， 建立 所述用户节点与所述雾节点的连接优化问题； 采用优化强化学习算法， 对所述连接优化问 说明书 9/10 页 12 CN 110933687 A 12 题进行求解， 得到所述用户节点与所述雾节点的最优接入策略。 0144 此外， 上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为 独立的产品销售或使用时， 可以存储在一。

45、个计算机可读取存储介质中。 基于这样的理解， 本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以 软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括若干指令用以 使得一台计算机设备(可以是个人计算机， 服务器， 或者网络设备等)执行本发明各个实施 例所述方法的全部或部分步骤。 而前述的存储介质包括： U盘、 移动硬盘、 只读存储器(ROM， Read-Only Memory)、 随机存取存储器(RAM， Random Access Memory)、 磁碟或者光盘等各种 可以存储程序代码的介质。 0145 另一方面， 本发明实施例还提供一种非暂态。

46、计算机可读存储介质， 其上存储有计 算机程序， 该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法， 例如 包括： 获取用户节点、 雾节点和核心网的网络结构信息， 根据所述网络结构信息构建系统模 型； 基于所述系统模型， 建立所述用户节点与所述雾节点的连接优化问题； 采用优化强化学 习算法， 对所述连接优化问题进行求解， 得到所述用户节点与所述雾节点的最优接入策略。 0146 以上所描述的装置实施例仅仅是示意性的， 其中所述作为分离部件说明的单元可 以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单 元， 即可以位于一个地方， 或者也可以分布到多个网络单。

47、元上。 可以根据实际的需要选择其 中的部分或者全部模块来实现本实施例方案的目的。 本领域普通技术人员在不付出创造性 的劳动的情况下， 即可以理解并实施。 0147 通过以上的实施方式的描述， 本领域的技术人员可以清楚地了解到各实施方式可 借助软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件。 基于这样的理解， 上 述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该 计算机软件产品可以存储在计算机可读存储介质中， 如ROM/RAM、 磁碟、 光盘等， 包括若干指 令用以使得一台计算机设备(可以是个人计算机， 服务器， 或者网络设备等)执行各个实施 例或者实。

48、施例的某些部分所述的方法。 0148 最后应说明的是： 以上实施例仅用以说明本发明的技术方案， 而非对其限制； 尽管 参照前述实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解： 其依然可 以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和 范围。 说明书 10/10 页 13 CN 110933687 A 13 图1 图2 说明书附图 1/4 页 14 CN 110933687 A 14 图3 图4 说明书附图 2/4 页 15 CN 110933687 A 15 图5 图6 说明书附图 3/4 页 16 CN 110933687 A 16 图7 图8 说明书附图 4/4 页 17 CN 110933687 A 17 。