数据处理方法及相关设备.pdf
《数据处理方法及相关设备.pdf》由会员分享,可在线阅读,更多相关《数据处理方法及相关设备.pdf(23页完成版)》请在专利查询网上搜索。
1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010738546.2 (22)申请日 2020.07.28 (71)申请人 腾讯科技 (深圳) 有限公司 地址 518057 广东省深圳市南山区高新区 科技中一路腾讯大厦35层 (72)发明人 陈凯悦王继罗洪志国张鑫宇 李腾飞王冬程振东陶凛然 (74)专利代理机构 深圳市深佳知识产权代理事 务所(普通合伙) 44285 代理人 李杭 (51)Int.Cl. H04L 29/08(2006.01) (54)发明名称 一种数据处理方法及相关设备 (57)摘要 本申请提供了一种。
2、数据处理方法及相关设 备, 通过数据计算的方式, 确定分布式集群中节 点的健康状态, 进而根据节点的健康状态执行相 应的操作, 避免云边网络波动对服务造成的影 响。 该方法包括: 目标节点获取第一节点集合中 每个节点的第一初始健康状态; 目标节点获取目 标分组中每个节点的第二初始健康状态; 目标节 点根据第一初始健康状态以及第二初始健康状 态确定目标分组中每个节点的第一目标健康状 态; 目标节点将目标分组中每个节点的第一目标 健康状态发送至服务器, 以使得服务器根据目标 分组中每个节点的第一目标健康状态以及第二 目标健康状态执行相应的操作, 第二目标健康状 态为云端获取的目标分组中每个节点的健。
3、康状 态。 权利要求书3页 说明书14页 附图5页 CN 111901421 A 2020.11.06 CN 111901421 A 1.一种数据处理方法, 其特征在于, 包括: 目标节点获取第一节点集合中每个节点的第一初始健康状态, 所述第一节点集合为目 标分组中除所述目标节点之外的节点的集合, 所述目标节点为所述目标分组中的任意一个 节点, 所述目标分组为分布式集群中的任意一个分组; 所述目标节点获取所述目标分组中每个节点的第二初始健康状态, 所述第二初始健康 状态为第一目标节点获取的第二节点集合中每个节点的健康状态, 所述第二节点集合为所 述目标分组中除所述第一目标节点之外的其他节点的集。
4、合, 所述第一目标节点为所述目标 分组中除所述目标节点之外的任意一个节点; 所述目标节点根据所述第一初始健康状态以及所述第二初始健康状态确定所述目标 分组中每个节点的第一目标健康状态; 所述目标节点将所述目标分组中每个节点的第一目标健康状态发送至服务器, 以使得 所述服务器根据所述目标分组中每个节点的第一目标健康状态以及第二目标健康状态执 行相应的操作, 所述第二目标健康状态为云端获取的所述目标分组中每个节点的健康状 态。 2.根据权利要求1所述的方法, 其特征在于, 所述目标节点获取第一节点集合中每个节 点的第一初始健康状态包括: 所述目标节点向所述第一节点集合中每个节点的目标接口发送目标请。
5、求, 以获取所述 第一节点集合中每个节点返回的健康值; 所述目标节点根据所述第一节点集合中每个节点返回的健康值确定所述第一节点集 合中每个节点的第一初始健康状态。 3.根据权利要求2所述的方法, 其特征在于, 所述目标节点根据所述第一节点集合中每 个节点返回的健康值确定所述第一节点集合中每个节点的第一初始健康状态包括: 当第二目标节点的健康值为正常时, 所述目标节点确定所述第二目标节点的第一初始 健康状态为正常, 所述第二目标节点为所述第一节点集合中的任意一个节点; 当第二目标节点的健康值为异常时, 所述目标节点确定所述第二目标节点的第一初始 健康状态为异常。 4.一种数据处理方法, 其特征在。
6、于, 包括: 服务器接收目标节点发送的目标分组中每个节点的第一目标健康状态, 所述目标分组 为分布式集群中的任意一个分组, 所述目标分组中每个节点的第一目标健康状态为所述目 标节点根据第一初始健康状态以及第二初始健康状态确定的, 所述第一初始健康状态为所 述目标节点获取第一节点集合中每个节点的健康状态, 所述第一节点集合为所述目标分组 中除所述目标节点之外的其他节点的集合, 所述第二初始健康状态为所述目标节点接收第 一目标节点发送的第二节点集合中每个节点的健康状态, 且所述第二初始健康状态为所述 第一目标节点获取的所述第二节点集合中每个节点的健康状态, 所述第二节点集合为所述 目标分组中除所述。
7、第一目标节点之外的其他节点的集合, 所述第一目标节点为所述目标分 组中除所述目标节点之外的任意一个节点; 所述服务器接收云端发送的所述目标分组中每个节点的第二目标健康状态; 所述服务器根据所述第一目标健康状态以及所述第二目标健康状态对所述目标分组 中的每个节点执行相应的操作。 权利要求书 1/3 页 2 CN 111901421 A 2 5.根据权利要求4所述的方法, 其特征在于, 所述服务器根据所述第一目标健康状态以 及所述第二目标健康状态对所述目标分组中的每个节点执行相应的操作包括: 当第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目标健康状 态为异常时, 所述服务器停止。
8、调度资源对象至所述第三目标节点, 所述第三目标节点为所 述目标分组中的任意一个节点; 当所述第三目标节点的第一目标健康状态为异常, 且所述第三目标节点的第二目标健 康状态为异常时, 所述服务器将所述第三目标节点中的资源对象进行驱逐处理, 并将所述 第三目标节点的资源对象从所述资源对象列表中剔除, 且停止调度目标资源对象至所述第 三目标节点, 所述资源对象列表中存储有包括所述第三节点的资源对象在内的多个节点的 资源对象; 当所述第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目标健 康状态为正常时, 所述服务器对所述第三目标节点不执行任何操作。 6.一种网络节点, 其特征在于, 。
9、所述网络节点为目标节点, 包括: 第一获取单元, 用于获取第一节点集合中每个节点的第一初始健康状态, 所述第一节 点集合为目标分组中除所述目标节点之外的节点的集合, 所述目标节点为所述目标分组中 的任意一个节点, 所述目标分组为分布式集群中的任意一个分组; 第二获取单元, 用于获取所述目标分组中每个节点的第二初始健康状态, 所述第二初 始健康状态为第一目标节点获取的第二节点集合中每个节点的健康状态, 所述第二节点集 合为所述目标分组中除所述第一目标节点之外的其他节点的集合, 所述第一目标节点为所 述目标分组中除所述目标节点之外的任意一个节点; 确定单元, 用于根据所述第一初始健康状态以及所述第。
10、二初始健康状态确定所述目标 分组中每个节点的第一目标健康状态; 发送单元, 用于将所述目标分组中每个节点的第一目标健康状态发送至服务器, 以使 得所述服务器根据所述目标分组中每个节点的第一目标健康状态以及第二目标健康状态 执行相应的操作, 所述第二目标健康状态为云端获取的所述目标分组中每个节点的健康状 态。 7.根据权利要求6所述的节点, 其特征在于, 所述第一获取单元具体用于: 所述目标节点向所述第一节点集合中每个节点的目标接口发送目标请求, 以获取所述 第一节点集合中每个节点返回的健康值; 所述目标节点根据所述第一节点集合中每个节点返回的健康值确定所述第一节点集 合中每个节点的第一初始健康。
11、状态。 8.一种服务器, 其特征在于, 包括: 接收单元, 用于接收目标节点发送的目标分组中每个节点的第一目标健康状态, 所述 目标分组为分布式集群中的任意一个分组, 所述目标分组中每个节点的第一目标健康状态 为所述目标节点根据第一初始健康状态以及第二初始健康状态确定的, 所述第一初始健康 状态为所述目标节点获取第一节点集合中每个节点的健康状态, 所述第一节点集合为所述 目标分组中除所述目标节点之外的其他节点的集合, 所述第二初始健康状态为所述目标节 点接收第一目标节点发送的第二节点集合中每个节点的健康状态, 且所述第二初始健康状 态为所述第一目标节点获取的所述第二节点集合中每个节点的健康状态。
12、, 所述第二节点集 权利要求书 2/3 页 3 CN 111901421 A 3 合为所述目标分组中除所述第一目标节点之外的其他节点的集合, 所述第一目标节点为所 述目标分组中除所述目标节点之外的任意一个节点; 所述接收单元, 还用于接收云端发送的所述目标分组中每个节点的第二目标健康状 态; 执行单元, 用于根据所述第一目标健康状态以及所述第二目标健康状态对所述目标分 组中的每个节点执行相应的操作。 9.根据权利要求8所述的服务器, 其特征在于, 所述执行单元具体用于: 当第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目标健康状 态为异常时, 停止调度资源对象至所述第三目标节。
13、点, 所述第三目标节点为所述目标分组 中的任意一个节点; 当所述第三目标节点的第一目标健康状态为异常, 且所述第三目标节点的第二目标健 康状态为异常时, 将所述第三目标节点中的资源对象进行驱逐处理, 并将所述第三目标节 点的资源对象从所述资源对象列表中剔除, 且停止调度目标资源对象至所述第三目标节 点, 所述资源对象列表中存储有包括所述第三节点的资源对象在内的多个节点的资源对 象; 当所述第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目标健 康状态为正常时, 对所述第三目标节点不执行任何操作。 10.一种计算机可读存储介质, 其特征在于, 包括指令, 当所述指令在计算机上运行。
14、时, 使得计算机执行上述权利要求1至5中任一项所述的数据处理方法的步骤。 权利要求书 3/3 页 4 CN 111901421 A 4 一种数据处理方法及相关设备 技术领域 0001 本申请涉及通信领域, 尤其涉及一种数据处理方法及相关设备。 背景技术 0002 云技术(Cloud technology)是指在广域网或局域网内将硬件、 软件、 网络等系列 资源统一起来, 实现数据的计算、 储存、 处理和共享的一种托管技术。 云技术(Cloud technology)基于云计算商业模式应用的网络技术、 信息技术、 整合技术、 管理平台技术、 应 用技术等的总称, 可以组成资源池, 按需所用, 灵。
15、活便利。 云计算技术将变成重要支撑。 技术 网络系统的后台服务需要大量的计算、 存储资源, 如视频网站、 图片类网站和更多的门户网 站。 伴随着互联网行业的高度发展和应用, 将来每个物品都有可能存在自己的识别标志, 都 需要传输到后台系统进行逻辑处理, 不同程度级别的数据将会分开处理, 各类行业数据皆 需要强大的系统后盾支撑, 只能通过云计算来实现。 0003 不同于中心云, 边缘场景下, 首先要面对云边弱网络的环境, 边缘设备常常位于边 缘云机房、 移动边缘站点, 与云端连接的网络环境十分复杂, 不像中心云那么可靠。 这其中 既包含云端(控制端)和边缘端的网络环境不可靠, 也包含边缘节点之间。
16、的网络环境不可 靠, 即使是同一区域不同机房之间也无法假设节点之间网络质量良好。 0004 云边弱网络带来的问题是影响运行在边缘节点上的kubelet与云端应用程序接口 服务(Application Programming Interface server, APIServer)之间通信, 云端 APIServer无法收到kubelet的心跳或者续租, 无法准确获取该节点和节点上pod的运行情 况, 如果持续时间超过设置的阈值, 原生AIServer会认为该节点不可用, 并做出如下一些动 作: 失联的节点状态被置为NotReady或者Unknown状态, 并被添加NoSchedule和NoEx。
17、ecute 的taints; 失联的节点上的pod被驱逐, 并在其他节点上进行重建; 失联的节点上的Pod从 Service的Endpoint列表中移除。 0005 然而, 在原生Kubernetes的情况下, 如果Pod因为网络波动而频繁重建, 一方面会 影响服务实例缓存效果, 另一方面会引起调度系统将用户的请求调度到其他服务实例。 无 疑, 这两点都会对内容分发网络(Content Delivery Network, CDN)效果造成极大的影响, 甚至不能接受。 0006 发明信息 0007 本申请提供了一种数据处理方法及相关设备, 可以确定分布式集群中节点的健康 状态, 进而根据节点的健。
18、康状态执行相应的操作, 避免云边网络波动对服务造成的影响。 0008 本申请第一方面提供了一种数据处理方法, 包括: 0009 目标节点获取第一节点集合中每个节点的第一初始健康状态, 所述第一节点集合 为目标分组中除所述目标节点之外的节点的集合, 所述目标节点为所述目标分组中的任意 一个节点, 所述目标分组为分布式集群中的任意一个分组; 0010 所述目标节点获取所述目标分组中每个节点的第二初始健康状态, 所述第二初始 健康状态为第一目标节点获取的第二节点集合中每个节点的健康状态, 所述第二节点集合 说明书 1/14 页 5 CN 111901421 A 5 为所述目标分组中除所述第一目标节点。
19、之外的其他节点的集合, 所述第一目标节点为所述 目标分组中除所述目标节点之外的任意一个节点; 0011 所述目标节点根据所述第一初始健康状态以及所述第二初始健康状态确定所述 目标分组中每个节点的第一目标健康状态; 0012 所述目标节点将所述目标分组中每个节点的第一目标健康状态发送至服务器, 以 使得所述服务器根据所述目标分组中每个节点的第一目标健康状态以及第二目标健康状 态执行相应的操作, 所述第二目标健康状态为云端获取的所述目标分组中每个节点的健康 状态。 0013 可选地, 所述目标节点获取第一节点集合中每个节点的第一初始健康状态包括: 0014 所述目标节点向所述第一节点集合中每个节点。
20、的目标接口发送目标请求, 以获取 所述第一节点集合中每个节点返回的健康值; 0015 所述目标节点根据所述第一节点集合中每个节点返回的健康值确定所述第一节 点集合中每个节点的第一初始健康状态。 0016 可选地, 所述目标节点根据所述第一节点集合中每个节点返回的健康值确定所述 第一节点集合中每个节点的第一初始健康状态包括: 0017 当第二目标节点的健康值为正常时, 所述目标节点确定所述第二目标节点的第一 初始健康状态为正常, 所述第二目标节点为所述第一节点集合中的任意一个节点; 0018 当第二目标节点的健康值为异常时, 所述目标节点确定所述第二目标节点的第一 初始健康状态为异常。 0019。
21、 本申请第二方面提供了一种数据处理方法, 包括: 0020 服务器接收目标节点发送的目标分组中每个节点的第一目标健康状态, 所述目标 分组为分布式集群中的任意一个分组, 所述目标分组中每个节点的第一目标健康状态为所 述目标节点根据第一初始健康状态以及第二初始健康状态确定的, 所述第一初始健康状态 为所述目标节点获取第一节点集合中每个节点的健康状态, 所述第一节点集合为所述目标 分组中除所述目标节点之外的其他节点的集合, 所述第二初始健康状态为所述目标节点接 收第一目标节点发送的第二节点集合中每个节点的健康状态, 且所述第二初始健康状态为 所述第一目标节点获取的所述第二节点集合中每个节点的健康状。
22、态, 所述第二节点集合为 所述目标分组中除所述第一目标节点之外的其他节点的集合, 所述第一目标节点为所述目 标分组中除所述目标节点之外的任意一个节点; 0021 所述服务器接收云端发送的所述目标分组中每个节点的第二目标健康状态; 0022 所述服务器根据所述第一目标健康状态以及所述第二目标健康状态对所述目标 分组中的每个节点执行相应的操作。 0023 可选地, 所述服务器根据所述第一目标健康状态以及所述第二目标健康状态对所 述目标分组中的每个节点执行相应的操作包括: 0024 当第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目标健 康状态为异常时, 所述服务器停止调度资源对象。
23、至所述第三目标节点, 所述第三目标节点 为所述目标分组中的任意一个节点; 0025 当所述第三目标节点的第一目标健康状态为异常, 且所述第三目标节点的第二目 标健康状态为异常时, 所述服务器将所述第三目标节点中的资源对象进行驱逐处理, 并将 说明书 2/14 页 6 CN 111901421 A 6 所述第三目标节点的资源对象从所述资源对象列表中剔除, 且停止调度目标资源对象至所 述第三目标节点, 所述资源对象列表中存储有包括所述第三节点的资源对象在内的多个节 点的资源对象; 0026 当所述第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目 标健康状态为正常时, 所述服务器对。
24、所述第三目标节点不执行任何操作。 0027 本申请第三方面提供了一种节点, 所述节点为目标节点, 包括: 0028 第一获取单元, 用于获取第一节点集合中每个节点的第一初始健康状态, 所述第 一节点集合为目标分组中除所述目标节点之外的节点的集合, 所述目标节点为所述目标分 组中的任意一个节点, 所述目标分组为分布式集群中的任意一个分组; 0029 第二获取单元, 用于获取所述目标分组中每个节点的第二初始健康状态, 所述第 二初始健康状态为第一目标节点获取的第二节点集合中每个节点的健康状态, 所述第二节 点集合为所述目标分组中除所述第一目标节点之外的其他节点的集合, 所述第一目标节点 为所述目标。
25、分组中除所述目标节点之外的任意一个节点; 0030 确定单元, 用于根据所述第一初始健康状态以及所述第二初始健康状态确定所述 目标分组中每个节点的第一目标健康状态; 0031 发送单元, 用于将所述目标分组中每个节点的第一目标健康状态发送至服务器, 以使得所述服务器根据所述目标分组中每个节点的第一目标健康状态以及第二目标健康 状态执行相应的操作, 所述第二目标健康状态为云端获取的所述目标分组中每个节点的健 康状态。 0032 可选地, 所述第一获取单元具体用于: 0033 所述目标节点向所述第一节点集合中每个节点的目标接口发送目标请求, 以获取 所述第一节点集合中每个节点返回的健康值; 003。
26、4 所述目标节点根据所述第一节点集合中每个节点返回的健康值确定所述第一节 点集合中每个节点的第一初始健康状态。 0035 可选地, 所述第一获取单元根据所述第一节点集合中每个节点返回的健康值确定 所述第一节点集合中每个节点的第一初始健康状态包括: 0036 当第二目标节点的健康值为正常时, 所述目标节点确定所述第二目标节点的第一 初始健康状态为正常, 所述第二目标节点为所述第一节点集合中的任意一个节点; 0037 当第二目标节点的健康值为异常时, 所述目标节点确定所述第二目标节点的第一 初始健康状态为异常。 0038 本申请第四方面提供了一种服务器, 包括: 0039 接收单元, 用于接收目标。
27、节点发送的目标分组中每个节点的第一目标健康状态, 所述目标分组为分布式集群中的任意一个分组, 所述目标分组中每个节点的第一目标健康 状态为所述目标节点根据第一初始健康状态以及第二初始健康状态确定的, 所述第一初始 健康状态为所述目标节点获取第一节点集合中每个节点的健康状态, 所述第一节点集合为 所述目标分组中除所述目标节点之外的其他节点的集合, 所述第二初始健康状态为所述目 标节点接收第一目标节点发送的第二节点集合中每个节点的健康状态, 且所述第二初始健 康状态为所述第一目标节点获取的所述第二节点集合中每个节点的健康状态, 所述第二节 点集合为所述目标分组中除所述第一目标节点之外的其他节点的集。
28、合, 所述第一目标节点 说明书 3/14 页 7 CN 111901421 A 7 为所述目标分组中除所述目标节点之外的任意一个节点; 0040 所述接收单元, 还用于接收云端发送的所述目标分组中每个节点的第二目标健康 状态; 0041 执行单元, 用于根据所述第一目标健康状态以及所述第二目标健康状态对所述目 标分组中的每个节点执行相应的操作。 0042 可选地, 所述执行单元具体用于: 0043 当第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目标健 康状态为异常时, 停止调度资源对象至所述第三目标节点, 所述第三目标节点为所述目标 分组中的任意一个节点; 0044 当所述。
29、第三目标节点的第一目标健康状态为异常, 且所述第三目标节点的第二目 标健康状态为异常时, 将所述第三目标节点中的资源对象进行驱逐处理, 并将所述第三目 标节点的资源对象从所述资源对象列表中剔除, 且停止调度目标资源对象至所述第三目标 节点, 所述资源对象列表中存储有包括所述第三节点的资源对象在内的多个节点的资源对 象; 0045 当所述第三目标节点的第一目标健康状态为正常, 且所述第三目标节点的第二目 标健康状态为正常时, 对所述第三目标节点不执行任何操作。 0046 本申请第三方面提供了一种计算机装置, 其包括至少一个连接的处理器、 存储器 和收发器, 其中, 所述存储器用于存储程序代码, 。
30、所述程序代码由所述处理器加载并执行以 实现上述所述的数据处理方法的步骤。 0047 本申请第四方面提供了一种计算机可读存储介质, 其包括指令, 当其在计算机上 运行时, 使得计算机执行上述所述的数据处理方法的步骤。 0048 综上所述, 可以看出, 本申请提供的实施例中, 目标节点获取目标分组中每个节点 的第一初始健康状态以及第二初始健康状态, 并根据第一初始健康状态以及第二初始健康 状态确定目标分组中每个节点的第一目标健康状态, 并将该第一目标健康状态发送至服务 器, 由服务器根据第一目标健康状态以及从云端获取的目标分组中每个节点的第二目标健 康状态执行相应的操作。 通过云端和边缘端综合来确。
31、定分布式集群中节点的健康状态, 这 样在云边弱网络情况下大大提高节点健康状态判断的准确性, 让系统更健壮, 避免云边网 络波动对服务造成的影响。 附图说明 0049 图1为本申请实施例提供的数据处理方法的一个应用场景示意图; 0050 图2为本申请实施例提供的数据处理方法的另一应用场景示意图; 0051 图3为本申请实施例提供的数据处理方法的一个技术流程示意图; 0052 图4为本申请实施例提供的数据处理方法的另一技术流程示意图; 0053 图5为本申请实施例提供的数据处理方法的另一技术流程示意图; 0054 图6为本申请实施例提供的网络节点的虚拟结构示意图; 0055 图7为本申请实施例提供。
32、的服务器的虚拟结构示意图; 0056 图8为本申请实施例提供的网络节点的硬件结构示意图; 0057 图9为本申请实施例提供的服务器的硬件结构示意图。 说明书 4/14 页 8 CN 111901421 A 8 具体实施方式 0058 下面将结合本申请实施例中的附图, 对本申请实施例中的技术方案进行清楚、 完 整地描述, 显然, 所描述的实施例仅仅是本申请一部分实施例, 而不是全部的实施例。 0059 本申请的说明书和权利要求书及上述附图中的术语 “第一” 、“第二” 等是用于区别 类似的对象, 而不必用于描述特定的顺序或先后次序。 应该理解这样使用的数据在适当情 况下可以互换, 以便这里描述的。
33、实施例能够以除了在这里图示或描述的信息以外的顺序实 施。 此外, 术语 “包括” 和 “具有” 以及他们的任何变形, 意图在于覆盖不排他的包含, 例如, 包 含了一系列步骤或模块的过程、 方法、 系统、 产品或设备不必限于清楚地列出的那些步骤或 模块, 而是可包括没有清楚地列出的或对于这些过程、 方法、 产品或设备固有的其它步骤或 模块, 本申请中所出现的模块的划分, 仅仅是一种逻辑上的划分, 实际应用中实现时可以有 另外的划分方式, 例如多个模块可以结合成或集成在另一个系统中, 或一些特征向量可以 忽略, 或不执行, 另外, 所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通 过一些。
34、接口, 模块之间的间接耦合或通信连接可以是电性或其他类似的形式, 本申请中均 不作限定。 并且, 作为分离部件说明的模块或子模块可以是也可以不是物理上的分离, 可以 是也可以不是物理模块, 或者可以分布到多个电路模块中, 可以根据实际的需要选择其中 的部分或全部模块来实现本申请方案的目的。 0060 下面对本申请涉及到的一些名词进行说明: 0061 kubernetes是一个分布式的集群管理系统, 在每个节点(node)上都要运行一个 worker程序对容器进行生命周期的管理, 该worker程序就是kubelet。 0062 kubelet的主要功能就是定时从某个地方获取节点上Pod/con。
35、tainer的期望状态 (运行什么容器、 运行的副本数量、 网络或者存储如何配置等等), 并调用对应的容器平台接 口达到这个状态。 0063 API Server提供了各类资源对象(Pod、 RC以及Service等)的增删改查及watch等 HTTP Rest接口, 是整个系统的数据总线和数据中心。 0064 不同于中心云, 边缘场景下, 首先要面对云边弱网络的环境, 边缘设备常常位于边 缘云机房或者移动边缘站点, 与云端连接的网络环境十分复杂, 不像中心云那么可靠。 这其 中既包含云端(控制端)和边缘端的网络环境不可靠, 也包含边缘节点之间的网络环境不可 靠, 即使是同一区域不同机房之间也。
36、无法假设节点之间网络质量良好。 0065 请参阅图1, 图1为本申请实施例提供的数据处理方法的一个应用场景示意图, 此 处以智慧工厂为例, 云端集群101与仓库102以及车间103之间的网络为弱网, 仓库102与车 间103之间的网络为弱网, 边缘节点位于厂房仓库102和车间103, 控制端master节点在腾讯 云的中心机房内。 0066 仓库102和车间103内的边缘设备同云端集群101之间的网络较复杂, 包括因特网、 第五代移动通信技术(5th generation mobile networks或5th generation wireless systems、 5th-Generati。
37、on, 5G)、 WIFI等形态均有可能, 网络质量差次不齐没有保障; 同时, 相对于云端的网络环境, 由于仓库102和车间103内的边缘设备之间是本地网络, 因此网络 质量肯定要优于同云端集群之间的连接, 相对而言更加可靠。 0067 云边弱网络带来的问题是影响运行在边缘节点上的kubelet与云端APIServer之 间通信, 云端APIServer101无法收到仓库102以及车间103中的节点的kubelet心跳或者续 说明书 5/14 页 9 CN 111901421 A 9 租, 无法准确获取仓库102或车间103中的节点以及该节点上Pod的运行情况, 如果该状况持 续时间超过设置的。
38、阈值, 那么云端APIServer102会认为该节点不可用, 并做出如下一些动 作: 0068 失联的节点状态被置为NotReady或者Unknown状态, 并被添加NoSchedule和 NoExecute的taints; 失联的节点上的Pod被驱逐, 并在其他节点上进行重建; 失联的节点上 的Pod从Service的Endpoint列表中移除。 0069 下面结合图2以音视频拉流场景为例对Pod的重建进行说明, 请参阅图2, 图2为本 申请实施例提供的数据处理方法的另一场景示意图, 包括: 0070 云端集群201A以及201B、 边缘CDN节点202A以及202B、 边缘CDN节点203。
39、A以及203B、 视频客户端204A以及204B; 0071 基于用户体验及成本考虑, 音视频拉流经常需要提高边缘缓存命中率减少回源, 将用户请求的同一文件调度到同一个服务实例以及服务实例缓存文件均是常见的做法。 0072 然而, 在原生Kubernetes的情况下, 如果Pod因为网络波动而频繁重建, 如图2中的 边缘CDN节点202A中的Pod A因为弱网中断, 在云边断网后重连, 由于断网的影响, 在弱网重 连之后, 会将边缘CDN节点202A中的Pod A销毁进行重建, 并将边缘CDN节点203B的Pod B与 视频客户端204B连接。 但是这样做一方面会影响服务实例缓存效果, 另一方。
40、面会引起调度 系统将用户请求调度到其他服务实例。 0073 事实上, 边缘节点完全运行正常, Pod驱逐或重建其实是完全不必要的。 为了克服 这个问题, 保持服务的持续可用, 仅仅依赖边缘端和云端APIServer的连接情况来判断边缘 节点是否正常并不合理, 为了让系统更健壮, 需要引入额外的判断机制。 0074 有鉴于此, 本申请提供了一种数据处理方法, 通过分布式集群中的边缘分布式节 点的健康状态判定技术和机制, 除了考虑节点与云端APIServer的连接情况, 还引入了边缘 节点的判定情况作为评估因子, 以便对节点进行更全面的状态判断, 由此在云边弱网络情 况下大大提高系统在节点状态判断。
41、上的准确性, 为服务稳定运行保驾护航。 0075 另外, 由于边缘网络和拓扑的特殊性, 常常会存在节点组之间网络单点故障的问 题, 比如上述图1中所示的例子中, 仓库102和车间103虽然都属于厂房这个地域内, 但是可 能他们之间的网络连接依靠一条关键链路, 一旦这条链路发生中断, 就会造成节点组之间 的分裂, 本申请提供的数据处理方法能够确保两个分裂的节点组失联后互相判定组内节点 的健康状态时始终保持多数的一方节点不会被判定为异常, 避免被判定为异常造成Pod只 能被调度到少部分的节点上, 造成节点负载过高的情况。 0076 边缘设备很有可能位于不同的地区、 相互不通, 本申请提供的数据处理。
42、方法也支 持多地域内的节点状态判定, 可以方便地将节点依据地域或者其他方式进行分组后, 实现 组内的检查; 并且即使重新分组也无需重新部署检测组件或重新初始化, 更为适应边缘计 算的网络情况。 分组后, 节点只会判定同一个组内的节点状态, 如果不为节点分组, 默认各 个节点自己是一个组, 不会检查其他节点。 0077 下面结合图3从目标节点角度对本申请实施例提供的数据处理方法的进行说明。 0078 请参阅图3, 图3为本申请实施例提供的数据处理方法的流程示意图, 包括: 0079 301、 目标节点获取第一节点集合中每个节点的第一初始健康状态。 0080 本实施例中, 目标节点可以获取第一节点。
43、集合中每个节点的第一初始健康状态, 说明书 6/14 页 10 CN 111901421 A 10 其中, 该第一节点集合为目标分组中除目标节点之外的节点的集合, 目标节点为目标分组 中的任意一个节点, 目标分组为分布式集群中任意一个分组。 也就是说, 对于分布式 Kubernetes集群中各个分组来说, 各个分组中的每个节点定期探测组内的其他节点的第一 初始健康状态。 0081 一个实施例中, 目标节点获取第一节点集合中每个节点的第一初始健康状态包 括: 0082 目标节点向第一节点集合中每个节点的目标接口发送目标请求, 以获取第一节点 集合中每个节点返回的健康值; 0083 目标节点根据第。
44、一节点集合中每个节点返回的健康值确定第一节点集合中每个 节点的第一初始健康状态。 0084 本实施例中, 目标分组中的每个节点通过向目标分组中的其他节点的目标接口发 送请求, 获取每个节点返回的健康值, 根据该健康值确定其对应的健康状态。 当第二目标节 点的健康值为正常时, 目标节点确定第二目标节点的第一初始健康状态为正常, 第二目标 节点为第一节点集合中的任意一个节点; 当第二目标节点的健康值为异常时, 目标节点确 定第二目标节点的第一初始健康状态为异常。 也就是说, 目标节点可以通过向第一节点集 合中每个节点的kubelet的10255的/healthz接口(也即目标接口)发送请求, 获取。
45、第一节点 集合中每个节点的kubelet健康状态作为每个节点的健康状态; 另外, 目标节点还可以通过 ping第一节点集合中每个节点的22端口的方法, 并根据请求返回值是否正常作为判定标 准; 可以理解的是, 判定节点的健康状态的标准为: 如果请求返回值正常, 则认为该节点的 健康状态正常的, 如果请求返回值异常, 则认为该节点的将康状态为异常。 0085 302、 目标节点获取目标分组中每个节点的第二初始健康状态。 0086 本实施例中, 目标节点可以获取目标分组中每个节点的第二初始健康状态, 该第 二初始健康状态为第一目标节点获取的第二节点集合中每个节点的健康状态, 第二节点集 合为目标分。
46、组中除第一目标节点之外的其他节点的集合, 该第一目标节点为目标分组中除 目标节点之外的任意一个节点。 也就是说, 目标分组中每个节点除了自己获取其他节点的 第一初始健康状态, 还会向目标分组中的其他节点获取第二初始健康状态, 该第二初始健 康状态为目标分组中的其他节点分别获取目标分组中节点的健康状态。 例如目标分组中包 括节点A、 节点B、 节点C以及节点D, 节点A会获取节点B、 节点C以及节点D的健康状态, 同理, 节点B会获取节点A、 节点C以及节点D的健康状态, 节点C会获取节点A、 节点B以及节点D的健 康状态, 节点D会获取节点A、 节点B以及节点C的健康状态, 另外, 节点A还会。
47、获取节点B、 节点 C以及节点D获取的目标分组中节点的健康状态, 以此类推, 节点B、 节点C以及节点D也是如 此。 可以理解的是, 目标节点可以周期性的获取目标分组中每个节点的第二初始健康状态, 也可以按需进行获取, 具体不做限定。 0087 需要说明的是, 通过步骤301可以获取第一节点集合中每个节点的第一初始健康 状态, 通过步骤302可以获取目标分组中每个节点的第二初始健康状态, 然而, 这两个步骤 之间并没有先后执行顺序的限制, 可以先执行步骤301, 也可以先执行步骤302, 或者同时执 行, 具体不做限定。 0088 303、 目标节点根据第一初始健康状态以及第二初始健康状态确定。
48、目标分组中每 个节点的第一目标健康状态。 说明书 7/14 页 11 CN 111901421 A 11 0089 本实施例中, 目标节点在获取到第一节点集合中每个节点的第一初始健康状态以 及目标分组中每个节点的第二初始健康状态之后, 目标节点根据第一初始健康状态以及第 二初始健康状态确定目标分组中每个节点的第一目标健康状态, 也就是说, 分布式集群内 各个分组的所有节点定期投票决定各分组内节点的健康状态: 通过步骤301以及步骤302获 取的第一初始健康状态以及第二初始健康状态, 目标分组内的各个节点都保存了从自己角 度(该节点的自己角度为节点自己认为)确定的各节点的健康状况, 另外目标分组。
49、中的其他 节点之间也会相互交互自己获取到的其他节点的第一初始健康状态, 并根据收到的其他节 点探测的节点的第二初始健康状态进行统计, 即可以选出目标分组中所有节点的第一目标 健康状态, 例如可以通过预设值来进行确定, 例如目标分组中包括节点A、 节点B、 节点C以及 节点D, 其中, 认为节点A的健康状态为异常的节点有2个, 认为节点B的健康状态为异常的节 点有3个, 认为节点C的健康状态为异常的节点有0个, 认为节点D的健康状态为异常的节点 有1, 假如该预设值为3, 则目标分组中第一目标健康状态为异常的节点为节点B, 目标分组 中第一目标健康状态为正常的节点为节点A、 C以及D。 0090。
50、 304、 目标节点将目标分组中每个节点的第一目标健康状态发送至服务器, 以使得 服务器根据目标分组中每个节点的第一目标健康状态以及第二目标健康状态执行相应的 操作。 0091 本实施例中, 目标节点在确定目标分组中每个节点的第一目标健康状态之后, 可 以将目标分组中每个节点的第一目标健康状态发送至服务器, 以使得服务根据从目标节点 获取的目标分组中每个节点的第一目标健康状态以及从云端获取的目标分组中每个节点 的第二目标健康状态执行相应的操作。 0092 综上所述, 可以看出, 本申请提供的实施例中, 目标节点获取目标分组中每个节点 的第一初始健康状态以及第二初始健康状态, 并根据第一初始健康。
- 内容关键字: 数据处理 方法 相关 设备
井用踏步.pdf
油田用平板闸阀密封连接结构.pdf
混凝土搅拌装置.pdf
用于针织设备的供纱机构.pdf
魔方.pdf
防拱装置.pdf
2-乙基蒽醌生产用废酸处理装置.pdf
零件加工定位工装.pdf
水基压裂液搅拌装置.pdf
气动式料带接料台.pdf
电缆生产用托架.pdf
气体环境检测装置.pdf
建筑工程桩.pdf
混凝土保温体系.pdf
自动钉裤袢装置.pdf
无电动力驱动装置.pdf
多功能的离心泵生产加工装置.pdf
静脉设备摄像头模组异常检测的方法和系统.pdf
微模块机房环境监控方法及系统.pdf
供排水设备关联数据在线监测方法及系统.pdf
基于平均队列长度变化趋势的网络自适应拥塞控制方法.pdf
结合事件日志和知识图谱的流程操作序列生成方法及系统.pdf
计算机控制设备的运行功率监测系统.pdf
雷达产品的测试系统及测试方法.pdf
纬纱绕卷装置.pdf
基于代谢组学和人工智能技术的肺腺癌早期诊断标志物及其应用.pdf
基于大模型的信息校验方法及装置.pdf
带有升降旋转摄像头的智能手表拍照控制方法及系统.pdf
公路施工用岩土取样装置.pdf
能够快速调节的建筑施工用垂直检测设备.pdf
中央空调冷热源节能智控系统.pdf
水上天然气管道支护结构.pdf
一种升降式旋转室外消火栓.pdf
框架结构T型连接柱.pdf
防静电地板吸板器.pdf
一种建筑用箱体或井口预留孔洞活动模具.pdf
速成拉建房屋.pdf
预制桥面板精轧螺纹钢筋弧形连接构造.pdf
一种内固定式伸缩门滑行导轨及伸缩门.pdf
多用途封井器.pdf
一种新型圆弧建筑模板紧固件.pdf
一种超实木防水组合踢脚线.pdf
电气柜前门板门锁装置.pdf
双人正杆器.pdf
一种纳米铝塑复合板.pdf
强磁打捞器.pdf
一种基于无刷直流电机的环卫车电动扫盘系统.pdf
一种可调节型门铰链.pdf
一种用于基桩竖向抗压静载试验的船筏式试验装置.pdf
免贴墙砖.pdf
一种聚氨酯仿石材防火保温装饰复合板.pdf