《用于车辆数据接收和实时分析的集群分布式系统及方法.pdf》由会员分享，可在线阅读，更多相关《用于车辆数据接收和实时分析的集群分布式系统及方法.pdf（11页完整版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 102510403 A (43)申请公布日 2012.06.20 C N 1 0 2 5 1 0 4 0 3 A *CN102510403A* (21)申请号 201110361534.3 (22)申请日 2011.11.15 H04L 29/08(2006.01) H04L 29/12(2006.01) (71)申请人江苏大为科技股份有限公司 地址 214001 江苏省无锡市无锡锡山经济开 发区科技工业园1号 (72)发明人包可为 (74)专利代理机构北京中恒高博知识产权代理 有限公司 11249 代理人夏晏平 (54) 发明名称 用于车辆数据接收和实时分析的集群分。
2、布式 系统及方法 (57) 摘要 本发明公开了一种用于车辆数据接收和实时 分析的集群分布式系统及方法，包括前端设备、通 信服务器和分析服务器，多个通信服务器组合为 一个接收集群，多个分析服务器组合为一个分析 集群，接收集群和分析集群中设置有集群管理器 和集群服务器状态列表，通过对服务器的工作负 载性能数值计算，从而有集群管理器动态的分配 连接地址，在前端设备、通信服务器和分析服务器 间建立通信。从而达到避免因一个汇聚点上的接 收或者分析模块宕机后造成的数据传输中断，和 因中断造成的数据的丢失或者成批量的数据长时 间无法分析的缺点。 (51)Int.Cl. 权利要求书2页 说明书5页 附图3页 。
3、(19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 5 页 附图 3 页 1/2页 2 1.一种用于车辆数据接收和实时分析的集群分布式系统，包括前端设备、通信服务器 和分析服务器，其特征在于， 所述前端设备：收集车辆数据； 所述通信服务器：接收上述前端设备采集的车辆数据； 所述分析服务器：接收上述由通信服务器传输的前端设备采集的车辆数据并进行数据 处理； 所述多个通信服务器组合为一个接收集群； 所述多个分析服务器组合为一个分析集群； 上述接收集群和分析集群中设置有集群管理器和集群服务器状态列表； 上述集群管理器：根据服务器的工作负载性能数值，动态的分配连接地。
4、址，在上述通信 服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的 运行和对外的服务响应； 上述集群服务器状态列表：保存上述通信服务器和分析服务器自身的实时运行状态和 性能数值。 2.一种利用权利要求1所述的用于车辆数据接收和实时分析的集群分布式系统的方 法，其特征在于，包括以下步骤： 前端设备向接收集群提出连接请求； 上述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列 表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值； 上述接收集群中的集群管理器根据上述计算的工作负载性能数值分配连接地址； 上述接收集群中的集群管理器根。
5、据上述分配的连接地址在通信服务器与前端设备间 建立通信； 上述接收集群中的集群管理器向分析集群提出连接请求； 上述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表 中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值； 上述分析集群中的集群管理器根据上述工作负载性能数值分配连接地址； 上述分析集群中的集群管理器根据上述分配的连接地址在分析服务器和通信服务器 间建立通信。 3.根据权利要求2所述的用于车辆数据接收和实时分析的集群分布式的方法，其特征 在于，所述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列 表中的通信服务器的实时运行状。
6、态和性能数值计算通信服务器的工作负载性能数值，包括 以下步骤： 上述集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数 值； 上述集群管理器分析上述通信服务器的实时运行状态和性能数值判断上述集群服务 器状态列表中通信服务器的信息是否及时更新； 如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数 值； 如通信服务器的信息得到及时更新集群管理器则根据上述通信服务器的信息计算通 权 利 要 求 书CN 102510403 A 2/2页 3 信服务器的工作负载性能数值。 4.根据权利要求2所述的用于车辆数据接收和实时分析的集群分布式的方法，其特征 在于，所述分析。
7、集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列 表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值，包括 以下步骤： 上述集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数 值； 上述集群管理器分析上述分析服务器的实时运行状态和性能数值判断上述集群服务 器状态列表中分析服务器的信息是否及时更新； 如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数 值； 如分析服务器的信息得到及时更新集群管理器则根据上述分析服务器的信息计算分 析服务器的工作负载性能数值。 5.根据权利要求2、3或4所述的用于车辆数据接收和实时分析的。
8、集群分布式的方法， 其特征在于，所述服务器的工作负载性能数值的计算公式如下： F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5); 其中F值越高，表示该服务器的工作负载越重； C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存 使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。 权 利 要 求 书CN 102510403 A 1/5页 4 用于车辆数据接收和实时分析的集群分布式系统及方法 技术领域 0001 本发明涉及车辆数据接收。
9、和实时分析领域，具体地，涉及一种用于车辆数据接收 和实时分析的集群分布式系统及方法。 背景技术 0002 随着我国汽车数量的不断增加，需要对大量采集的车辆数据进行处理，而现有技 术对车辆数据的接受和实时分析时仍采用如图1所示的方法，在每个汇聚点上进行车辆数 据的各种分析运算。而采用这样的方式，在数据接收和数据分析上都是会有很大的延时，而 且当一个汇聚点上的接收或者分析模块宕机后，在汇聚点修复之前，整个汇聚点下的所有 设备数据接受和分析都会中断，造成数据的丢失或者成批量的数据长时间无法分析。 发明内容 0003 本发明的目的在于，针对上述问题，提出一种用于车辆数据接收和实时分析的集 群分布式系统。
10、及方法，以实现防止因一个汇聚点上的接收或者分析模块宕机后造成的数据 传输中断，及因中断造成的数据的丢失或者成批量的数据长时间无法分析的优点。 0004 为实现上述目的，本发明采用的技术方案是： 一种用于车辆数据接收和实时分析的集群分布式系统，包括前端设备、通信服务器和 分析服务器， 所述前端设备：收集车辆数据； 所述通信服务器：接收上述前端设备采集的车辆数据； 所述分析服务器：接收上述由通信服务器传输的前端设备采集的车辆数据并进行数据 处理； 所述多个通信服务器组合为一个接收集群； 所述多个分析服务器组合为一个分析集群； 上述接收集群和分析集群中设置有集群管理器和集群服务器状态列表； 上述集群。
11、管理器：根据服务器的工作负载性能数值，动态的分配连接地址，在上述通信 服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的 运行和对外的服务响应； 上述集群服务器状态列表：保存上述通信服务器和分析服务器自身的实时运行状态和 性能数值。 0005 一种用于车辆数据接收和实时分析的集群分布式的方法，包括以下步骤： 前端设备向接收集群提出连接请求； 上述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列 表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值； 上述接收集群中的集群管理器根据上述计算的工作负载性能数值分配连接地址； 上述接。
12、收集群中的集群管理器根据上述分配的连接地址在通信服务器与前端设备间 说 明 书CN 102510403 A 2/5页 5 建立通信； 上述接收集群中的集群管理器向分析集群提出连接请求； 上述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表 中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值； 上述分析集群中的集群管理器根据上述工作负载性能数值分配连接地址； 上述分析集群中的集群管理器根据上述分配的连接地址在分析服务器和通信服务器 间建立通信。 0006 根据本发明的优选实施例，所述接收集群中的集群管理器接收到上述请求并根据 接收集群内集群服务器状态列表。
13、中的通信服务器的实时运行状态和性能数值计算通信服 务器的工作负载性能数值，包括以下步骤： 上述集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数 值； 上述集群管理器分析上述通信服务器的实时运行状态和性能数值判断上述集群服务 器状态列表中通信服务器的信息是否及时更新； 如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数 值； 如通信服务器的信息得到及时更新集群管理器则根据上述通信服务器的信息计算通 信服务器的工作负载性能数值。 0007 根据本发明的优选实施例，所述分析集群中的集群管理器接收上述请求，并根据 分析集群内集群服务器状态列表中的分析服务器的实。
14、时运行状态和性能数值计算分析服 务器的工作负载性能数值，包括以下步骤： 上述集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数 值； 上述集群管理器分析上述分析服务器的实时运行状态和性能数值判断上述集群服务 器状态列表中分析服务器的信息是否及时更新； 如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数 值； 如分析服务器的信息得到及时更新集群管理器则根据上述分析服务器的信息计算分 析服务器的工作负载性能数值。 0008 根据本发明的优选实施例，所述服务器的工作负载性能数值的计算公式如下： F(C,M,N,H,L) = (p1*C + p2*M + p3*。
15、N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5); 其中F值越高，表示该服务器的工作负载越重； C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存 使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。 0009 本发明的技术方案通过将通信服务器和分析服务器组合成集群，并在集群中设置 集群管理器和集群服务器状态列表，并对服务器的工作负载性能数值进行计算，从而动态 的分配连接地址，使前端设备和通信服务器和分析服务器建立动态通信，从而避免了因一 个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，和。
16、因中断造成的数据的丢失 说 明 书CN 102510403 A 3/5页 6 或者成批量的数据长时间无法分析的缺点。 0010 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、以及附图中所特别指出的结构来实现和获得。 0011 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。 附图说明 0012 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中： 图1为现有的车辆数据的接受和实时分析的。
17、结构系统图； 图2为本发明所述的用于车辆数据接收和实时分析的集群分布式系统的结构系统图； 图3为本发明所述的用于车辆数据接收和实时分析的集群分布式的方法的流程图； 图4为本发明计算通信服务器工作负载性能数值的流程图； 图5为本发明计算分析服务器工作负载性能数值的流程图。 具体实施方 式 0013 以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实 施例仅用于说明和解释本发明，并不用于限定本发明。 0014 如图2所示，本发明的技术方案公开的用于车辆数据接收和实时分析的集群分 布式系统，包括前端设备：收集车辆数据；通信服务器：接收前端设备采集的车辆数据；分 析服务器：接收由通。
18、信服务器传输的前端设备采集的车辆数据并进行数据处理；多个通信 服务器组合为一个接收集群；多个分析服务器组合为一个分析集群；接收集群和分析集群 中设置有集群管理器和集群服务器状态列表；集群管理器：根据服务器的工作负载性能数 值，动态的分配连接地址，在通信服务器和前端设备间及分析服务器和通信服务器间建立 通信，并负责整个集群中服务器的运行和对外的服务响应；集群服务器状态列表：保存通 信服务器和分析服务器自身的实时运行状态和性能数值。 0015 如图3所示，本发明的技术方案公开的于车辆数据接收和实时分析的集群分布式 的方法，包括以下步骤： 步骤101：前端设备向接收集群提出连接请求； 步骤102：接。
19、收集群中的集群管理器接收到请求并根据接收集群内集群服务器状态列 表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值； 步骤103：接收集群中的集群管理器根据计算的工作负载性能数值分配连接地址； 步骤104：接收集群中的集群管理器根据分配的连接地址在通信服务器与前端设备间 建立通信； 步骤105：接收集群中的集群管理器向分析集群提出连接请求； 步骤106：分析集群中的集群管理器接收请求，并根据分析集群内集群服务器状态列 表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值； 步骤107：分析集群中的集群管理器根据工作负载性能数值分配连接地址； 步骤108。
20、：分析集群中的集群管理器根据分配的连接地址在分析服务器和通信服务器 说 明 书CN 102510403 A 4/5页 7 间建立通信。 0016 如图4所示，在步骤102中接收集群中的集群管理器接收到请求并根据接收集群 内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工 作负载性能数值，包括以下步骤： 步骤201：集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性 能数值； 步骤:202：集群管理器分析通信服务器的实时运行状态和性能数值判断集群服务器 状态列表中通信服务器的信息是否及时更新； 如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状。
21、态和性能数 值及返回步骤201； 步骤203：如通信服务器的信息得到及时更新集群管理器则根据通信服务器的信息计 算通信服务器的工作负载性能数值。 0017 如图5所示，步骤106中分析集群中的集群管理器接收请求，并根据分析集群内集 群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负 载性能数值，包括以下步骤： 步骤301：集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性 能数值； 步骤302：集群管理器分析分析服务器的实时运行状态和性能数值判断集群服务器状 态列表中分析服务器的信息是否及时更新； 如分析服务器的信息没有及时更新则从新读取分析服务器的实时。
22、运行状态和性能数 值及返回步骤301； 步骤303：如分析服务器的信息得到及时更新集群管理器则根据分析服务器的信息计 算分析服务器的工作负载性能数值。 0018 另外，服务器的工作负载性能数值的计算公式如下： F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5); 其中F值越高，表示该服务器的工作负载越重； C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存 使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。 0019 其中服务器的。
23、运行状态包括:CPU使用率，内存使用率，网络带宽使用率，硬盘缓 存使用率，接收、分析软件运行状态，外部设备的连接比例。 0020 集群管理器通过分析每一台服务器的运行性能来动态的调配对外设备的连接和 内部分析运算。 0021 集群内部通信采用TCP通信模式。各个节点服务器上的客户端实时把运行数值传 输到集群管理器。 0022 最后，基于工作负载性能数值计算结果，在一系列的服务器中挑选出有哪台服务 器适合作为最新的接入对象，将接入端口分发给外部设备，完成外部设备与集群的对接。 0023 接入集群中每一台服务器上的接收软件与分析集群的对接也是如此，由分析集群 的集群管理器动态分派。 说 明 书CN。
24、 102510403 A 5/5页 8 0024 分发过程中挑选工作负载量最低的服务器作为外部设备的接入对象，同时，为了 防止出现接入请求密度高时无法及时更新的服务器状态的状况，一旦连接分发出去之后在 状态更新之前就不再对外分发。 0025 一、低工作负载节点挑选过程； 二、从服务器状态列表中取得最低工作负载的服务器信息； 三、分析该信息是否及时更新，是否已进行分发； 四、如果不符合条件，重复步骤一； 五、把服务器信息发送至请求方； 六、在服务器状态列表中进行状态标注，标志已分发出去； 七、等到下一个请求。 0026 最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明， 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。 说 明 书CN 102510403 A 1/3页 9 图1 图2 说 明 书 附 图CN 102510403 A 2/3页 10 图3 图4 说 明 书 附 图CN 102510403 A 10 3/3页 11 图5 说 明 书 附 图CN 102510403 A 11 。