《基于实时计算框架的数据处理方法和系统.pdf》由会员分享,可在线阅读,更多相关《基于实时计算框架的数据处理方法和系统.pdf(14页完整版)》请在专利查询网上搜索。
本发明涉及一种基于实时计算框架的数据处理方法和系统,所述方法包括:控制节点发起事务并生成对应的事务标识,根据所述事务标识发送事务命令消息到第一工作节点;所述第一工作节点根据所述事务命令消息从指定的数据源中拉取一批数据;第一工作节点将所述数据的元数据对应所述事务标识进行存储,并将所述数据发送给第二工作节点;所述第二工作节点对所述数据进行处理,根据所述事务标识将所述数据的处理结果提交到数据库,所述处理。