基于离线分析和在线预测结合的Hadoop+Spark交通预测系统及方法.pdf

《基于离线分析和在线预测结合的Hadoop+Spark交通预测系统及方法.pdf》由会员分享，可在线阅读，更多相关《基于离线分析和在线预测结合的Hadoop+Spark交通预测系统及方法.pdf（12页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010298397.2 (22)申请日 2020.04.16 (71)申请人 兰州理工大学 地址 730000 甘肃省兰州市七里河区兰工 坪路287号 (72)发明人 张红王文婷 (74)专利代理机构 北京中恒高博知识产权代理 有限公司 11249 代理人 夏晏平 (51)Int.Cl. G06F 16/2458(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) G06Q 50/30(2012.01) (54)发明名称 一种基。

2、于离线分析和在线预测结合的 Hadoop+Spark交通预测系统及方法 (57)摘要 本发明公开了一种基于离线分析和在线预 测结合的Hadoop+Spark交通预测系统， 包括 Hadoop平台交通大数据的存储和管理、 Spark系 统交通实时数据分析和交通流预测和交通流预 测应用。 本发明通过研究Hadoop云平台的 MapReduce分布式架构工作机理、 分布式文件存 储(HadoopDistributedFileSystem， HDFS)原 理、 以及Spark基于内存计算的工作流程， 根据交 通流预测的强实时性要求， 建立基于Hadoop+ Spark架构的综合性交通大数据处理平台。 。

3、针对 交通大数据的特点， 优化平台， 使得能够快速分 析交通大数据， 并研究基于大数据平台的交通数 据预处理方法， 为交通特性分析及交通流预测提 供高质量的数据支撑。 权利要求书1页 说明书6页 附图4页 CN 111680075 A 2020.09.18 CN 111680075 A 1.一种基于离线分析和在线预测结合的Hadoop+Spark交通预测系统， 其特征在于， 包 括Hadoop平台交通大数据的存储和管理(1)、 Spark系统交通实时数据分析和交通流预测 (2)和交通流预测应用(3)， 整个系统从底层交通数据采集到高层交通流预测的应用， 由交 通大数据源、 Hadoop平台交通。

4、大数据的存储和管理(1)、 Spark系统交通大数据实时分析和 交通流预测(2)和交通流预测应用(3)四大部分组成。 2.根据权利要求1所述的基于离线分析和在线预测结合的Hadoop+Spark交通预测系 统， 其特征在于， 构建了基于Hadoop+Spark离线分析和在线流处理相结合的交通流预测架 构， 采用Hadoop平台交通大数据的存储和管理(1)， 利用Hadoop/MapReduce分布式计算框架 分析处理历史交通数据， 挖掘数据中蕴含的深层知识， 寻找数据内部隐藏的规律， 如居民日 常出行行为、 出行模式、 城市动态特征等， 再用Spark系统进行交通大数据实时分析和交通 流预测(。

5、2)， 最终应用于交通诱导、 交通信号控制及交通信息服务等交通预测应用(3)上。 3.一种基于离线分析和在线预测结合的Hadoop+Spark交通预测方法， 用于实现如权利 要求1所述的平台交通预测以及应用， 其特征在于， 包括以下步骤： 1)采用基于无线射频识别(Radio Frequency Identification， RFID)的车辆跟踪定位 系统， 全球定位系统(Global Positioning System， GPS)， 交通监控视频、 社交媒体、 手机应 用、 感应线圈、 卡扣、 微波及雷达监测等积累大量的交通数据； 2)采用Hadoop平台交通大数据存储与管理(1)， 对。

6、交通非结构化文件数据首先按目录 进行分类， 然后按元数据管理的方法管理文件属性， 用HDFS分布式系统统一管理； 对实时、 大容量、 连续的交通信息， 如实时轨迹数据及监控视频数据， 用Spark系统中的Tachyon进行 组织和管理； 对经过处理挖掘的部分规整交通模式信息， 存储于关系数据库MySQL， 便于多 数应用开发的无缝访问； 大部分经过整编、 再分析、 归类、 关联计算及相关转换处理过的非 结构化交通数据存储于HBase非关系数据库中； 通过对交通大数据不同形式的组织和管理， 实现交通数据的方便扩容、 删除、 迁移等操作和分类存储， 满足不同要求的交通数据访问， 达到数据优化存储和。

7、快速查询； 3)采用Hadoop/MapReduce分布式计算框架分析处理历史交通数据， 挖掘数据中蕴含的 深层知识， 寻找数据内部隐藏的规律， 如居民日常出行行为、 出行模式、 城市动态特征等， 再 用Spark系统对交通大数据实时分析和计算， 实现交通流短期预测； 4)利用交通流短期预测信息， 实现对交通诱导系统、 交通信号控制系统、 实时路况预报 系统、 实时路网规划及路网地图更新、 交通供求分析、 交通异常检测、 智能电子停车、 短期交 通拥堵预测、 出行信息服务等方面的应用。 权利要求书 1/1 页 2 CN 111680075 A 2 一种基于离线分析和在线预测结合的Hadoop+。

8、Spark交通预测 系统及方法 技术领域 0001 本发明涉及交通大数据分析及交通预测领域， 具体涉及一种基于Hadoop的交通大 数据平台搭建及基于其上的交通流预测体系架构， 为交通大数据的分析预处理和城市交通 流的短时预测提供研究平台和技术应用开发。 背景技术 0002 交通数据种类繁多、 规模庞大、 动态多变、 时空跨越大、 随机性和异质性高， 是大数 据概念范畴中极具代表性的典型样本。 如何高效快速地分析这些数据， 挖掘有用信息， 为交 通状态分析和交通流预测提供数据基础， 是大数据背景下， 提高城市交通流预测精度和实 时性的必备条件。 基于大数据、 分布式并行计算、 数据挖掘等数据管。

9、理与分析技术， 搭建交 通大数据处理平台， 构建基于大数据平台的交通流预测体系， 是大数据背景下研究城市交 通流预测方法的先决条件。 交通大数据为交通流预测提供了丰富的数据源， 基于分布式并 行计算的大数据分析平台为交通大数据的深度挖掘和高效分析提供了强大的技术支持。 0003 交通大数据研究现状启示我们， 先进的信息通讯技术及智能信息采集和感知技术 的发展， 使得交通领域积累了大量的交通相关数据。 这些数据为智能交通的进一步发展和 提升带来了巨大的革新， 避免了传统的单一监测方式给交通分析带来的缺陷， 例如环形线 圈只能对单一车道进行检测、 微波无法对低速车辆进行检测、 视频受环境影响大、 。

10、移动式检 测受通信技术制约。 交通大数据是智能交通实现的基础保障， 多源信息融合的交通分析能 够更好地结合各种检测方式的优点， 提高交通信息与状态检测的准确性和鲁棒性。 发明内容 0004 技术问题： 本发明针对传统的交通管理与决策中存在的问题， 提供了一种从以管 理流程为主的线性范式向以数据为中心的扁平化范式演化， 推动交通大数据的融合分析为 多维度的交通状态综合性分析及预测的系统方法。 其创新性主要表现在如下几个方面： 0005 1.实时高效性。 传统的数据分析技术及算法不适用于大数据处理模式， 无法达到 交通信息服务的实时性需求， 大数据技术通过分布式并行处理， 能够快速的对交通大数据 。

11、分析和处理， 大大提高了数据查询及分析的效率， 提供秒级响应， 能够快速的从海量交通数 据中挖掘出数据中隐藏的内在关联规律， 及时发现交通异常， 定位症结， 诱导交通合理运 行， 提高交通运营效率和路网通行能力。 0006 2.分布综合性。 大部分传统的交通应用多为基于单源数据的单表挖掘分析， 一旦 涉及到基于多源数据的跨表关联就会因效率问题而无能为力， 大数据的分布式并行处理擅 长复杂的块表关联分析， 能够融合多源数据， 多角度分析问题， 推动数据串并关联， 提高数 据处理能力和多维度深层分析问题的能力， 能够深度分析交通流演变规律。 0007 3.准确预测性。 基于大数据的短时交通流预测可。

12、降低对交通拥堵状态误报和漏报 的概率， 通过建立区域交通状态的监测及预测模型， 共享交通运行相关数据与路况环境数 说明书 1/6 页 3 CN 111680075 A 3 据， 多方位对交通的动态性进行实时监控， 准确预测交通状态变化， 帮助驾驶员及出行者预 先了解交通拥堵状况， 避开拥堵路段， 提高道路通行能力。 0008 技术方案： 为实现上述目的， 本发明提供一种基于离线分析和在线预测结合的 Hadoop+Spark交通预测系统及方法， 采用目前流行的被多家大型IT公司采用的Hadoop/ MapReduce作为交通历史数据的分析平台， 以具备高效计算及强容错性的Spark作为实时交 通。

13、流数据的分析及预测建模工具， 系统整体架构见图1， 主要由数据源、 交通大数据存储、 交 通数据分析及预测、 预测应用四大部分组成。 0009 1).Hadoop交通大数据平台 0010 Hadoop是一个集分布式计算、 存储和管理为一体的开源分布式计算框架， 通过由 大量普通计算机组成的集群为应用程序提供稳定可靠的接口， 构建高可靠性、 强容错性， 且 可伸缩和可扩展的大数据分布式存储与计算体系。 其核心组件为分布式文件系统HDFS和分 布式并行计算架构MapReduce， 此外还包括建立其上的一系列大数据工具， 如Hadoop YARN、 Chukwa、 HBase、 Hive、 Maho。

14、ut、 Pig、 Spark和ZooKeeper等， 统称为Hadoop生态系统， 见图2。 0011 Hadoop集群一般由客户机(JobClient)、 主节点(Master)和从节点(Slave) 三部 分组成， 整体呈现主从式架构(Master/Slave)， 三者间的相互协作原理如图3所示。 其中， Job Client用于提交交通数据预处理及分析等作业， 并复制与作业相关的资源； Master管 理维护整体交通数据的分布式存储， 监控作业分析相关的MapReduce任务； Slave用于交通 数据的实际存储和数据处理任务； Job Tracker接受交通数据分析或预测建模等新作业的。

15、 请求， 创建作业对象， 封装一次作业运行过程中产生的相关任务、 状态以及进度， 为Task Tracker分配具体的执行任务； Task Tracker用于监控与管理各节点上的作业运行情况， 复 制有关本地化作业的JAR文件(包括第三方JAR包文件)， 创建新的实例执行任务。 0012 HDFS是谷歌文件系统(Google File System， GFS)的开源实现， 可实现交通大数据 的高吞吐量并行访问和分布式存储， 提供高性能、 强容错、 高可靠的交通大数据快速分析与 建模， 其内部执行流程如图4所示。 HDFS采用主从式运行模式， NameNode节点实现元数据文 件的管理， Dat。

16、aNode节点用于实际交通数据的存储， 它们之间通过Hadoop的远程过程调用 机制实现相互间通信。 0013 MapReduce是一种能处理大规模数据集的并行编程模型， 能在由成百上千台普通 PC机组成的Hadoop集群上执行并行计算任务， 其作业执行流程如图5 所示。 MapReduce将数 据分析或建模任务分配至各数据节点进行交通大数据的分析挖掘与计算等子任务， 并将运 行在大规模集群中的并行计算过程抽象为Map (映射)和Reduce(规约)两个阶段， Map阶段 将整个计算任务分解成多个子计算任务， 其实质为将一组键值对key1， value1映射成一 组新的中间键值对key2， v。

17、alue2， Reduce阶段接收Map函数的输出， 将多个输出结果中相 同key 值的value值进行聚合， 并以键值对key3， value3的形式输出， map阶段与 reduce 阶段有可能重复进行。 0014 2).Spark实时计算平台 0015 Hadoop/MapReduce是一种批处理过程， 擅长历史交通大数据的离线分析， 并不适 合实时交通数据的分析与预测。 Spark是基于内存计算的大数据分布式计算框架， 能提供更 快的数据分析与预测结果， 但消耗的内存更高。 为此， 该发明建立了Hadoop+Spark的离线分 析与在线预测相结合的体系架构， 通过Spark提供基于弹性。

18、分布式数据集(Resilient 说明书 2/6 页 4 CN 111680075 A 4 Distributed Datasets， RDD)的交通预测一站式解决方案， 将交通实时数据的快速计算、 历 史交通模式的交互式查询(Ad-hoc Queries)、 流计算(Streaming Computering)等集中用 Spark架构实现， 通过一致的应用程序接口(Application Programming Interface， API)和 相同的部署方案， 使各个处理部分在内存中无缝集成， 协作完成系统整体任务， 避免计算过 程中出现过多的网络和磁盘I/O开销， 提高大数据背景下交通流。

19、预测的实时性。 0016 Spark实时交通流数据分析及预测体系主要由实时交通流数据的流式分析、 作业 任务调度、 内存管理、 Spark SQL、 Spark MLlib等组成， 见图6。 客户端通过Spark驱动程序提 交实时交通数据的分析及预测作业； 资源管理层通过YARN、 为Spark提供高效的交通数据管 理和数据共享功能， 提高系统整体的资源利用效率； Spark流计算接收并分析实时交通数 据， 通过对流数据的微批处理形成分布式弹性数据集(Resilient Distributed Datasets， RDD)和内存计算提高交通数据分析的实时性； Spark SQL和Mllib为用。

20、户提供查询交通历史 运行模式， 组建综合性查询字段， 建立快速的预测模型。 附图说明 0017 图1是本发明采用的Hadoop+Spark整体分析及预测体系； 0018 图2是本发明采用的Hadoop+Spark生态系统说明； 0019 图3是本发明采用的Hadoop+Spark集群架构； 0020 图4是本发明采用的HDFS交通数据读写流程； 0021 图5是本发明采用的MapReduce作业执行流程； 0022 图6是本发明采用的Spark实时交通流数据分析及预测体系； 0023 具体实施方法： 0024 为使本发明的目的、 技术方案和优点更加清楚， 下面结合附图对本发明实施方式 作进一步。

21、说明。 以下实例仅用于说明本发明的技术方案， 而不能以此来限制本发明的保护 范围。 0025 本发明所建立的平台采用完全分布式运行模式， 并用VMWare虚拟技术增强平台的 分布式存储和并行计算能力。 本发明将平台搭建过程划分为三个关键阶段进行说明， 前期 准备阶段、 Hadoop安装配置阶段、 Hadoop+Spark安装和启动阶段。 0026 前期准备阶段主要完成运行环境的设置、 集群节点的设置及相关软件的准备。 由 于Hadoop的唯一支持系统为Unix， 而目前大多数应用都在Windows平台上运行， 为了不影响 已有的应用， 本例搭建了基于Windows环境的Unix虚拟机， 构建了。

22、由4台联想普通个人机 (Intel(R)Core(TM)i5-3210M CPU2.50GHZ 2.50GHZ， 4G内存， Windows 7旗舰版64位)组建 的小型集群， 主机名和对应的IP地址设置见表1， 修改每台主机的hosts文件， 并配置时钟同 步、 网络环境和免密码登录、 关闭防火墙。 相关软件及版本见表2所示。 0027 表1.集群节点设置 说明书 3/6 页 5 CN 111680075 A 5 0028 0029 表2.软件版本和主要功能 0030 0031 对Hadoop软件安装及配置步骤， 各个版本软件的正确安装和配置是搭建该平台的 关键， 由于该平台涉及到多台主机的。

23、分布式协调工作， 技术难度大、 要求高， 所以本发明对 搭建过程中的关键环节加以强调。 0032 1).虚拟机及JDK安装。 0033 0034 分别在Master和Slave1、 Slave2、 Slave3上依次安装VMWare Workstation 10虚拟 机和CentOS 7Linux操作系统， 以及平台的开发工具包JDK 1.7， 并用 gedit配置Java环境 变量。 0035 2).Hadoop安装及配置。 0036 安装Hadoop 2.6.4， 配置环境变量hadoop-env.sh和yarn-env.sh。 0037 0038 配置核心组件core-site.xml，。

24、 设置HDFS的存储位置和端口， 以及文件缓存。 说明书 4/6 页 6 CN 111680075 A 6 0039 0040 配置文件系统hdfs-site.xml， 设置交通数据文件的分布式存储NameNode和 DataNode的地址、 端口， 以及文件备份数量， 本论文设置文件的备份数量为3。 0041 0042 配置yarn-site.xml， 统一管理Hadoop资源。 0043 0044 配置计算框架mapred-site.xml， 设置分布式计算架构MapReduce的管理节点。 0045 0046 用start-dfs.sh和start-yarn.sh启动Hadoop， 分别。

25、在Master和三个Slave终端用 jps命令检验系统 ， 当Master终端出现SecondaryNameNode、 Jps、 NameNode、 ResourceManager四个进程， Slave终端出现Jps、 DataNode、 NodeManager三个进程时， 说明 Hadoop集群正常安装， 能够启动。 0047 3).Hadoop+Spark安装和启动 0048 该阶段的安装需要在Hadoop已经成功安装的基础上进行， 并且要求Hadoop 平台 已经正常启动。 Hadoop生态系统有一系列的大数据存储、 分析及传输工具， 依次安装部署 Spark 1.6.2、 Scala。

26、2.11.8、 Hbase 1.2.2、 MySQL 5.7.14、 Mahout 0.10.0 和Sqoop 说明书 5/6 页 7 CN 111680075 A 7 1.99.7， 本发明只对关键环节交通流预测的Spark特别说明。 0049 首先， 为Spark安装开发语言scala 2.11.8， 配置scala的环境变量。 0050 0051 其次， 安装spark 1.6.2， 配置spark的环境变量和spark-env.sh。 0052 0053 最后， 分别安装配置其它Hadoop生态系统软件， 其中Hbase 1.2.2和Sqoop 1.99.7 安装后需要修改环境变量和配。

27、置文件， 本发明不再对实现细节和相关配置文件详述。 Hadoop集群中的每个节点都需要执行如上的操作， 该发明选择了复制功能， 将上述安装复 制到每个Slave节点， 并用source/etc/profile使配置文件生效， 完成整个交通大数据分析 平台的搭建及部署工作。 在主节点(Master)和从节点(Slave1、 Slave2、 Slave3)上分别运行 Hadoop、 spark(./start-all.sh)， 并在主节点和从节点终端输入jps， 当Master终端出现 Secondary NameNode、 Jps、 NameNode、 Resource Manager和Mast。

28、er五个进程， Slave终端出 现Jps、 DataNode、 Node Manager和Worker四个进程时说明Hadoop+spark集群已安装成功， 能够正常启动成为交通大数据的分析预测平台。 0054 本发明公布了一种依据大数据分析的交通预测平台： 基于离线分析和在线预测结 合的Hadoop+Spark交通预测系统及方法。 本发明通过研究Hadoop云平台的MapReduce分布 式架构工作机理、 分布式文件存储(Hadoop Distributed File System， HDFS)原理、 以及 Spark基于内存计算的工作流程， 根据交通流预测的强实时性要求， 建立基于Had。

29、oop+Spark 架构的综合性交通大数据处理平台。 针对交通大数据的特点， 优化平台， 使得能够快速分析 交通大数据， 并研究基于大数据平台的交通数据预处理方法， 为交通特性分析及交通流预 测提供高质量的数据支撑。 0055 最后应当说明的是以上实施例仅用以说明本发明的技术方案而非对其限制， 尽管 参照较佳实施例对本发明进行详细的说明， 所属领域的普通技术人员应当理解依然可以对 本发明的具体实施方式进行修改或者对部分技术特征进行等同替换而不脱离本发明技术 方案的精神， 其均应涵盖在本发明请求保护的技术方案范围当中。 说明书 6/6 页 8 CN 111680075 A 8 图1 说明书附图 1/4 页 9 CN 111680075 A 9 图2 图3 说明书附图 2/4 页 10 CN 111680075 A 10 图4 说明书附图 3/4 页 11 CN 111680075 A 11 图5 图6 说明书附图 4/4 页 12 CN 111680075 A 12 。