基于机器学习预测计算强度的并行化点云生成DEM方法.pdf

《基于机器学习预测计算强度的并行化点云生成DEM方法.pdf》由会员分享，可在线阅读，更多相关《基于机器学习预测计算强度的并行化点云生成DEM方法.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910151140.1 (22)申请日 2019.02.28 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 武汉大学 (72)发明人 乐鹏高凡张明达 (74)专利代理机构 武汉科皓知识产权代理事务 所(特殊普通合伙) 42222 代理人 严彦 (51)Int.Cl. G06T 17/05(2011.01) (54)发明名称 基于机器学习预测计算强度的并行化点云 生成DEM方法 (57)摘要 本发明提供一种基于机器学习预测计算强 度的并行化点云生成D。

2、EM方法， 其特征在于： 进行 CART模型的训练， 包括特征选择、 样本数据生成、 模型训练以及存储； 使用四叉树对待处理的点云 数据进行递归划分， 采用存储的CART模型预测各 瓦片计算强度， 基于Z-曲线将二维空间的瓦片进 行降维处理， 然后基于预测的瓦片计算强度和空 间编码将瓦片映射到各进程并行内插DEM。 本发 明技术方案具有高效性和可行性。 本发明与传统 串行的点云生成DEM相比， 采用了基于机器学习 预测计算强度的并行化点云生成DEM方法， 性能 提升能实现量级的突破， 有效地节省执行时间， 特别适合于海量稠密点云的数据处理， 支持地学 应用实时化。 权利要求书2页 说明书5页 。

3、CN 109934917 A 2019.06.25 CN 109934917 A 1.一种基于机器学习预测计算强度的并行化点云生成DEM方法， 其特征在于： 进行CART 模型的训练， 包括特征选择、 样本数据生成、 模型训练以及存储； 使用四叉树对待处理的点 云数据进行递归划分， 采用存储的CART模型预测各瓦片计算强度， 基于Z-曲线将二维空间 的瓦片进行降维处理， 然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程并行 内插DEM。 2.根据权利要求1所述基于机器学习预测计算强度的并行化点云生成DEM方法， 其特征 在于： 采用以下步骤实现， 步骤1， 选择样本特征， 包括将瓦片点云。

4、数量、 邻域点云数量、 瓦片中DEM网格数量、 点云 密度和点云分布方差作为样本特征； 步骤2， 样本数据生成， 包括生成不同面积、 不同数量的点云数据并按统一的分辨率内 插DEM， 统计各样本特征， 将点云内插DEM的时间作为样本标签； 步骤3， 将样本数据拆分为训练集和验证集， 基于训练集构建CART模型， 基于验证集对 CART模型进行后剪枝处理， 本地化存储构建的CART模型； 所述CART表示分类回归树； 步骤4， 基于四叉树以及预设的初始递归参数将点云划分为瓦片， 读取本地化存储的 CART模型， 预测各瓦片计算强度； 步骤5， 对划分的瓦片基于Z-曲线进行空间编码， 实现二维到一。

5、维空间的转换， 并将瓦 片按照Z-曲线编码排序； 步骤6， 按照编码顺序将瓦片映射到各进程， 映射策略为首先对所有瓦片计算强度求 和， 然后除以进程数得到每个进程所容纳的平均计算强度， 最后按照编码顺序将瓦片依次 映射到各进程； 步骤7， 计算反映负载均衡情况的参数时差比， 若该参数大于预设的相应时差比阈值， 则对计算强度大于预设的相应计算强度阈值的瓦片继续划分， 生成多粒度瓦片并预测计算 强度， 返回步骤5； 否则， 跳到步骤8； 步骤8， 各进程基于映射的瓦片内插DEM并将结果发送到主进程， 主进程合并DEM。 3.根据权利要求2所述基于机器学习预测计算强度的并行化点云生成DEM方法， 其。

6、特征 在于： 采用IDW方式实现点云内插DEM， 所述IDW表示反距离加权内插。 4.根据权利要求2所述基于机器学习预测计算强度的并行化点云生成DEM方法， 其特征 在于： 基于训练集构建CART模型， 生成完全决策树， 实现方式如下， 首先基于输入的训练集， 选取一个特征进行数据分裂使得分裂后的数据集误差最小； 然后根据该特征将数据划分为两个子集， 判断当前节点误差与节点分裂后子集误差的差值 是否小于预设的相应误差变化阈值， 若小于则停止划分， 否则继续判断两个子集所包含的 样本数量是否均小于预设的相应数量阈值， 若小于则停止划分， 否则继续划分。 5.根据权利要求2所述基于机器学习预测计算。

7、强度的并行化点云生成DEM方法， 其特征 在于： 基于验证集对CART模型进行后剪枝处理， 实现方式为， 基于验证集自底向上的检测每 一个子树， 计算该子树下两个叶节点的验证误差以及合并后的验证误差， 如合并后的验证 误差小于两个叶节点的验证误差， 则合并两个叶节点， 完成剪枝处理。 6.根据权利要求2所述基于机器学习预测计算强度的并行化点云生成DEM方法， 其特征 在于： 时差比的计算方式为进程中最大耗时和最小耗时的差值除以最大耗时。 7.根据权利要求2所述基于机器学习预测计算强度的并行化点云生成DEM方法， 其特征 权利要求书 1/2 页 2 CN 109934917 A 2 在于： 步骤。

8、7中， 设置一个回溯参数控制瓦片的划分粒度以及额外的划分时间， 同时防止无 解。 8.根据权利要求1或2或3或4或5或6或7所述基于机器学习预测计算强度的并行化点云 生成DEM方法， 其特征在于： 预测各瓦片计算强度实现方式如下： 首先统计划分后的各瓦片的瓦片点云数量、 邻域点云数量、 瓦片中DEM网格数量， 点云 密度和点云分布方差； 然后读取本地化存储的CART模型， 根据CART模型中选取的分裂特征， 依次判断瓦片的各个特征直到叶子结点； 最后， 叶子结点的值即为瓦片的计算强度。 权利要求书 2/2 页 3 CN 109934917 A 3 基于机器学习预测计算强度的并行化点云生成DEM。

9、方法 技术领域 0001 本发明属于网络地理信息系统应用技术领域， 是一种快速高效基于点云生成DEM (Digital Elevation Model， 数字高程模型)的方法， 具体地说是一种能够以并行地方式实 现点云生成DEM的方法， 相比传统的串行处理方式， 时间上可实现量级的突破， 提出方法的 思想可用于其他地理空间数据处理领域。 背景技术 0002 近年随着数据获取技术的快速发展， 稠密点云的获取已经越来越普遍， 然而如何 高效快速地处理原始点云数据并从中提取有用的信息例如利用点云快速生成DEM， 目前仍 然是一个挑战。 高性能计算在GIS(地理信息系统)领域已经得到了广泛的使用， 作。

10、为一个典 型的数据密集型且计算密集型的应用， 点云生成DEM能够通过并行计算得到可观的性能提 升。 然而点云作为一种空间数据， 其分布通常具有空间异质性， 并且点云内插DEM算法的计 算强度也不仅仅依赖于点云数量， 并行化过程若采用常规的数据划分方式以及不准确的计 算强度评估方法， 将会造成严重的负载不均衡现象， 降低并行化效率。 因此， 如何准确评估 算法计算强度， 实现快速、 高效地基于点云生成DEM成为目前迫切的需要。 发明内容 0003 为解决上述问题， 本发明提供了一种基于机器学习预测计算强度的并行化点云生 成DEM方法， 实现准确评估算法计算强度， 且快速、 高效地基于点云生成DE。

11、M。 0004 本发明采用的技术方案包括一种基于机器学习预测计算强度的并行化点云生成 DEM方法， 进行CART模型的训练， 包括特征选择、 样本数据生成、 模型训练以及存储； 使用四 叉树对待处理的点云数据进行递归划分， 采用存储的CART模型预测各瓦片计算强度， 基于 Z-曲线将二维空间的瓦片进行降维处理， 然后基于预测的瓦片计算强度和空间编码将瓦片 映射到各进程并行内插DEM。 0005 而且， 采用以下步骤实现， 0006 步骤1， 选择样本特征， 包括将瓦片点云数量、 邻域点云数量、 瓦片中DEM网格数量、 点云密度和点云分布方差作为样本特征； 0007 步骤2， 样本数据生成， 包。

12、括生成不同面积、 不同数量的点云数据并按统一的分辨 率内插DEM， 统计各样本特征， 将点云内插DEM的时间作为样本标签； 0008 步骤3， 将样本数据拆分为训练集和验证集， 基于训练集构建CART模型， 基于验证 集对CART模型进行后剪枝处理， 本地化存储构建的CART模型； 所述CART表示分类回归树； 0009 步骤4， 基于四叉树以及预设的初始递归参数将点云划分为瓦片， 读取本地化存储 的CART模型， 预测各瓦片计算强度； 0010 步骤5， 对划分的瓦片基于Z-曲线进行空间编码， 实现二维到一维空间的转换， 并 将瓦片按照Z-曲线编码排序； 0011 步骤6， 按照编码顺序将瓦。

13、片映射到各进程， 映射策略为首先对所有瓦片计算强度 说明书 1/5 页 4 CN 109934917 A 4 求和， 然后除以进程数得到每个进程所容纳的平均计算强度， 最后按照编码顺序将瓦片依 次映射到各进程； 0012 步骤7， 计算反映负载均衡情况的参数时差比， 若该参数大于预设的相应时差比阈 值， 则对计算强度大于预设的相应计算强度阈值的瓦片继续划分， 生成多粒度瓦片并预测 计算强度， 返回步骤5； 否则， 跳到步骤8； 0013 步骤8， 各进程基于映射的瓦片内插DEM并将结果发送到主进程， 主进程合并DEM。 0014 而且， 采用IDW方式实现点云内插DEM， 所述IDW表示反距离。

14、加权内插。 0015 而且， 基于训练集构建CART模型， 生成完全决策树， 实现方式如下， 0016 首先基于输入的训练集， 选取一个特征进行数据分裂使得分裂后的数据集误差最 小； 然后根据该特征将数据划分为两个子集， 判断当前节点误差与节点分裂后子集误差的 差值是否小于预设的相应误差变化阈值， 若小于则停止划分， 否则继续判断两个子集所包 含的样本数量是否均小于预设的相应数量阈值， 若小于则停止划分， 否则继续划分。 0017 而且， 基于验证集对CART模型进行后剪枝处理， 实现方式为， 基于验证集自底向上 的检测每一个子树， 计算该子树下两个叶节点的验证误差以及合并后的验证误差， 如合。

15、并 后的验证误差小于两个叶节点的验证误差， 则合并两个叶节点， 完成剪枝处理。 0018 而且， 时差比的计算方式为进程中最大耗时和最小耗时的差值除以最大耗时。 0019 而且， 步骤7中， 设置一个回溯参数控制瓦片的划分粒度以及额外的划分时间， 同 时防止无解。 0020 而且， 预测各瓦片计算强度实现方式如下： 0021 首先统计划分后的各瓦片的瓦片点云数量、 邻域点云数量、 瓦片中DEM网格数量， 点云密度和点云分布方差； 然后读取本地化存储的CART模型， 根据CART模型中选取的分裂 特征， 依次判断瓦片的各个特征直到叶子结点； 最后， 叶子结点的值即为瓦片的计算强度。 0022 本。

16、发明与传统串行的点云生成DEM相比， 采用了基于机器学习预测计算强度的并 行化点云生成DEM方法， 性能提升能实现量级的突破， 有效地节省算法的执行时间， 特别适 合于海量稠密点云的数据处理， 支持地学应用实时化， 具有重要的经济价值。 具体实施方式 0023 为了便于本领域普通技术人员理解和实施本发明， 下面结合实施例对本发明作进 一步的详细描述， 应当理解， 此处所描述的实施示例仅用于说明和解释本发明， 并不用于限 定本发明。 0024 本发明提供了一种基于机器学习预测计算强度的并行化点云生成DEM方法， 实现 准确评估算法计算强度， 且快速、 高效地基于点云生成DEM。 0025 本发明。

17、采用的技术方案是一种基于机器学习预测计算强度的并行化点云生成DEM 方法， 进行CART模型的训练， 包括特征选择、 样本数据生成、 模型训练以及存储； 使用四叉树 对待处理的点云数据进行递归划分， 采用存储的CART模型预测各瓦片计算强度， 基于Z-曲 线将二维空间的瓦片进行降维处理， 然后基于预测的瓦片计算强度和空间编码将瓦片映射 到各进程。 0026 而且， 采用以下步骤实现， 0027 步骤1， 选择算法特征， 实验选用IDW(Inverse Distance Weighted， 反距离加权内 说明书 2/5 页 5 CN 109934917 A 5 插)实现点云内插DEM， 将影响算。

18、法计算强度的因素包括瓦片点云数量， 邻域点云数量， 瓦片 中DEM网格数量， 点云密度， 点云分布方差作为样本特征； 0028 本步骤中综合考虑了影响IDW算法计算强度的因素， 而不仅仅以点云数量作为评 估计算强度的指标。 其中邻域范围定义为瓦片空间范围外扩指定距离的大矩形， 该距离一 般为IDW算法中的最大搜索半径。 0029 IDW算法过程为首先初始化初始搜索半径、 搜索半径增长步距、 最大搜索半径， 然 后对每个DEM网格， 判断初始搜索半径内的点云数量是否大于内插需要使用的数量， 若小于 则按增长步距逐步增长， 直到半径内点云数量达到内插需要使用的数量并基于IDW内插公 式生成DEM，。

19、 如果搜索半径大于最大搜索半径时点云仍达不到内插所需要数量， 则不进行内 插。 具体实施时， IDW内插公式可采用现有技术， 本发明不予赘述。 0030 步骤2， 样本数据生成， 生成不同面积、 不同数量的点云数据并按统一的分辨率内 插DEM， 得到样本数据瓦片， 统计每个样本的各项特征(瓦片点云数量、 邻域点云数量、 瓦片 中DEM网格数量、 点云密度和点云分布方差)， 将点云内插DEM的时间作为样本标签； 0031 步 骤 3 ， 将 样 本 数 据 拆 分 为 训 练 集 和 验 证 集 ， 基 于 训 练 集 构 建 C A R T (Classification and Regres。

20、sion Tree， 分类回归树)模型， 基于验证集对CART模型进行 后剪枝处理， 本地化存储构建的CART模型； 0032 本步骤中综合考虑了训练的CART模型会对训练集产生过拟合的情况， 将样本数据 拆分为了独立的训练集和验证集。 训练集用于模型训练， 验证集则对生成的模型进行树剪 枝。 0033 训练集用于模型训练生成完全决策树， 完全决策树是特定参数下的CART模型， 在 生成CART模型时定义了两个参数分别用于控制误差变化和切分特征最少样本数， 误差变化 的意义为若当前结点误差与结点分裂后子集误差的差值小于相应误差变化阈值， 则不再进 行分裂； 切分特征最少样本数的意义为若分裂后的。

21、结点中包含的样本数小于切分特征最少 样本数， 则不再进行分裂。 完全决策树就是误差变化阈值为0， 切分特征最少样本数为1的情 况下生成的， 即尽可能地完全分裂， 为后剪枝做准备。 0034 训练生成完全决策树的具体实现为： 0035 首先基于输入的训练集， 选取一个特征进行数据分裂使得分裂后的数据集误差最 小， 实施例中数据集误差采用数据集中预测值的方差， 分裂时先遍历样本中每个特征上的 每个值， 然后根据该值对样本进行二分划分， 统计划分后的两个样本的误差和， 最后选取使 分裂误差和最小的那个特征值对样本进行划分； 0036 然后根据该特征将数据划分为两个子集， 判断当前节点误差与节点分裂后。

22、子集误 差的差值是否小于预设的相应误差变化阈值， 若小于则停止划分， 否则继续判断两个子集 所包含的样本数量是否均小于预设的相应数量阈值， 若小于则停止划分， 否则继续划分。 实 施例中子集误差采用的是子集中预测值的方差， 节点分裂后子集误差为划分后的两个子集 的误差和。 0037 验证集对生成的模型进行树剪枝， 具体实现为： 0038 基于验证集自底向上的检测每一个子树， 计算该子树下两个叶节点的验证误差以 及合并后的验证误差， 如合并后的验证误差小于两个叶节点的验证误差， 则合并两个叶节 点， 完成剪枝处理。 验证误差为预测值与实际值的差值平方。 说明书 3/5 页 6 CN 109934。

23、917 A 6 0039 步骤4， 基于四叉树以及预设的初始递归参数将点云划分为瓦片， 读取本地化存储 的CART模型， 预测各瓦片计算强度； 0040 具体实施时， 可预先设置初始递归参数。 初始递归参数取值原则为使递归划分后 的瓦片的面积尽可能落在样本空间中， 实现更加准确的预测。 0041 本发明采用了CART模型预测计算强度， 实现了并行任务计算强度的准确评估。 预 测实现方式如下： 0042 首先统计划分后的各瓦片的瓦片点云数量， 邻域点云数量， 瓦片中DEM网格数量， 点云密度和点云分布方差； 然后读取本地化存储的CART模型， 根据CART模型中选取的分裂 特征， 依次判断瓦片的。

24、各个特征直到叶子结点； 最后， 叶子结点的值即为瓦片的计算强度。 0043 步骤5， 对划分的瓦片基于Z-曲线进行空间编码， 实现二维到一维空间的转换， 并 将瓦片按照Z-曲线编码排序； 0044 基于Z-曲线进行空间编码是现有技术， 用于实现二维到一维空间的转换并且保证 一定的空间邻近性， 本发明不予赘述。 0045 步骤6， 按照编码顺序将瓦片映射到各进程， 映射策略为首先对所有瓦片计算强度 求和， 然后除以进程数量得到每个进程所容纳的计算强度， 最后按照编码顺序将瓦片依次 映射到各进程； 0046 本步骤中， 基于预测的瓦片计算强度和空间编码将瓦片映射到各进程， 具体实现 为首先根据步骤。

25、4预测各瓦片计算强度， 计算所有瓦片的计算强度和， 平均到各进程， 得到 每个进程所容纳的计算强度； 然后将瓦片按编码顺序依次映射到各进程， 统计各进程瓦片 计算强度总和， 直到大于进程所能容纳的计算强度。 映射策略保证了各进程所要处理的瓦 片的计算强度总和基本相等。 0047 步骤7， 计算反映负载均衡情况的参数时差比， 若该参数大于预设的相应时差比阈 值， 则对计算强度大于预设的相应计算强度阈值的瓦片继续划分， 生成多粒度瓦片并预测 计算强度， 返回步骤5； 否则， 跳到步骤8。 0048 进一步地， 此步骤可增设一个回溯参数控制瓦片的划分粒度以及额外的划分时 间， 同时防止无解的情况发生。

26、； 0049 本步骤和步骤4中划分方式一致， 对瓦片继续采用四叉树的方式继续划分。 需要注 意的是此处采用时差比(阈值一般为0.1)来判断是否继续划分， 会出现条件不满足， 一直划 分下去。 所以需要增设一个回溯参数控制瓦片的划分粒度以及额外的划分时间， 来同时防 止无解的情况发生。 回溯步数根据实际应用中所能容忍的额外划分时间而定， 同时需要考 虑划分后的瓦片应尽可能地落在样本空间中。 0050 本步骤中采用了时差比参数来评估负载均衡情况， 该参数为进程中最大耗时和最 小耗时的差值除以最大耗时， 一般认为小于0.1较优。 该步骤中当该参数不满足给定条件就 要回溯继续划分瓦片， 因此需要增设一。

27、个回溯步数来控制额外的划分时间， 并且防止时差 比一直无法满足给定条件的情况发生。 0051 步骤8， 各进程基于映射的瓦片内插DEM并将结果发送到主进程， 主进程合并DEM。 0052 本发明步骤1-3实现了CART模型的训练， 具体包括特征选择、 样本数据生成、 模型 训练以及模型本地化存储； 步骤4-8将待处理的点云数据进行空间划分， 数据映射， 以及DEM 的生成与合并， 包括首先使用了四叉树对点云数据进行了递归划分， 基于Z-曲线将二维空 说明书 4/5 页 7 CN 109934917 A 7 间的瓦片进行降维处理， 然后基于预测的瓦片计算强度和空间编码将瓦片映射到各进程， 具体实。

28、现为计算各进程所应容纳的平均计算强度， 将瓦片按编码顺序依次映射到各进程， 统计各进程瓦片计算强度总和， 直到大于各进程所能容纳的计算强度。 映射策略保证各进 程所要处理的瓦片的计算强度总和基本相等。 通过采用CART模型预测计算强度， 结合预测 的计算强度， 采用多粒度Z-曲线划分方法， 实现了较好的负载均衡。 0053 具体实施时， 本发明技术方案可采用计算机软件技术实现自动运行流程。 本领域 技术人员可根据实验或经验预先设置相关的阈值。 0054 应当理解的是， 本说明书未详细阐述的部分均属于现有技术。 0055 应当理解的是， 上述针对较佳实施例的描述较为详细， 并不能因此而认为是对本 发明专利保护范围的限制， 本领域的普通技术人员在本发明的启示下， 在不脱离本发明权 利要求所保护的范围情况下， 还可以做出替换或变形， 均落入本发明的保护范围之内， 本发 明的请求保护范围应以所附权利要求为准。 说明书 5/5 页 8 CN 109934917 A 8 。