基于空间注意力机制的点云特征提取方法.pdf

《基于空间注意力机制的点云特征提取方法.pdf》由会员分享，可在线阅读，更多相关《基于空间注意力机制的点云特征提取方法.pdf（8页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910235177.2 (22)申请日 2019.03.27 (71)申请人 南开大学 地址 300071 天津市南开区卫津路94号 (72)发明人 程明明陈林卓李炫毅 (74)专利代理机构 天津耀达律师事务所 12223 代理人 侯力 (51)Int.Cl. G06K 9/62(2006.01) G06K 9/46(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于空间注意力机制的点云特征提取方法 (57)。

2、摘要 基于空间注意力机制的点云特征提取方法， 该方法包含如下步骤： a.点云预处理： 利用最远 点采样算法进行降采样； b.点云数据集扩充： 通 过添加扰动， 随机旋转的方法扩增点云训练数据 集数量， 推理阶段不需要点云的数据增强； c.点 云特征获取： 利用双流网络思想， 一个神经网络 分支提取点云空间特征， 另一个神经网络分支提 取点云总体信息的语义特征； d.逐层融合两个点 云特征提取网络的的语义信息， 获得每个点云的 特征向量。 e.得到点云特征后， 我们利用局部空 间注意力模块对每个点进行进一步的特征提取， 最后通过全连接网络得到最后的分类或分割结 果。 本方法能够通过利用双流网络和。

3、局部空间注 意力机制， 在点云分类与分割任务中得到更加精 确的结果。 权利要求书1页 说明书3页 附图3页 CN 110020681 A 2019.07.16 CN 110020681 A 1.一种基于空间注意力机制的点云特征提取方法， 其特征在于： 该方法包含如下步骤： a.点云预处理： 利用最远点采样算法对点云进行降采样， 这种算法已经被证明在减少 点云数目的同时， 最大程度的保留点云信息； b.点云数据集扩充： 在训练阶段， 通过添加高斯分布扰动， 随机旋转点云集合的方法来 增加数据集的容量； c.点云特征获取： 将点云的空间坐标与其他的输入信息分开， 利用双流网络思想， 一个 神经网络。

4、分支提取点云空间特征， 另一个神经网络分支提取点云总体信息的语义特征； d.将两个神经网络得到的特征逐级合并， 得到每个点云的特征向量； e.得到每个点特征向量后， 利用空间局部注意力模块来对每个点进行进一步的特征提 取； 最后通过共享全连接网络得到最后的分类或者分割结果。 权利要求书 1/1 页 2 CN 110020681 A 2 基于空间注意力机制的点云特征提取方法 技术领域 0001 本发明属于点云处理技术领域， 特别涉及到一种基于空间注意力机制的点云特征 提取方法。 背景技术 0002 点云是三维处理中的最重要的基本表示方式之一。 通常情况下， 有两种提取点云 特征的方法： 一种是将。

5、点云数据体素化利用3D卷积进行点云数据特征的提取， 这一步骤会 消耗大量的计算资源， 并且造成推理速度缓慢等问题。 另一种方法是， 使用多视角的方法提 取三维物体的多个视角信息， 继而利用二维图像的方法进行特征提取， 这种方法在简单场 景的分类任务上能取得比较好的效果， 但是在真实场景下并不能发挥很大作用， 并且很难 应用到点云的分割任务中去。 0003 同时， 随着TOF技术， 结构光技术， 双目匹配等技术的发展， 深度数据正逐渐成为一 种容易获取的数据。 人们可以通过手机， 平板等便携性的设备轻松获取。 传统的深度数据语 义特征提取方式对于计算量要求比较高， 推理速度比较慢， 无法同时满足。

6、人们对实时性， 精 确度的要求。 其中比较经典的是D.Maturana在2015年提出来的体素化的方法， 这些方法虽 然在提取点云特征方面效果比较好， 但是其计算量巨大， 同时也降低了点云数据的分辨率， 无法获得每个点云的特征， 也就无法精确分割。 0004 从三维数据的获取上来看， 点云数据是一种最直接的三维数据。 因此， 直接从点云 数据上提取每个点的语义特征是一种更好的表示。 在点云特征提取过程中， 不同于传统的 二维图像， 点云数据具有无规律， 置换不变性， 空间坐标连续等特点。 因此更好的利用空间 信息能够提升点云分割任务的精确性。 然而传统的点云特征提取方法忽略了点云的空间信 息，。

7、 仅仅将点云的空间信息作为信息输入， 没有充分的利用空间信息来进行特征提取。 因 此， 我们提出了局部注意力模块， 该模块能够根据3D点云的坐标来为点云施加不同的注意 力权重， 这些权重会随着3D点云的空间坐标变化， 从而能让模型感知到更加丰富的空间模 式。 发明内容 0005 本发明目的是解决已知技术中在较低计算量的情况下， 不能充分利用点云的空间 信息抽取到点云的每个点的语义特征的问题， 提供一种基于空间注意力机制的点云特征提 取方法。 0006 本发明的技术方案 0007 一种基于空间注意力机制的点云特征提取方法， 本发明首先利用双流神经网络的 思想， 一个神经网络分支提取点云空间特征，。

8、 另一个神经网络分支提取点云总体信息的语 义特征， 基于这个架构， 我们将两个神经网络得到的特征逐级合并， 得到每个点云的特征向 量。 最后利用局部空间注意力模块进一步提取局部图的特征与分类。 该方法具体包含如下 步骤： 说明书 1/3 页 3 CN 110020681 A 3 0008 a.点云预处理： 为了减少计算量， 利用最远点采样算法对点云进行降采样； 选择最 具有代表性的点云的同时， 减少了大量的计算量。 0009 b.点云数据集扩充： 在训练阶段， 通过添加高斯分布扰动， 随机旋转点云集合的方 法来增加数据集的容量， 这种方法可以有效地防止过拟合。 0010 c.点云特征获取： 将。

9、点云的空间坐标与其他的输入信息分开， 利用双流网络思想， 一个神经网络分支提取点云空间特征， 另一个神经网络分支提取点云总体信息的语义特 征； 0011 d.将两个神经网络得到的特征逐级合并， 得到每个点云的特征向量。 0012 e.得到每个点特征向量后， 利用提出的局部空间注意力模块对每个点进行进一步 的特征提取， 生成基于空间信息的注意力图， 并与后续特征提取操作结合， 使得这些特征提 取操作充分考虑空间信息。 最后通过共享全连接网络得到最后的分类或者分割结果。 0013 本发明的优点和有益效果： 0014 本发明方法通过将空间信息与特征提取操作融合， 能够更好的利用点云自带的空 间信息，。

10、 在模型容量较小的情况下能得到更精确的分割与分类结果。 附图说明 0015 图1为本发明提出的点云特征提取方法的总体网络流程图。 0016 图2为我们的方法与其他方法的对比。 0017 图3为点云分类和语义分割网络架构示意图。 0018 图4为本发明中提出的局部空间注意力模块。 0019 图5为本发明模型在S3DIS数据集上的分割结果。 0020 图6为本发明模型在ShapeNet数据集上的分割结果。 具体实施方式 0021 下面结合附图对本发明作进一步详细的说明。 0022 图1表示基于空间注意力机制的点云特征提取方法流程图， 图中表示的步骤为： 0023 a.点云预处理： 利用最远点采样算。

11、法对点云进行降采样； 选择最具有代表性的点 云的同时， 减少了大量的计算量。 这种算法已经被证明在减少点云数目的同时， 最大程度的 保留点云信息。 0024 b.点云数据集扩充： 在训练阶段， 我们通过添加高斯分布扰动， 随机旋转点云集合 的方法来增加数据集的容量， 这种方法可以有效地防止过拟合。 0025 c.点云特征获取： 我们将点云的空间坐标与其他的输入信息分开， 利用双流网络 思想， 一个神经网络分支利用空间信息特征提取器提取点云空间特征， 另一个神经网络分 支提取点云总体信息的语义特征； 0026 d.将两个神经网络得到的特征逐级合并， 得到每个点云的特征向量。 0027 e.得到每。

12、个点特征向量后， 利用局部空间注意力模块， 对每个点进行进一步的特 征提取； 该模块能生成基于空间信息的注意力图， 并与后续特征提取操作结合， 使得这些特 征提取操作充分考虑空间信息， 例如最大池化操作。 最后通过共享全连接网络得到最后的 分类与分割结果。 之前的方法由于是逐点操作且与空间信息无关， 不能很好的考虑空间信 说明书 2/3 页 4 CN 110020681 A 4 息。 0028 图2给出了本发明方法与其他方法的对比， 我们用不同的颜色代表不同的权重， 其 中(a)为其他方法， 施加在每个点云上的权重一致且与空间无关。 (b)为本发明的方法， 通过 注意力图与卷积操作相结合， 使。

13、得每个点的权重与其他点的空间关系相关， 这样能更好的 捕捉到点云的空间结构。 0029 图3给出了本发明点云分类与分割网络的示意图。 该网络利用分支架构与由局部 空间注意力模块， 能够更好的利用空间信息， 进而得到更精确的分类与分割结果。 0030 图4为局部空间注意力模块。 该模块通过处理点云局部图的空间信息得到注意力 图， 并将注意力图与后续操作结合， 如图3中的1*1卷积与最大池化操作。 其中数字代表输出 通道数。 0031 图5给出了我们的模型在S3DIS数据集上的分割结果。 0032 图6给出了我们的模型在ShapeNet数据集上的分割结果。 0033 表1给出了该方法的效果和传统方法在分类与语义分割数据集上结果的对比， 从 我们的测试中可以看出本方法获得的点云特征信息更丰富， 分割分类得到的结果更加精 确。 0034 表1： 本算法与PointNet+算法产生的结果的比较。 0035 说明书 3/3 页 5 CN 110020681 A 5 图1 图2 说明书附图 1/3 页 6 CN 110020681 A 6 图3 图4 图5 说明书附图 2/3 页 7 CN 110020681 A 7 图6 说明书附图 3/3 页 8 CN 110020681 A 8 。