基于点云深度学习的机械零部件装配特征测量方法.pdf

《基于点云深度学习的机械零部件装配特征测量方法.pdf》由会员分享，可在线阅读，更多相关《基于点云深度学习的机械零部件装配特征测量方法.pdf（14页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410007187.1(22)申请日 2024.01.03(71)申请人 南京航空航天大学地址 210016 江苏省南京市秦淮区御道街29号(72)发明人 胡艺砾李红卫罗群汪俊肖坤李子宽周铉(74)专利代理机构 南京有岸知识产权代理事务所(特殊普通合伙)32757专利代理师 王磊(51)Int.Cl.G06T 7/00(2017.01)G06T 7/11(2017.01)G06T 7/187(2017.01)G06T 7/60(2017.01)G06V 20/64(2022.01)G06V 。

2、10/82(2022.01)G06V 10/766(2022.01)G06V 10/80(2022.01)(54)发明名称一种基于点云深度学习的机械零部件装配特征测量方法(57)摘要本发明公开了一种基于点云深度学习的机械零部件装配特征测量方法，包括：对各种机械零部件进行扫描，并进行基元边界点和基元类型标注，形成训练数据集；搭建基元边界点检测和基元类型预测神经网络；训练神经网络；将待测机械零部件点云数据输入到网络，得到预测的基元边界点和各个点所属的基元类型；基于预测的基元边界点和各个点所属的基元类型，利用区域增长算法分割出所有基元实例；对每个基元实例的点云进行加权最小二乘拟合，得到各个基元实例的。

3、具体参数，即为装配特征。本发明采用深度学习的方法提取点云的多尺度融合特征，预测边界点及基元类型，能够更好地重建机械零部件装配特征，从而提高机械零部件装配的精度和准确率。权利要求书2页 说明书7页 附图4页CN 117495868 A2024.02.02CN 117495868 A1.一种基于点云深度学习的机械零部件装配特征测量方法，其特征在于，包括：步骤S1、建立扫描平台，对各种机械零部件进行扫描，并对扫描到的点云数据进行基元边界点和基元类型标注，形成训练数据集；步骤S2、搭建基元边界点检测和基元类型预测神经网络；步骤S3、采用训练数据集、交叉熵损失函数训练神经网络；步骤S4、将待测机械零部件。

4、点云数据输入到训练好的神经网络，得到预测的基元边界点和各个点所属的基元类型；步骤S5、基于预测的基元边界点和各个点所属的基元类型，利用区域增长算法分割出所有基元实例；步骤S6、对每个基元实例的点云进行加权最小二乘拟合，得到各个基元实例的具体参数，即为装配特征。2.根据权利要求1所述的一种基于点云深度学习的机械零部件装配特征测量方法，其特征在于，所述步骤S1具体包括以下步骤：S101、准备要进行虚拟扫描的机械零部件CAD模型，模型包含各类基元实例；S102、针对CAD模型，采用Blender来模拟扫描真实零部件并生成虚拟点云数据；S103、添加每个虚拟点云中点的标签，以指示对应点是否为基元边界点。

5、以及所属基元类型；S104、对虚拟点云数据提取点云局部结构块，以作为神经网络的训练数据，结合标签，以用于训练神经网络来识别基元边界点和基元类型。3.根据权利要求2所述的一种基于点云深度学习的机械零部件装配特征测量方法，其特征在于，局部结构块包含局部点云结构块和结构块，其中中的点数少于中的点数，为神经网络的输入，用于为中的每个点提供局部邻域和全局邻域。4.根据权利要求3所述的一种基于点云深度学习的机械零部件装配特征测量方法，其特征在于，步骤S2所述神经网络，针对点云组中的每个点，采用图卷积、多层感知机和最大池化，对其局部邻域和全局邻域进行特征编码；使用Transformer模块对局部特征和全局特。

6、征进一步进行特征编码，得到融合特征；得到融合特征后，将其输入到回归器中来预测每个点的类别。5.根据权利要求1所述的一种基于点云深度学习的机械零部件装配特征测量方法，其特征在于，所述步骤S3具体包括以下步骤：S301、输入样本通过神经网络进行前向传播，得到模型的预测概率分布q；S302、计算交叉熵损失，其中p是真实标签的概率分布，从训练数据集中获取；S303、使用反向传播算法计算损失函数对于模型参数的梯度；S304、优化器最小化损失函数，根据梯度更新模型的参数；S305、重复步骤S301S304，直到达到停止条件。6.根据权利要求1所述的一种基于点云深度学习的机械零部件装配特征测量方法，其权利要。

7、求书1/2 页2CN 117495868 A2特征在于，所述步骤S5具体包括以下步骤：S501、在预测的基元边界点和各个点所属的基元类型所构成的点云组P中任意选取一点p作为种子点；S502、对种子点p进行临近点搜索得到临近点集；S503、对于临近点集中的每个点，若不是基元边界点，则将临近点与种子点p聚合，并将临近点作为新的种子点，重复步骤S502；S504、如果除基元边界点外还有剩余点未被聚类，则重复步骤S501,直到所有点均完成聚类得到分割后的点云组Q，即所有基元实例。7.根据权利要求1所述的一种基于点云深度学习的机械零部件装配特征测量方法，其特征在于，所述步骤S6具体包括以下步骤：S601。

8、、将S5分割出的基元实例输入到多层感知机，进一步提取点云深度特征；S602、采用 Softmax 激活函数将多层感知机输出的点云深度特征值限制为在 01 的权值；S603、根据点云深度特征值结合其对应权值加权最小二乘拟合，得到各个基元实例的具体参数，即为装配特征。权利要求书2/2 页3CN 117495868 A3一种基于点云深度学习的机械零部件装配特征测量方法技术领域0001本发明属于机器零部件装配云特征提取技术领域，具体涉及一种基于点云深度学习的机械零部件装配特征测量方法。背景技术0002机械零部件的装配是制造业中至关重要的一环，直接影响产品的性能和质量。为了确保零部件装配的准确性和质量，。

9、需要对零部件的特征进行精确测量。0003传统的测量方法，如使用坐标测量机（CMM）或光学测量系统的测量方法，虽然可靠，但通常需要大量的时间和人力资源，而且对于复杂的零部件几何形状的测量存在一定的挑战。此外，传统方法通常需要物理接触，这可能导致零部件磨损或损坏，不适用于某些应用。发明内容0004本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于点云深度学习的机械零部件装配特征测量方法，采用深度学习的方法提取点云的多尺度融合特征，预测边界点及基元类型，能够更好地重建机械零部件装配特征，从而提高机械零部件装配的精度和准确率，能够处理复杂的零部件几何形状数据，实现高效的特征测量和质量控制。。

10、0005为实现上述技术目的，本发明采取的技术方案为：一种基于点云深度学习的机械零部件装配特征测量方法，包括：步骤S1、建立扫描平台，对各种机械零部件进行扫描，并对扫描到的点云数据进行基元边界点和基元类型标注，形成训练数据集；步骤S2、搭建基元边界点检测和基元类型预测神经网络；步骤S3、采用训练数据集、交叉熵损失函数训练神经网络；步骤S4、将待测机械零部件点云数据输入到训练好的神经网络，得到预测的基元边界点和各个点所属的基元类型；步骤S5、基于预测的基元边界点和各个点所属的基元类型，利用区域增长算法分割出所有基元实例；步骤S6、对每个基元实例的点云进行加权最小二乘拟合，得到各个基元实例的具体参数。

11、，即为装配特征。0006为优化上述技术方案，采取的具体措施还包括：上述的步骤S1具体包括以下步骤：S101、准备要进行虚拟扫描的机械零部件CAD模型，模型包含各类基元实例；S102、针对CAD模型，采用Blender来模拟扫描真实零部件并生成虚拟点云数据；S103、添加每个虚拟点云中点的标签，以指示对应点是否为基元边界点以及所属基元类型；S104、对虚拟点云数据提取点云局部结构块，以作为神经网络的训练数据，结合标说明书1/7 页4CN 117495868 A4签，以用于训练神经网络来识别基元边界点和基元类型。0007上述的局部结构块包含局部点云结构块和结构块，其中中的点数少于中的点数，为神经网。

12、络的输入，用于为中的每个点提供局部邻域和全局邻域。0008上述的步骤S2所述神经网络，针对点云组中的每个点，采用图卷积、多层感知机和最大池化，对其局部邻域和全局邻域进行特征编码；使用Transformer模块对局部特征和全局特征进一步进行特征编码，得到融合特征；得到融合特征后，将其输入到回归器中来预测每个点的类别。0009上述的步骤S3具体包括以下步骤：S301、输入样本通过神经网络进行前向传播，得到模型的预测概率分布q；S302、计算交叉熵损失，其中p是真实标签的概率分布，从训练数据集中获取；S303、使用反向传播算法计算损失函数对于模型参数的梯度；S304、优化器最小化损失函数，根据梯度更。

13、新模型的参数；S305、重复步骤S301S304，直到达到停止条件。0010上述的步骤S5具体包括以下步骤：S501、在预测的基元边界点和各个点所属的基元类型所构成的点云组P中任意选取一点p作为种子点；S502、对种子点p进行临近点搜索得到临近点集；S503、对于临近点集中的每个点，若不是基元边界点，则将临近点与种子点p聚合，并将临近点作为新的种子点，重复步骤S502；S504、如果除基元边界点外还有剩余点未被聚类，则重复步骤S501,直到所有点均完成聚类得到分割后的点云组Q，即所有基元实例。0011上述的步骤S6具体包括以下步骤：S601、将S5分割出的基元实例输入到多层感知机，进一步提取点。

14、云深度特征；S602、采用 Softmax 激活函数将多层感知机输出的点云深度特征值限制为在 01 的权值；S603、根据点云深度特征值结合其对应权值加权最小二乘拟合，得到各个基元实例的具体参数，即为装配特征。0012本发明具有以下有益效果：本发明采用深度学习的方法学习在较短的时间内对零部件进行特征测量，相对于传统的人工测量方法，更加高效快速，有助于提高装配生产线的生产效率，减少生产周期；本发明基于点云深度学习的方法能够提供高度准确的测量结果，能够捕捉到零部件的精确几何特征，包括尺寸、曲率、孔径等，有助于确保装配的精确性和质量；本发明无需物理接触零部件，避免了可能导致零部件磨损或损坏的问题，对。

15、于需要保持零部件完整性的应用非常重要；说明书2/7 页5CN 117495868 A5本发明在装配过程中可以实现实时测量和反馈，有助于避免不合格品的生产，减少了不必要的成本和资源浪费。附图说明0013图1为本发明机械零部件装配特征测量方法的流程图；图2为本发明机械零部件装配特征测量原理的平台搭建图；图3为本发明机械零部件装配特征测量的网络架构图；图4为本发明零部件扫描的点云图；图5为本发明零部件特征预测的基元边界点图；图6为本发明零部件特征预测的基元类型图；图7为本发明零部件最终分割出的基元实例图。具体实施方式0014为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发。

16、明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。0015本发明中的步骤虽然用标号进行了排列，但并不用于限定步骤的先后次序，除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础，否则步骤的相对次序是可以调整的。可以理解，本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。0016图1图7示出了本发明的一种具体实施方式，其采用深度学习的方法提取点云的多尺度融合特征，预测边界点及基元类型，能够更好地重建机械零部件装配特征，从而提高机械零部件装配的精度和准确率。0017具体的，如图1所示，本实施例提出的一种。

17、基于深度学习的机械零部件装配的特征提取方法，用于机械零部件的特征测量，该方法包括以下步骤：步骤S1、建立一个扫描平台，使用3D激光扫描仪或深度相机对各种机械零部件进行扫描，并对扫描到的点云数据进行基元边界点和基元类型标注，形成训练数据集；步骤S2、搭建基元边界点检测和基元类型预测神经网络；步骤S3、采用训练数据集、交叉熵损失函数训练神经网络；步骤S4、将待测机械零部件点云数据输入到训练好的神经网络，得到预测的基元边界点和各个点所属的基元类型；步骤S5、基于预测的基元边界点和各个点所属的基元类型，利用区域增长算法分割出所有基元实例；步骤S6、对每个基元实例的点云进行加权最小二乘拟合，即可得到各个。

18、基元实例的具体参数，即为装配特征。0018实施例中，所述步骤S1具体包括以下步骤：S101、准备要进行虚拟扫描的机械零部件CAD模型，模型包含各类基元实例；S102、针对CAD模型，采用一款3D建模和渲染软件Blender来模拟扫描真实零部件并生成虚拟点云数据；说明书3/7 页6CN 117495868 A6S103、添加每个虚拟点云中点的标签，以指示对应点是否为基元边界点以及所属基元类型；S104、对虚拟点云数据提取点云局部结构块，以作为神经网络的训练数据，结合标签，以用于训练神经网络来识别基元边界点和基元类型。0019局部结构块包含局部点云结构块和结构块，其中中的点数少于中的点数，为神经网。

19、络的输入，用于为中的每个点提供局部邻域和全局邻域。0020使用独立的验证数据集来评估训练后模型的性能。本实施例使用28个包含多个基元的曲面或平面CAD模型生成训练数据。在扫描每个CAD模型时，添加了三种不同级别的高斯噪声(标准差为0.1%、0.5%和 1.0%)，并设置了三种不同的采样分辨率，以便于尽可能模拟不同分布状态的测量数据。然后，从每个点云中提取 40 对局部结构块作为训练数据。每对局部结构块包含一个点数较少的局部点云结构块和一个点数较多的结构块。为网络的输入，用于为中的每个点提供局部邻域和全局邻域。最终，一共创建了 283340=10080 对点云局部结构块以进行训练。0021所述步。

20、骤S2具体包括以下步骤：搭建的基元边界点检测和基元类型预测神经网络，对点云数据中某数据点的局部邻域信息和全局邻域信息进行分析，使网络模型可以准确感知点云数据中某数据点是否为基元边界点；S201、所述神经网络，针对点云组中的每个点，采用图卷积、多层感知机和最大池化，对其局部邻域和全局邻域进行特征编码；S202、使用Transformer模块对所提取的局部特征和全局特征进一步进行特征编码，得到融合特征，进一步提高基元边界点识别的精度；S203、得到融合特征后，将其输入到回归器中来预测每个点的类别。0022具体实施时，如果只感知每个点的局部邻域信息，许多基元边界点的邻近点可能会被误认为基元边界点。因。

21、此，对于中任意一点，在中使用包围球搜索邻近点来构建局部邻域和全局邻域。同时，为了便于网络模型批量处理数据，同尺度邻域中的点数应该相同，因此对点数不足的邻域补充原点坐标，对点数过多的邻域进行随机采样。根据试验测试，设置局部邻域和全局邻域点数分别为kl=16和kg=128。0023 为了保证任意空间位置的相同结构点云具有相同基元检测结果，同时为了使网络更易于训练，需要将局部邻域中心点移动到原点。考虑到全局邻域更具有结构性，而局部邻域更容易受到异常值的影响，因此使用主成分分析法(Principal component analysis,PCA)，计算出的三个主成分方向，并基于此构造局部坐标系，然后将。

22、和的最小主轴对齐到局部坐标系Z轴。0024所述步骤S3具体包括以下步骤：S301、输入样本通过神经网络进行前向传播，得到模型的预测概率分布q；说明书4/7 页7CN 117495868 A7S302、计算交叉熵损失（式（2），其中p是真实标签的概率分布，从训练数据集中获取；其与式（3）的基元拟合损失之和为总损失L（式（1）；S303、使用反向传播算法计算损失函数对于模型参数的梯度；S304、选择一个优化器（如随机梯度下降（SGD）或Adam），用于最小化损失函数，根据梯度更新模型的参数；S305、重复步骤S301S304，直到达到停止条件（如训练轮次达到预定数量或损失函数值足够小）。0025本。

23、发明将网络损失函数定义为以下两项之和：；（1）式中，是平衡因子，根据经验设置=0.7，是基元边界点分类损失，是基元拟合损失。0026基元边界点分类损失函数：由于完整测量点云中基元边界点所占的比例相对较低，因此采用加权交叉熵损失函数：；（2）式中，w0和w1是类别权重，由样本数量决定，是点云分类标签(0或1)，是每个点的预测概率，N是点云点数。0027基元拟合损失函数：拟合损失函数表示为拟合圆参数与对应真值之间的差值：；（3）式中，1、2和3是权重因子，根据多次试验，分别设置为0.1、0.1和0.8，K是基元个数。0028如图4所示，S4将待测机械零部件点云输入到网络，得到预测的基元边界点和各个。

24、点属于的基元类型，预测的基元边界点和各个点属于的基元类型分别如图5、图6所示；如图7所示，S5基于预测的基元边界点和点基元类型分割利用区域增长算法分割出所有基元实例；通过零件同一面片上各三角面法向量基本相同的特征,以任意三角面作为起始种子面，其单位法向量作为判断条件,种子面的共边三角面作为邻近面,计算与此三角面共边三角面单位法向量的夹角,设置角度阈值作为生长条件,若夹角小于,则2个三角面属于同一面片集合；若大于,则停止此方向生长。采用此方式可避免逐点估算法向量与判断邻近关系。0029所述步骤S5具体包括以下步骤：S501、在预测的基元边界点和各个点所属的基元类型所构成的点云组P中任意选取一点p。

25、作为种子点；S502、对种子点p进行临近点搜索得到临近点集；S503、对于临近点集中的每个点，若不是基元边界点，则将临近点与说明书5/7 页8CN 117495868 A8种子点p聚合，并将临近点作为新的种子点，重复步骤S502；S504、如果除基元边界点外还有剩余点未被聚类，则重复步骤S501,直到所有点均完成聚类得到分割后的点云组Q，即所有基元实例。0030步骤S6，对每个基元实例的点云进行加权最小二乘拟合，即可得到各个基元实例的具体参数，即装配特征；传统 LS 拟合法一般最小化误差平方和：；式中，r是基元半径，qj是基元边界点pj在由法向 n 和基元边界点均值确定的平面上的投影点，c是圆。

26、心，代表绝对值运算。当测点中包含噪声和离群点时，上式拟合精度严重降低。为解决此问题，可采用加权最小二乘拟合法：；式中，wj表示qj的权重。由于上式是非线性最小二乘问题，没有闭式解。所以，对此非线性问题的一个替代解决方案是：；式中，通过将 变换为，并令和，得：；再用矩阵形式表示为：；式中，是对角矩阵，是列向量为aj的矩阵，原始变量c和r的值也可直接计算：；但是，对于加权最小二乘拟合法，如何设计度量函数，计算权重矩阵W是一个难题。本算法直接通过大量训练样本，采用网络模型学习权重。0031具体的，将特征融合模块输出的融合特征输入到多层感知机，进一步提取点云深度特征。然后用 Softmax 激活函数将。

27、输出值限制为在 01 的权值，该权重度量每个点的拟合贡献。最后，构造对角权重矩阵W求解加权最小二乘拟合问题；说明书6/7 页9CN 117495868 A9式中，是融合特征，是一个极小常数，来保证数值稳定性，以避免出现零矩阵的情况。0032步骤S6具体包括以下步骤：S601、将S5分割出的基元实例输入到多层感知机，进一步提取点云深度特征，该权重度量每个点的拟合贡献；S602、采用 Softmax 激活函数将多层感知机输出的点云深度特征值限制为在 01 的权值；S603、根据点云深度特征值结合其对应权值加权最小二乘拟合，得到各个基元实例的具体参数，即为装配特征。0033在加权最小二乘拟合问题中，。

28、对角权重矩阵W用于赋予每个数据点（或基元实例）不同的权重，以更好地拟合模型。0034具体的，在Softmax 激活函数限制点云深度特征值的权值时，MLP的输出点云深度特征值需要通过Softmax激活函数进行归一化，以确保它们都在0到1的范围内。这一步骤旨在将点云深度特征值转化为权重，度量每个点的拟合贡献。Softmax激活函数的作用是将特征值转化为概率分布，以便更好地表示每个点在拟合中的相对重要性。0035根据点云深度特征值（已经通过Softmax激活函数限制在0到1之间）以及对应的对角权重矩阵W，进行加权最小二乘拟合。这意味着每个基元实例的拟合贡献会被其对应的权重所调整，这是一个关键步骤，以。

29、便更好地适应每个点的拟合贡献，而不是简单地对所有点采用相同的权重。具体地，对角权重矩阵W将不同的基元实例赋予不同的重要性，根据它们的点云深度特征值。拟合后将得到每个基元实例的具体参数，这些参数构成了装配特征。0036对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。0037此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。说明书7/7 页10CN 117495868 A10图 1说明书附图1/4 页11CN 117495868 A11图 2图 3图 4说明书附图2/4 页12CN 117495868 A12图 5图 6说明书附图3/4 页13CN 117495868 A13图 7说明书附图4/4 页14CN 117495868 A14。