面向遥感基础模型的异构NPU训练方法及系统.pdf

《面向遥感基础模型的异构NPU训练方法及系统.pdf》由会员分享，可在线阅读，更多相关《面向遥感基础模型的异构NPU训练方法及系统.pdf（10页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410002060.0(22)申请日 2024.01.02(71)申请人 中国科学院空天信息创新研究院地址 100190 北京市海淀区北四环西路19号(72)发明人 付琨孙显王智睿赵良瑾成培瑞陈凯强(74)专利代理机构 中科专利商标代理有限责任公司 11021专利代理师 李婉婉(51)Int.Cl.G06V 20/13(2022.01)G06V 10/774(2022.01)(54)发明名称面向遥感基础模型的异构NPU训练方法及系统(57)摘要本发明提供了一种面向遥感基础模型的异构NPU训练。

2、方法，卫星遥感技术领域，包括：根据遥感任务的任务类型选择遥感基础模型，不同的遥感基础模型分别用于处理不同的遥感任务；将各遥感基础模型分别适配转换至对应的NPU单元上；基于适配转换后的遥感基础模型计算各类遥感任务的损失权重，基于各类遥感任务的损失权重调整与各类遥感任务对应的NPU单元的并行计算能力；基于分布式算法在多个NPU单元上分别进行各遥感基础模型的增广训练。本发明还提供了一种面向遥感基础模型的异构NPU训练系统。权利要求书2页 说明书6页 附图1页CN 117496375 A2024.02.02CN 117496375 A1.一种面向遥感基础模型的异构NPU训练方法，其特征在于，包括：根据。

3、遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；将各所述遥感基础模型分别适配转换至对应的NPU单元上；基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力；基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练。2.根据权利要求1所述的方法，其特征在于，所述将各所述遥感基础模型分别适配转换至对应的NPU单元上包括：根据所述遥感任务的任务类型生成掩膜mask；根据所述掩膜mask选择模型转换指令将所述遥感基础模型转换至所述NPU单元上。3.根据权利。

4、要求1所述的方法，其特征在于，所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力包括：基于适配转换后的所述遥感基础模型评价所述遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值；通过对各类所述遥感任务的第一损失值加权，得到各类所述遥感任务的权重；根据所述权重调整对应的NPU单元的并行计算能力，所述权重的大小与所述NPU单元的并行计算能力的高低正相关。4.根据权利要求1所述的方法，其特征在于，所述基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练包括：基于遥感数据训练。

5、集在多个所述NPU单元上进行各所述遥感基础模型的增广训练评价，得到第一评价结果；基于损失函数评价所述第一评价结果和所述遥感数据训练集的真实标签，得到第二损失值；基于第二损失值优化所述遥感基础模型的参数；重复上述步骤，直至达到所述遥感基础模型的优化目标。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型。6.根据权利要求1所述的方法，其特征在于，将各所述遥感基础模型分别适配转换至对应的NPU单元上之前，所述方法还包括：初始化所述遥感基础模型，在CPU或GPU上对所述遥感基础模型进行预训练。7.根。

6、据权利要求1所述的方法，其特征在于，所述方法还包括：通过完成增广训练后的所述遥感基础模型评价遥感数据验证集，得到第二评价结果；基于所述第二评价结果和所述遥感数据验证集的真实标签计算性能指标；基于所述性能指标优化所述遥感基础模型。8.一种面向遥感基础模型的异构NPU训练系统，其特征在于，包括：模型选择模块，用于根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基权利要求书1/2 页2CN 117496375 A2础模型分别用于处理不同的遥感任务；模型转换模块，用于将各所述遥感基础模型分别适配转换至对应的NPU单元上；多个NPU单元，用于基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损。

7、失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力，以及，基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练。9.根据权利要求8所述的系统，其特征在于，还包括：高速数据总线，用于连接所述多个NPU单元和与所述NPU单元交互的数据接口；分布式资源管理系统，用于当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型；软件栈，用于控制所述NPU单元执行所述遥感基础模型的计算任务。10.根据权利要求8所述的系统，其特征在于，还包括：散热系统，包括散热器和风扇，用于给所述NPU单元散热。权利要求书2/2。

8、 页3CN 117496375 A3面向遥感基础模型的异构NPU训练方法及系统技术领域0001本发明涉及卫星遥感技术领域，尤其涉及一种面向遥感基础模型的异构NPU训练方法及系统。背景技术0002遥感技术在现代社会中扮演着重要的角色，广泛应用于环境监测、地质勘探、农业、城市规划等领域。通过遥感技术能够获取来自卫星、飞机或其他传感器的大量地理信息数据，这些数据在不同领域的决策制定和问题解决中至关重要。然而，随着遥感数据的不断增加和复杂性的提高，处理这些数据变得更加复杂和耗时。特别是在进行基础模型的训练和优化时，传统的数据处理方法通常需要大量的计算资源和时间，这限制了遥感数据的实时分析和应用。000。

9、3NPU是专门设计用于深度学习任务的硬件加速器，具有并行计算和高效能力的特点。它们已经在计算机视觉、自然语言处理和其他领域的深度学习任务中取得了显著的成功。然而，在遥感数据处理方面，NPU的应用仍然面临一些挑战，如数据处理流程的复杂性、NPU与传统处理单元的协同工作等问题。0004现有的遥感数据处理方法通常依赖于传统的中央处理单元（CPU）和图形处理单元（GPU）。虽然这些处理单元在某些任务上表现出色，但它们在处理大规模遥感数据时效率不高。因此，有必要开发一种面向遥感数据的NPU训练方法与装置，以提高遥感数据处理的效率和精度。发明内容0005鉴于上述问题，本发明提供了一种一种面向遥感基础模型的。

10、异构NPU训练方法及系统，利用NPU的并行计算能力，加速遥感数据处理过程，从而实现更高效的地球观测数据分析和应用。0006本发明的一个方面提供了一种面向遥感基础模型的异构NPU训练方法，包括：根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；将各所述遥感基础模型分别适配转换至对应的NPU单元上；基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力；基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练。0007根据本发明的实施例，所述将各所述遥。

11、感基础模型分别适配转换至对应的NPU单元上包括：根据所述遥感任务的任务类型生成掩膜mask；根据所述掩膜mask选择模型转换指令将所述遥感基础模型转换至所述NPU单元上。0008根据本发明的实施例，所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力包括：基于适配转换后的所述遥感基础模型评价所述遥感任务的说明书1/6 页4CN 117496375 A4采样数据，得到各个任务类别的遥感任务的第一损失值；通过对各类所述遥感任务的第一损失值加权，得到各类所述遥感任务的权重；根据所述权重调整对应的NPU单。

12、元的并行计算能力，所述权重的大小与所述NPU单元的并行计算能力的高低正相关。0009根据本发明的实施例，所述基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练包括：基于遥感数据训练集在多个所述NPU单元上进行各所述遥感基础模型的增广训练评价，得到第一评价结果；基于损失函数评价所述第一评价结果和所述遥感数据训练集的真实标签，得到第二损失值；基于第二损失值优化所述遥感基础模型的参数；重复上述步骤，直至达到所述遥感基础模型的优化目标。0010根据本发明的实施例，所述方法还包括：当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型。001。

13、1根据本发明的实施例，将各所述遥感基础模型分别适配转换至对应的NPU单元上之前，所述方法还包括：初始化所述遥感基础模型，在CPU或GPU上对所述遥感基础模型进行预训练。0012根据本发明的实施例，所述方法还包括：通过完成增广训练后的所述遥感基础模型评价遥感数据验证集，得到第二评价结果；基于所述第二评价结果和所述遥感数据验证集的真实标签计算性能指标；基于所述性能指标优化所述遥感基础模型。0013本发明的另一个方面提供了一种面向遥感基础模型的异构NPU训练系统，包括：模型选择模块，用于根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；模型转换模块，用于将各所。

14、述遥感基础模型分别适配转换至对应的NPU单元上；多个NPU单元，用于基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力，以及，基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练。0014根据本发明的实施例，还包括：高速数据总线，用于连接所述多个NPU单元和与所述NPU单元交互的数据接口；分布式资源管理系统，用于当一个所述NPU单元上的遥感任务处理完成后，将所述NPU单元分配给未完成遥感任务的遥感基础模型；软件栈，用于控制所述NPU单元执行所述遥感基础模型的计算任务。0015根据。

15、本发明的实施例，还包括：散热系统，包括散热器和风扇，用于给所述NPU单元散热。附图说明0016为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：图1示意性示出了本发明实施例提供的一种面向遥感基础模型的异构NPU训练方法的示意图。具体实施方式0017以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细说明书2/6 页5CN 117496375 A5节的情况下也可以被实施。此外，在以下说明中，省略了对公知。

16、结构和技术的描述，以避免不必要地混淆本发明的概念。0018在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。0019在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。0020附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以。

17、提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。0021因此，本发明的技术可以硬件和/或软件（包括固件、微代码等）的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置。

18、，如磁带或硬盘（HDD）；光存储装置，如光盘（CDROM）；存储器，如随机存取存储器（RAM）或闪存；和/或有线/无线通信链路。0022在执行模型训练之前，需进行遥感任务的数据加载和准备。从经过数据预处理的遥感数据集中加载遥感图像和相关标签。这些图像可能包括不同波段的遥感图像、地理信息、植被指数等。数据准备也包括对原始数据进行清理、校准和格式转换，以确保数据的质量和一致性。清理过程涉及检测和修复噪声、缺失值、云覆盖和其他干扰因素。地理坐标系统可能不同，因此进行地理坐标系统的统一也是必要的，以确保数据的一致性和可比性。0023图1示意性示出了本发明实施例提供的一种面向遥感基础模型的异构NPU训练。

19、方法的示意图。0024如图1所示，本发明实施例提供的一种面向遥感基础模型的异构NPU训练方法包括S110S140。0025S110，根据遥感任务的任务类型选择遥感基础模型，不同的遥感基础模型分别用于处理不同的遥感任务。0026在本实施例中，根据任务需求，为不同的任务类型的要赶任务选择合适的遥感基础模型GPU，模型可以是卷积神经网络（CNN）或其他深度学习架构，根据应用需求进行选择。初始化遥感基础模型的参数，具体可以采用随机初始化或使用预训练权重，预训练权重通常来源于相关领域的模型，如计算机视觉。在CPU或者GPU上进行遥感基础模型的预训练。0027S120，将各遥感基础模型分别适配转换至对应的。

20、NPU单元上。0028由于GPU提供的主要是pth模型，此模型与NPU无法进行适配，因此无法应用pth模型在NPU上进行计算。在本实施例中，在NPU上设置适配的模型，通过具体任务的指导在异构的NPU上进行适配任务的模型转换，根据具体的任务类型生成具体的掩膜mask，根据掩膜mask挑选模型转换指令进行遥感基础模型转换至NPU单元上。说明书3/6 页6CN 117496375 A60029S130，基于适配转换后的遥感基础模型计算各类遥感任务的损失权重，基于各类遥感任务的损失权重调整与各类遥感任务对应的NPU单元的并行计算能力。0030S131，基于适配转换后的遥感基础模型评价遥感任务的采样数据。

21、，得到各个任务类别的遥感任务的第一损失值。0031从遥感数据训练集中随机采样，利用适配转换后的遥感基础模型评价遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值：Lsum=l1,l2,l3,，ln；其中，l1,l2,l3,，ln表示各任务类别的遥感任务的第一损失值。0032S132，通过对各类遥感任务的第一损失值加权，得到各类遥感任务的权重。0033；其中，qi表示第i类遥感任务的权重。0034S133，根据权重调整对应的NPU单元的并行计算能力，权重的大小与NPU单元的并行计算能力的高低正相关。0035权重表示了遥感基础模型处理对应的遥感任务的损失量，为了补偿各遥感基础模型的损失，后。

22、续将利用NPU单元的并行计算能力对不同的遥感基础模型进行不同的增光程度的训练。为了均衡各模型的训练效率，对于不同的NPU单元采用异构的配置，通过调整NPU单元的计算核心，处理权重高的遥感任务的NPU单元的计算能力越高。0036S140，基于分布式算法在多个NPU单元上分别进行各遥感基础模型的增广训练。0037模型训练是通过前向传播和反向传播来进行的。前向传播计算模型的输出，然后通过损失函数比较输出和真实标签，得出误差。反向传播用于调整模型参数，以减小误差。0038模型的训练是在多个NPU上利用分布式的算法在目前的遥感基础模型进行增广训练，主要利用了NPU的对并行计算的处理能力，增加深度学习的训。

23、练效率，更好的适应遥感图像的比较大的特性。0039具体的，S140包括S141S144。0040S141，基于遥感数据训练集在多个NPU单元上进行各遥感基础模型的增广训练评价，得到第一评价结果。0041S142，基于损失函数评价第一评价结果和遥感数据训练集的真实标签，得到第二损失值。0042S143，基于第二损失值优化遥感基础模型的参数。在训练过程中，优化算法如随机梯度下降（SGD）或Adam被用来更新模型参数。0043S144，重复上述步骤，直至达到遥感基础模型的优化目标。这是一个迭代的过程，模型的性能将不断改进，以逐渐收敛到最优解。0044在本实施例中，配备了分布式资源管理系统，用于有效地。

24、分配计算和存储资源。这个系统可以动态分配和重新分配资源，以优化训练过程中的任务并行化和资源利用率。例如，当一个NPU单元上的遥感任务处理完成后，将NPU单元分配给未完成遥感任务的遥感基础模型，以确保最大化计算资源的使用。说明书4/6 页7CN 117496375 A70045在增光训练结束后，还包括对训练后的遥感基础模型进行验证和调整。首先，需要仔细选择独立的遥感数据验证集，确保该验证集能够代表实际应用场景的多样性，并覆盖可能的特殊情况和边缘情况。然后，明确定义模型的性能指标，如准确率、召回率、精确度等，以便在验证过程中对模型的表现进行客观评估。验证和调整过程在模型训练过程的固定间隔内执行，包。

25、括：通过完成增广训练后的遥感基础模型评价遥感数据验证集，得到第二评价结果；基于第二评价结果和遥感数据验证集的真实标签计算性能指标；基于性能指标优化遥感基础模型。这个过程将多次重复，以获取足够的数据来绘制性能曲线，如ROC曲线或精确召回曲线，以便全面评估模型的性能。0046在验证过程中，如果发现模型性能不满足要求，就需要进行模型调整。这可能包括超参数的调整，如学习率、批处理大小、正则化强度等，以优化模型的性能。此外，也可以尝试不同的模型架构，例如更深层次的神经网络或不同的层次结构，以寻找最佳的模型配置。如果出现过度拟合问题，可能需要增加数据集大小、减少模型复杂度或引入正则化方法来减轻过度拟合。0。

26、047一旦训练完成，训练好的模型参数将被保存以备将来使用。最终，经过训练和评估的模型将被部署到实际应用中，用于遥感数据分析和应用，如地图制作、土地利用监测、资源管理等领域。0048通过本发明的异构NPU训练装置，实现了多个异构NPU单元和高速数据总线提供了高性能的计算环境，用于快速训练深度学习模型；分布式资源管理系统确保了计算和存储资源的有效分配，最大化资源利用率；该装置具备可扩展性，可以适应不同规模和类型的深度学习任务。0049本发明还提供了一种面向遥感基础模型的异构NPU训练系统，包括：模型选择模块、模型转换模块、多个NPU单元。0050模型选择模块用于根据遥感任务的任务类型选择遥感基础模。

27、型，不同的遥感基础模型分别用于处理不同的遥感任务。0051模型转换模块用于将各遥感基础模型分别适配转换至对应的NPU单元上。0052多个NPU单元用于基于适配转换后的遥感基础模型计算各类遥感任务的损失权重，基于各类遥感任务的损失权重调整与各类遥感任务对应的NPU单元的并行计算能力，以及，基于分布式算法在多个NPU单元上分别进行各遥感基础模型的增广训练。这些单元具有高度并行的计算能力，特别优化用于深度学习任务。每个NPU单元包括多个计算核心，用于执行神经网络的前向传播和反向传播。这些NPU单元的异构性质意味着它们可以处理各种类型的计算任务，包括卷积操作、矩阵乘法、激活函数等。这种异构设计有助于装。

28、置在不同深度学习模型和任务之间提供最佳性能。0053该系统还包括：高速数据总线、分布式资源管理系统和软件栈。0054高速数据总线用于连接多个NPU单元和与NPU单元交互的数据接口。高速数据总线具有高带宽和低延迟的特点，用于实现快速、有效的数据交换，确保在训练过程中，大量数据能够以高效的方式传输到NPU单元，以满足深度学习计算的需求。0055分布式资源管理系统用于有效地分配计算和存储资源。这个系统可以动态分配和重新分配资源，以优化训练过程中的任务并行化和资源利用率。例如，用于当一个NPU单元上的遥感任务处理完成后，将NPU单元分配给未完成遥感任务的遥感基础模型。说明书5/6 页8CN 11749。

29、6375 A80056软件栈用于控制NPU单元执行遥感基础模型的计算任务。该软件栈包括驱动程序、库和应用程序接口，用于管理和控制NPU单元，以及执行深度学习计算任务。软件栈允许用户进行模型训练的自定义和配置，包括选择合适的深度学习框架、调整超参数和监控训练过程。0057该系统还包括：散热系统，包括散热器和风扇，用于给NPU单元散热。由于深度学习计算通常会引起高温，散热系统确保NPU单元在训练过程中保持适宜的温度，以防止性能下降和硬件损坏。0058本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。0059尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附实施例及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附实施例来进行确定，还由所附实施例的等同物来进行限定。说明书6/6 页9CN 117496375 A9图 1说明书附图1/1 页10CN 117496375 A10。