图像处理方法、架构、装置和计算机设备.pdf

《图像处理方法、架构、装置和计算机设备.pdf》由会员分享，可在线阅读，更多相关《图像处理方法、架构、装置和计算机设备.pdf（18页完成版）》请在专利查询网上搜索。

1、(19)国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202410011758.9(22)申请日 2024.01.04(71)申请人 深圳市欧冶半导体有限公司地址 518051 广东省深圳市南山区西丽街道松坪山社区朗山路11号同方科兴科学园F栋2203(72)发明人 谭兵周涤非(74)专利代理机构 华进联合专利商标代理有限公司 44224专利代理师 关志琨(51)Int.Cl.G06T 5/77(2024.01)G06T 3/4015(2024.01)G06T 5/70(2024.01)G06N 3/0464(2023.01)G06T 5/90(20。

2、24.01)(54)发明名称图像处理方法、架构、装置和计算机设备(57)摘要本申请涉及一种图像处理方法、架构、装置和计算机设备。方法包括：基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；基于图像信号处理器对修复图像数据进行校正，得到校正图像数据；从校正图像数据中提取出高频信号、亮度信号和色度信号；将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。采用本方法能够降低图像处理的成本。权利要求书2页 说明书11页 附图4页CN 117522742 A2024.02.06CN 117522742 A1.一种图像处理方法，其特征在。

3、于，所述方法包括：基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；基于图像信号处理器对所述修复图像数据进行校正，得到校正图像数据；从所述校正图像数据中提取出高频信号、亮度信号和色度信号；将所述高频信号、所述亮度信号和所述色度信号输入至图像增强网络，通过所述图像增强网络对所述校正图像数据进行增强，得到增强图像数据。2.根据权利要求1所述的方法，其特征在于，所述基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据，包括：将采集的原始图像数据输入至图像修复网络，通过所述图像修复网络对所述原始图像数据进行特征提取，得到初始特征图；对所述初始特征图进行逐层级的下采样处理，得到每。

4、层级的降采样特征图；将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理，得到所述第二层级的融合特征图；其中，所述第二层级是所述第一层级的上一层级；从所述第二层级起，将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理，得到所述每一层级的上一层级的融合特征图；根据所述初始特征图和第三层级的融合特征图进行图像重建，得到修复图像数据；其中，所述第三层级位于所述第一层级之前、且间隔至少一个层级。3.根据权利要求2所述的方法，其特征在于，所述原始图像数据为传感器原始格式；所述根据所述初始特征图和第三层级的融合特征图进行图像重建，得到修复图像数据，包括：将所述初始。

5、特征图和第三层级的融合特征图拼接后进行特征提取，得到拼接特征图；基于所述拼接特征图进行像素重排处理，得到三基色格式的修复图像数据。4.根据权利要求1所述的方法，其特征在于，所述从所述校正图像数据中提取出高频信号、亮度信号和色度信号，包括：对所述校正图像数据进行滤波处理，得到高频信号；对三基色格式的所述校正图像数据进行色彩空间转换，得到亮度信号和色度信号。5.根据权利要求1所述的方法，其特征在于，通过所述图像增强网络对所述校正图像数据进行增强，得到增强图像数据，包括：通过所述图像增强网络对所述高频信号、所述亮度信号和所述色度信号分别进行特征提取，得到高频特征、亮度特征和色度特征；对所述高频特征、。

6、所述亮度特征和所述色度特征进行融合处理，得到增强图像数据。6.根据权利要求5所述的方法，其特征在于，通过所述图像增强网络对所述高频信号、所述亮度信号和所述色度信号分别进行特征提取，得到高频特征、亮度特征和色度特征，包括：通过所述图像增强网络对所述高频信号、所述亮度信号和所述色度信号分别进行卷积运算和非线性映射，得到高频特征、亮度特征和色度特征；所述对所述高频特征、所述亮度特征和所述色度特征进行融合处理，得到增强图像数据，包括：将所述高频特征、所述亮度特征和所述色度特征拼接后进行卷积处理得到增强图像数据。权利要求书1/2 页2CN 117522742 A27.根据权利要求1至6任一项所述的方法，。

7、其特征在于，所述基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据，包括：基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边中的至少一种处理，得到修复图像数据；所述基于图像信号处理器对所述修复图像数据进行校正，得到校正图像数据，包括：基于图像信号处理器对所述修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理，得到校正图像数据；所述通过所述图像增强网络对所述校正图像数据进行增强，得到增强图像数据，包括：通过所述图像增强网络对所述校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理，得到增强图像数据。8.一种图像处理架构，其特征在于，所述图像处。

8、理架构包括图像修复网络、图像信号处理器和图像增强网络；所述图像修复网络，用于对采集的原始图像数据进行修复，得到修复图像数据；所述图像信号处理器，用于对所述修复图像数据进行校正，得到校正图像数据；所述图像增强网络，用于根据高频信号、亮度信号和色度信号对所述校正图像数据进行增强，得到增强图像数据；所述高频信号、所述亮度信号和所述色度信号是从所述校正图像数据中提取的。9.一种图像处理装置，其特征在于，所述装置包括：修复模块，用于基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；校正模块，用于基于图像信号处理器对所述修复图像数据进行校正，得到校正图像数据；增强模块，用于从所述校正图像数据。

9、中提取出高频信号、亮度信号和色度信号；将所述高频信号、所述亮度信号和所述色度信号输入至图像增强网络，通过所述图像增强网络对所述校正图像数据进行增强，得到增强图像数据。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。权利要求书2/2 页3CN 117522742 A3图像处理方法、架构、装置和计算机设备技术领域0001本申请涉及计算机技术领域，特别是涉及一种图像处理方法、架构、装置和计算机设备。背景技术0002图像信号处理器 (Image Signal Processor,ISP)的功能是。

10、将图像传感器采集的信号，经过一系列图像处理技术,转换为符合人眼观感的图像信号。0003传统技术中，通过图像信号处理器实现将采集端原始信号到符合人眼的图像信号间的整体流程。由于图像信号处理器的设计和优化需要耗费大量的人力和物力，无法避免成本高的问题。发明内容0004基于此，有必要针对上述技术问题，提供一种能够降低成本的图像处理方法、架构、装置和计算机设备。0005第一方面，本申请提供了一种图像处理方法，包括：0006基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；0007基于图像信号处理器对修复图像数据进行校正，得到校正图像数据；0008从校正图像数据中提取出高频信号、亮度信号和。

11、色度信号；0009将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。0010第二方面，本申请还提供了一种图像处理架构包括图像修复网络、图像信号处理器和图像增强网络；0011图像修复网络，用于对采集的原始图像数据进行修复，得到修复图像数据；0012图像信号处理器，用于对修复图像数据进行校正，得到校正图像数据；0013图像增强网络，用于根据高频信号、亮度信号和色度信号对校正图像数据进行增强，得到增强图像数据；高频信号、亮度信号和色度信号是从校正图像数据中提取的。0014第三方面，本申请还提供了一种图像处理装置，包括：0015修复模块，用于基。

12、于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；0016校正模块，用于基于图像信号处理器对修复图像数据进行校正，得到校正图像数据；0017增强模块，用于从校正图像数据中提取出高频信号、亮度信号和色度信号；将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。0018第四方面，本申请还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法中的步骤。说明书1/11 页4CN 117522742 A40019第五方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程。

13、序被处理器执行时实现上述的方法中的步骤。0020第六方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。0021上述图像处理方法、架构、装置、计算机设备、存储介质和计算机程序产品，基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；基于图像信号处理器对修复图像数据进行校正，得到校正图像数据；从校正图像数据中提取出高频信号、亮度信号和色度信号；将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。图像修复和图像增强通常针对的是图像本身的内容和属性，而不是受限于采集图像的设备性能。

14、，故而能够使用人工智能技术实现图像修复操作和图像增强操作。而图像校正往往受限于采集图像的设备性能，不同的设备具有不同的响应特性，因此需要相较于人工智能技术更加灵活的图像信号处理器针对性地实现图像校正。图像修复网络叠加图像信号处理器再叠加图像增强网络，相较于串联多个不同功能的图像信号处理器的方式，能够达到降低人工成本。0022此外，未修复图像中的干扰可能影响校正的性能，以及如果没有进行修复和校正而直接进行增强，可能会导致增强后的图像质量下降，故而基于图像修复网络实现图像的修复、基于图像信号处理器对修复后的图像进行校正、之后基于图像增强网络对校正后的图像进行增强，能够在保证图像处理效果的同时降低成。

15、本。附图说明0023为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。0024图1为本申请实施例提供的一种图像处理方法的应用环境图；0025图2为本申请实施例提供的一种图像处理方法的流程示意图；0026图3为本申请实施例提供的一种图像修复网络的结构示意图；0027图4为本申请实施例提供的一种图像增强网络的结构示意图；0028图5为本申请实施例提供的一种图像处理架构的示意图；0029图6为本申。

16、请实施例提供的一种图像处理装置的结构框图；0030图7为本申请实施例提供的一种计算机设备的内部结构图；0031图8为本申请实施例提供的另一种计算机设备的内部结构图。具体实施方式0032为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。0033本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，计算机设备102通过接口与图像信号处理器104进行通信。计算机设备102上部署有图像修说明书2/11 页5CN 117522742 A5复网络和图像增强网络。计算机设备。

17、102可以基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；计算机设备102可以将修复图像数据发送至图像信号处理器104，以指示图像信号处理器104对修复图像数据进行校正，得到校正图像数据；计算机设备102可以从校正图像数据中提取出高频信号、亮度信号和色度信号；将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。0034其中，计算机设备102可以包括终端或服务器的至少一种。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。

18、。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。0035在一个示例性的实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤202至步骤208。其中：0036步骤202，基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据。0037其中，图像修复网络用于对原始图像数据进行修复。比如，图像修复网络可以对原始图像数据进行去噪、去马赛克、去紫边、超分辨率重建、图像填充或图像去模糊等中的至少一种修复处理。可以理解，图像修复网络具备的修复能力取决于训练数据集，如果需要图像修复。

19、网络具备去马赛克、去紫边以及去噪的能力，那么训练数据集中存在包括马赛克的样本图、包括紫边的样本图和包括噪声的样本图，训练数据集中存在相应的去马赛克的标签图像、去紫边的标签图像以及去噪的标签图像。0038示例性地，图像采集设备可以采集原始图像数据，将原始图像数据发送至计算机设备。此时，原始图像数据为传感器原始格式，即，未经加工的原始图像格式RAW。原始图像数据经过图像修复网络修复后，得到的是颜色格式的修复图像数据。可以理解，图像信号处理器侧重于对数据本身的优化和改进，而图像修复网络侧重于从数据中提取特征和模式，由于图像修复针对的是图像的内容和属性，故而采用图像修复网络实现图像修复的性能更好。并且。

20、，图像信号处理器容易受极低照度、雨雪雾天气等极端环境的影响，导致图像修复的效果不佳，而图像修复网络的性能更加稳定且能够有效提升图像修复的性能。0039在一些实施例中，颜色格式可以但不限于是三基色格式。可以理解，输入的原始图像数据是一通道的图像数据，而图像修复网络输出的是三通道的修复图像数据。上述的三通道分别对应三基色，三通道可以包括红色通道、绿色通道和蓝色通道。0040在一些实施例中，计算机设备可以通过图像修复网络对采集的原始图像数据进行去马赛克处理，得到修复图像数据。0041在一些实施例中，图像修复网络用于对原始图像数据进行去马赛克，并且用于对原始图像数据进行去噪或去紫边等中的至少一种处理。。

21、可以理解，去马赛克可以是图像修复网络必有的功能。0042在一些实施例中，图像修复网络对原始图像数据进行多层级的编码以及多层级的解码后，输出修复图像数据。0043在一些实施例中，图像修复网络中包括第一层级和第二层级。计算机设备可以通说明书3/11 页6CN 117522742 A6过图像修复网络对原始图像数据进行特征提取，得到初始特征图；对初始特征图进行逐层级的下采样处理，得到每层级的降采样特征图；将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理，得到第二层级的融合特征图；其中，第二层级是第一层级的上一层级；根据初始特征图和第二层级的融合特征图进行图像重建，得到修复图像数据。。

22、0044步骤204，基于图像信号处理器对修复图像数据进行校正，得到校正图像数据。0045其中，图像信号处理器可以对修复图像数据进行主观校正或客观校正中的至少一种处理。比如，数字增益、白平衡和色域转换通常涉及到根据特定需求对图像进行调整，因此属于主观校正。而伽马校正是用来校正显示器、摄像机和图像处理设备之间的亮度响应关系，是一种客观校正。0046示例性地，图像信号处理器对修复图像数据进行主观校正或客观校正中的至少一种处理后，得到校正图像数据。图像信号处理器可以将校正图像数据发送至计算机设备。0047步骤206，从校正图像数据中提取出高频信号、亮度信号和色度信号。0048示例性地，计算机设备可以将。

23、校正图像数据从时域转到频域得到频谱，分析频谱中的高频分量得到高频信号。对校正图像数据进行色彩空间转换得到亮度信号和色度信号。0049步骤208，将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。0050可以理解，高频信号通常对应着图像中的细节和边缘信息，这些信息在图像中表现为高频振荡的信号。通过对高频信号的提取和分析，可以增强图像的清晰度和细节表现力。亮度信号是图像中像素值的反映，它与图像的明暗程度和对比度密切相关。通过对亮度信号的调整和增强，可以提高图像的对比度和明暗表现力。色度信号是图像中颜色的反映，它与图像的色彩和饱和度密切相关。。

24、通过对色度信号的调整和增强，可以提高图像的色彩表现力和饱和度。0051示例性地，图像增强网络可以通过增强高频信号、亮度信号和色度信号，实现对校正图像数据的增强，得到增强图像数据。可以理解，图像信号处理器侧重于对数据本身的优化和改进，而图像增强网络侧重于从数据中提取特征和模式，由于图像增强针对的是图像的内容和属性，故而采用图像增强网络实现图像增强的性能更好。并且，图像信号处理器容易受极低照度、雨雪雾天气等极端环境的影响，导致图像增强的效果不佳，而图像增强网络的性能更加稳定且能够有效提升图像增强的性能。0052在一些实施例中，图像增强网络可以包括多个特征提取层。高频信号、亮度信号和色度信号分别对应。

25、不同的特征提取层。融合多个特征提取层的输出即可得到增强图像数据。0053在一些实施例中，图像修复网络、图像信号处理器和图像增强网络可以是独立训练的，也可以是联合训练的。0054上述图像处理方法中，基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据；基于图像信号处理器对修复图像数据进行校正，得到校正图像数据；从校正图像数据中提取出高频信号、亮度信号和色度信号；将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据进行增强，得到增强图像数据。图像修说明书4/11 页7CN 117522742 A7复和图像增强通常针对的是图像本身的内容和属性，而不是受限于采集图。

26、像的设备性能，故而能够使用人工智能技术实现图像修复操作和图像增强操作。而图像校正往往受限于采集图像的设备性能，不同的设备具有不同的响应特性，因此需要相较于人工智能技术更加灵活的图像信号处理器针对性地实现图像校正。图像修复网络叠加图像信号处理器再叠加图像增强网络，相较于串联多个不同功能的图像信号处理器的方式，能够达到降低人工成本。0055此外，未修复图像中的干扰可能影响校正的性能，以及如果没有进行修复和校正而直接进行增强，可能会导致增强后的图像质量下降，故而基于图像修复网络实现图像的修复、基于图像信号处理器对修复后的图像进行校正、之后基于图像增强网络对校正后的图像进行增强，能够在保证图像处理效果。

27、的同时降低成本。0056在一些实施例中，基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据，包括：将采集的原始图像数据输入至图像修复网络，通过图像修复网络对原始图像数据进行特征提取，得到初始特征图；对初始特征图进行逐层级的下采样处理，得到每层级的降采样特征图；将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理，得到第二层级的融合特征图；其中，第二层级是第一层级的上一层级；从第二层级起，将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理，得到每一层级的上一层级的融合特征图；根据初始特征图和第三层级的融合特征图进行图像重建，得到修复图像数据；。

28、其中，第三层级位于第一层级之前、且间隔至少一个层级。0057在一些实施例中，通过图像修复网络对原始图像数据执行卷积运算后进行非线性映射得到初始特征图。0058在一些实施例中，图像修复网络可以包括输入层和卷积层。输入层接收原始图像数据，对原始图像数据进行预处理后经过卷积层得到初始特征图。0059在一些实施例中，输入层可以由卷积层和激活层构成，接收传感器原始格式的图像数据。0060在一些实施例中，卷积层可以由多个串联的卷积核和激活层组成。可以理解，卷积层中利用卷积核进行卷积运算后会输出至激活层，由激活层实现非线性映射。0061在一些实施例中，图像修复网络可以包括下采样块和卷积层。图像修复网络中由下。

29、采样块+卷积层实现下采样处理。可以理解，特征依次经过下采样块和卷积层，能够实现对该特征的下采样处理。0062在一些实施例中，下采样块用于实现池化操作。0063在一些实施例中，图像修复网络可以包括上采样块。特征图经过上采样块后输出上采样后的特征图。0064在一些实施例中，图像修复网络中的上采样可以但不限于是双线性插值。0065在一些实施例中，对第一层级的降采样特征图上采样后与第二层级的降采样特征图进行通道拼接、卷积运算后非线性映射，得到第二层级的融合特征图。对每一层级的融合特征图与每一层级的上一层级的降采样特征图进行通道拼接、卷积运算后非线性映射，得到每一层级的上一层级的融合特征图。0066在一。

30、些实施例中，图像修复网络中的融合处理是通过通道拼接+卷积层实现的。说明书5/11 页8CN 117522742 A80067在一些实施例中，如图3所示，提供了图像修复网络的结构示意图。图像修复网络包括输入层、多个下采样层、多个融合层、多个上采样块和输出层。每个下采样层包括下采样块和卷积层。每个融合层包括通道拼接和卷积层。第一层级是指最后一个层级。第二层级是指最后一个层级的上一个层级，即倒数第二个层级。第三层级是指第二个层级。从首个层级到最后一个层级，每个层级对应的分辨率是逐渐下降的。原始图像数据经过首个层级的输入层和卷积层后得到初始特征图，初始特征图经过第二个层级的下采样层后得到第二个层级的降。

31、采样特征图。第二个层级的降采样特征图经过第三个层级的下采样层后得到第三个层级的降采样特征图。第三个层级的降采样特征图经过第四个层级的下采样层后得到第四个层级的降采样特征图。第四个层级的降采样特征图经过上采样块后与第三个层级的降采样特征图输入到第三个层级的融合层得到第三个层级的融合特征图。第三个层级的融合特征图经过上采样块后与第二个层级的降采样特征图进输入到第二个层级的融合层得到第二个层级的融合特征图。第二个层级的融合特征图上采样后与第一个层级的初始特征图进行通道拼接后经过卷积层和输出层，得到修复图像数据。0068本实施例中，基于图像修复网络逐层下采样能够不断地提取出更细节的特征，通过将更低层的。

32、特征与更高层的特征进行融合以恢复分辨率，从而实现对图像的修复。0069在一些实施例中，原始图像数据为传感器原始格式；根据初始特征图和第三层级的融合特征图进行图像重建，得到修复图像数据，包括：将初始特征图和第三层级的融合特征图拼接后进行特征提取，得到拼接特征图；基于拼接特征图进行像素重排处理，得到三基色格式的修复图像数据。0070示例性地，图像修复网络的输出层可以由亚像素卷积（Pixelshuffle）层实现。可以理解，如果图像修复网络中存在四个层级，那么输出层可以接收12通道特征图，转换成3通道的修复图像数据。将初始特征图和上采样后的第三层级的融合特征图进行通道拼接后进行卷积运算和非线性映射，。

33、得到拼接特征图。拼接特征图经过输出层实现像素重排，得到三基色格式的修复图像数据。0071本实施例中，将初始特征图和第三层级的融合特征图拼接后进行特征提取，得到拼接特征图；基于拼接特征图进行像素重排处理，得到三基色格式的修复图像数据，通过像素重排，可以改变图像的分辨率和像素排列方式，从而得到质量更好的修复图像数据。0072在一些实施例中，从校正图像数据中提取出高频信号、亮度信号和色度信号，包括：对校正图像数据进行滤波处理，得到高频信号；对三基色格式的校正图像数据进行色彩空间转换，得到亮度信号和色度信号。0073示例性地，计算机设备可以利用高通滤波从校正图像数据中提取出高频信号。三基色格式的校正图。

34、像数据包括三个颜色信号，通过色彩空间转换，得到亮度色度格式的校正图像数据。亮度色度格式的校正图像数据包括亮度信号和色度信号。0074本实施例中，通过对校正图像数据进行滤波处理，得到高频信号；对三基色格式的校正图像数据进行色彩空间转换，得到亮度信号和色度信号，后续能够基于这三种信号实现图像增强，提高图像质量。0075在一些实施例中，通过图像增强网络对校正图像数据进行增强，得到增强图像数据，包括：通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取，得到高频特征、亮度特征和色度特征；对高频特征、亮度特征和色度特征进行融合处理，得到增强说明书6/11 页9CN 117522742 A9图像。

35、数据。0076示例性地，图像增强网络可以包括卷积层和输出层。高频信号经过卷积层的特征提取后输出高频特征，亮度信号经过卷积层的特征提取后输出亮度特征，色度信号经过卷积层的特征提取后输出色度特征。高频特征、亮度特征和色度特征被输入至输出层，通过输出层融合后得到增强图像数据。0077本实施例中，高频信号与清晰度相关，亮度信号与对比度相关，色度信号与色彩相关，通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取，得到高频特征、亮度特征和色度特征；对高频特征、亮度特征和色度特征进行融合处理，得到增强图像数据，能够实现对图像在清晰度、对比度和色彩维度的多维度增强。0078在一些实施例中，通过图像。

36、增强网络对高频信号、亮度信号和色度信号分别进行特征提取，得到高频特征、亮度特征和色度特征，包括：通过图像增强网络对高频信号、亮度信号和色度信号分别进行卷积运算和非线性映射，得到高频特征、亮度特征和色度特征；对高频特征、亮度特征和色度特征进行融合处理，得到增强图像数据，包括：将高频特征、亮度特征和色度特征拼接后进行卷积处理得到增强图像数据。0079可以理解，为了实现高频信号的增强，可以使用较小的卷积核来提取高频特征。为了实现亮度信号的增强，可以使用中等大小的卷积核来提取亮度特征。为了实现色度信号的增强，可以使用较大的卷积核来提取色度特征。进而融合高频特征、亮度特征和色度特征能够得到质量更高的增强。

37、图像数据。0080在一些实施例中，对高频特征、亮度特征和色度特征拼接后进行卷积运算以及非线性映射，得到增强图像数据。0081在一些实施例中，如图4所示，提供了图像增强网络的结构示意图。图像增强网络包括三个卷积层和一个输出层。对校正图像数据进行信号拆分得到高频信号、亮度信号和色度信号。三个卷积层分别用于对高频信号、亮度信号和色度信号进行特征提取。输出层用于融合高频特征、亮度特征和色度特征。0082在一些实施例中，图像增强网络输出的增强图像数据是亮度色度格式的。亮度色度格式包括亮度信号分量和色度信号分量的格式。色度信号分量可以包括至少两种色度，比如，蓝色色度和红色色度。0083本实施例中，通过图像。

38、增强网络对高频信号、亮度信号和色度信号分别进行卷积运算和非线性映射，得到高频特征、亮度特征和色度特征；将高频特征、亮度特征和色度特征拼接后进行卷积处理得到增强图像数据，能够实现对图像的多维度增强，提高图像质量。0084在一些实施例中，基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据，包括：基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边等中的至少一种处理，得到修复图像数据；基于图像信号处理器对修复图像数据进行校正，得到校正图像数据，包括：基于图像信号处理器对修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理，得到校正图像数据；通过图像增强网络对校正。

39、图像数据进行增强，得到增强图像数据，包括：通过图像增强网络对校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理，得到增强图像数据。0085可以理解，图像修复网络用于对原始图像数据进行去噪、去马赛克和去紫边。图像信号处理器用于对修复图像数据进行数字增益、白平衡、色域转换和伽马校正。图像增强网说明书7/11 页10CN 117522742 A10络用语对校正图像数据进行对比度增强、色彩增强和清晰度增强。0086在一些实施例中，图像信号处理器可以由多个串联的单功能信号处理器组成。其中，每个单功能信号处理器用于实现一种校正处理。可以理解，多个单功能信号处理器分别用于执行数字增益、白平衡、。

40、色域转换和伽马校正。0087在一些实施例中，图像信号处理器可以对修复图像数据依次执行数字增益、白平衡、色域转换和伽马校正，经过最后一校正处理即伽马校正后即可得到校正图像数据。0088在一些实施例中，图像信号处理器的输入是三基色格式的图像数据，输出也是三基色格式的图像数据。0089在一些实施例中，如图5所示，提供了一种图像处理架构的示意图。图像处理架构包括图像修复网络、图像信号处理器和图像增强网络。输入到图像处理架构的原始图像数据可以是RAW格式的、图像修复网络输出的修复图像数据可以是RGB格式的、图像信号处理器输出的校正图像数据可以是RGB格式的以及图像增强网络输出的增强图像数据可以是YUV格。

41、式的。图像修复网络实现了去噪、去马赛克和去紫边。图像信号处理器实现了数字增益、白平衡、色域转换和伽马校正。图像增强网络实现了对比度增强、色彩增强和清晰度增强。0090本实施例中，基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边等中的至少一种处理，得到修复图像数据；基于图像信号处理器对修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理，得到校正图像数据；通过图像增强网络对校正图像数据进行对比度增强、色彩增强或清晰度增强中的至少一种处理，得到增强图像数据，相较于直接串联多个图像信号处理器的方式，能够有效降低成本。0091应该理解的是，虽然如上的各实施例所涉及的流程图。

42、中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。0092基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所。

43、记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。0093在一个示例性的实施例中，如图6所示，提供了一种图像处理装置600，包括：修复模块602、校正模块604和增强模块606，其中：0094修复模块602，用于基于图像修复网络对采集的原始图像数据进行修复，得到修复图像数据。0095校正模块604，用于基于图像信号处理器对修复图像数据进行校正，得到校正图像数据。0096增强模块606，用于从校正图像数据中提取出高频信号、亮度信号和色度信号；将高频信号、亮度信号和色度信号输入至图像增强网络，通过图像增强网络对校正图像数据。

44、说明书8/11 页11CN 117522742 A11进行增强，得到增强图像数据。0097在一些实施例中，修复模块602，用于将采集的原始图像数据输入至图像修复网络，通过图像修复网络对原始图像数据进行特征提取，得到初始特征图；对初始特征图进行逐层级的下采样处理，得到每层级的降采样特征图；将第一层级的降采样特征图上采样后与第二层级的降采样特征图进行融合处理，得到第二层级的融合特征图；其中，第二层级是第一层级的上一层级；从第二层级起，将每一层级的融合特征图上采样后与每一层级的上一层级的降采样特征图进行融合处理，得到每一层级的上一层级的融合特征图；根据初始特征图和第三层级的融合特征图进行图像重建，得。

45、到修复图像数据；其中，第三层级位于第一层级之前、且间隔至少一个层级。0098在一些实施例中，原始图像数据为传感器原始格式；修复模块602，用于将初始特征图和第三层级的融合特征图拼接后进行特征提取，得到拼接特征图；基于拼接特征图进行像素重排处理，得到三基色格式的修复图像数据。0099在一些实施例中，增强模块606，用于对校正图像数据进行滤波处理，得到高频信号；对三基色格式的校正图像数据进行色彩空间转换，得到亮度信号和色度信号。0100在一些实施例中，增强模块606，用于通过图像增强网络对高频信号、亮度信号和色度信号分别进行特征提取，得到高频特征、亮度特征和色度特征；对高频特征、亮度特征和色度特征。

46、进行融合处理，得到增强图像数据。0101在一些实施例中，增强模块606，用于通过图像增强网络对高频信号、亮度信号和色度信号分别进行卷积运算和非线性映射，得到高频特征、亮度特征和色度特征；将高频特征、亮度特征和色度特征拼接后进行卷积处理得到增强图像数据。0102在一些实施例中，修复模块602，用于基于图像修复网络对采集的原始图像数据进行去噪、去马赛克或去紫边等中的至少一种处理，得到修复图像数据；校正模块604，用于基于图像信号处理器对修复图像数据执行数字增益、白平衡、色域转换或伽马校正中的至少一种处理，得到校正图像数据；增强模块606，用于通过图像增强网络对校正图像数据进行对比度增强、色彩增强或。

47、清晰度增强中的至少一种处理，得到增强图像数据。0103上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。0104在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理。

48、器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储增强图像数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。0105在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其说明书9/11 页12CN 117522742 A12内部结构图可以如图8所示。该计算机设备包括处理器、存储器。

49、、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执。

50、行时以实现一种图像处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。0106本领域技术人员可以理解，图7或图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。0107在一个示例性的实施例中，提供了一种计算机设备，包括存储。