基于非凸非光滑泛函的图像融合方法.pdf

本发明公开了一种基于非凸非光滑泛函的图像融合方法。本发明联合全色图像和多光谱图像的特征，应用与多光谱图像有关的非光滑数据项保持多光谱的颜色信息，应用非凸数据项转移全色图像的细节信息到融合结果。本发明通过构造的非凸非光滑泛函解决全色图像和多光谱图像的融合问题，构造的泛函中的非凸梯度项相对于别的方式构造的梯度项能够更好的保持全色图像的细节信息；构造的泛函中的非光滑数据项相对于别的方式构造的数据项能够更好的保持多光谱图像的多光谱信息；构造的泛函中的限制项能够使得我们得到的结果是处于合理的量化区间之内的。

权利要求书
1.  基于非凸非光滑泛函的图像融合方法，联合全色图像和多光谱图像的特征，应用与多光谱图像有关的非光滑数据项保持多光谱的颜色信息，应用非凸数据项转移全色图像的细节信息到融合结果，其特征在于该方法具体是：
构造非凸非光滑泛函：
minRJ(R)=minRλ||Rx-Gx||p+λ||Ry-Gy||p+||R-T||11]]>
subjectto:0≤R(I);R≤1(II);R‾=T‾(III).]]>
其中G是全色图像，T是多光谱图像的亮度部分，R融合结果，Rx是R关于x方向导数，Ry是R关于y方向导数,表示图像的均值，0＜p＜1；所构造的泛函的第一项和第二项是传递全色图像G的细节信息，参考的各向异性全变差的形式；泛函的第三项是L1范数的形式，保持多光谱图像的颜色信息；约束项使约束结果处于合理的范围同时均值等于多光谱图像的亮度部分的均值。

说明书基于非凸非光滑泛函的图像融合方法
技术领域
本发明涉及数字图像处理技术领域，特别是一种基于非凸非光滑泛函的图像融合方法。
背景技术
由于超大规模集成电路(VLSI)和超高速集成电路(VHSIC)、高精度数控机床、计算机辅助设计和制造，以及其它设计和生产的改进，传感器性能大大提高。从20世纪70年代起，一门新兴的学科－多传感器信息融合(Multisensor Data Fusion)便迅速发展起来。图像融合(Image Fusion)是指联合两个或两个以上的图像通过某种算法得到一幅更高质量的新图像。图像融合是数据融合领域中的一个重要分支，它的研究具有十分重要的实际意义。单个传感器图像或者单幅图像，由于受物理条件的限制和成像环境的影响，往往不能提供人们所需要的足够多的信息。例如，全色(Panchromatic)图像具有的较高空间分辨率可以对目标进行更好的定位，但是低的谱分辨率导致识别能力较差；反过来，多光谱图像具有较高的谱分辨率可以较好地识别目标，但是低的空间分辨率导致定位不准确。融合多光谱图像和全色图像，可以得到具有较高空间分辨率的多光谱图像，从而更好地实现目标的识别和定位等后续处理。总的来说，综合多个传感器图像的信息，可以降低图像信息的不确定性，增加图像信息的可靠性、鲁棒性，加大信息表达的范围和能力，有利于图像的理解和场景解释。图像融合技术还对图像去噪、图像复原、图像超分辨率等其它图像处理技术起到促进作用。同时，许多领域中的多传感器、多时相、多分辨率和多光谱(超光谱)图像的大量涌现，为了更好地存储、处理和利用这些数据，迫切要求一门综合处理多源图像的技术和系统。现在，图像融合广泛地应用于许多领域，包括遥感、医学影像、人工智能、隐藏武器检测、自动导航着陆、质量和故障检测，工业监测和军事国防等。
图像融合算法是图像融合系统的核心部分。图像融合方法大致可以分为七类：一是彩色相关的方法；二是数值方法；三是基于概率统计的方法；四是基于多尺度分解的方法；五是神经网络融合方法；六是基于谱分离的方法； 七是变分融合方法。其中Sharama在对图像融合作了深刻的分析的基础上提出了一种新的概率模型及参数估计方法。Zhang及Blum以在数字相机的应用为背景总结了基于多尺度分解的图像融合算法。Mohammad-Djafari则论述了贝叶斯估计方法在图像中的应用。
本发明是一种基于非光滑非凸泛函的能量最小化方法。本方法根据图像融合的基本思想和全色图像以及多光谱图像的基本特征，为了更好的保持多光谱图像的颜色信息以及全色图像的细节信息，构造一个新的非凸非光滑泛函进行求解，同时建立了迭代变权+Split-Bregman算法框架求解该能量最小化方法。
发明内容
本发明的目的旨在提供一种效果良好的图像融合算法用于处理全色图像和多光谱图像的融合问题。为此，提出了一种新的带限制项的非光滑非凸的泛函将全色图像和多光谱图像进行融合。
为达成所述目的，本发明提供了一种基于非凸非光滑泛函将全色图像和多光谱图像的融合方法，包括：1.应用尽可能保持全色图像的细节信息的先验构造泛函的非凸梯度项；2.应用尽可能保持多谱图像的光谱信息的先验构造泛函的非光滑数据项；3.应用使得结果处于合理的量化范围内的先验构造限制项。
上述方案中，所述应用非凸梯度项保持全色图像的细节信息的步骤中，采用如下的非凸梯度项公式：
minRλ||Rx-Gx||p+λ||Ry-Gy||p
其中G是全色图像，R融合结果，0＜p＜1，Rx是R关于x方向导数，Ry是R关于y方向导数。
上述方案中，所述应用非光滑数据项保持多光谱图像的光谱信息的步骤中，采用如下的非光滑数据项公式：
minR||R-T||11]]>
其中T是多光谱图像的亮度部分。
上述方案中，所述应用限制项使得结果的量化范围处于合理范围之内，采用如下的限制项公式：
0≤R(I);R≤1(II);R‾=T‾(III)]]>
其中表示图像的均值。
本发明的有益效果是，本发明通过构造的非凸非光滑泛函解决全色图像和多光谱图像的融合问题，构造的泛函中的非凸梯度项相对于别的方式构造的梯度项能够更好的保持全色图像的细节信息；构造的泛函中的非光滑数据项相对于别的方式构造的数据项能够更好的保持多光谱图像的多光谱信息；构造的泛函中的限制项能够使得到的结果是处于合理的量化区间之内的。
附图说明
图1是多种图像融合方法的比较图。
具体实施方式
下面结合附图及实例对本发明做进一步说明。
本发明提供的基于非凸非光滑泛函的图像融合方法，其基本思想为：联合全色图像和多光谱图像进行泛函构造，得到能够保持多光谱图像的颜色信息以及全色图像的细节信息。联合迭代变权和Split-Bregman算法求解构造的非凸非光滑泛函，得到好的结果。
为达到上述目的，本发明提供了一种基于非凸非光滑泛函的图像融合的方法，包括三个重要部分，第一部分非凸非光滑泛函的提出，第二部分根据迭代变权方法近似非凸项；第三部分联合迭代变权方法和Split-Bregman算法求解非凸非光滑泛函；第四部分完整的内外迭代流程。
1.提出如下式的非凸非光滑泛函
minRJ(R)=minRλ||Rx-Gx||p+λ||Ry-Gy||p+||R-T||11]]>(1)
subjectto:0≤R(I);R≤1(II);R‾=T‾(III).]]>
其中G是全色图像，T是多光谱图像的亮度部分，R融合结果，Rx是R关于x方向导数，Ry是R关于y方向导数,表示图像的均值，0＜p＜1。所构造的泛函(1)的第一项和第二项是传递全色图像G的细节信息，参考的各向异性全变差的形式。泛函(1)的第三项是L1范数的形式，保持多谱图像的颜色信息。约束项是约束结果处于合理的范围同时均值等于多光谱图像的亮度部分的均值。
2.因为(1)式中0＜p＜1，所以很明显该泛函是一个非凸泛函，同时第三项采用的是L1范数，所以该泛函也是一个非光滑泛函。采用非凸非光滑项的原因是 因为在图像处理领域，非凸项和非光滑项目前在立体视觉匹配、图像去模糊等方面都取得了好的效果，所以应用(1)式对多光谱图像和全色图像进行融合。处理(1)式的非凸性是应用迭代变权L1算法逼近(1)式如下：
Rk+1=minRJ(R)=minRλ||Wxk(Rx-Gx)||1+λ||Wyk(Ry-Gy)||1+||R-T||11]]>            (2)
subjectto:0≤R(I);R≤1(II);R‾=T‾(III).]]>
其中Wxk=diag(wxk),Wyk=diag(wyk),]]>其中
wx,ik=p(|(Rx-Gx)i|+ϵ)1-p]]>
wy,ik=p(|(Ry-Gy)i|+ϵ)1-p]]>
其中i表示图像位置，ε是一个小的正数以保证后续的运算是合理的。
3.根据(2)式的形式，可以发现求解(2)式是一个凸优化问题,但却是一个非光滑凸优化问题，应用(2)的变形来求解：
Kk+1=minKJ(K)=minRλ||WxkKx||1+λ||WykKy||1+||K-(T-G)||11]]>          (3)
subjectto:-K≤G(I);K≤1-G(II);K‾=T‾-G‾(III).]]>
用K代替(2)式中的R-G得到(3)式，其中和，
wx,ik=p(|(Kx)i|+ϵ)1-p]]>
wy,ik=p(|(Ky)i|+ϵ)1-p.]]>
对(3)式变形得到下式：


KΩ1=0if-G≤K≤1-G+∞else,]]>KΩ2=0ifK‾=T‾-G‾+∞else.]]>
其中I是恒等矩阵，Dx和Dy是对应(3)微分的矩阵形式，并且设置C1=I，C4=I，C5=I。
4.根据迭代变权算法以及(4)式得到如下的算法流程：
初始化:给定b10=b20=b30=b40=b50=0,w10=C1·K0,w20=C2·K0,w30=C3·K0,]]>w40=C4·K0,w50=C5·K0]]>
fork＝0,…,N(外部迭代)
Wxk(i,i)=p(|C2·Kk|i+ϵ)(1-p)]]>
Wyk(i,i)=p(|C3·Kk|i+ϵ)(1-p)]]>
forj＝0,…,M(内部迭代)
Kkj+1=argminR12γ||b1j···b5j+C1···C5·Kkj-w1j···w5j||2---(5)]]>
w1j+1=argminw||w-(T-G)||1+12γ||w-(b1j+C1·Wkj+1)||22---(6)]]>
=shr(b1j+C1·Kkj+1-(T-G),γ)+(T-G)]]>
w2j+1=shr(b2j+C2·Kkj+1,λ·γ·diag(Wxk))---(7)]]>
w3j+1=shr(b3j+C3·Kkj+1,λ·γ·diag(Wyk))---(8)]]>
w4j+1=proj(b4j+C4·Rkj+1,[-G,1-G])---(9)]]>
w5j+1=b5j+C5·Kkj+1+(T‾-G‾-ET·(b5j+C5·Kkj+1))·Em·n---(10)]]>
bij+1=bij+C1·Kkj+1-wij+1,i=1,···,5---(11)]]>
End(内部迭代)
end(外部迭代)
Remark:1.shr(·,·)点态运算算子如下：
shr(x,a):=x-aifx>a0if-a≤x≤ax+aifx<-a]]>
2.proj(·,[α0,α1])投影算子如下：
proj(x,[α0,α1])=α1ifx>α1xifα0≤x≤α1α0ifx<α0]]>
3.E是大小为mn×1，元素都等于1。
本发明具有普适性，对图像类型不敏感，因为该发明的基础是联合全色 图像和多光谱图像的能量最小化泛函，所以能量泛函的构造要求考虑实际问题-保留多光谱的颜色信息和尽可能多的融入细节信息。结果表明应用该方法取得了积极的结果，参见图1，该方法的图像融合的各项评价指标对比经典多尺度图像融合算法得到显著的提高。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。