使用基于非线性近似的估计对奇异系数的带间和带内预测.pdf

一种估计或预测由矢量x＝[x0x1]T表示的原来信号的一部分x1的算法，其中x0是已知部分，x1是未知部分，该算法通过首先形成一个初始估计y0＝[x0 0]T，即原来信号x的未知部分x1的初始估计，以获得估计。通过对y0施加变换矩阵并且使用初始阈值T0去硬阈值限制各系数以计算去噪声矩阵D1。使用D1执行运算以形成第二信号估计y1。然后通过逐次把阈值减量ΔT以获得下一阈值Tn，其后，通过对yn施加变换矩阵并使用Tn去硬阈值限制各系数以计算下一去噪声矩阵Dn+1，并使用Dn+1执行运算以形成下一信号估计y(n+1)。执行逐次减少阈值以形成下一估计的该循环，直到达到最后的阈值Tf。

1.  一种用于形成一个信号估计y的方法，其中要被估计的信号x包括一个组成可用样本的第一元素和一个表明丢失样本的第二元素，并且其中信号估计y包括该第一元素和一个表明在第二元素中的丢失样本的估计的估计元素，该方法包括步骤：
(a)设定初始信号估计y₀中的估计元素的初始估计为全零；
(b)根据变换分量计算去噪声矩阵D_n+1；和
(c)对y_n在1到C次之间施加所计算出的去噪声矩阵D_n+1，以形成下一信号估计y_(n+1)，使得y_(n+1)包含关于该估计元素的丢失样本的估计的新的信息，并保留关于第一元素的可用样本的已知信息，这里C是范围1到20之内的自然数；
其中对于n＝0，...，N，步骤(b)和(c)被执行预定次数(N+1)，这里n是自然数。

2.  根据权利要求1的方法，其中，在步骤(b)中计算每一去噪声矩阵D_n+1包括对y_n施加变换分量和使用阈值T_n对y_n的系数进行阈值限制和施加逆变换分量。

3.  根据权利要求2的方法，其中，在计算下一个去噪声矩阵D_n+1中每次使n增量时使T_n减量。

4.  根据权利要求3的方法，其中，每次使n增量时以固定量ΔT使T_n减量。

5.  根据权利要求1的方法，其中，变换分量包括一个变换矩阵或一组过彻底变换。

6.  根据权利要求1的方法，其中，变换分量在计算每一去噪声矩阵D_n+1中根据关于第一元素的可用样本的信息而自适应地改变。

7.  根据权利要求1的方法，其中，这样计算每一去噪声矩阵D_n+1，使得当把它施加到y_n时，它只选择y_n的重要的分量。

8.  根据权利要求1的方法，其中，其中C是在范围1到10内的自然数。

9.  一种用于形成一个信号估计y的装置，其中要被估计的信号x包括一个组成可用样本的第一元素和一个表明丢失样本的第二元素，和其中信号估计y包括该第一元素和一个表明在第二元素中的丢失样本的估计的估计元素，该装置包括：
一个或者多个部件或者模块，其被配置成
设定初始信号估计y₀中的估计元素的初始估计为全零；
根据变换分量计算去噪声矩阵D_n+1；和
对y_n在1到C次之间施加所计算出的去噪声矩阵D_n+1，以形成下一信号估计y_(n+1)，使得y_(n+1)包含关于该估计元素的丢失样本的估计的新的信息，并保留关于第一元素的可用样本的已知信息，这里C是范围1到20之内的自然数；
其中对于n＝0，...，N，计算和施加操作被执行预定次数(N+1)，这里n是自然数。

10.  根据权利要求9的装置，其中，该一个或者多个部件或模块包括下述的一个或者多个：处理器、专用集成电路或者数字信号处理器。

11.  根据权利要求9的装置，其中，所述装置是计算机系统。

12.  一种可机读介质，具有用于指导一个机器执行形成一个信号估计y的方法的指令的程序，其中要被估计的信号x包括一个组成可用样本的第一元素和一个表示丢失样本的第二元素，和其中信号估计y包括该第一元素和一个表明在第二元素中的丢失样本的估计的估计元素，该程序包括用于下述动作的指令：
(a)设定初始信号估计y₀中的估计元素的初始估计为全零；
(b)根据变换分量计算去噪声矩阵D_n+1；和
(c)对y_n在1到C次之间施加所计算出的去噪声矩阵D_n+1，以形成下一信号估计y_(n+1)，使得y_(n+1)包含关于该估计元素的丢失样本的估计的新的信息，并保留关于第一元素的可用样本的已知信息，这里C是范围1到20之内的自然数；
其中对于n＝0，...，N，指令(b)和(c)被执行预定次数(N+1)，这里n是自然数。

13.  根据权利要求12的可机读介质，其中，用于计算每一去噪声矩阵D_n+1的指令(b)包括用于对y_n施加变换分量和使用阈值T_n对y_n的系数进行阈值限制的指令和施加逆变换分量的指令。

14.  根据权利要求13的可机读介质，其中，指令(b)另外包括用于在计算下一去噪声矩阵D_n+1中每次使n增量时使T_n减量的指令。

15.  根据权利要求14的可机读介质，其中，指令(b)指定每次使n增量时以固定量ΔT使T_n减量。

16.  根据权利要求12的可机读介质，其中，变换分量包括一个变换矩阵或一组过彻底变换。

17.  根据权利要求12的可机读介质，其中，变换分量在计算每一去噪声矩阵D_n+1中根据关于第一元素的可用样本的信息自适应地改变。

18.  根据权利要求12的可机读介质，其中，这样计算每一去噪声矩阵D_n+1，使得当把它施加到y_n时，它只选择y_n的重要的分量。

19.  根据权利要求12的可机读介质，其中，C是在范围1到10内的自然数。

使用基于非线性近似的估计对奇异系数的带间和带内预测
本申请要求2003年11月17日提交的序列号60/520,902的临时申请根据35U.S.A§119(e)的优先权。本申请还涉及分别在2004年2月13日、2003年8月22日和2002年8月22日提交的序列号分别为10/779,540、10/646,248和10/229,667的名称分别为“WeighedOvercomplete De-Noising”、“Image recovery Using Thresholdingand Direct Linear Solvers”和“ Iterated De-Noising For ImageRecovery”的申请。这些申请的每一项的内容结合在此作为参考。
技术领域
本发明涉及用于预测从数字信号(例如数字图像)中丢失的数据的技术。该预测可以用于估计丢失的数据、去噪声、或者减轻数字信号中的失真，或者加强信号密度。该技术可以应用于能以软件、硬件或者它们的结合实现的方法/算法中，并可以在计算机或者其他处理器控制的设备中实现。
背景技术
在小波图像压缩中和小波在图像的其他应用中的一个关键问题是小波系数在边缘上的可压缩性。对于一维分段的平滑信号可以证明：小波表示以及因此也包括基于小波的压缩的应用，对奇异性(singularity)的局部化是不受影响的。然而，对于二维分段的平滑信号，广泛认为边缘导致小波系数的非稀疏集合，而压缩性能由被限制在局部的奇异性所支配，这些奇异性沿曲线显示自身。研究人员一直尝试通过系统地遵循两条主要的路线解决这一问题：第一，通过更好地对在边缘上的小波系数建模，可以利用更高阶的统计相关性，可以减少压缩编解码器消耗在这种系数上的位数。第二，通过设计新的表示和变换，有可能把二维问题转变为一维的情况，此时边缘被缩减以便指明奇异性，并且用少得多的位数来编码。
“第一路线”方法按自然地十取一的小波系数来运算，但是在设计它们的模型时它们必须防止混淆现象。在一种相关的方式中，只能通过转移(translation)/旋转不变的、过彻底的(overcomplete)变换来利用通过“第二路线”所设计的最佳表示的一些关键属性。然而，过彻底变换的使用产生压缩中的两难性，这里人们必须首先用过彻底的扩展(它显著增加要编码的信息量)表示输入信号，然后以某种方式获得压缩的位流，它与今天的当前发展水平的编解码器在速率失真的意义上展开竞争。
发明内容
本发明的目的是克服上面讨论的现有方法的缺点。
本发明的另一个目的是提供一种用于预测和估计从数字信号中丢失的数据的技术，它没有上面讨论的现有方法的缺点。
根据一个方面，本发明提供一种用于形成一个信号估计y的方法，其中要被估计的信号x包括组成可用样本的第一元素和表明丢失样本的第二元素，并且其中信号估计y包括第一元素和一个表明在第二元素中丢失样本的估计的估计元素。该方法包括步骤：设定初始信号估计y₀中的估计元素的初始估计为全零；根据变换分量计算去噪声矩阵D_n+1；对y_n在1到C次之间施加计算所得的去噪声矩阵D_n+1以形成下一信号估计y_(n+1)，使得y_(n+1)包含关于估计元素的丢失样本的估计的新的信息并保留关于第一元素的可用样本的已知信息，这里C是范围1到20之内的自然数；其中对于n＝0，...，N，步骤(b)和(c)执行预定次数(N+1)，这里n是自然数。优选C在1到10的范围内。
在步骤(b)中计算每一去噪声矩阵D_n+1优选地包括对y_n施加变换分量并使用阈值T_n对y_n的系数进行阈值限制(thresholding)和施加逆变换分量。在优选实施例中，在计算下一个去噪声矩阵D_n+1中每次使n增量时优选地以固定量ΔT使T_n减量。
变换分量可以包括一个变换矩阵或一组过彻底变换。此外，变换分量可以在计算每一去噪声矩阵D_n+1中根据关于第一元素的可用样本地信息自适应地改变。
优选地这样来计算每一去噪声矩阵D_n+1，使得当把它施加到y_n时，它只选择y_n的重要的分量。
在其他方面，本发明涉及包括一个或者多个部件或者模块的装置，用于执行上面结合方法步骤说明的处理操作。这种部件/模块可以用硬件、软件或其组合实现。一种实现例如使用包括微处理器和存储器结构的计算机系统实施，其中微处理器在实现本发明的算法的软件的指导下执行处理操作。另外可选择的方案是，可以由一个或者多个专用集成电路(ASIC)、数字信号处理电路等或其组合执行处理操作。根据上述说明，对于本技术领域的熟练人员来说其他实现是显然的。
根据本发明的另外的方面，可以用指令组成的程序(例如软件)实现任何上述方法或其步骤，所述程序可以存储在或者传输到计算机或者其他处理器控制的设备以用于执行。另外可选择的方案是，所述指令程序可以与设计用以执行一个或者多个步骤的硬件来集成。这种硬件例如可以包括一个或者多个ASIC、数字信号处理电路等。
通过参考下面的说明和权利要求并结合附图，本发明的其他目的和成就连同充分的理解将变得显然和被重视。
附图说明
图1是表示基本流水线的流程图，通过该流水线本发明的技术导致使用非线性近似的估计(给定一组变换和阈值))。
图2(a)-(d)表示用于在一个“双样本”信号上的非线性近似的稀疏类，具有作为星型集合描述的非线性近似类。
图3(a)-(d)表示关于一个“双样本”信号的稀疏复原。
图4是表示根据本发明的实施例的主算法的基本处理流的流程图。
图5表示原始灰度级测试图像，从左到右它们是：茶壶(1280×960)、图形(512×512)、气泡(512×512)和丽娜(512×512)。
图6(a)-(d)表示为测试图像的峰值信噪比(PSNR)对阈值的曲线，l＝1。
图7(a)-(d)表示为测试图像的峰值信噪比(PSNR)对阈值的曲线，l＝2。
图8表示茶壶、气泡和丽娜的处理图像的一部分。
图9是一个方框图，表示一个示例系统，它可以用于实现本发明的技术。
具体实施方式
A.概述
本发明主要针对使用转移不变的过彻底表示的数据预测和估计技术来预测小波边缘系数。亦即，在小波域中使用过彻底表示以便针对在奇异性上的小波系数确定较高阶统计的依赖性。通过以l级小波分解的最低频带作为开始，本发明的技术被设计成用于可靠地估计在分段平滑信号上的丢失的较高频率系数。不像试图直接提取奇异性模型的现有技术，本发明的技术通过使用稀疏过彻底分解，形成了用于“非奇异性”的有效的、简单的和强壮的模型。亦即，本发明的技术不直接建立边缘的模型，而是通过渐进地决定其中所使用的转移不变的分解是稀疏的区域以隐含地获得边界/边缘。
给定局部化的线性变换的一个过彻底集合，期望这些变换对感兴趣的信号提供稀疏的分解，亦即期望变换产生许多小数值的系数，把这些变换施加到信号上，并把得到的变换系数进行硬阈值限制，以便把对于每一变换的不重要系数的集合自适应地确定为被阈值限制为零的那些系数的指数。这一集合用于建立稀疏性约束，使用这些稀疏性约束来估计小波系数的高阶依赖性。每一过彻底的、局部化的变换具有在其内产生系数的稀疏集合的“稀疏区域”，和在其内稀疏性属性失效的奇异性区域。本发明的技术在形成总体估计中自适应地确定和推荐每一变换的稀疏区域。有趣的是，稀疏区域的这一渐进的确定会导致对边缘的精确确定，这些边缘形成它们的边界。本发明的技术导致这样一些估算，它们通过图1所示的流水线使用非线性近似值(给定一组变换和阈值)。从观察到的信号101得到一组不重要系数102的集合，它依次给出稀疏性约束103，从中获得信号104的非线性近似值，最后产生估计值105。
该处理从只包含低频小波系数(只有二维l级小波变换的最低频带)的观察的信号开始。其余的系数作为丢失的数据处理。然后应用本发明的技术预测“丢失的”高频系数。这一总体的预测可以用于各种应用，例如作为小波压缩编解码器的一部分，它影响预测以决定为下一个要编码的系数的概率模型该系数使用DPCM类型编码，或者作为执行给定解码的信息的后处理的小波解码器的一部分。因此，本发明的算法可以容易地与当今的压缩编解码器结合而无需完全重新设计。相似地，因为本发明能够预测边缘上的丢失高频小波系数，因此它可以用于预测丢失的分辨率从而增加信号密度。
关于分段平滑信号，给定可用的数据和假定该信号的某些部分是平滑的(通过稀疏性约束而建立)，本发明的技术对于丢失的数据提供非常好的估计。
下面说明本发明的另外的细节。
B.估计框架和算法
设x(N×1)表示一个N维信号和假定一个线性正交变换G(N×N)。设g_i^T(1×N)，i＝1，...，N表示变换基(G的各行)，和设 C i = g i T x , ]]>i＝1，...，N表示x的相应的变换系数，于是有
x = Σ i = 1 N c i g i - - - ( 1 ) ]]>
为某些阈值T定义不重要的集合V(x)＝{I||c_i|＜T}。V(x)的集的基数(cardinality)是card(V(x))＝N-K。主要的假设是
x = Σ i ∉ V ( x ) c i g i + Σ i ∈ V ( x ) c i g i = Σ i ∉ V ( x ) c i g i , - - - ( 2 ) ]]>
亦即使用K＝K(T)系数对G的非线性近似给出对x的几乎相等的近似。注意到这等价于假定|c_i|≈0，i∈V(x)，因为使用了正交变换。进一步假定，N＜＜K，或者G决定x的稀疏成分。
给定x的失真的版本，主要的思想是首先获得V(x)的一个估计建立形式为|c_i|≈0， i ∈ V ^ ]]>的稀疏性约束，通过这些约束对该失真的信号的影响来减轻失真的一部分。通过对失真的信号施加G和对产生的系数使用硬阈值限制来决定非常重要的是要注意，不像先前对去噪声的工作(包括对逆问题应用阈值限制技术)，本发明的技术以可用信息为条件建立自适应线性约束和产生基本不同的估计。下面会表明，这相应于迭代地应用去噪声，而不是单次应用。此外，本发明的方法使用阈值序列来解决这一问题固有的基本的非凸性。
自适应线性估计器导致稀疏性约束。反之，稀疏性约束导致自适应线性估计器。这具有这样的后果，即最优稀疏性约束与最优自适应线性估计器结合在一起，在那里优化是在均方差的意义上。本发明的技术具有对某些类型的信号构建有条件的最小均方差估计的能力(其条件在于有可用的信息)。还可以使一组信号相关，在该组信号上可实现对G的非线性近似类成功的估计。该组可以通过根据输入信号使用稀疏性考虑自适应地选择G或者通过使用另一个基本追踪算法来进一步扩展。
在本发明的环境中考虑的失真的特别形式是这样一种情形，其中信号的l级小波分解的所有高频小波系数已丢失。注意到小波分解确定失真，并且用于执行本发明的技术的G是一种不同的正交变换。下面，说明由本发明的技术构造的稀疏性约束和估计。将会看到，来自失真信号的的实际确定使这成为需要渐进估计的非凸问题。因此，提出了一种渐进算法以在大量阈值上的去噪声迭代代替从稀疏性约束产生的等式。
关于稀疏性约束，假定安排原来的信号到矢量 x = x 0 x 1 ]]>中，式中x₀(n₀×1)组成可用样本，x₁(n₁×1)表示丢失的样本。于是，n₀+n₁＝N。一个目的是通过
y = x 0 x ^ 1 - - - ( 3 ) ]]>
形成原信号的一个估计，式中是x₁中丢失的一个估计。假定零中值量。
设c(N×1)表示y的变换系数，即c＝Gy。V(x)的估计因此假设重要的和不重要的系数的指数是给定的。安排和划分G的行使成为G_I(N-K)×N和Gs((K)×N)，以指明变换的各部分，它们被决定分别产生重要的和不重要的变换系数，亦即令
G = G l G s , - - - ( 4 ) ]]>
任务是在估计受到约束G₁y＝0的x₁，亦即不重要变换系数是零。然而，为避免涉及等式秩的问题和准备下面要讨论的过彻底变换，通过考虑等价的问题重新形成这一约束，所述问题是要获得使||G₁y||²最小的把G_I的列分割为G_I，₀((N-K)×n₀)和G_I，₁(K×n₁)以指明重叠x₀和的部分，使得
        G_I＝[G_I，0|G_I，1]，                      (5)
和最小化成为稀疏性约束
G I 1 T G l , 0 x 0 + G I , 1 T G I , 1 x ^ 1 = 0 . - - - ( 6 ) ]]>
取决于G_I，1的秩，或者可以精确解出方程(6)以恢复或者可以在G_I，1^TG_I，1的特征空间内解出它以恢复位于这一子空间中的的部分。
现在把讨论转向稀疏性约束的迭代解。
为进行渐进估计，首先形成使用迭代解方程(6)的过程。设S(N×N)是具有对角线项为0和1的对角线选择矩阵，以使 0 G s = SG . ]]>
基于对矢量y的硬阈值限制的标准正交变换去噪声将获得系数Gy。使这些系数受到阈值限制以决定重要的系数，亦即构建SGy，和进行逆变换以形成G^TSGy。
设D(N×N)表示一个矩阵，该矩阵通过在
           D＝G^TSG.                     (7)
施加到矢量y时产生一个只有y的重要分量的新矢量。重要的是要看到硬阈值限制操作隐藏在S内。还应该注意去噪声矩阵D是一个缩减，亦即，||Dy||＜||y||，因为G是标准正交的。
设P₁(N×N)表示具有对角线项为0和1的正交投影矩阵，以使 0 x 1 = P 1 x . ]]>现在把讨论转向通过迭代解方程(6)的算法。
关于基本迭代，对于一个任意矢量u₁(n₁×1)设 y 0 = x 0 u . ]]>设C表示最大迭代次数。对于k＝0，1，...，C，和对于给定的D，定义迭代
      y^k+1＝P₁Dy^k+(1-P1)y^k，            (8)
式中l是N×N恒等式。
应该注意，对于所有的k有 ( 1 - P 1 ) y k = x 0 0 , ]]>和通过去噪声y^k(通过项Dy^k)获得y^k+1，取丢失区域(P₁Dy^k)的那些像素，并通过项(1-P₁)y^k加上可用信息x₀。还要注意去噪声矩阵D在整个迭代中是固定的，亦即在开始时就决定了隐藏在等式(7)中的S中的系数阈值限制和选择，然后在整个迭代中保持固定。
上述基本迭代收敛到矢量 y * = x 0 x ^ l , ]]>式中满足方程(6)。这一点的原因是，如果存在一个y*，它满足
   y^*＝P₁Dy^*+(1-P₁)y^*，                      (9)
和不管矢量u的值序列||y^k-y^*||收敛到0，则收敛性成立。从等式(9)开始，并使用去噪声矩阵D的定义和等式(5)，导致具有满足方程(6)的分量的一个y^*。注意，设对于某些矢量w，有y^k-1＝y^*+w，当C，k-＞∝时，||y^k-y^*||-＞0。对于任意k，通过构建得到 ( 1 - P 1 ) y * = ( 1 - P 1 ) y k = x 0 0 . ]]>于是，(1-P₁)w＝0，并只要注意D是对称正的，半确定的缩并就足以证明||y^k-y^*||＜||w||＝||y^k-1-y^*||，当且仅当y^k-1也是一个解时相等。
现在转向确定以x₁的初始估计(全零估计)开始，对结果信号施加G，并且硬阈值限制结果系数以确定不重要集合。这一处理是依赖初始条件的，因为在非线性近似下的稀疏信号的类形成非凸集合(每一个可以用K个系数表示的两个信号的凸组合在给定的基础上可能需要多于K个系数)。图2(a)和2(b)表示为一个“双样本”信号的样本和变换坐标。使用非线性近似的信号的稀疏类示于图2(c)和2(d)中。可以看到，非线性近似的稀疏类是星形集合。(称集合是星形，如果对于任何x∈C，连接原点到x的线段位于C内。星形集合，尽管相当不同，与凸集合展现某些相似的属性，这在文献中有说明)。这种集合和非线性近似对于大多数自然图像形成好的模型，因为两个自然图像的凸组合具有不同的属性，并通常可以分离成它的组成部分。
如图3(b)所示，可用的样本x₀决定一个约束，它与变换域坐标相交于两处。因为要使用阈值来决定解所必须满足的稀疏性约束，所以，取决于初始条件，这两个位置决定两个可能的解(图3(c))，而第三解作为这样的点获得，在该点上可用的像素约束最接近于原点(图3(d))。在图3(c)的顶部表示出平凡解的一个例子，其中阈值限制将决定作为空集的不重要集合。
本发明的技术通过以高阈值(产生小的K)开始和通过减小阈值(有效地增加K)寻找丢失样本的渐进解来抵消(combat)这一初始条件依赖性。对于等式(2)中的模型，这相应于随着K增大而检索信号的逐渐变大的类。以这种方式，使用一个阈值的这种检索用作为以下一阈值检索的初始条件。
已经说明了包括稀疏性约束的估计处理的各种细节、用作它的迭代解并决定了现在说明一个主算法的优选实施例，它基本计算上述基本迭代，和在这样做时，估计或预测一个原来信号x的一部分x₁，该信号的一部分x₀为已知。这种算法在图4的流程图中示出。该算法通过设定的初始估计为全零开始(步骤401)。亦即，对于由矢量x＝[x₀x₁]^T(x₀已知，x₁未知)表示的原来信号的一个要被获得的估计 y = [ x 0 x ^ 1 ] T ]]>形成一个初始估计，亦即x₁的初始估计，即原来信号x的未知部分。
在步骤402，固定初始阈值T₀、最后阈值T_F、和ΔT。可以设定T₀为该未知数的期望的标准偏差的一个倍数，或者使用另一个合适的统计计算算出，T_F可以设定为一个合适的较低限。参见下面为这些阈值变量的合适的值的模拟结果。在步骤403设定一个迭代计数C。在图示的实施例中C＝1，但是它可以设定为更高的整数，如果希望另外的迭代的话。在步骤404设定计数变量j为1。
在这些设定做完后，对y_j-1施加一组变换例如G，并使用T_j-1使系数被硬阈值限制。根据这些操作，在步骤405决定相应的选择矩阵S_j，和去噪声矩阵D_j。
在进入基本迭代子例程前，在步骤406设定k为0，和设定z⁰等于y_j-1。然后调用由C控制的基本迭代子例程(步骤407)。在步骤407，计算z^k+1。注意，这是等式(8)的计算，除了为使注记的一致性而使变量y改变为z，D用下标j索引。在计算z¹后，在步骤408决定是否要进行另一次迭代，亦即，是否k＜C-1。如果要进行另一次迭代，则在步骤409使k增量，该算法返回步骤407。迭代继续，直到子例程返回z^c，亦即k≥C，此时该算法跳出迭代循环。在步骤410，设定y_j等于z^c并存储当前的y_j。然后，在步骤411阈值减少ΔT。如果在步骤412判定减少的阈值大于等于最后的阈值(T_j≥T_f)，则在步骤413计数变量j增量，算法返回步骤405；否则，算法结束，得到最后的y_j。
现在转向过彻底变换和加权过彻底去噪声，将说明如何使用一个过彻底变换集合来建立稀疏性约束。设G¹、G²、...、G^M表示一组标准正交的过彻底变换，安排每一变换使得，使用结合稀疏性约束讨论所提出的记号， G l = G l I G l S , ]]>式中l＝1，...，M，G_I^l和G_S^l分别是变换G^l的不重要和重要的部分，它们通过决定。与紧接在等式(6)之前的说明相似，通过最小化问题获得稀疏性约束，式中选择x₁的估计使得下式最小
Σ l = 1 M | | G l I y | | 2 . - - - ( 10 ) ]]>
这产生由下式给出的等式(6)的过彻底模拟
( Σ l = 1 M G I , 1 lT G I , 0 l ) x 0 + ( Σ l = 1 M G I , 1 lT G I , l l ) x ^ 1 = 0 , - - - ( 11 ) ]]>
从中可以或者精确地或者在(∑_l＝1^MG_I，1^lTG_I，1^l)的正特征空间内解出使用
G ~ = G 1 G 2 · · · G M , c ~ = G ~ y , G ~ - 1 = 1 M G ~ T - - - ( 12 ) ]]>
可以定义过彻底去噪声矩阵为 D ~ = 1 M G ~ T S ~ G ~ . ]]>一旦上述基本迭代过程被更新以使用则可以证明现在向等式(11)收敛。更新主算法以便为每一变换寻找不重要集合，使得可以构建过彻底去噪声矩阵。
尽管通过在等式(10)中的相等的加权组合得到的稀疏性约束高于在等式(6)中得到的那些，然而可以证明，允许不同的变换以不同方式起作用是十分有利的。可想象的最简单的场合是在过彻底集合中的一个变换不能提供稀疏分解的场合，但是由于硬阈值限制，有助于等式(10)。等式(10)及其上面的单一变换版本两者都可以写为的最小化，具有不同的去噪声矩阵和这一矩阵有效地选择信号的重要分量，和这些重要分量通过更好的阈值限制技术和/或加权方法的更完善的决定期望能增加性能。如果希望的话，然后可以使用在上面参考序号为10/779,540的相关申请中说明的加权过彻底去噪声方法构建一个更好的
C.模拟结果
在模拟中使用了一个充分过彻底8×8分解。小波分解是标准D7-D9系列。图5表示原来的灰度级图像(茶壶、图形、气泡和丽娜)。使用上述算法来估计当l＝1时和当l＝2时丢失的高频系数，在l＝1时是半分辨率的情况，此时只有四分之一的小波系数可用(所有都在LL频带内)，在l＝2时是四分之一分辨率的情况，此时只有十六分之一的小波系数可用(所有都在LLLL频带内)。图6(a)-(d)分别表示为测试图像茶壶36.17dB到41.81dB、图形30.48dB到51dB、气泡33.10dB到35.10dB、丽娜35.26dB到35.65dB在l＝1的上述算法的T0＝40、Tf＝1、和ΔT＝0.1、峰值信噪比(PSNR)对阈值结果；图7(a)-(d)分别表示为茶壶32.54dB到36.93dB、图形27.15dB到37.44dB、气泡29.03dB到30.14dB、丽娜29.58dB到30.04dB为l＝2的情况。在每一图中，初始PSNR值表示无高频预测的PSNR，它被改善为最后的PSNR。茶壶、图形、气泡和丽娜被处理过的图像的部分在图8中表示。
D.实现和应用
图9表示一个实例系统100，其可以用于实现本发明的处理。如图9所示，该系统包括中央处理单元(CPU)101，它提供计算资源和控制该计算机。CPU101可以用微处理器或者类似设备实现，还可以包括图形处理器和/或浮点协处理器，用于数学计算。系统100另外包括系统存储器102，它可以是随机存取存储器(RAM)和只读存储器(ROM)的形式。系统存储器可以用来存储程序，所述程序可以在程序的执行期间实现本发明的算法以及输入、输出数据和/或中间结果。
系统100包括各种外设部件，或者能够与外设部件通信，所述外设部件包括合适的控制器。例如，可以使用扫描仪或者等效设备来把包括要由系统100根据本发明来处理的图像的文件数字化。要被处理的信号可以在该系统上产生，或者以任何合适的方式输入该系统。也可以以任何合适的方式输入其他类型的数字信号，例如音频或者视频。系统100还优选包括各种操作员输入设备103，诸如键盘、鼠标和/或输入笔等，以便利对数据进行操作。
可以使用每一个包括诸如磁带或磁盘或者光学介质的存储介质的一个或者多个存储设备104来记录指令的程序以便操作系统程序、实用程序和应用程序，它们可以包括实现本发明的各种方面的程序的实施例。也可以包括任何已知类型的显示器105。
在信号按照本发明被处理后，它可以被输出到一个合适的设备。例如，包括根据本发明所处理过的图像的文件可以输出到打印机。
通信设备106允许系统100通过任何不同的网络包括因特网、局域网(LAN)、广域网(WAN)、或者通过任何适合的电磁载波信号包括红外信号连接到远程设备。
在图示系统中，所有主要的系统部件连接到总线107上，它可以表示多于一条的物理总线。然而，各种系统部件在物理上可以在或者可以不在彼此的附近。例如，输入数据和/或输出数据可以从一个物理位置远程传输到另一个位置。另外，实现本发明的各个方面的程序可以从远程位置(例如服务器)通过网络访问。这种数据和/或程序可以通过任何不同的可机读介质包括磁带或磁盘或者光盘、网络信号、或者任何其他合适的电磁载波信号包括红外信号来传输。
虽然本发明可以方便地用软件实现，但是硬件实现或者组合的硬件/软件实现也是可能的。硬件实现例如可以使用ASIC、数字信号处理电路、或者类似部件实现。因此，权利要求语言“可机读介质”不仅包括软件承载介质，而且包括其上具有用于执行所需处理硬件化了的指令的硬件和也包括硬件/软件组合。相似地，权利要求语言“指令的程序”包括软件和在硬件上植入的指令两者。另外，设备权利要求中提到的部件包括能够执行所要求的操作的任何设备或者设备的组合。这种设备可以包括基于指令的处理器(例如CPU)、ASIC、数字处理电路、或其组合。了解了这些实现的可选择方案，应该理解，附图和伴随的说明为本技术领域的熟练人员在需要书写程序代码(即软件)或者组装电路来执行所需要的处理中提供了功能信息。
如前面演示的，本发明提供基于软件或硬件的算法/技术，用于使用提供稀疏分解的变换来预测和估计从数字信号中丢失的数据。这些算法可应用于任何数字信号，包括视频、静止图像、音频(语音、音乐等)信号。预测和估计包括源于网络传输的错误校正、损坏图像的恢复、去除划痕等。本发明的算法还可以用于从数字信号去除噪声和/或增强信号密度。
虽然本发明结合几个具体的实施例说明，但是另外的选择方案、修改、变化和应用对于本技术领域的熟练人员根据上述说明将是显然的。因此，这里说明的发明意图包括所有可能落入所附权利要求的精神和范围之内的这种另外的选择方案、修改、变化和应用。