生成高动态范围图像的设备和方法技术领域
本发明涉及图像处理领域，尤其涉及生成高动态范围图像的设备和方法。
背景技术
与普通图像相比，高动态范围HDR(High-Dynamic Range)图像可以提供更多的动
态范围和图像细节。根据不同的曝光时间的低动态范围LDR(Low-Dynamic Range)图像，利
用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环
境中的视觉效果。
现有的高动态范围HDR图像的生成过程包括利用图像获取装置以不同曝光度连续
捕捉多帧图像，然后利用图像处理装置合成这些图像以产生HDR图像。
然而，当拍摄对象中存在物体移动时，由于每帧图像的获取时间之间存在特定时
间差，导致在合成这些图像时，运动物体在合成图像中产生鬼影。
因此，需要能够防止这种鬼影产生的处理方法和装置。
发明内容
本发明的目的是提供一种生成高动态范围图像的设备和方法，借此显著缩短HDR
图像的生成时间，从而实现简单、高效的鬼影去除方案。
根据本发明的一个方面，提供一种生成高动态范围图像的设备，包括：像素点权重
确定单元，所述像素点权重确定单元确定对齐后的多帧图像中每一个像素点的权重；相对
权值确定单元，所述相对权值确定单元计算多帧图像中的每一帧的像素对参考帧像素的相
对权值；鬼影去除单元，所述鬼影去除单元将所述相对权值施加到所述多帧图像中每一个
像素点的权重上，以形成去鬼影后的权重；以及高动态范围图像(HDR)合成单元，所述高动
态范围图像合成单元利用去鬼影后的权重和所述齐后的多帧图像生成高动态范围图像。
进一步，该设备还包括图像对齐单元，所述图像对齐单元接收以不同曝光度连续
拍摄的多帧图像，并通过计算不同帧间的运动向量将所述多帧图像进行对齐，从而向所述
像素点权重确定单元和所述相对权值确定单元提供对齐后的多帧图像。
进一步，图像对齐单元对要进行对齐的图像在灰度图上取高斯金字塔以获取要进
行对齐图像的多个层，计算每一层的中间门限位图和排除位图，利用块匹配计算要进行对
齐图像的运动向量。
进一步，图像对齐单元利用以下公式排除曝光不好的点：
其中分别表示进行图像对齐的第一帧图像和第二帧图像的中间门限位
图，分别表示进行图像对齐的第一帧图像和第二帧图像的排除位图，分
别表示进行对齐图像的运动向量dk+1在不同方向的分量，t1、t2为候选的在不同方向上的偏
移补偿量。
进一步，该相对权值确定单元将所述多帧图像中的一帧设定为参考帧，当所述多
帧图像中存在运动对象时，所述多帧图像中的其它帧中运动对象所在区域的相对权值约为
零，而对于基本上没有位移的区域或所述多帧图像中不存在运动对象情况，相对权值约为
1。
进一步，对于所述多帧图像中的其它帧中运动对象所在区域，去鬼影后的权重为
零。
进一步，根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl
(i,j)：
其中，v是预先设定的常数，I2g(i,j)表示参考帧图像的每一个像素的值，Ilg(i,j)
表示所述多帧图像中图像Il的每一个像素的值。
进一步，鬼影去除单元对去鬼影后的权重进行归一化。
根据本发明的一个方面，提供一种生成高动态范围图像的方法，包括：确定单元确
定对齐后的多帧图像中每一个像素点的权重；确定单元计算多帧图像中的每一帧的像素对
参考帧像素的相对权值；将所述相对权值施加到所述多帧图像中每一个像素点的权重上，
以形成去鬼影后的权重；以及利用去鬼影后的权重和所述对齐后的多帧图像生成高动态范
围图像。
进一步，该方法还包括接收以不同曝光度连续拍摄的多帧图像，并通过计算不同
帧间的运动向量将所述多帧图像进行对齐，从而提供对齐后的多帧图像。
进一步，将所述多帧图像中的一帧设定为参考帧，当所述多帧图像中存在运动对
象时，所述多帧图像中的其它帧中运动对象所在区域的相对权值约为零，而对于基本上没
有位移的区域或所述多帧图像中不存在运动对象情况，相对权值约为1。
进一步，对于所述多帧图像中的其它帧中运动对象所在区域，去鬼影后的权重为
零。
进一步，根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl
(i,j)：
其中，v是预先设定的常数，I2g(i,j)表示参考帧图像的每一个像素的值，Ilg(i,j)
表示所述多帧图像中图像Il的每一个像素的值。
进一步，对去鬼影后的权重进行归一化。
与现有技术相比，本发明的优点包括：
通过本发明提供的方案，可以在检测到运动区域后，直接使该区域中其它帧相对
参考帧的相对权值降为零。对于运动区域，参考帧中的像素被直接复制到HDR图像的相应区
域，因此无需计算运动对象的位置和速度，因此大大简化了计算量，显著缩短HDR图像的生
成时间，从而实现简单、高效的鬼影去除方案。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现
本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此
将不被认为是对其范围的限制。在附图中，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的实施例的生成高动态范围HDR图像的设备100。
图2示出根据本发明的实施例的相对权值确定单元的框图。
图3示出根据本发明的实施例的生成高动态范围HDR图像的方法300。
图4示出根据本发明的实施例相对权值的确定过程的方法。
图5示出根据本发明的实施例产生的HDR图像的效果图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认
识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件
一起实施各实施例。在其它情形中，未示出或未详细描述公知的方法或操作以免造成本发
明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量和配置，以便提供
对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。
图1示出根据本发明的实施例的生成高动态范围HDR图像的设备100。如图1所示，
设备100可包括图像对齐单元110、像素点权重确定单元120、相对权值确定单元130、鬼影去
除单元140以及HDR图像合成单元150。
图1所示的设备100可被包含在移动设备中，作为移动设备的一部分。该移动设备
可以是相机、移动电话、智能电话、个人数字助理(PDA)、平板个人计算机、膝上型计算机、或
任意其他类型的移动计算设备。
首先，图像对齐单元110接收以不同曝光度连续拍摄的多帧图像，并对这些图像进
行对齐。例如，可从诸如相机之类的图像捕捉单元获取连续拍摄的多帧图像。图像捕捉单元
以不同的图像曝光时间快速捕捉连续的图像。虽然图像捕捉单元所捕捉的每帧图像之间间
隔的时间很短，但是在图像捕捉期间图像捕捉单元可能会有稍微的移动，导致原始图像不
能直接彼此对齐。因此，在合成HDR图像之间，需要利用图像对齐单元110使多帧图像彼此对
齐。在本发明的实施例中，可以使用以三个不同曝光时间捕捉的图像，即曝光过度图像、正
常曝光图像、曝光不足图像。然而，本领域的技术人员应该意识到还可以使用其它数量的图
像，例如，五帧不同曝光程度的图像、七帧不同曝光程度的图像等。
以下针对三帧连续捕捉的不同曝光图像，介绍图像对齐单元110如何进行图像对
齐。然而，应该理解本文公开的图像对齐单元110也可用于对齐其它数量的连续图像。
图像对齐单元110通过计算不同帧间的运动向量d来实现三帧不同曝光图像的对
齐。在本实施例中，可将前后两帧向中间帧对齐，然而，应该理解图像对齐单元110同样适用
于其它帧之间的对齐。
可以通过直接比较两帧图像来确定潜在的帧间运动向量d。然而，即使对于图像捕
捉单元在图像捕捉期间被保持得相对稳定的情况，潜在的偏移范围被限制在较小的范围
内，例如，如果潜在偏移范围是从1000个像素平方的图像的宽度和高度的0％至6.4％，则潜
在运动向量在任意方向(上、下、左或右)上将会介于0与64个像素之间。利用该范围的可能
运动向量，可能运动向量的总数为大约16,000(大约128个竖直像素乘以大约128个水平像
素)。当存在待测试的数千潜在运动向量时，通过在每个可能运动向量下直接比较较大的图
像来测试潜在运动向量需要非常大的计算量。
为了减小确定实际偏移的计算数量，一些实施例执行分层对齐处理。首先，针对要
对齐的两帧图像，在灰度图上取高斯金字塔。即，第一层为原始图像的灰度图；对原始图像
的灰度图进行高斯模糊，然后进行缩小比率1/2的下采样，形成第二层图像；重复若干次上
述操作，形成N层图像，其N为大于1的整数。
针对要进行对齐操作的两帧图像的每一层，分别计算中间门限位图MTB(Median
Threshold Bitmap)：记l(l＝1,2)帧第k层的MTB为：计算每一层像素平均值为
则：
其中表示l帧第k层像素位置(i，j)的灰度值。
利用块匹配，计算相邻两帧的运动向量d。
其中分别表示dk+1在不同方向的分量，t1、t2为候选的在不同方向上的
偏移补偿量。
从公式[2]中计算得出的I＝ΣI(i,j)共有9个，从中选出像素值的和最小的I对应
的(t1，t2)，则
dk＝2dk+1+(t1，t2) [3]
然后，依次序向上一层计算，最终d1为最后所求的运动向量。
以下简要描述利用公式[2]计算运动向量d的原理和过程。
由于第1层中间门限位图直接从初始的两帧图像生成，因此中间门限
位图与初始的两帧图像偏移相同的量。初始的两帧图像的偏移可以通过找出的偏移
而得出。
然而，仅仅通过尝试每个可能偏移以查看其是否使中间门限位图对齐来找出中间
门限位图的偏移会由于使两帧高分辨率中间门限位图对齐的较大数量的待检验的可能
偏移而导致代价高昂的计算。因此，在本实施例中，经由连续近似的分层处理而非尝试高分
辨率中间门限位图的所有可能的运动向量来查找正确的对齐。通过使用低分辨率中间门限
位图找出用于偏移的总体近似来找出两帧图像之间的偏移，并在随后通过使用逐渐变大的
分辨率中间门限位图依次找出与实际运动向量更接近的近似而收窄至实际偏移值。
第k层中间门限位图的分辨率降低为原来的1/2k-1，在进行中间门限
位图对齐时，更少的待检验的可能偏移。但是，更低数量的待检验的可能偏移也意味着在该
分辨率下找出的偏移精度较低。将用于对齐第k层中间门限位图的偏移作为找出对齐第
k-1层中间门限位图的偏移的分层处理的起点。
图像对齐单元110使最低分辨率的中间门限位图(即，第N层图像的中间门限位图)
对齐，从而确定最低分辨率中间门限位图下的运动向量。当前得到的运动向量在上一级分
辨率中间门限位图(即，第N-1层图像的中间门限位图)中加倍，作为起始运动向量。例如，如
果在第N层中间门限位图中所确定的运动向量为(1,1)，则第N-1层中的起始运动向量为(2,
2)。
当确定了第N层运动向量后，图像对齐单元110对第N-1层中间门限位图进行操作
以确定该分辨率中间门限位图下的运动向量。第N-1层中间门限位图代表与第N层中间门限
位图相同但具有更细化标度的图像。给定分辨率下的对齐精度仅为下一最高分辨率下的对
齐精度的一半。在第N层中间门限位图中所确定的运动向量在第N层的精确度小于一个像
素。因此，当第N-1层中间门限位图分辨率为第N层中间门限位图分辨率的两倍时，实际运动
向量与起始运动向量的距离小于两个像素(沿每个方向)。即，实际运动向量的候选是从起
始运动向量垂直偏移零或加减一像素且水平偏移零或加减一像素，这对应于以上的公式
[2]中的(t1，t2)。因此，(t1，t2)共有九种可能的取值：(-1,-1)、(-1,0)、(-1,1)、(0,-1)、(0,
0)、(0,1)、(1,-1)、(1,0)和(1,1)。第N-1层的实际运动向量为起始运动向量与(t1，t2)之和，
即dN-1＝2dN+(t1,t2)。
从公式[2]中，XOR操作用来比较两帧中间门限位图中的像素值以找出它们是否彼
此不同。如果所比较的像素不同，则XOR操作产生输出1，如果像素相同，则XOR操作产生输出
0。测试的运动向量越接近在两帧中间门限位图之间的实际偏移，所计算的I值越小，从而获
得对应的(t1，t2)。
接下来，图像对齐单元110依次序向上一层中间门限位图计算，直到获得最高分辨
率图像的运动向量d1，作为最后所求的运动向量。
通过记录下相邻两帧的运动向量，可以计算出每幅图片到参考帧的运动向量，然
后将三帧图像对齐。
在图像分层对齐过程中，还引入了排除位图
根据公式[4]可知，像素位置(i，j)的灰度值在均值附近时为0，在均值附近
外则为1。由于均值附近曝光最佳，为中性灰度。通过逻辑组合：
排除了曝光不好的点。当X1(i,j)＝0时，是曝光可以接受的点；当X1(i,j)＝1时，两
帧图像偏离都偏离了理想曝光，曝光倾向相反，代表不好的曝光结果。这样利用排除位图可
排除曝光不好的点。
本领域的技术人员应该理解，在对齐不同曝光图像的过程中，还可使用不同缩小
比率1/M的下采样。例如，如果采用缩小比率1/4的下采样，则dk-1＝4dk+(t1,t2)，而(t1，t2)共
有49种可能的取值。
在计算出两帧图像之间的运动向量d1之后，将前后图像对齐到中间图像，得到对
齐后的图像。
像素点权重确定单元120确定对齐后三帧图像中每一个像素点的权重：
在一个实施例中，设对齐后的图像Il(l＝1,2,3)序列为I1、I2和I3，首先对每一帧
图像Il计算三个权重。
对比度：对三帧图像中的第l帧图像的灰度图进行拉普拉斯滤波，取绝对值后记为
Cl，Cl为矩阵形式，对应于像素点；
饱和度：设第l帧图像的颜色分量矩阵为Rl、Gl和Bl，在每一点处计算三个颜色分量
的平均数m，然后计算标准偏差记为Sl；
合适曝光度：为了保证像素值非零，对每个分量利用高斯函数求一个权值，然后将
这三个权值相乘记为El。
则每一个像素点的权重Wl(i,j)为：
其中指数wC、wS和wE是预先设定的正常量，通常可将它们设为1。
相对权值确定单元130通过计算每一帧对参考帧的相对权值来去鬼影。假设对齐
后的图像Il(l＝1,2,3)序列为I1、I2和I3，图像Il上每一个像素点的权重为Wl(i,j)。
为图像Il(l＝1,2,3)中的每一帧定义矩阵RM1、RM2和RM3。在计算矩阵RM1、RM2和RM3
之前，首先将图像Il(l＝1,2,3)中的一帧设定为参考帧。在一个实施例中，可由相对权值确
定单元130确定参考帧。而在其他实施例中，参考帧可由外部图像处理单元确定，相对权值
确定单元130在接收齐后的图像Il(l＝1,2,3)时能够获悉哪帧图像为参考帧。
因此，在一个实施例中，相对权值确定单元130可任选地包括参考帧确定单元131。
图2示出根据本发明的一个实施例的相对权值确定单元130的详细框图。参考帧确定单元
131可从接收到的多帧不同曝光图像中选择正常曝光图像作为参考帧。在参考帧确定单元
131接收到多帧正常曝光图像的情况下，参考帧确定单元131可从中选取最清晰的和/或与
所捕捉的曝光过度和曝光不足图像最佳匹配的正常曝光图像作为参考帧。例如，参考帧确
定单元131可使用数字处理技术确定每帧图像的频率内容来确定多帧图像中的哪一帧为最
清晰的。所选的参考帧用于后续的HDR图像合成。
在一个实施例中，相对权值确定单元130还包括相对权值计算单元132。设图像I2
为参考帧，则相对权值计算单元132根据以下公式[7]计算每个像素的相对权值RMl(i,j)：
在公式[7]中，v是预先设定的常数，I2g(i,j)表示参考帧图像I2的每一个像素的
值，Ilg(i,j)表示图像Il的每一个像素的值。在一个实施例中，可将v设定为v＝0.05。根据公
式[7]可知，参考帧图像I2的相对权值RM2(i,j)＝e0＝1。当对齐后的图像Il(l＝1,3)中存在
运动对象时，其它帧中运动对象所在区域相对于参考帧图像位移大，I2g(i,j)与Ilg(i,j)之
间存在显著差异，因此(I2g(i,j)-Ilg(i,j))2值较大，导致相对权值RMl(i,j)约为零。而对于
基本上没有位移的区域或对齐后的图像Il(l＝1,3)中不存在运动对象的情况，I2g(i,j)与
Ilg(i,j)基本相同，其相对权值RMl(i,j)约为1。
还可引入排除位图E1、E2和E3来简化关于相对权值RM的计算量。首先，基于图像I1
和I3生成灰度图I1g和I3g，然后在灰度图I1g和I3g上生成金字塔图像序列G1和G3。接下来，生成
中间门限位图序列M1、M3以及排除位图序列E1、E3。
计算X1＝xor(M1,M2)&E1&E2和X3＝xor(M3,M2)&E3&E2。
接下来，对X1和X3进行腐蚀操作。设B＝[1,1,1,1,1；1,1,1,1,1；1,1,1,1,1；1,1,
1,1,1；1,1,1,1,1；]，对X中所有点，如果其周围5*5领域的值与B完全相等，则此点值为1，否
则为0。
将图像分块，X1，X3中某一块中非零个数大于等于100，则RM1,RM3中对应的块中的
值变为0。
在确定相对权值RMl(i,j)之后，鬼影去除单元140将相对权值RMl(i,j)施加到图像
Il上每一个像素点权重Wl(i,j)上，以形成去鬼影后的权重Wl’(i,j)，即为：
Wl’(i,j)＝Wl(i,j)RMl(i,j) [8]
根据公式[8]，对于参考帧图像I2，由于其相对权值RM2(i,j)＝1，因此去鬼影后的
权重不改变。对于图像Il(l＝1,3)与参考帧图像I2之间位移大的区域，由于相对权值RMl(i,
j)约为零，因此该区域的去鬼影后的权重Wl’(i,j)降为零。对于基本上没有位移的区域或
对齐后的图像Il(l＝1,3)与参考帧图像I2之间不存在运动对象情况，其对应的相对权值RMl
(i,j)约为1，因此去鬼影后的权重基本不改变。
在获得鬼影后的权重Wl’(i,j)之后，鬼影去除单元140对去鬼影后的权重Wl’(i,j)
进行归一化操作：
鬼影去除单元140可以在检测到运动区域后，直接使其它帧相对参考帧的相对权
值降为零。因此，对于运动区域，参考帧中的像素被直接复制到HDR图像的相应区域。鬼影去
除单元140并不计算运动对象的位置和速度，因此大大简化了计算量，从而实现简单、高效
的鬼影去除方案。
HDR图像合成单元150通过将归一化施加到对齐后的图像Il(l＝1,2,3)来
产生HDR图像。具体而言，HDR图像合成单元150对接收到的取高斯金字
塔，假设共有p层，得到其中n＝1，…,p，l＝1,2,3；对图像Il(l＝1，2，3)取拉普拉斯
金字塔，得到L(Il)n，其中n＝1，…,p，l＝1,2,3。
HDR图像合成单元150根据以下的公式[10]计算最终合成的图像I的拉普拉斯金字
塔L(I)n：
其中n＝1，…,p，c＝r,g,b表示颜色分量。
利用L(I)n可获得最终的图像I。
图3示出根据本发明的实施例的生成高动态范围HDR图像的方法300。
参考图3，在步骤310，接收以不同曝光度连续拍摄的多帧图像，并对这些图像进行
对齐。通过计算不同帧间的运动向量d来实现多帧不同曝光图像的对齐。在一个实施例中，
可通过分层匹配操作计算运动向量d。
在步骤320，确定对齐后多帧图像中每一个像素点的权重。在一个实施例中，可通
过计算对比度、饱和度和合适曝光度来计算每个像素点的权重。
在步骤330，计算每一帧对参考帧的相对权值。在一个实施例中，步骤330可任选地
包括子步骤331，如图4所示。在步骤331，从多帧不同曝光图像中选择正常曝光图像作为参
考帧。具体而言，可使用数字处理技术确定每帧图像的频率内容来确定多帧图像中的哪一
帧为最清晰的图像，从而将其作为参考帧。步骤330还可包括步骤332，在步骤332，计算每个
像素的相对权值RMl(i,j)。
现在返回图3，在步骤340，将相对权值RMl(i,j)施加到每一个像素点权重上，以形
成去鬼影后的权重。
在步骤350，利用去鬼影后的权重和对齐后的图像产生HDR图像。在一个实施例中，
可通过使用高斯金字塔和拉普拉斯金字塔融合去鬼影后的权重和对齐后的图像，从而产生
HDR图像。
图5示出根据本发明的实施例产生的HDR图像的效果图。图5左侧为以不同曝光度
连续拍摄的三帧图像，其中从上到下依次是曝光不足图像、正常曝光图像和曝光过度图像；
图5右侧分别是根据现有技术生成的高动态范围图像以及根据本发明的方案生成的高动态
范围图像。由于在连续拍摄过程中，出租车在运动，因此在根据现有技术生成的高动态范围
图像中，运动的出租车周围存在鬼影。而通过本发明公开的运动检测和补偿设备和方法，消
除了这种鬼影，运动的出租车同样清晰。
可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可
读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一
个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器
可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存
储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程
只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机
器可读介质。
此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调
制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把
程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的
机器可读介质可以包括这样的载波，但对此不作要求。
附图和前面的描述给出了各实施例的示例。本领域中的技术人员将明白，所描述
的元素中的一种或多个可以很好地组合成单个功能元素。备选地，可以把些元素拆分成多
个功能元素。可以把来自一种实施例的元素添加到另一实施例。例如，可以改变在此描述的
处理的顺序，且不限于在此描述的方式。此外，不必按所显示的次序实现任何流程图的动
作；也不必然需要执行所有动作。而且，不依赖于其他动作的那些动作可以与其他动作并行
执行。各实施例的范围决不限于这些特定的示例。无论是否在说明书中明确地给出，诸如材
料的结构、尺寸和使用的差异等的众多变更都是可能的。各实施例的范围至少是下列的权
利要求所指定的那样宽广。