基于梯度和亮度信息的高动态范围图像融合方法

基于梯度和亮度信息的高动态范围图像融合方法
【技术领域】
[0001] 本发明设及数字图像处理技术，高动态范围图像处理技术。具体讲，设及基于梯度 和見度f目息的局动态范围图像融合方法。
【背景技术】
[0002] 自然场景具有十分巨大的动态范围，普通摄像设备很难捕捉同一场景下所有的亮 度等级。在光线强烈的场景下，普通摄像机拍摄出的图像经常会发生欠曝光或者过曝光的 现象，因此在图像中过暗或者过亮的区域会丢失细节信息。为了解决该一问题，人们通常拍 摄一系列曝光度不同的同一场景的图像，通过对图像序列进行处理生成高动态范围化i曲 DynamicRange,皿R)图像。高动态范围图像可W提供更多的动态范围和图像细节，更好的 反映真实环境中的视觉效果。
[0003] 目前已经有一些多曝光图像融合算法被提出。Goshtasby[l]提出了一种图像分块 的多曝光图像融合技术。该种方法将每幅多曝光图像分成一系列大小相同的块，使用信息 滴指标测量图像块的质量W找到每个区域对应的曝光最理想的图像块。之后，使用一个单 调递减融合函数将被选择的块融合到一起。为了使得融合图像具有最大的信息量，最优的 分块大小W及融合函数的宽度由梯度上升算法进行迭代优化。由于需要大量的复杂计算， 该种算法的效率不高。另外，该种方法在物体边界处不能得到很好的融合效果。Mertens 等[2]在R6B空间采用对比度、饱和度和曝光度作为融合指导指标生成权重图，采用拉普拉 斯金字塔完成图像融合。算法首先将多曝光图像进行拉普拉斯分解，并将权重图进行高斯 分解。之后，将拉普拉斯金字塔的每一层图像与对应的高斯金字塔的每一层图像相乘。最 后，通过金字塔重构可生成融合图像。该种融合算法的结果在图像的暗区显示不清晰，欠曝 光像素比较多。而且，随着金字塔分解层数的增加W及图像尺寸的增大，算法的运行时间会 明显增加。Wei化ang等[3]利用输入图像的梯度信息进行多曝光图像融合。算法分别采 用梯度大小和方向构建一致性评估因子和可见性评估因子，之后将两个因子相乘得到权重 图。最终的融合图像由原始图像序列与权重图相结合得到。化enJianbing等[4]提出了 一种新颖的增强拉普拉斯金字塔融合算法。该算法基于局部权重因子和全局权重因子相结 合作为权重测量图像曝光质量，增强过程由该权重图引导。该种方法生成的图像具有更好 的色彩和纹理信息。但是，该算法同样使用了金字塔分解和重构过程，计算效率不高。
[0004] 可W看出，现有的多曝光图像融合算法为了得到比较好的融合效果往往需要进行 滤波或者图像分解重构过程，计算量比较大。融合过程简单的算法得到的结果又并不理想。 因此，本发明提出一种简便的多曝光图像直接融合方法，利用梯度大小和亮度分量引导权 重图完成融合过程，扩展图像的动态范围。
[000引参考文献
[0006][IjGoshtasbyAA.Fusionofmulti-exposureimages[J].ImageandVision Computing,2005,23 (6) ;611-618.
[0007] 口]MertensT，KautzJ，VanRee化F.E邱osurefusion[C]//ComputerGraphics and Applications,2007. PG，07.15th Pacific Conference on.I邸E，2007 ;382_390.
[0008] [3]Zhang W，Cham W K. Gradient-directed composition of multi-exposure images[C]//Computer Vision and Pattern Recognition(CVPR)，2010 IEEE Conference on. IE邸，2010 ;530-536.
[0009] [4]Shen J，Zhao Y，Yan S，et al. Exposure fusion using boosting Laplacian pyramid[J].IE邸 Trans.切bern，2014,44巧）；1579-1590.

【发明内容】

[0010] 为克服技术的不足，本发明旨在开发一种计算快速有效的多曝光图像融合方法。 该方法不需复杂的图像分解及重构过程，采用像素加权方式完成融合，使图像显示更多的 细节信息，提高图像质量。为此，本发明采取的技术方案是，基于梯度和亮度信息的高动态 范围图像融合方法，包括如下步骤：
[0011] 1)对输入的每幅多曝光图像，计算其局部对比度权重因子Li(x，y);
[0012] 2)将原图像转换到色调H、色饱和度S和亮度I颜色空间，提取亮度分量I，计算其 亮度权重因子Hi(x，y);
[0013] 3)权重估计；将两个图像质量测量因子结合起来W计算图像融合时的权重函数 所0，y)，进行归一化后得到归一化的权重函数Wi' (x，y):
[0017] 4)采用递归滤波器对权重图进行改善，得到每幅输入图像最终的权重函数Wi(x， y)：
[0018] Wj (x, y) = RF (W；' (x，y)，sigma_s，sigma_r) (9)
[001引其中，RF表示递归滤波器算子，sigma_s和sigma_r为滤波器参数；
[0020] 5)对多曝光图像进行加权融合，使用Wi(x，y)作为权重，得到最终的融合图像 F(x，y);
[0021]
(10)
[002引 Ii(x，y)是第i幅输入图像位于（X，y)位置的像素点的强度。
[0023] 局部对比度权重因子Li(x，y)由W下公式计算：
[002引其中，gi(x，y)是对输入的第i幅图像的灰度图像应用索贝尔梯度算子得到的图 像梯度大小值，￡,:0，>0;是未归一化的局部对比度权重因子。
[0027] 亮度权重因子的计算，用下式剔除该些曝光度不好的像素点，得到具有曝光度良 好的像素点的输入图像Bi(x，y): (3)
[0028]
[002引其中，li(x，y)是第i幅输入图像位于（X，y)位置的像素点的亮度值，t是一个定 义曝光度范围的阔值，将亮度值为0. 5的像素点的权重设为1，其它像素点的权重值根据亮 度值的增加或者减弱依次递减，得到初始的亮度权重图所0，y);
[0030] (4)
[0031] 为避免出现奇点，将亮度权重与一个非常小的值相加，得到改善后的亮度权重因 子巧托}/):
[0032] 巧 〇,y):=巧 〇,y) + ￡ 巧）
[0033]归一化，得到最终的亮度权重因子& (X，y);
[0034]
(6)。
[0035]与已有技术相比，本发明的技术特点与效果：
[0036] 采用本发明的技术方案得到的融合图像从主观上看整体明暗效果较好，尤其对于 图像中暗部区域的融合取得了较好的效果，而且具有较好的色彩还原度。由于采用了权重 图与原多曝光图像序列直接相乘的方式进行融合，无需复杂的图像分解计算，本发明算法 计算复杂度低。在客观指标实验方面。
【附图说明】
[0037] 图1"Garage"多曝光图像序列及融合结果，图中，（a) "Garage"LDR图像序列； 化)Mertens等人算法；（c)Wei化ang等人算法；（d)本发明算法。
[0038] 图2本发明方案的流程图。
【具体实施方式】
[0039] 图像传感器的动态范围远远小于自然界亮度的变化范围，致使在亮度变化剧烈的 场合无法通过单次拍摄来获得清晰的图像。多曝光图像融合是一种有效的扩展图像动态范 围的方式，对亮度变化较大且无快速运动目标的场景能够显著提高图像清晰度和对比度， 使更多的图像细节信息表现出来。高动态范围技术可广泛应用于交通视频、生物医疗、卫星 遥感、游戏等一些需要显示高动态细节图像的行业。因此，开发扩展图像动态范围的方法具 有很高的研究W及应用价值。
[0040] 本发明基于两个图像质量测量因子对多曝光图像直接加权融合。通过两个融合指 标构成的权重函数，每幅多曝光图像可计算得出一幅权重图。两个权重因子如下：
[0041] 1、局部对比度权重因子。对于输入的多曝光图像，其梯度大小可W反映图像的清 晰度W及包含的信息量。在图像中曝光不足或者曝光过度的区域，像素点的梯度值会非常 小。相反，在曝光良好的区域，像素点的梯度值会比较大。因此，可w用梯度大小作为衡量 图像曝光质量的指标。多曝光图像的局部对比度权重因子Li(x，y)可由W下公式计算：
[0044] 其中，e是一个非常小的值，W避免出现奇点。gi(x，y)是对输入的第i幅图像的 灰度图像应用索贝尔梯度算子得到的图像梯度大小值，是未归一化的局部对比度 权重因子。
[0045] 2、亮度权重因子。像素的亮度值往往可W反映图像曝光度的好坏。在图像中亮度 值合适的像素点具有更好的色彩效果和更清晰的细节信息。因此，本发明选用亮度分量作 为另一个图像质量测量因子。为了避免亮度值过小或过大的像素点在融合时造成干扰，可 W用下式剔除该些曝光度不好的像素点，得到具有曝光度良好的像素点的输入图像Bi(x， y)：
[0046]
(3)
[0047] 其中，li(x，y)是第i幅输入图像位于（X，y)位置的像素点的亮度值，t是一个定 义曝光度范围的阔值。本发明在构造亮度权重因子时，将亮度值为0. 5的像素点的权重设 为1。其它像素点的权重值根据亮度值的增加或者减弱依次递减，得到初始的亮度权重图 巧 0，y):
[0048]
[0049] 为避免出现奇点，将亮度权重与一个非常小的值相加，得到改善后的亮度权重因 子巧托y):
[0050] 巧 〇,y) = + ￡ 妨
[0051] 归一化，得到最终的亮度权重因子Hi(X，y):
[0052]
佩
[0053] 多曝光图像序列融合算法步骤如下：
[0054] 1)对输入的每幅多曝光图像，计算其局部对比度权重因子。
[00巧]2)将原图像转换到色调、色饱和度和亮度（HI巧颜色空间，提取亮度分量I，计算 其亮度权重因子。
[0056] 3)权重估计。将两个图像质量测量因子结合起来W计算图像融合时的权重函数 化0，y)，进行归一化后得到归一化的权重函数Wi' (x，y):
[0057] Wi(x,y) = Li(x,y)XW,(x,y) +￡ 口)
[005引
城
[0059] 4)采用递归滤波器对权重图进行改善，使得在图像曝光度相似的区域其权重值也 相近，避免融合图像中出现缝隙伪像现象，得到每幅输入图像最终的权重函数Wi(X，y);
[0060] Wi(X，y)二RF(W/ (x，y)，sigma_s，sigma_r)(9)
[0061] 其中，RF表示递归滤波器算子，sigma_s和sigma_r为滤波器参数。
[0062] 5)对多曝光图像进行加权融合，使用Wi(x，y)作为权重，得到最终的融合图像 F(x，y);
[0063]
(10)
[0064] 为验证算法效果，应用如上所述的算法对多曝光图像序列进行融合并对融合效果 进行分析。对于彩色图像，在融合时对R、G、B=个通道分别进行计算，并且在计算亮度因子 时只对亮度分量进行操作。为了比较融合图像的质量，将本发明算法的结果与Mertens等 人的算法巧]、Wei化ang等人的算法[3]做比较。分别从主观和客观两方面对实验结果进 行分析。
[0065] 客观实验分别采用图像均值、彩色滴、平均梯度、信息滴W及标准差五个图像质量 测量指标对实验结果进行测量。图像均值反映了图像的平均明暗程度。彩色滴反映了图像 R、G、BS个通道包含的信息量的总和。平均梯度即图像的清晰度，反映图像对细节对比的 表达能力。信息滴反映了图像包含信息量的大小，是衡量图像信息丰富程度的一个重要指 标。标准差反映了灰度均值的离散程度。
[0066] "Garage"图像序列的实验结果如图1、表1所示。
[0067] 表1客观指标实验结果
[0068]
[0069]从图1的实验结果可W看出，Mertens等人算法在色彩还原度方面有较好的效果， 但是在车库的暗区部分细节显示不清晰，欠曝光的像素比较多，整体图像偏暗。而且，由于 需要进行拉普拉斯金字塔的分解与重构，Mertens等人的方法计算量太大。同样，Wei化ang 等人的算法在车库区域显示较暗，缺乏细节信息。采用本发明的技术方案得到的融合图像 从主观上看整体明暗效果较好，尤其对于图像中暗部区域的融合取得了较好的效果，而且 具有较好的色彩还原度。由于采用了权重图与原多曝光图像序列直接相乘的方式进行融 合，无需复杂的图像分解计算，本发明算法计算复杂度低。在客观指标实验方面，由表1可 见，本发明算法生成的融合图像，其均值、彩色滴、信息滴、标准差指标都比其它两种算法数 值高，与主观视觉效果评价的结论一致。该说明本发明算法在细节信息的提取和处理等方 面均优于其他两种算法。
[0070] 在实际应用中，为了得到最佳的融合结果，对本发明算法中设及的参数进行如下 设置：e取值范围为小于等于t的取值范围为0. 05至0. 2，sigma_s = 60，sigma_r=2。在上述实验中e=l(Ti2，t= 0. 1。W多曝光图像序列为实验对象，采用本发明中描 述的步骤，按上述参数值设置，可W得到视觉效果较好的融合图像。实验结果表明，本发明 算法在主观视觉和客观定量指标等方面均有较好的效果。
【主权项】
1. 一种基于梯度和亮度信息的高动态范围图像融合方法，其特征是，包括如下步骤： 1) 对输入的每幅多曝光图像，计算其局部对比度权重因子Li (x，y); 2) 将原图像转换到色调H、色饱和度S和亮度I颜色空间，提取亮度分量I，计算其亮度 权重因子Hi (X，y); 3) 权重估计：将两个图像质量测量因子结合起来以计算图像融合时的权重函数 :吹〇,}〇,进行归一化后得到归一化的权重函数1' (x，y):ε〈ΙΟ， 4) 采用递归滤波器对权重图进行改善，得到每幅输入图像最终的权重函数Wi (x，y): Wi (x, y) = RF (Wi' (X，y)，sigma_s，sigma_r) (9) 其中，RF表示递归滤波器算子，sigma_s和sigma_r为滤波器参数； 5) 对多曝光图像进行加权融合，使用Wi (x，y)作为权重，得到最终的融合图像F(x，y): F(x-y) = IfLi Wi(x,y) x /<(x,y) (I ?) Ii (χ，y)是第i幅输入图像位于（χ，y)位置的像素点的强度。2. 如权利要求1所述的基于梯度和亮度信息的高动态范围图像融合方法，其特征是， 局部对比度权重因子Li (x，y)由以下公式计算：其中，gi(x，y)是对输入的第i幅图像的灰度图像应用索贝尔梯度算子得到的图像梯 度大小值，Σ,:(Xy):是未归一化的局部对比度权重因子。3. 如权利要求1所述的基于梯度和亮度信息的高动态范围图像融合方法，其特征是， 亮度权重因子的计算，用下式剔除这些曝光度不好的像素点，得到具有曝光度良好的像素 点的输入图 /ftD夂其中，IiOc, y)是第i幅输入图像位于（X，y)位置的像素点的亮度值，t是一个定义曝 光度范围的阈值，将亮度值为0. 5的像素点的权重设为1，其它像素点的权重值根据亮度值 的增加或者减弱依次递减，得到初始的亮度权重图戌0, y):为避免出现奇点，将亮度权重与一个非常小的值相加，得到改善后的亮度权重因子 吊 0,y): - Hi(xfy) + ε (5) 归一化，得到最终的亮度权重因子Hi (x，y):
【专利摘要】本发明涉及数字图像处理技术，为一种计算快速有效的多曝光图像融合方法。该方法不需复杂的图像分解及重构过程，采用像素加权方式完成融合，使图像显示更多的细节信息，提高图像质量。为此，本发明采取的技术方案是，基于梯度和亮度信息的高动态范围图像融合方法，包括如下步骤：1)对输入的每幅多曝光图像，计算其局部对比度权重因子Li(x，y)；2)将原图像转换到色调H、色饱和度S和亮度I颜色空间，提取亮度分量I，计算其亮度权重因子Hi(x，y)；3)权重估计；4)采用递归滤波器对权重图进行改善，得到每幅输入图像最终的权重函数：5)对多曝光图像进行加权融合。本发明主要应用于数字图像处理。
【IPC分类】G06T5/50
【公开号】CN104881854
【申请号】CN201510262164
【发明人】徐岩, 孙婧, 韦镇余, 雷志春, 张涛
【申请人】天津大学
【公开日】2015年9月2日
【申请日】2015年5月20日