一种基于lαβ空间场景迁移的多曝光图像融合方法
一种基于lαβ空间场景迁移的多曝光图像融合方法
【技术领域】
[0001] 本发明涉及数字图像处理方法，特别涉及对于高动态范围场景，一种基于la0 空间场景迀移的多曝光图像的融合方法。
【背景技术】
[0002] 随着计算机和互联网技术的迅猛发展，多媒体技术及其应用已经渗透到社会生产 和生活的方方面面，人们对高质量图像和视频信息的需求也越来越高。然而在图像获取过 程中，受到图像采集设备、采集环境、噪声等因素的影响，在接收终端呈现的图像往往是低 质量的图像。因此，如何通过低质图像重建高质量的图像，一直以来都是图像处理领域所致 力解决的问题。
[0003] 亮度动态范围是衡量图像质量的重要指标，图像的亮度动态范围指最亮区域和最 暗区域的亮度对比度。动态范围限制了自然场景中极亮区和极暗区细节在一幅图像中同时 展现的能力。自然场景中展现的亮度对比度非常宽广，而普通图像采集和显示设备所能处 理的对比度却非常有限。这就造成了标准图像采集和现实设备对高对比度场景的表现会出 现过曝光和欠曝光的问题，难以对高对比度场景进行高质量成像，不能有效表现高对比度 场景。
[0004] 高动态范围图像可由同一场景具有不同曝光参数的图像合成获取。为了提高图像 的动态范围，重建高动态范围图像，学者们提出了一些卓有成效的多曝光图像融合方法，但 是传统的图像融合方法，在融合后虽然提高了图像的亮度对比度，能较好的表现图像的细 节纹理信息，但是颜色信息在融合过程中很少被关注，使图像的视觉效果下降。本发明提出 了一种新的基于la0空间场景迀移的多曝光图像融合方法，既提高图像的对比度，较好 的表现图像的纹理信息，又可以使图像的颜色信息达到预期效果，使图像在颜色和纹理上 都得到增强。
【发明内容】
[0005] 本发明的目的在于，将同一场景多幅具有不同曝光参数的图像融合为具一幅有高 亮度动态范围的图像，同时提高图像的纹理和颜色信息质量。
[0006] 为了达到上述目的，本发明采用基于la0空间场景迀移的多曝光图像融合方 法。其特征在于，不但考虑场景的纹理细节信息，同时考虑了场景的颜色信息，使场景的纹 理和颜色信息都得到较好的保持。
[0007] 算法主要分为三个部分：颜色空间转换，图像预处理和场景迀移。
[0008] 首先，输入同一场景的N幅具有不同曝光参数的图像，并对其进行颜色空间转换， 其中N> = 3。由于RGB空间的三个通道相关性很大，调整其中的一个通道，其他通道的值也 会随之改变，而la0颜色空间的各个通道几乎没有相关性，所以可以对不同的颜色通道 进行分别操作。因此，选择三个通道相关性较小的la0空间作为多曝光图像融合空间。
[0009] 其次，图像预处理。在颜色和纹理迀移前，需要对输入图像进行预处理。预处理部 分具体包括亮度基本层估计、背景亮度级别分割以及为每个亮度级别选择一幅具有最佳曝 光参数的输入图像。首先进行背景亮度估计，即基本层估计，得到场景的整体亮度分布；然 后，对基本层进行亮度级别分割，将其分为N个不同的亮度级别，当N= 3时，可分为暗区、 中等壳区和尚壳区；最后，为每个壳度级别从输入图像中选择一幅具有最佳曝光参数的输 入图像作为场景迀移的最佳曝光示例图像。
[0010] 最后是场景迀移，场景迀移又包括纹理迀移和颜色迀移。预处理之后，将预处理得 到的最佳曝光示例图像的纹理信息迀移到基本层中。纹理迀移在1通道的梯度域进行，采 用基于泊松编辑的思想。将最佳示例样本图像的纹理在梯度域迀移到基本层中；纹理迀移 之后是颜色迀移，将最佳曝光示例图像中的颜色色调迀移到纹理迀移的结果图像中，从而 获得纹理和颜色信息都得到较好保持的高动态范围图像。
[0011] 一种基于la0空间纹理和颜色迀移的多曝光图像融合方法，其特征在于，具体 步骤如下：
[0012] 2.1颜色空间转换：
[0013] 首先输入N幅同一场景具有不同曝光参数的图像，其中N> = 3 ;并对其进行颜色 空间转换，从RGB空间转换到1a0空间；对图像进行处理后，再将结果图像从1a0空间 转换到RGB空间；
[0014] 2. 2图像预处理：
[0015] 在场景迀移之前，需要对输入图像进行预处理；首先在1通道进行背景亮度估计， 即基本层估计，得到场景的整体亮度分布，基本层为1通道所有图像的平均值；然后，对基 本层进行亮度级别分割，将其分为N个不同的亮度级别，N= 3时，分为暗区、中等亮区和高 亮区，亮度级别的分割采用基于直方图的K均值聚类的方法；由于在RGB空间转换到1a0 空间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，la0的 1通道取值范围在-1. 6~4. 4之间，将1通道值按照比例，归一化到0~255之间之后再进 行聚类；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为 纹理和颜色迀移的最佳曝光示例图像；
[0016] 2. 3场景迀移：
[0017] 预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迀移到基本层中；纹 理迀移采用基于泊松编辑的思想，在梯度域将最佳示例样本图像的纹理迀移到基本层中， 通过解泊松方程得到纹理迀移后的1通道值并将其按比例归一化到1通道的理论范围中；
[0018] 纹理迀移之后是颜色迀移，为了同时保持场景的纹理和颜色信息，通过颜色迀移 的方法，如式（1-1)，将最佳曝光示例图像中的颜色色调迀移到纹理迀移的结果图像中；
[0022] 其中k为分区号，k= 1，2~N;当输入图像数N= 3时，k= 1，2, 3时分别代表暗 区、中亮区和高亮区：
1代表k区目标图像所有像素的1颜色轴， a颜色轴，0颜色轴的的方差和均值；
代表k区最佳示例图像 的所有像素的1颜色轴，a颜色轴，0颜色轴的方差和均值；1 result(k)(土，J) ^〇result(k)(i，j)， 0_ltao(i，j)分别代表结果图像位置为（i，j)的像素点的1颜色轴，a颜色轴，0颜色轴 的值山〇〇 (i，j)，ata〇 (i，j)，1〇〇 (i，j)分别代表k区目标图像位置为（i，j)的像素点的 1颜色轴，a颜色轴，0颜色轴的值；fyk)是k区位置为（i,j)的像素点的颜色调整权重 函数；
[0025] @是k区目标图像的各个像素矢量，该矢量各通道投影分别记为ltao、at〇〇、
为目标图像的各通道像素均值，分别为
场景迀移之后，将 结果图像从la0空间转换到RGB空间。
[0026] 本发明原理：
[0027] 1)颜色空间转换
[0028] 在纹理和颜色迀移中，需要对输入图像的各个通道分别进行调整，而RGB空间的 各个通道相关性很大，很难单独调整其中的一个通道而不影响其他通道的值，因此选择各 个通道相关性很小的la0空间。因此将选取的同一场景的N幅具有不同曝光参数的图像 由RGB颜色空间转换到la0空间。1代表消色通道、a代表黄一蓝通道、0代表红一绿 通道。纹理迀移的过程在1通道进行。
[0029] 2)图像预处理
[0030] 在对图像进行纹理和颜色迀移之前，需要先对输入图像进行预处理。首先为了获 取图像的整体亮度信息，即场景的整体明暗程度进行估计，将不同曝光参数的图像的亮度 通道1进行平均并作为基本层，如当输入图像为三幅曝光差为1的图像时，基本层lb _ = (1-i+lo+l) /3〇
[0031] 求得基本层之后，对基本层进行亮度级别分割。对于高对比度场景，不同背景亮度 区域，需要有对应的不同的最佳曝光参数，这样才能将其中的细节信息展现出来。为了提 高图像的亮度动态范围，将输入图像按照亮度级别的不同分割为不同的亮度级别，当N= 3 时，可分为暗区、中等亮区和高亮区。图像分区可以采用基于直方图的K均值聚类法或者其 他可行分类方法。
[0032] 对图像亮度进行分区后，需要从输入图像中选择不同区的最佳曝光示例图像，提 取各亮度区的纹理信息。最佳曝光示例图像的选择采用梯度和熵的方法。
[0033] 3)场景迀移图像预处理之后，得到基本层与最佳曝光示例图像，进行场景迀移，将 最佳曝光图像的纹理信息与颜色信息迀移到基本层，得到纹理与颜色信息都较好的高动态 范围图像。
[0034] 场景迀移包括纹理迀移和颜色迀移。纹理迀移是在亮度域1通道将最佳曝光示例 图像的纹理信息与基本层融合，纹理迀移可以通过泊松无缝编辑方法，在梯度区域将分区 最佳曝光示例图像的细节信息克隆到基本层中。得到纹理清晰的纹理迀移结果的1通道值 1 texture 0
[0035] 纹理迀移之后，得到纹理迀移后的1通道值，较好的保持了亮区和暗区的细节纹 理信息，为了同时较好的保持场景的颜色信息，通过颜色迀移的方法，将最佳曝光示例图像 的颜色迀移到纹理后的图像中。
[0036] 颜色迀移是指输入一幅参考图像和一幅目标图像，经过处理，输出一幅保持目标 图像形状特征并拥有参考图像色彩特征的图像。
[0037] 通过颜色迀移的方法，将纹理合成图像作为目标图像，纹理迀移的1通道值ltexture 作为目标图像的1值，N幅输入图像的a通道和0通道的平均值作为目标图像的a值和 0值，各区的最佳曝光示例图像为该区的参考图像，分别进行局部颜色迀移，将各区的最 佳曝光示例图像的颜色迀移到纹理合成图像的对应区域，最终得到即有较好的细节纹理信 息，同时颜色信息丰富的结果图像。将迀移后的图像从la0空间转换到RGB空间，得到基 于la0空间场景迀移的多曝光融合图像。
[0038] 本发明有益的技术效果是：提供了基于1a0空间场景迀移的多曝光图像融合方 法。该方法可以同时保证合成图像的纹理和颜色信息都得到有效的保持和提高。
[0039] 下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更 深入的理解。
【附图说明】
[0040] 图1、本发明方法整体框图；
[0041] 图2、泊松编辑示意图，其中a)待插入的原始对象gb)对象g的梯度场Vc)待编 辑的目的图像
[0042] 图3、本方法与其他方法的结构相似度评价结果
[0043] 图4、本方法与其他方法的色差评价结果
【具体实施方式】
[0044] 以下结合说明书附图，以N= 3幅输入图像为例，对本发明的实施实例加以说明：
[0045] 本发明提出方法整体流程图如附图1所示。算法分为颜色空间转换、图像预处理 和场景迀移三部分。
[0046] 为了较好的保持图像的纹理和颜色信息，场景迀移中需要对图像的各个通道进行 调整，而RGB空间的三个通道相关性很大，很难对其单独进行调整，而且不可以保证不会发 生跨通道的瑕疵现象。因此，选择各个通道相关性都很小的la0颜色空间。在对图像进 行预处理之前，首先将所有的输入图像由RGB空间转换到1a0颜色空间。
[0047] 将输入图像由RGB空间转换到1a0颜色空间之后，对图像进行预处理。预处理 包括基本层估计，亮度级别分割和最佳曝光示例图像选择。预处理都是在la0颜色空间 的1通道进行的。基本层为所有输入图像的亮度通道1的平均值，亮度级别分割可以采用 基于直方图的K均值聚类法将基本层分为不同的亮度区域，当N= 3时分为暗区，中亮区和 高亮区。最佳曝光示例图像的选择可以通过计算各区梯度和熵，选择各区的最佳曝光示例 图像。
[0048] 预处理之后进行场景迀移。场景迀移分为纹理迀移和颜色迀移两个步骤。首先是 纹理迀移。纹理迀移只对1通道进行处理。通过预处理得到了基本层与最佳曝光示例图像， 纹理迀移中，将最佳曝光示例图像的纹理细节信息迀移到基本层中。纹理迀移可以在通过 泊松编辑的方式在梯度域完成，将最佳曝光示例图像与基本层在梯度域融合，生成纹理合 成图像的梯度图，通过解泊松方程，得到纹理合成图像的1通道值ltra￡tUM，所有输入图像的 a通道与0通道的平均值作为纹理合成图像的a通道与0通道值。颜色迀移是在1，a， 0通道分别进行，统计各区最佳曝光示例图像及其纹理合成图像的三通道的均值及方差， 通过颜色迀移将各区最佳曝光示例图像的颜色信息迀移到纹理合成图像，最后将结果图像 由la0颜色空间转换到RGB颜色空间，得到基于颜色和纹理的多曝光融合图像
[0049] 下面结合实例对该方法进行详细说明。
[0050] (1)颜色空间转换
[0051] 选取不同场景不同曝光时间差ED的图像作为输入图像，以ED= 1为例，三幅输入 图像为1〇,L。首先将输入图像由RGB空间转换到1a0空间。
[0052] 由于1a0颜色空间是LMS颜色空间的一种变形，所以需要把图像从RGB空间转 换到LMS颜色空间，然后再从LMS空间转换到1a0颜色空间。
[0053] 把图像从RGB颜色空间转换到LMS颜色空间的转换公式如式⑴：
[0055] 由于数据在这个颜色空间存在很大的偏移，为了消除这些偏移需要把图像从线性 LMS颜色空间转换到对数LMS空间，如式（2):
[0056]L' =IgLM' =lgMS' =lgS(2)
[0057] 把图像转换到LMS颜色空间之后，使用以下转换公式把图像从对数LMS空间转换 到1a0颜色空间，如式（3):
[0059] 在对图像进行纹理和颜色校正之后，为了显示处理的结果，需要把图像从la0 颜色空间转换到RGB颜色空间。
[0060] 首先把图像从RGB空间转换到对数LMS空间，如式（4):
[0062] 然后把图像从对数LMS颜色空间转换到线性LMS空间，如式（5):
[0063]L= 10L'M= 10M'S= 10s' (5)
[0064] 最后把图像从线性LMS空间转换到RGB空间，如式（6):
[0066] (2)图像预处理
[0067] 将输入图像转换到la0颜色空间之后，需要对图像进行预处理。预处理包括基 本层估计，亮度级别分割和最佳曝光示例图像选择。
[0068] 在1通道，对输入图像进行基本层估计，获取图像的整体纹理信息。基本层 估计是将所有输入图像求平均，将1通道的均值作为基本层信息，当N= 3时，lb_ = (1-i+lo+l) /3〇
[0069] 求得基本层后，可以通过基于直方图的K均值聚类法，将基本层分为不同的亮度 区域，当N= 3时，分为为暗区，中亮区，高亮区三个区域。由于在RGB空间转换到la0空 间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，la0的1 通道取值范围在-1. 6~4. 4之间，因此为了分类方便，按照比例将1通道值归一化到0~ 255之间之后再进行聚类。基于K均值的亮度聚类可以被认为是一个亮度分割的过程。换 言之，就是寻找一些临界点将亮 度区分成不同的类别。
[0070] 首先，计算基本层的直方图为H[i]，累积直方图为C[i]，则图像带权值的累积直 方图W[i]定义为：
[0072]其中，S()是一个狄拉克函数，W和H分别是图像的宽和高，Y(x，y)代表像素位为 (x，y)的像素点的亮度值，H[i]是图像中像素值为i的像素总数目。
[0075] 实际上，累积直方图就是直方图的积分运算。通过一个简单的方式计算图像的累 积直方图。例如，在像素值为[vtj范围的像素数目可以表示为：&=0(、）一caj。类 似的，通过这种计算得到：s1=waj-waj。于是，在一定值域范围的像素平均值可以 表示为：
[0076] Ur=Sr/Nr=QHtt)-'Htt_1))/(C(tt)-Cat_1)),r=1,2-,K (10)
[0077] 因此，K均值聚类可以通过C(i)和W(i)的计算获得。基于直方图的K均值聚类 算法可以归纳如下：
[0078] 步骤⑴初始化聚类类别的数目K=N，和每个类别的阈值T>)，Tjn)，…， TK(n)，n= 0是重复迭代索引；
[0079] 步骤⑵用公式（10)计算每个类别的平均值：U,，r= 1，2,…，K;
[0080] 步骤（3)更新每个类别的阈值：TQ(n+l) =TQ(0) ;TK(n+l) =TK(0);
[0081] Tm(n+1) = (Um+Um+1)/2，m= 1，2，...，K- 1。 （11)
[0082] 步骤⑷如果任何阈值Tm(n+1)已经更新到步骤（3)中的值，就设置n=n+1并 且进入步骤（2);否则，进入步骤（5)。
[0083] 步骤（5)结束。
[0084] 最终，可以得到最终的阈值为：
[0085]T={Tjm= 0，1，2，…，K} (12)
[0086] 将基本层分为不同的亮度区域后，从输入图像中选择各区的最佳曝光示例图像。 最佳曝光示例图像的选择仍然在la0空间的1通道进行。通过上述方法将输入图像分成 N个亮度区域，分别标记为1，2…N区后，通过梯度和信息熵的大小来选择各区的最佳曝光 示例图像。定义第i幅图像，第k区，k= 1，2…N的效用函数U(i，k)，函数为：
[0088] 万r，互f分别代表第i幅图像，第k分区的梯度和熵的均一化值大小。如式（14) 和（15)所示，公式中N代表共有N幅图像，i代表第i幅图像，试>是第i幅图像第k个聚 类类别的梯度大小，是第i幅图像第k个聚类类别的信息熵大小：
[0091] 最佳曝光示例图像通过公式（16)获得：
[0093] (3)场景迀移
[0094] 通过图像预处理，得到了图像的基本层和分区最佳曝光示例图像。通过场景迀移， 将各区的最佳曝光示例图像的纹理和颜色信息迀移到基本层中。场景迀移包括纹理迀移和 颜色迁移。
[0095] 纹理迀移可以通过泊松编辑（1通道）的方式，在梯度区域将分区最佳曝光示例图 像的细节信息克隆到基本层中。通过纹理迀移，得到纹理清晰的纹理合成图像。泊松编辑 的示意图如附图2所示。
[0096] 泊松编辑在待编辑的区域建立一个满足Dirichiet边界条件的Poisson方程，使 区域内部的Laplace值等于待插入对象内部的Laplace值，边界条件仍等于待编辑区域的 原始边界值，通过数值方法解出上述Poisson方程得到区域内部的灰度值，即为无缝插入 编辑后的效果。基于Poisson方程的图像编辑方法本质上是在待编辑图像F中的区域Q内进行有约束条件的插值（guidedinterpolation)。设图像F的原始灰度值为fQ，插值计 算后D区域的灰度值变为产。向量场V为来自图像G中的待插入对象g的梯度场，作为约 束条件。如附图2所示。这样图像编辑问题可转变为求解能量函数最小值的变分问题，而 且为了让待插入对象能够无缝地融合到区域D中，需要使产在D边界上满足等于f〇原始 边界的灰度值。见公式（17)。
[0098] 由Euler-Lagrange方程可知，式（17)的最小值求解问题可转化为一个PDE方程。
[0099] Af*=divV(18)
[0100] 其中
为Laplace算子，div为散度计算符，
V =(u,v)，
，从而式（18)可写成标准Poisson方程的形式：
[0101]Af*(x,y) =Ag(x,y) (x,y)GQ(19)
[0102] 因为在有界域上的一个标量函数可由它的边界值和内部Laplace值唯一确定，所 以上面的Poisson方程（19)有唯一解。另外，根据Laplace算子计算得到的图像二阶起伏 特性从视觉感知上能够很好地反映图像的起伏特征，从而体现图像的内容。而通过解方程 (19)可以使区域Q内的Laplace值满足与待插入对象g的Laplace值相等，所以上述方法 可以较好地使待编辑区域D的内容与待插入对象g相像，而且该方法无需精确选定待插入 对象的轮廓，并在边界处能够无缝地融合。
[0103] 受到泊松图像编辑中的无缝克隆技术的启发，我们将细节信息的融合看作一个图 像区域块的图像克隆问题。我们将把最佳曝光示例图像的细节信息克隆到基本层中。在梯 度区域进行运算是十分快速的。计算每一幅输入图像1通道的梯度图，设定Gg= ▽ 1 b_，其 中
是梯度运算器，Gg是基本层的梯度信息。在梯度域的细节信息的融合可以表 述如下：
[0105] 其中，G(x，y)是融合输出图像的梯度。Qk表示被分割的区域块k，相应的最佳曝 光输入图像是lK〇〇。R(k)通过式（16)获得。通过式（20)可以获得最终的融合图像的梯度 图。对于基本层，只有位于不同亮度区域（强边缘）的梯度值比较大。因此，对于给定的亮 度区域的梯度应该从最佳曝光图像中选择。
[0106] 梯度场应当是可积的（旋度为零）。但是，融合的梯度图式（20)可能是不可积的。 因此，多曝光融合的问题可以通过以下的求解最小值解决：
[0108] 其中D表示图像的空间域。在（21)中，我们寻找一幅梯度接近G的图像1。
[0109] 根据变分原理，（21)是泊松方程（20)的唯一解，将式（21)最小值求解问题可转 化为一个PDE方程，如式（22)。
[0110] A1 =div(G) (22)
[0111] 其中
-是拉普拉斯算子，div(G)是场G的散度。这个泊松方程将把不 可积的输入场映射成一个零旋度的可积梯度场，于是能重建纹理迀移的结果的亮度值1。解 泊松方程得到的1通道的取值范围可能会出现整体下移或上移，偏离1通道的理论取值范 围，因此在解方程之后将解方程得到的1通道值按比例归一化到1的理论取值范围中，得到 最终的纹理迀移1通道值。纹理迀移图像的a，0值取所有输入图像的平均值。例如当输 入图像为三幅曝光差为1的输入图像时，纹理合成图像的a值为（a_1+a(l+ai)/3, 0值 为（|3 勺+ |3 〇+ |3 工)/3〇
[0112] 纹理迀移之后，得到纹理迀移后的1通道值，较好的保持了亮区和暗区的细节纹 理信息，为了同时较好的保持场景的颜色信息，通过颜色迀移的方法，将最佳曝光示例图像 的颜色迀移到纹理后的图像中。颜色迀移是指输入一幅参考图像和一幅目标图像，经过处 理，输出一幅保持目标图像形状特 征并拥有参考图像色彩特征的图像。
[0113] 在1a0颜色空间统计纹理合成图像和各分区最佳曝光示例图像的颜色信息，计 算各通道的均值和方差，通过颜色调整权重函数，将最佳分区示例图像的颜色迀移到纹理 图像，得到纹理和颜色信息都得到提高的合成图像，如公式（23)。
[0117] 其中k为分区号，k= 1，2,…，N，当输入图像数N=3时，k= 1，2,3分别代表暗 区，中等亮度区和暗区。
代表k区目标图像所有像素的1颜 色轴，a颜色轴，0颜色轴的的方差和均值。
代表k区最佳示 例图像（参考图像）的所有像素的1颜色轴，a颜色轴，0颜色轴的方差和均值 °Iresult(k) (i，j)，aresult(k) (i，」?) ^ ^result(k) (i，j)分别代表结果图像位置为（i，j)的像素点的1颜色 轴，a颜色轴，0颜色轴的值。lt〇〇(i，j)，at〇〇(i，j)，et〇〇(i，j)分别代表k区目标图像 位置为（i，j)的像素点的1颜色轴，a颜色轴，颜色轴的值。fuGO是k区位置为（i，j) 的像素点的颜色调整权重函数。
[0120] RF)足k区的目标图像的各个像素矢量，该矢量各通道投影分别记为ltao、at〇〇、 0too。咐Va./J为目标图像的各通道像素均值，分别为a，⑷和。
[0121] 颜色迀移之后，得到了纹理和颜色信息都较好的保持的高动态范围图像。本方法 融合的高动态范围图像在曝光差较大时，仍能较好的保持场景的纹理和颜色信息，避免出 现由于曝光差增大而出现的亮度反转和颜色失真问题。
[0122] 将本方法与基于聚类，基于像素，基于块的多曝光图像融合方法进行比较评价， 客观评价测试了平均结构相似度（MSSIM)和CIE1976L*a*b*均匀色差空间的色差函数
。其中AEab指结果图像与参考图像的CIE1976L*a*b*色差。对于每 一个测试的HDR场景，通过PhotomatixPro4. 2. 3软件映射成一幅LDR标准图像作为参考 图像。图3为本方法与其他方法融合结果的结构相似度比较，图4是本方法与其他方法融 合结果的CIE1976L*a*b*色差函数比较。本发明基于la0空间纹理迀移的多曝光图像的 融合方法，可对高对比度场景进行有效成像，达到同时提高图像的颜色和纹理信息的目标。 本发明创新处在于在传统多曝光图像融合的方法的前提下加入了颜色迀移，使融合效果颜 色信息丰富，视觉效果提高。本发明应用范围广泛，可用于夜晚街景监控图像处理以及为摄 影艺术家提供数码照片处理工具。
【主权项】
1. 一种基于Ια β空间场景迀移的多曝光图像融合方法；其特征在于分为：颜色空间 转换，图像预处理和场景迀移三个部分；图像预处理步骤包括基本层估计，亮度级别分割， 最佳曝光示例图像选择三个步骤；场景迀移步骤包括纹理迀移和颜色迀移两个步骤；颜色 空间转换部分，将N幅输入图像的颜色空间由RGB空间转换到1 α β颜色空间，其中Ν> = 3 ;图像预处理步骤，首先在1通道进行基本层估计，得到图像的整体亮度分布，然后将基本 层分为N个亮度级别；亮度级别分割之后通过梯度和熵的方式选择各区的最佳曝光示例图 像；场景迀移步骤首先在1通道将各区的最佳曝光示例图像的纹理信息通过泊松编辑的方 式迀移到基本层中，得到纹理迀移图像的1通道值，并对所有输入图像的其他两个通道取 平均分别作为纹理迀移图像的α通道和β通道值；之后通过颜色迀移的方式，在1，α，β 三个通道中，将最佳曝光示例图像的颜色信息迀移到纹理迀移的结果图像中，最后将调整 后的图像由1 α β空间转换到RGB空间。2. 根据权利要求1所述的一种基于Ια β空间纹理和颜色迀移的多曝光图像融合方 法，其特征在于，具体步骤如下： 2. 1颜色空间转换： 首先输入N幅同一场景具有不同曝光参数的图像，其中Ν> = 3 ;并对其进行颜色空间 转换，从RGB空间转换到Ια β空间；对图像进行处理后，再将结果图像从Ια β空间转换 到RGB空间； 2. 2图像预处理： 在场景迀移之前，需要对输入图像进行预处理；首先在1通道进行背景亮度估计，即基 本层估计，得到场景的整体亮度分布，基本层为1通道所有图像的平均值；然后，对基本层 进行亮度级别分割，将其分为N个不同的亮度级别，N = 3时，分为暗区、中等亮区和高亮区， 亮度级别的分割采用基于直方图的K均值聚类的方法；由于在RGB空间转换到1 α β空间 的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，Ια β的1通 道取值范围在-1. 6~4. 4之间，将1通道值按照比例，归一化到O~255之间之后再进行 聚类；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为纹 理和颜色迀移的最佳曝光示例图像； 2. 3场景迀移： 预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迀移到基本层中；纹理迀 移采用基于泊松编辑的思想，在梯度域将最佳示例样本图像的纹理迀移到基本层中，通过 解泊松方程得到纹理迀移后的1通道值并将其按比例归一化到1通道的理论范围中； 纹理迀移之后是颜色迀移，为了同时保持场景的纹理和颜色信息，通过颜色迀移的方 法，如式（1-1)，将最佳曝光示例图像中的颜色色调迀移到纹理迀移的结果图像中；其中k为分区号，k= 1，2…N ;当输入图像数N= 3时，k= 1，2, 3时分别代表暗区、 中亮区和高亮区；t ^ 代表k区目标图像所有像素的1颜色轴，α ) J > J > 颜色轴，β颜色轴的的方差和均值；I代表k区最佳示例图像的 所有像素的1颜色轴，α颜色轴，β颜色轴的方差和均值；1 result (k) (土，J·) ^ ^ result (k) (i， j)， i^sult〇o (i，j)分别代表结果图像位置为（i，j)的像素点的I颜色轴，α颜色轴，β颜色轴 的值山(k) (i，j)，a t(k) (i，j)，β t(k) (i，j)分别代表k区目标图像位置为（i，j)的像素点的 1颜色轴，α颜色轴，β颜色轴的值；(k)是k区位置为（i, j)的像素点的颜色调整权重 函数；办7)足k区目标图像的各个像素矢量，该矢量各通道投影分别记为lt(k)、at(k)、f3 t(k); 兩?；为目标图像的各通道像素均值，分别为^；，?和^;场景迀移之后，将结果图 像从1 α β空间转换到RGB空间。
【专利摘要】一种基于lαβ空间场景迁移的多曝光图像融合方法涉及数字图像处理方法。本发明分为颜色空间转换，图像预处理和场景迁移三部分；图像预处理步骤包括基本层估计，亮度级别分割，最佳曝光示例图像选择三个步骤；场景迁移步骤包括纹理迁移和颜色迁移两个步骤；颜色空间转换部分，将N幅输入图像的颜色空间由RGB空间转换到lαβ颜色空间，其中N>＝3；图像预处理步骤，首先在l通道进行基本层估计，得到图像的整体亮度分布，然后将基本层分为N个亮度级别；亮度级别分割之后通过梯度和熵的方式选择各区的最佳曝光示例图像；本发明将同一场景多幅具有不同曝光参数的图像融合为具一幅有高亮度动态范围的图像，同时提高图像的纹理和颜色信息质量。
【IPC分类】G06T5/50
【公开号】CN104899845
【申请号】CN201510233170
【发明人】李晓光, 王海莲, 卓力
【申请人】北京工业大学
【公开日】2015年9月9日
【申请日】2015年5月10日
【技术领域】
[0001] 本发明涉及数字图像处理方法，特别涉及对于高动态范围场景，一种基于la0 空间场景迀移的多曝光图像的融合方法。
【背景技术】
[0002] 随着计算机和互联网技术的迅猛发展，多媒体技术及其应用已经渗透到社会生产 和生活的方方面面，人们对高质量图像和视频信息的需求也越来越高。然而在图像获取过 程中，受到图像采集设备、采集环境、噪声等因素的影响，在接收终端呈现的图像往往是低 质量的图像。因此，如何通过低质图像重建高质量的图像，一直以来都是图像处理领域所致 力解决的问题。
[0003] 亮度动态范围是衡量图像质量的重要指标，图像的亮度动态范围指最亮区域和最 暗区域的亮度对比度。动态范围限制了自然场景中极亮区和极暗区细节在一幅图像中同时 展现的能力。自然场景中展现的亮度对比度非常宽广，而普通图像采集和显示设备所能处 理的对比度却非常有限。这就造成了标准图像采集和现实设备对高对比度场景的表现会出 现过曝光和欠曝光的问题，难以对高对比度场景进行高质量成像，不能有效表现高对比度 场景。
[0004] 高动态范围图像可由同一场景具有不同曝光参数的图像合成获取。为了提高图像 的动态范围，重建高动态范围图像，学者们提出了一些卓有成效的多曝光图像融合方法，但 是传统的图像融合方法，在融合后虽然提高了图像的亮度对比度，能较好的表现图像的细 节纹理信息，但是颜色信息在融合过程中很少被关注，使图像的视觉效果下降。本发明提出 了一种新的基于la0空间场景迀移的多曝光图像融合方法，既提高图像的对比度，较好 的表现图像的纹理信息，又可以使图像的颜色信息达到预期效果，使图像在颜色和纹理上 都得到增强。
【发明内容】
[0005] 本发明的目的在于，将同一场景多幅具有不同曝光参数的图像融合为具一幅有高 亮度动态范围的图像，同时提高图像的纹理和颜色信息质量。
[0006] 为了达到上述目的，本发明采用基于la0空间场景迀移的多曝光图像融合方 法。其特征在于，不但考虑场景的纹理细节信息，同时考虑了场景的颜色信息，使场景的纹 理和颜色信息都得到较好的保持。
[0007] 算法主要分为三个部分：颜色空间转换，图像预处理和场景迀移。
[0008] 首先，输入同一场景的N幅具有不同曝光参数的图像，并对其进行颜色空间转换， 其中N> = 3。由于RGB空间的三个通道相关性很大，调整其中的一个通道，其他通道的值也 会随之改变，而la0颜色空间的各个通道几乎没有相关性，所以可以对不同的颜色通道 进行分别操作。因此，选择三个通道相关性较小的la0空间作为多曝光图像融合空间。
[0009] 其次，图像预处理。在颜色和纹理迀移前，需要对输入图像进行预处理。预处理部 分具体包括亮度基本层估计、背景亮度级别分割以及为每个亮度级别选择一幅具有最佳曝 光参数的输入图像。首先进行背景亮度估计，即基本层估计，得到场景的整体亮度分布；然 后，对基本层进行亮度级别分割，将其分为N个不同的亮度级别，当N= 3时，可分为暗区、 中等壳区和尚壳区；最后，为每个壳度级别从输入图像中选择一幅具有最佳曝光参数的输 入图像作为场景迀移的最佳曝光示例图像。
[0010] 最后是场景迀移，场景迀移又包括纹理迀移和颜色迀移。预处理之后，将预处理得 到的最佳曝光示例图像的纹理信息迀移到基本层中。纹理迀移在1通道的梯度域进行，采 用基于泊松编辑的思想。将最佳示例样本图像的纹理在梯度域迀移到基本层中；纹理迀移 之后是颜色迀移，将最佳曝光示例图像中的颜色色调迀移到纹理迀移的结果图像中，从而 获得纹理和颜色信息都得到较好保持的高动态范围图像。
[0011] 一种基于la0空间纹理和颜色迀移的多曝光图像融合方法，其特征在于，具体 步骤如下：
[0012] 2.1颜色空间转换：
[0013] 首先输入N幅同一场景具有不同曝光参数的图像，其中N> = 3 ;并对其进行颜色 空间转换，从RGB空间转换到1a0空间；对图像进行处理后，再将结果图像从1a0空间 转换到RGB空间；
[0014] 2. 2图像预处理：
[0015] 在场景迀移之前，需要对输入图像进行预处理；首先在1通道进行背景亮度估计， 即基本层估计，得到场景的整体亮度分布，基本层为1通道所有图像的平均值；然后，对基 本层进行亮度级别分割，将其分为N个不同的亮度级别，N= 3时，分为暗区、中等亮区和高 亮区，亮度级别的分割采用基于直方图的K均值聚类的方法；由于在RGB空间转换到1a0 空间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，la0的 1通道取值范围在-1. 6~4. 4之间，将1通道值按照比例，归一化到0~255之间之后再进 行聚类；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为 纹理和颜色迀移的最佳曝光示例图像；
[0016] 2. 3场景迀移：
[0017] 预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迀移到基本层中；纹 理迀移采用基于泊松编辑的思想，在梯度域将最佳示例样本图像的纹理迀移到基本层中， 通过解泊松方程得到纹理迀移后的1通道值并将其按比例归一化到1通道的理论范围中；
[0018] 纹理迀移之后是颜色迀移，为了同时保持场景的纹理和颜色信息，通过颜色迀移 的方法，如式（1-1)，将最佳曝光示例图像中的颜色色调迀移到纹理迀移的结果图像中；
[0022] 其中k为分区号，k= 1，2~N;当输入图像数N= 3时，k= 1，2, 3时分别代表暗 区、中亮区和高亮区：
1代表k区目标图像所有像素的1颜色轴， a颜色轴，0颜色轴的的方差和均值；
代表k区最佳示例图像 的所有像素的1颜色轴，a颜色轴，0颜色轴的方差和均值；1 result(k)(土，J) ^〇result(k)(i，j)， 0_ltao(i，j)分别代表结果图像位置为（i，j)的像素点的1颜色轴，a颜色轴，0颜色轴 的值山〇〇 (i，j)，ata〇 (i，j)，1〇〇 (i，j)分别代表k区目标图像位置为（i，j)的像素点的 1颜色轴，a颜色轴，0颜色轴的值；fyk)是k区位置为（i,j)的像素点的颜色调整权重 函数；
[0025] @是k区目标图像的各个像素矢量，该矢量各通道投影分别记为ltao、at〇〇、
为目标图像的各通道像素均值，分别为
场景迀移之后，将 结果图像从la0空间转换到RGB空间。
[0026] 本发明原理：
[0027] 1)颜色空间转换
[0028] 在纹理和颜色迀移中，需要对输入图像的各个通道分别进行调整，而RGB空间的 各个通道相关性很大，很难单独调整其中的一个通道而不影响其他通道的值，因此选择各 个通道相关性很小的la0空间。因此将选取的同一场景的N幅具有不同曝光参数的图像 由RGB颜色空间转换到la0空间。1代表消色通道、a代表黄一蓝通道、0代表红一绿 通道。纹理迀移的过程在1通道进行。
[0029] 2)图像预处理
[0030] 在对图像进行纹理和颜色迀移之前，需要先对输入图像进行预处理。首先为了获 取图像的整体亮度信息，即场景的整体明暗程度进行估计，将不同曝光参数的图像的亮度 通道1进行平均并作为基本层，如当输入图像为三幅曝光差为1的图像时，基本层lb _ = (1-i+lo+l) /3〇
[0031] 求得基本层之后，对基本层进行亮度级别分割。对于高对比度场景，不同背景亮度 区域，需要有对应的不同的最佳曝光参数，这样才能将其中的细节信息展现出来。为了提 高图像的亮度动态范围，将输入图像按照亮度级别的不同分割为不同的亮度级别，当N= 3 时，可分为暗区、中等亮区和高亮区。图像分区可以采用基于直方图的K均值聚类法或者其 他可行分类方法。
[0032] 对图像亮度进行分区后，需要从输入图像中选择不同区的最佳曝光示例图像，提 取各亮度区的纹理信息。最佳曝光示例图像的选择采用梯度和熵的方法。
[0033] 3)场景迀移图像预处理之后，得到基本层与最佳曝光示例图像，进行场景迀移，将 最佳曝光图像的纹理信息与颜色信息迀移到基本层，得到纹理与颜色信息都较好的高动态 范围图像。
[0034] 场景迀移包括纹理迀移和颜色迀移。纹理迀移是在亮度域1通道将最佳曝光示例 图像的纹理信息与基本层融合，纹理迀移可以通过泊松无缝编辑方法，在梯度区域将分区 最佳曝光示例图像的细节信息克隆到基本层中。得到纹理清晰的纹理迀移结果的1通道值 1 texture 0
[0035] 纹理迀移之后，得到纹理迀移后的1通道值，较好的保持了亮区和暗区的细节纹 理信息，为了同时较好的保持场景的颜色信息，通过颜色迀移的方法，将最佳曝光示例图像 的颜色迀移到纹理后的图像中。
[0036] 颜色迀移是指输入一幅参考图像和一幅目标图像，经过处理，输出一幅保持目标 图像形状特征并拥有参考图像色彩特征的图像。
[0037] 通过颜色迀移的方法，将纹理合成图像作为目标图像，纹理迀移的1通道值ltexture 作为目标图像的1值，N幅输入图像的a通道和0通道的平均值作为目标图像的a值和 0值，各区的最佳曝光示例图像为该区的参考图像，分别进行局部颜色迀移，将各区的最 佳曝光示例图像的颜色迀移到纹理合成图像的对应区域，最终得到即有较好的细节纹理信 息，同时颜色信息丰富的结果图像。将迀移后的图像从la0空间转换到RGB空间，得到基 于la0空间场景迀移的多曝光融合图像。
[0038] 本发明有益的技术效果是：提供了基于1a0空间场景迀移的多曝光图像融合方 法。该方法可以同时保证合成图像的纹理和颜色信息都得到有效的保持和提高。
[0039] 下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更 深入的理解。
【附图说明】
[0040] 图1、本发明方法整体框图；
[0041] 图2、泊松编辑示意图，其中a)待插入的原始对象gb)对象g的梯度场Vc)待编 辑的目的图像
[0042] 图3、本方法与其他方法的结构相似度评价结果
[0043] 图4、本方法与其他方法的色差评价结果
【具体实施方式】
[0044] 以下结合说明书附图，以N= 3幅输入图像为例，对本发明的实施实例加以说明：
[0045] 本发明提出方法整体流程图如附图1所示。算法分为颜色空间转换、图像预处理 和场景迀移三部分。
[0046] 为了较好的保持图像的纹理和颜色信息，场景迀移中需要对图像的各个通道进行 调整，而RGB空间的三个通道相关性很大，很难对其单独进行调整，而且不可以保证不会发 生跨通道的瑕疵现象。因此，选择各个通道相关性都很小的la0颜色空间。在对图像进 行预处理之前，首先将所有的输入图像由RGB空间转换到1a0颜色空间。
[0047] 将输入图像由RGB空间转换到1a0颜色空间之后，对图像进行预处理。预处理 包括基本层估计，亮度级别分割和最佳曝光示例图像选择。预处理都是在la0颜色空间 的1通道进行的。基本层为所有输入图像的亮度通道1的平均值，亮度级别分割可以采用 基于直方图的K均值聚类法将基本层分为不同的亮度区域，当N= 3时分为暗区，中亮区和 高亮区。最佳曝光示例图像的选择可以通过计算各区梯度和熵，选择各区的最佳曝光示例 图像。
[0048] 预处理之后进行场景迀移。场景迀移分为纹理迀移和颜色迀移两个步骤。首先是 纹理迀移。纹理迀移只对1通道进行处理。通过预处理得到了基本层与最佳曝光示例图像， 纹理迀移中，将最佳曝光示例图像的纹理细节信息迀移到基本层中。纹理迀移可以在通过 泊松编辑的方式在梯度域完成，将最佳曝光示例图像与基本层在梯度域融合，生成纹理合 成图像的梯度图，通过解泊松方程，得到纹理合成图像的1通道值ltra￡tUM，所有输入图像的 a通道与0通道的平均值作为纹理合成图像的a通道与0通道值。颜色迀移是在1，a， 0通道分别进行，统计各区最佳曝光示例图像及其纹理合成图像的三通道的均值及方差， 通过颜色迀移将各区最佳曝光示例图像的颜色信息迀移到纹理合成图像，最后将结果图像 由la0颜色空间转换到RGB颜色空间，得到基于颜色和纹理的多曝光融合图像
[0049] 下面结合实例对该方法进行详细说明。
[0050] (1)颜色空间转换
[0051] 选取不同场景不同曝光时间差ED的图像作为输入图像，以ED= 1为例，三幅输入 图像为1〇,L。首先将输入图像由RGB空间转换到1a0空间。
[0052] 由于1a0颜色空间是LMS颜色空间的一种变形，所以需要把图像从RGB空间转 换到LMS颜色空间，然后再从LMS空间转换到1a0颜色空间。
[0053] 把图像从RGB颜色空间转换到LMS颜色空间的转换公式如式⑴：
[0055] 由于数据在这个颜色空间存在很大的偏移，为了消除这些偏移需要把图像从线性 LMS颜色空间转换到对数LMS空间，如式（2):
[0056]L' =IgLM' =lgMS' =lgS(2)
[0057] 把图像转换到LMS颜色空间之后，使用以下转换公式把图像从对数LMS空间转换 到1a0颜色空间，如式（3):
[0059] 在对图像进行纹理和颜色校正之后，为了显示处理的结果，需要把图像从la0 颜色空间转换到RGB颜色空间。
[0060] 首先把图像从RGB空间转换到对数LMS空间，如式（4):
[0062] 然后把图像从对数LMS颜色空间转换到线性LMS空间，如式（5):
[0063]L= 10L'M= 10M'S= 10s' (5)
[0064] 最后把图像从线性LMS空间转换到RGB空间，如式（6):
[0066] (2)图像预处理
[0067] 将输入图像转换到la0颜色空间之后，需要对图像进行预处理。预处理包括基 本层估计，亮度级别分割和最佳曝光示例图像选择。
[0068] 在1通道，对输入图像进行基本层估计，获取图像的整体纹理信息。基本层 估计是将所有输入图像求平均，将1通道的均值作为基本层信息，当N= 3时，lb_ = (1-i+lo+l) /3〇
[0069] 求得基本层后，可以通过基于直方图的K均值聚类法，将基本层分为不同的亮度 区域，当N= 3时，分为为暗区，中亮区，高亮区三个区域。由于在RGB空间转换到la0空 间的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，la0的1 通道取值范围在-1. 6~4. 4之间，因此为了分类方便，按照比例将1通道值归一化到0~ 255之间之后再进行聚类。基于K均值的亮度聚类可以被认为是一个亮度分割的过程。换 言之，就是寻找一些临界点将亮 度区分成不同的类别。
[0070] 首先，计算基本层的直方图为H[i]，累积直方图为C[i]，则图像带权值的累积直 方图W[i]定义为：
[0072]其中，S()是一个狄拉克函数，W和H分别是图像的宽和高，Y(x，y)代表像素位为 (x，y)的像素点的亮度值，H[i]是图像中像素值为i的像素总数目。
[0075] 实际上，累积直方图就是直方图的积分运算。通过一个简单的方式计算图像的累 积直方图。例如，在像素值为[vtj范围的像素数目可以表示为：&=0(、）一caj。类 似的，通过这种计算得到：s1=waj-waj。于是，在一定值域范围的像素平均值可以 表示为：
[0076] Ur=Sr/Nr=QHtt)-'Htt_1))/(C(tt)-Cat_1)),r=1,2-,K (10)
[0077] 因此，K均值聚类可以通过C(i)和W(i)的计算获得。基于直方图的K均值聚类 算法可以归纳如下：
[0078] 步骤⑴初始化聚类类别的数目K=N，和每个类别的阈值T>)，Tjn)，…， TK(n)，n= 0是重复迭代索引；
[0079] 步骤⑵用公式（10)计算每个类别的平均值：U,，r= 1，2,…，K;
[0080] 步骤（3)更新每个类别的阈值：TQ(n+l) =TQ(0) ;TK(n+l) =TK(0);
[0081] Tm(n+1) = (Um+Um+1)/2，m= 1，2，...，K- 1。 （11)
[0082] 步骤⑷如果任何阈值Tm(n+1)已经更新到步骤（3)中的值，就设置n=n+1并 且进入步骤（2);否则，进入步骤（5)。
[0083] 步骤（5)结束。
[0084] 最终，可以得到最终的阈值为：
[0085]T={Tjm= 0，1，2，…，K} (12)
[0086] 将基本层分为不同的亮度区域后，从输入图像中选择各区的最佳曝光示例图像。 最佳曝光示例图像的选择仍然在la0空间的1通道进行。通过上述方法将输入图像分成 N个亮度区域，分别标记为1，2…N区后，通过梯度和信息熵的大小来选择各区的最佳曝光 示例图像。定义第i幅图像，第k区，k= 1，2…N的效用函数U(i，k)，函数为：
[0088] 万r，互f分别代表第i幅图像，第k分区的梯度和熵的均一化值大小。如式（14) 和（15)所示，公式中N代表共有N幅图像，i代表第i幅图像，试>是第i幅图像第k个聚 类类别的梯度大小，是第i幅图像第k个聚类类别的信息熵大小：
[0091] 最佳曝光示例图像通过公式（16)获得：
[0093] (3)场景迀移
[0094] 通过图像预处理，得到了图像的基本层和分区最佳曝光示例图像。通过场景迀移， 将各区的最佳曝光示例图像的纹理和颜色信息迀移到基本层中。场景迀移包括纹理迀移和 颜色迁移。
[0095] 纹理迀移可以通过泊松编辑（1通道）的方式，在梯度区域将分区最佳曝光示例图 像的细节信息克隆到基本层中。通过纹理迀移，得到纹理清晰的纹理合成图像。泊松编辑 的示意图如附图2所示。
[0096] 泊松编辑在待编辑的区域建立一个满足Dirichiet边界条件的Poisson方程，使 区域内部的Laplace值等于待插入对象内部的Laplace值，边界条件仍等于待编辑区域的 原始边界值，通过数值方法解出上述Poisson方程得到区域内部的灰度值，即为无缝插入 编辑后的效果。基于Poisson方程的图像编辑方法本质上是在待编辑图像F中的区域Q内进行有约束条件的插值（guidedinterpolation)。设图像F的原始灰度值为fQ，插值计 算后D区域的灰度值变为产。向量场V为来自图像G中的待插入对象g的梯度场，作为约 束条件。如附图2所示。这样图像编辑问题可转变为求解能量函数最小值的变分问题，而 且为了让待插入对象能够无缝地融合到区域D中，需要使产在D边界上满足等于f〇原始 边界的灰度值。见公式（17)。
[0098] 由Euler-Lagrange方程可知，式（17)的最小值求解问题可转化为一个PDE方程。
[0099] Af*=divV(18)
[0100] 其中
为Laplace算子，div为散度计算符，
V =(u,v)，
，从而式（18)可写成标准Poisson方程的形式：
[0101]Af*(x,y) =Ag(x,y) (x,y)GQ(19)
[0102] 因为在有界域上的一个标量函数可由它的边界值和内部Laplace值唯一确定，所 以上面的Poisson方程（19)有唯一解。另外，根据Laplace算子计算得到的图像二阶起伏 特性从视觉感知上能够很好地反映图像的起伏特征，从而体现图像的内容。而通过解方程 (19)可以使区域Q内的Laplace值满足与待插入对象g的Laplace值相等，所以上述方法 可以较好地使待编辑区域D的内容与待插入对象g相像，而且该方法无需精确选定待插入 对象的轮廓，并在边界处能够无缝地融合。
[0103] 受到泊松图像编辑中的无缝克隆技术的启发，我们将细节信息的融合看作一个图 像区域块的图像克隆问题。我们将把最佳曝光示例图像的细节信息克隆到基本层中。在梯 度区域进行运算是十分快速的。计算每一幅输入图像1通道的梯度图，设定Gg= ▽ 1 b_，其 中
是梯度运算器，Gg是基本层的梯度信息。在梯度域的细节信息的融合可以表 述如下：
[0105] 其中，G(x，y)是融合输出图像的梯度。Qk表示被分割的区域块k，相应的最佳曝 光输入图像是lK〇〇。R(k)通过式（16)获得。通过式（20)可以获得最终的融合图像的梯度 图。对于基本层，只有位于不同亮度区域（强边缘）的梯度值比较大。因此，对于给定的亮 度区域的梯度应该从最佳曝光图像中选择。
[0106] 梯度场应当是可积的（旋度为零）。但是，融合的梯度图式（20)可能是不可积的。 因此，多曝光融合的问题可以通过以下的求解最小值解决：
[0108] 其中D表示图像的空间域。在（21)中，我们寻找一幅梯度接近G的图像1。
[0109] 根据变分原理，（21)是泊松方程（20)的唯一解，将式（21)最小值求解问题可转 化为一个PDE方程，如式（22)。
[0110] A1 =div(G) (22)
[0111] 其中
-是拉普拉斯算子，div(G)是场G的散度。这个泊松方程将把不 可积的输入场映射成一个零旋度的可积梯度场，于是能重建纹理迀移的结果的亮度值1。解 泊松方程得到的1通道的取值范围可能会出现整体下移或上移，偏离1通道的理论取值范 围，因此在解方程之后将解方程得到的1通道值按比例归一化到1的理论取值范围中，得到 最终的纹理迀移1通道值。纹理迀移图像的a，0值取所有输入图像的平均值。例如当输 入图像为三幅曝光差为1的输入图像时，纹理合成图像的a值为（a_1+a(l+ai)/3, 0值 为（|3 勺+ |3 〇+ |3 工)/3〇
[0112] 纹理迀移之后，得到纹理迀移后的1通道值，较好的保持了亮区和暗区的细节纹 理信息，为了同时较好的保持场景的颜色信息，通过颜色迀移的方法，将最佳曝光示例图像 的颜色迀移到纹理后的图像中。颜色迀移是指输入一幅参考图像和一幅目标图像，经过处 理，输出一幅保持目标图像形状特 征并拥有参考图像色彩特征的图像。
[0113] 在1a0颜色空间统计纹理合成图像和各分区最佳曝光示例图像的颜色信息，计 算各通道的均值和方差，通过颜色调整权重函数，将最佳分区示例图像的颜色迀移到纹理 图像，得到纹理和颜色信息都得到提高的合成图像，如公式（23)。
[0117] 其中k为分区号，k= 1，2,…，N，当输入图像数N=3时，k= 1，2,3分别代表暗 区，中等亮度区和暗区。
代表k区目标图像所有像素的1颜 色轴，a颜色轴，0颜色轴的的方差和均值。
代表k区最佳示 例图像（参考图像）的所有像素的1颜色轴，a颜色轴，0颜色轴的方差和均值 °Iresult(k) (i，j)，aresult(k) (i，」?) ^ ^result(k) (i，j)分别代表结果图像位置为（i，j)的像素点的1颜色 轴，a颜色轴，0颜色轴的值。lt〇〇(i，j)，at〇〇(i，j)，et〇〇(i，j)分别代表k区目标图像 位置为（i，j)的像素点的1颜色轴，a颜色轴，颜色轴的值。fuGO是k区位置为（i，j) 的像素点的颜色调整权重函数。
[0120] RF)足k区的目标图像的各个像素矢量，该矢量各通道投影分别记为ltao、at〇〇、 0too。咐Va./J为目标图像的各通道像素均值，分别为a，⑷和。
[0121] 颜色迀移之后，得到了纹理和颜色信息都较好的保持的高动态范围图像。本方法 融合的高动态范围图像在曝光差较大时，仍能较好的保持场景的纹理和颜色信息，避免出 现由于曝光差增大而出现的亮度反转和颜色失真问题。
[0122] 将本方法与基于聚类，基于像素，基于块的多曝光图像融合方法进行比较评价， 客观评价测试了平均结构相似度（MSSIM)和CIE1976L*a*b*均匀色差空间的色差函数
。其中AEab指结果图像与参考图像的CIE1976L*a*b*色差。对于每 一个测试的HDR场景，通过PhotomatixPro4. 2. 3软件映射成一幅LDR标准图像作为参考 图像。图3为本方法与其他方法融合结果的结构相似度比较，图4是本方法与其他方法融 合结果的CIE1976L*a*b*色差函数比较。本发明基于la0空间纹理迀移的多曝光图像的 融合方法，可对高对比度场景进行有效成像，达到同时提高图像的颜色和纹理信息的目标。 本发明创新处在于在传统多曝光图像融合的方法的前提下加入了颜色迀移，使融合效果颜 色信息丰富，视觉效果提高。本发明应用范围广泛，可用于夜晚街景监控图像处理以及为摄 影艺术家提供数码照片处理工具。
【主权项】
1. 一种基于Ια β空间场景迀移的多曝光图像融合方法；其特征在于分为：颜色空间 转换，图像预处理和场景迀移三个部分；图像预处理步骤包括基本层估计，亮度级别分割， 最佳曝光示例图像选择三个步骤；场景迀移步骤包括纹理迀移和颜色迀移两个步骤；颜色 空间转换部分，将N幅输入图像的颜色空间由RGB空间转换到1 α β颜色空间，其中Ν> = 3 ;图像预处理步骤，首先在1通道进行基本层估计，得到图像的整体亮度分布，然后将基本 层分为N个亮度级别；亮度级别分割之后通过梯度和熵的方式选择各区的最佳曝光示例图 像；场景迀移步骤首先在1通道将各区的最佳曝光示例图像的纹理信息通过泊松编辑的方 式迀移到基本层中，得到纹理迀移图像的1通道值，并对所有输入图像的其他两个通道取 平均分别作为纹理迀移图像的α通道和β通道值；之后通过颜色迀移的方式，在1，α，β 三个通道中，将最佳曝光示例图像的颜色信息迀移到纹理迀移的结果图像中，最后将调整 后的图像由1 α β空间转换到RGB空间。2. 根据权利要求1所述的一种基于Ια β空间纹理和颜色迀移的多曝光图像融合方 法，其特征在于，具体步骤如下： 2. 1颜色空间转换： 首先输入N幅同一场景具有不同曝光参数的图像，其中Ν> = 3 ;并对其进行颜色空间 转换，从RGB空间转换到Ια β空间；对图像进行处理后，再将结果图像从Ια β空间转换 到RGB空间； 2. 2图像预处理： 在场景迀移之前，需要对输入图像进行预处理；首先在1通道进行背景亮度估计，即基 本层估计，得到场景的整体亮度分布，基本层为1通道所有图像的平均值；然后，对基本层 进行亮度级别分割，将其分为N个不同的亮度级别，N = 3时，分为暗区、中等亮区和高亮区， 亮度级别的分割采用基于直方图的K均值聚类的方法；由于在RGB空间转换到1 α β空间 的过程中，经过了取对数运算，因此数据范围很小而且会出现负值，通过计算，Ια β的1通 道取值范围在-1. 6~4. 4之间，将1通道值按照比例，归一化到O~255之间之后再进行 聚类；最后，为每个亮度级别从输入图像中选择一幅具有最佳曝光参数的输入图像作为纹 理和颜色迀移的最佳曝光示例图像； 2. 3场景迀移： 预处理之后，将预处理得到的最佳曝光示例图像的纹理信息迀移到基本层中；纹理迀 移采用基于泊松编辑的思想，在梯度域将最佳示例样本图像的纹理迀移到基本层中，通过 解泊松方程得到纹理迀移后的1通道值并将其按比例归一化到1通道的理论范围中； 纹理迀移之后是颜色迀移，为了同时保持场景的纹理和颜色信息，通过颜色迀移的方 法，如式（1-1)，将最佳曝光示例图像中的颜色色调迀移到纹理迀移的结果图像中；其中k为分区号，k= 1，2…N ;当输入图像数N= 3时，k= 1，2, 3时分别代表暗区、 中亮区和高亮区；t ^ 代表k区目标图像所有像素的1颜色轴，α ) J > J > 颜色轴，β颜色轴的的方差和均值；I代表k区最佳示例图像的 所有像素的1颜色轴，α颜色轴，β颜色轴的方差和均值；1 result (k) (土，J·) ^ ^ result (k) (i， j)， i^sult〇o (i，j)分别代表结果图像位置为（i，j)的像素点的I颜色轴，α颜色轴，β颜色轴 的值山(k) (i，j)，a t(k) (i，j)，β t(k) (i，j)分别代表k区目标图像位置为（i，j)的像素点的 1颜色轴，α颜色轴，β颜色轴的值；(k)是k区位置为（i, j)的像素点的颜色调整权重 函数；办7)足k区目标图像的各个像素矢量，该矢量各通道投影分别记为lt(k)、at(k)、f3 t(k); 兩?；为目标图像的各通道像素均值，分别为^；，?和^;场景迀移之后，将结果图 像从1 α β空间转换到RGB空间。
【专利摘要】一种基于lαβ空间场景迁移的多曝光图像融合方法涉及数字图像处理方法。本发明分为颜色空间转换，图像预处理和场景迁移三部分；图像预处理步骤包括基本层估计，亮度级别分割，最佳曝光示例图像选择三个步骤；场景迁移步骤包括纹理迁移和颜色迁移两个步骤；颜色空间转换部分，将N幅输入图像的颜色空间由RGB空间转换到lαβ颜色空间，其中N>＝3；图像预处理步骤，首先在l通道进行基本层估计，得到图像的整体亮度分布，然后将基本层分为N个亮度级别；亮度级别分割之后通过梯度和熵的方式选择各区的最佳曝光示例图像；本发明将同一场景多幅具有不同曝光参数的图像融合为具一幅有高亮度动态范围的图像，同时提高图像的纹理和颜色信息质量。
【IPC分类】G06T5/50
【公开号】CN104899845
【申请号】CN201510233170
【发明人】李晓光, 王海莲, 卓力
【申请人】北京工业大学
【公开日】2015年9月9日
【申请日】2015年5月10日
最新回复(0)