一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法

一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法
【技术领域】
[0001] 本发明设及一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方 法，属于数字图像处理领域，它主要设及数学形态学和图像融合技术。图像融合可W有效提 高图像信息的利用率，并且为图像理解与分析等奠定良好基础。因此，多聚焦图像融合在各 类基于图像的应用系统中有广阔的应用前景。
【背景技术】
[0002] 多聚焦图像融合技术是一种获得所有物体都处于聚焦状态的合成图的重要技术。 由于相机镜头聚焦范围有限，很难使镜头内的所有物体都处于聚焦状态。因此，需要多聚焦 融合技术将同一场景中位于不同距离的景物都清晰的呈现在一幅图像中，使得图像信息能 够被更有效地利用。该对人眼视觉观察和计算机处理与识别都具有非常重要的意义，如为 目标识别、显微成像和军事作战等应用提供更多的有用信息。但是，由于很难对所有区域的 清晰度进行准确地度量，有效地检测多聚焦图像中的聚焦区域是一个具有挑战性的问题。 因此，多聚焦图像融合技术是非常困难的。
[0003] 国内外研究者提出了不同类型的方法来融合多聚焦图像，该些方法大致分为 两类；变换域图像融合方法和空间域图像融合方法。基于金字塔分解的方法（参见文 献；彼得罗维奇等，基于梯度的多分辨率分析图像融合方法，美国电子电气工程师协会 图像处理汇刊，13 (2) (2004) 228 - 237。（V.S.化trovic,C.S.Xydeas,Gradient-based multiresolutionimagefusion,IEEETransactionsonImageProcessing,13 (2) (2004)228 - 237.))和基于小波变换的方法（参见文献；李等，利用小波变换的多传感 器图像融合，图形模型和图像处理，57 (3) (1995) 235 - 245。化.Li,B.S.Man化nath,S. K.Mitra,Multisensorimagefusionusingthewavelettransform,GraphicalModels andImageProcessing,57(3) (1995)235 - 245.))是常用的变换域融合方法。该些方法 虽然已经被广泛应用在图像融合领域，但是该类方法在变换融合过程中会或多或少地损 失图像的原始信息，并且会对图像的边缘信息具有一定的加权，导致融合图像边缘的模 糊。常见的空间域融合方法包括；基于像素的多聚焦图像融合方法和基于分块的多聚焦 图像融合方法。其中，基于像素的多聚焦图像融合方法是较简单的一种。但是，该种方法 通常会降低图像的对比度，并且对融合图像的边缘造成一定的模糊。基于分块的融合方 法（参见文献；黄等，基于多聚焦图像融合的清晰度度量评价方法，模式识别快报，28(4) (2007)493 - 500。（W.Huang,Z.Jing,Evaluationoffocusmeasuresinmulti-focus imagefusion,PatternRecognitionLetters28(4) (2007)493 - 500.))先将图像分割成 大小相同的图像块，然后利用脉冲禪合神经网络选取清晰度较大的图像块，最后通过一致 性检测重建得到较好的融合图像。基于分块的方法考虑了局部像素的相关性，但是融合效 果依赖于分块大小，并且难W度量复杂图像的清晰程度，往往会导致融合图像出现块效应。
[0004] 多聚焦图像融合的关键是从每幅源图像中准确地提取出聚焦区域。通过对多聚 焦图像的分析，发现图像梯度能够很好地表征图像清晰度。采用图像梯度来表征图像清 晰度，并利用一定的扩散方法，获得多聚焦图像的清晰度分布图，能够较准确地从每幅多 聚焦源图像中提取出聚焦区域。然后，结合形态学小面积移除运算和开闭运算，采用自由 边界条件活动轮廓模型（参见文献；伯±麦等，自由边界条件活动轮廓及其在视觉的应 用，可视计算进展，6938:180-191, 2011。（M.化emesh,and0.Ben-化址ar.Rreeboundary conditionsactivecontourswithapplicationsforvision.AdvancesinVisual Computing, 6938:180-191，2011.))来优化清晰度分布图的分界线，将得到更为准确的分界 线，进而可从多聚焦源图像中拷贝聚焦区域到对应的区域，融合成一幅各处清晰的融合图 像。
[0005] 为了得到一幅视觉效果更好的融合图像，本发明提出了一种利用形态学和自由边 界条件活动轮廓模型的多聚焦图像融合方法。

【发明内容】

[0006] 多聚焦图像融合是图像理解与图像分析的关键技术。但现有的图像融合方法并不 能很好地将不同聚焦距离的源图像融合在一起，生成的融合图像对比度较低、存在块效应 或边缘模糊现象等。
[0007] 为了解决上述问题并弥补传统方法的不足，本发明提出了一种利用形态学和自由 边界条件活动轮廓模型的多聚焦图像融合方法。首先，计算图像的梯度特征，再利用梯度特 征构造图像初始清晰度分布图；其次，由初始清晰度分布图W-定的扩散方式计算得到粗 趟清晰度分布图，再由粗趟清晰度分布图确定最终清晰度分布图；接着，针对最终清晰度分 布图中被误认为是聚焦的小块离焦区域和被误认为是离焦的小块聚焦区域，利用形态学小 面积移除运算将它们剔除，再利用形态学开闭运算和小面积移除运算交替对最终清晰度分 布图进行处理；继而，利用边缘提取、形态学桥接运算和细化运算从初始融合决策图像中提 取聚焦区域和离焦区域的单个像素宽度的分界线，将所得分界线作为自由边界条件活动轮 廓模型的初始值；此后，由自由边界条件活动轮廓模型得到边界线图像，并根据边界线图像 和初始融合决策图像，得到最终融合决策图像；最后，根据多聚焦图像融合的决策图像及制 定的融合准则，生成一幅各处清晰的最终融合图像。多聚焦图像融合的结果，是图像处理相 关应用的重要前提。
[000引本发明一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，它 包含W下具体步骤：
[0009] 步骤一；根据图像梯度构造图像初始清晰度分布图OFMi(X，y)。
[0010] 首先，计算源图像fi(X，y)(i= 1，2)的梯度Gi(X，y);
[0011] Gi(x，y) =▽fi(x，y)，
[001引其中，（x，y)是图像的像素坐标。
[001引然后，计算每幅源图像(X，y)的梯度Gi(X，y)中每个像素位置（X，y)的像素值与W该像素为中屯、3X3邻域内各个像素值之差的平方和，将所得结果作为该像素位置的初 始清晰度分布图OFMi(X，y)，即
[0014]
[0015] 步骤二；由初始清晰度分布图OFMi(X，y)计算得到粗趟清晰度分布图CFMi(X，y)， 再由CFMi(X，y)确定最终清晰度分布图FFMi(X，y)。
[0016] 首先，计算初始清晰度分布图0FMi(x，y)中每个像素位置（x，y)的像素值与W该 像素为中屯、3X3邻域内各个像素值之和，将所得结果作为粗趟清晰度分布图CFMi(x，y):
[0017]
[001引然后，将得到的CFMi(X，y)作为OFMi(X，y)，如此再迭代M-1次，将最终得到的结果 作为粗趟清晰度分布图CFMi(X，y)。
[0019] 最后，在比较所有粗趟清晰度分布图CFMi(X，y)的基础上，WCFMi(X，y)作为参考， 若CFMi(x,y) >CFM2(x,y)，现J最终的清晰度分布图FFM(x,y)取1，否则取0,即
[0020]
[0021] 若某区域的CFMi(x，y)较大，则表示fi(x，y)中对应的区域是聚焦的；若某区域的 CFMi(X，y)较小，则表示(X，y)中对应的区域 是离焦的。
[0022] 步骤利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图 FFM(x，y)处理，得到初始融合决策图像0D。
[002引首先，利用形态学小面积移除运算对最终清晰度分布图FFM(x，y)处理。若FFM(x，y)中某区域像素数小于虹Xn/40]，则该区域是小块区域。通过形态学小面积移除 运算得到ODi;
[0024]ODi=RS0(FFM(X，y)，虹Xn/40])。
[002引其中，m是源图像的高，n是源图像fi的宽，[?]为取整运算，RSO('）是形态 学小面积移除操作。通过形态学小面积移除运算，可W将聚焦区域中被误认为是离焦区域 和离焦区域中被误认为是聚焦区域的小块区域去掉。
[0026] 然后，利用结构元素B对ODi进行数学形态学开运算，接着，利用形态学小面积移 除运算将开运算后生成被误认为是聚焦区域的小面积区域剔除，得到〇〇2,即
[0027] 孤2=孤i〇B。
[002引其中，0是数学形态学开运算，结构元素B为圆形扁平结构元素。
[0029] 最后，利用结构元素B对0化进行数学形态学闭运算，接着，利用形态学小面积移 除运算将闭运算后生成被误认为是离焦区域的小面积区域剔除，即可得到初始融合决策图 像0D，即
[0030] 孤二孤2 ?B。
[0031] 其中，?是数学形态学闭运算，结构元素B为圆形扁平结构元素，大小和开运算的 大小一样。
[0032] 步骤四；从初始融合决策图像0D提取聚焦区域和离焦区域的分界线Li(i=
[0033] 通过边缘提取、形态学桥接运算和形态学细化运算从初始融合决策图像0D提取 聚焦区域和离焦区域的分界线Li(i= 1，. . .，1)。其中，1为初始融合决策图像0D中聚焦 区域和离焦区域的分界线数目。
[0034] 步骤五：由自由边界条件活动轮廓模型，得到边界线图像Lfhai，并根据边界线图像 Lfhd和初始融合决策图像OD，得到最终融合决策图像Dfhai。
[0035] 首先，将提取到的聚焦区域和离焦区域的分界线作为自由边界条件活动轮廓模型 的初始轮廓Li(i= 1，. . .，1)，运行自由边界条件活动轮廓模型N次得到边界线图像Lfhai。
[0036] 然后，在边界线图像Lfhai分割的每个区域中，根据初始融合决策图像0D确定每一 个区域的清晰度。若边界线图像Lfhai中的某一区域R在初始融合决策图像0D中取1，则区 域R取值为1，拷贝源图像(X，y)中对应的区域到区域R;若边界线图像Lfi。。冲的某一区 域R在初始融合决策图像0D中取0,则区域R取值为0,拷贝源图像f2 (X，y)中对应的区域 到区域R。从而，获得最终融合决策图像Dfhai。
[0037] 步骤六：根据多聚焦图像融合的决策图像Dfi。。及制定的融合准则，生成最终的融 合图像。
[003引为使融合图像在边界处平缓过渡，制定了融合准则。本发明中，制定的融合准则如 下：
[0039] 首先，在决策图像0"。。1中，对边界进行高斯平滑，使边界的权重为高斯权重，平滑 后的最终决策图像为Dfhaic。
[0040] 然后，WDfinalG为权重拷贝源图像f1片y)到融合图像，Wl-DfinalG为权重拷贝源 图像f2 (X，y)到融合图像，两者之和即为最终的多聚焦融合图像f(X，y)，表示为
[0041] f(X，y) =Df化aiG><fi(x，y) + (l-DfinaiG)Xf2(x，y)。
[0042] 本发明的优点及功效在于；利用图像梯度表征多聚焦融合图像的清晰度，效果准 确且稳定，能够有效利用源图像的信息；结合形态学的小面积移除、开闭运算等运算能够有 效地提取多聚焦图像中聚焦区域和离焦区域的分界线；自由边界条件活动轮廓模型能够 使聚焦区域和离焦区域的分界线更准确，从而能够获得各处清晰的视觉效果良好的融合图 像。同时，本发明方法能够保留源图像的原始信息，不会产生对图像对比度、亮度有影响。因 此，本发明可W被广泛地应用于各类基于图像处理的应用系统，具有广阔的市场前景与应 用价值。
【附图说明】
[0043] 图1为本发明利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 的流程框图。
[0044] 图2为本发明结构元素B的形状表示图。
[0045] 图3(a)和3(b)是应用于图像融合的"时钟"多聚焦源图像。
[0046] 图3(c)是本发明方法的融合结果图像。
[0047] 图4(a)和4(b)是应用于图像融合的"气球"多聚焦源图像。
[0048] 图4(c)是本发明方法的融合结果图像。
[0049] 图5(a)和5(b)是应用于图像融合的"猎豹"多聚焦源图像。
[0050] 图5(c)是本发明方法的融合结果图像。
[0051] 图6 (a)和6(b)是应用于图像融合的"图书"多聚焦源图像。
[0化引图6(c)是本发明方法的融合结果图像。
[0化3] 图中符号说明如下：
[0054] 图1中，fi(X,y)、(X，y)为多聚焦源图像；Gi(X,y)、Gg(X,y)为图像的梯度， OFMi(X，y)、0FM2 (X，y)为初始清晰度分布图。
【具体实施方式】
[0055] 为了更好地理解本发明的技术方案，W下结合附图对本发明的实施方式作进一步 描述。本发明的原理及流程框图如图1所示，本发明的具体实施细节如下：
[0056] 步骤一；根据图像梯度构造图像初始清晰度分布图OFMi(X，y)。
[0化7] 图像的梯度特征能够很好地表征图像的清晰度。对灰度图像中的某一区域而言， 聚焦区域的灰度变化比离焦区域的灰度变化剧烈。而灰度变化反应在梯度特征上，因此可W使用图像的梯度特征来表征图像的清晰度。理想情况下，每幅源图像的聚焦区域中每个 像素位置的梯度都比其他源图像的离焦区域中对应像素位置的梯度大。因此，本发明利用 每幅源图像梯度的每个像素位置的像素值和它的八邻域的各个像素值之差的平方和来构 造初始清晰度分布图OFMi(X，y)。
[0058] 首先，计算源图像fi(X，y)(i=1，2)的梯度Gi(X，y);
[0059]Gi(x,y)= V f. (x,y),
[0060] 其中，（x，y)是图像的像素坐标。
[OOW] 然后，计算每幅源图像(X，y)的梯度Gi(X，y)中每个像素位置（X，y)的像素值与 W该像素为中屯、3X3邻域内各个像素值之差的平方和，将所得结果作为该像素位置的初 始清晰度分布图OFMi(X，y)，即
[0062]
[0063]步骤二；由初始清晰度分布图OFMi(X，y)计算得到粗趟清晰度分布图CFMi(X，y)， 再由CFMi(X，y)确定最终清晰度分布图FFMi(X，y)。
[0064] 由于初始清晰度分布图OFMi(X，y)是在像素的八邻域上计算得到的，只能表征局 部的信息，而且某些聚焦区域中每个像素位置的像素值与其八邻域像素值平方和之差有可 能会小于离焦区域的。该时，如果对每幅图像中的每个像素位置的像素值在其八邻域范围 内进行扩散，就可W对清晰度分布有更准确的估计，有效避免出现过小的孤立区域。因此， 本发明采用迭代计算初始清晰度分布图OFMi(X，y)的每个像素位置的像素值与其八邻域各 个像素值之和来构造粗趟清晰度分布图CFMi(X，y)。
[0065] 首先，计算初始清晰度分布图OFMi(x，y)中每个像素位置（x，y)的像素值与 W该像素为中屯、3X3邻域内各个像素值之和，并将所得结果作为粗趟清晰度分布图 CFMi(x,y)；
[0066]
[0067]然后，将得到 的CFMi(X，y)作为OFMi(X，y)，如此再迭代M-1次，实现利用扩散消除 过小的孤立区域的目的，并将最终得到的结果作为粗趟清晰度分布图CFMi(X，y)。
[0068] 最后，在比较所有粗趟清晰度分布图CFMi(X，y)的基础上，WCFMi(X，y)作为参考， 若CFMi(X，y) >CFM2(X，y)，则最终的清晰度分布图FFM(x，y)取1，否则取0,即
[0069]
[0070] CFMi(X，y)能够反应源图像每个像素位置的清晰度分布。若某区域的CFMi(X，y)较 大，则表示源图像fi(x，y)中对应的区域是聚焦的诺某区域的CFMi(x，y)较小，则表示源图 像fi(X，y)中对应的区域是离焦的。
[0071] 步骤利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图 FFM(x，y)处理，得到初始融合决策图像OD。
[0072] 所得的FFM(x，y)只能较准确地表示源图像的清晰度分布，在聚焦区域中仍存在 误认为是离焦的小块区域，离焦区域中也存在误认为是聚焦的小块区域。因此，需要利用形 态学小面积移除运算来移除该些小块区域。最终清晰度分布图FFM(x，y)中，聚焦区域和离 焦区域的分界处可能存在过于弯曲W至于远远偏离真实分界。因此，本发明采用形态学开 闭运算和形态学小面积移除运算对移除小块区域后的最终清晰度分布图FFM(x，y)进行处 理，使得到的聚焦区域和离焦区域的分界线更接近真实分界。
[007引首先，利用形态学小面积移除运算对最终清晰度分布图FFM(x，y)处理。本发明 中，若FFM(x，y)中某区域像素数小于虹Xn/40]，则该区域是小块区域。通过形态学小面积 移除运算得到ODi;
[0074] ODi=RS0(FFM(X，y)，虹Xn/40])。
[007引其中，m是源图像的高，n是源图像fi的宽，[?]为取整运算，RSO('）是形态 学小面积移除操作。通过形态学小面积移除运算，可W将聚焦区域中被误认为是离焦区域 和离焦区域中被误认为是聚焦区域的小块区域去掉。
[0076] 然后，利用结构元素B对ODi进行数学形态学开运算，接着，利用形态学小面积移 除运算将开运算后生成被误认为是聚焦区域的小面积区域剔除，得到〇〇2,即
[0077] 孤2=孤i〇B。
[007引其中，0是数学形态学开运算，基于膨胀和腐蚀，形态学的开运算为
[0079] 00|。公=(饼)| 〇公)留公。
[0080] 所用的结构元素B为圆形扁平结构元素。
[oow] 最后，利用结构元素B对0化进行数学形态学闭运算，接着，利用形态学小面积移 除运算将闭运算后生成被误认为是离焦区域的小面积区域剔除，即可得到初始融合决策图 像0D，即
[0082] 孤二孤2 ?B。
[0083] 其中，?是数学形态学闭运算，基于膨胀和腐蚀，形态学的开运算为
[0084] oq?公=(()公10公)0巧。
[0085] 所用的结构元素B为圆形扁平结构元素，大小和开运算的大小一样。
[0086] 步骤四；从初始融合决策图像0D提取聚焦区域和离焦区域的分界线Li(i=
[0087] 首先，通过Sobel边缘（参见文献；索贝尔，摄像机模型和机器感知，人工技 能项目，斯坦福大学，Memo.AIM-121, 1970。（I.Sobel,Cameramodelsandmachine perception,ArtificialIntelligenceProject,StanfordUniv. ,Memo.AIM-121, 1970.)) 从初始融合决策图像OD提取聚焦区域和离焦区域的分界线。
[008引接着，使用形态学桥接运算（参见文献；索爱黎，形态学图像分析；原理与应用，斯 布林格出版社，德国，2003。（P.Soille,Mo;rphologicalimageanalysis-principleand耶 plications,Springer,Germany, 2003.))连接单个像素缝隙分割的像素，使分界线能够不 间断，保持连续。
[0089] 然后，使用形态学细化运算（参见文献；索爱黎，形态学图像分析；原理与应用，斯 布林格出版社，德国，2003。（P.Soille,Mo;rphologicalimageanalysis-principleand耶 plications,SpringeriGermany，2003.))细化分界线，获取单个像素宽度的分界线Li(i= 1，...，1)。其中，1为初始融合决策图像OD中聚焦区域和离焦区域的分界线数目。
[0090] 步骤五：由自由边界条件活动轮廓模型，得到边界线图像Lfhai，并根据边界线图像 Lfhd和初始融合决策图像0D，得到最终融合决策图像Dfhai。
[0091] 一般来说，提取到的单个像素宽度的分界线Li(i= 不能够很准确地 反应聚焦区域和离焦区域的真实边界，需要再进行处理，才能获得一条更为准确的更接 近真实边界的边界线。自由边界条件的活动轮廓模型（参见文献；伯±麦等，自由边界 条件活动轮廓及其在视觉的应用，可视计算进展，6938:180-191, 2011。（M.化emesh,and 0.Ben-Shahar.Freeboundaryconditionsactivecontourswithapplicationsfor vision.AdvancesinVisualComputing, 6938:180-191,2011.))W图像梯度来构造能量 函数，符合聚焦区域和离焦区域的特点，在W分界线Li(i= 为初始轮廓的基础 上，能够有效地将轮廓收敛至真实边界。因此，本发明采用自由边界条件活动轮廓模型来寻 找更准确的边界线。
[0092] 首先，将提取到的聚焦区域和离焦区域的分界线作为自由边界条件活动轮廓模型 的初始轮廓Li(i= 1，. . .，1)，运行自由边界条件活动轮廓模型N次得到边界线图像Lfhai。
[0093] 然后，在边界线图像Lfhai分割的每个区域中，根据初始融合决策图像OD确定每一 个区域的清晰度。若边界线图像Lfhai中的某一区域R在初始融合决策图像0D中取1，则区 域R取值为1，拷贝源图像(X，y)中对应的区域到区域R;若边界线图像Lfi。。冲的某一区 域R在初始融合决策图像0D中取0,则区域R取值为0,拷贝源图像f2 (X，y)中对应的区域 到区域R。从而，获得最终融合决策图像〇"。。1。
[0094] 步骤六：根据多聚焦图像融合的决策图像D"。。及制定的融合准则，生成最终的融 合图像。
[0095] 根据多聚焦图像融合的决策图像Dfhai直接从源图像中拷贝聚焦区域到对应区域 得到的多聚焦融合图像往往会存在一些瑕疵。该些瑕疵主要由源图像中聚焦区域之间的在 边界线处拼接造成的突兀变化。因此，需要制定合适的融合准则，才能得到更好的融合结 果。为使融合图像在边界处平缓过渡，制定了融合准则。本发明中，制定的融合准则如下：
[0096] 首先，在决策图像0"。。1中，对边界进行高斯平滑，使边界的权重为高斯权重，平滑 后的最终决策图像为Dfhaic。
[0097] 然后，WDfinalG为权重拷贝源图像f1片y)到融合图像，Wl-DfinalG为权重拷贝源 图像f2 (X，y)到融合图像，两者之和即为最终的多聚焦融合图像f(X，y)，表示为
[0098] f (X，y) = DfinaicX fi (X，y) + (l-DfinaiG) X fa (X，y)。
[0099] 该样，就能够得到一幅各处清晰且视觉效果良好的融合图像。
[0100] 为了展示本发明的效果，利用图2所示构造的线性结构元素通过形态学开闭运算 对最终清晰度分布图FFM( x，y)进行处理。在所展示的实例中，结构元素的半径为5。初始 清晰度分布图OFMi(X，y)计算得到粗趟清晰度分布图CFMi(X，y)的迭代次数M= 10,自由 边界条件活动轮廓模型迭代次数N= 200。
[0101] 图3(a)-图3(c)为本发明的一个应用于"时钟"图像融合实例的结果。本组多聚 焦源图像包括一近一远两个闹钟。由图3(c)可W看出，本发明方法能够有效提取多聚焦图 像中聚焦区域和离焦区域的分界线，且利用制定的融合准则对分界线处进行处理，获得了 一幅各处清晰的融合图像。本发明方法可W有效地保持图像的原始信息，能够获得视觉效 果良好的融合图像。
[0102] 图4(a)-图4(c)为本发明的一个应用于"气球''图像融合实例的结果。本组多聚 焦图像由人工生成。由图4(c)可W看出，本发明方法能够有效提取多聚焦图像的聚焦区域 和离焦区域，有效地保存多聚焦图像的原始信息，生成一幅各处清晰的融合图像，并且融合 效果良好。
[0103] 图5(a)-图5(c)为本发明的一个应用于"猎豹"图像融合实例的结果。本组多聚 焦图像由人工生成。由图5(c)可W看出，本发明方法能够有效提取多聚焦图像的聚焦区 域和离焦区域，不会产生明显的拼接痕迹，生成一幅各处清晰的融合图像，并且融合效果良 好。
[0104] 图6(a)-图6(c)为本发明的一个应用于"图书''图像融合实例的结果。本组多聚 焦图像包括一远一近的两本书。由图6(c)可W看出，本发明方法能够有效提取多聚焦图像 的聚焦区域和离焦区域，边界处过渡较平缓，生成一幅各处清晰视觉效果良好的融合图像。 [01化]用于示例的图像来自于各种环境下拍摄和人工生成的多聚焦图像，并且从本发明 的实验结果中可W看出，本发明能够有效地实现多聚焦图像的融合。该充分说明本发明可 W被广泛应用于各类基于图像处理的应用系统中，并且具有广阔的市场前景与应用价值。
【主权项】
1. 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，其特征在 于：它包含以下具体步骤： 步骤一：根据图像梯度构造图像初始清晰度分布图OFMiOc, y); 首先，计算源图像fi (X，y) Q = 1，2)的梯度Gi (X，y): (W) = ▽/;(.、>，)， 其中，（x，y)是图像的像素坐标； 然后，计算每幅源图像fi(x，y)的梯度Gi(x，y)中每个像素位置（x，y)的像素值与以该 像素为中心3X3邻域内各个像素值之差的平方和，将所得结果作为该像素位置的初始清 晰度分布图OFE (X. V)，即步骤二：由初始清晰度分布图OFMi (X，y)计算得到粗糙清晰度分布图CFMi (X，y)，再由 CFMi (X，y)确定最终清晰度分布图FFMi (X，y); 首先，计算初始清晰度分布图OFMi (X，y)中每个像素位置（X，y)的像素值与以该像素 为中心3X3邻域内各个像素值之和，将所得结果作为粗糙清晰度分布图CFMiOc, y):然后，将得到的CFMi (X，y)作为OFMi (X，y)，如此再迭代M-I次，将最终得到的结果作为 粗糙清晰度分布图CFMi (X，y); 最后，在比较所有粗糙清晰度分布图CFMi (X，y)的基础上，以CFM1 (X，y)作为参考，若 CFM1 (X，y) > CFM2 (X，y)，则最终的清晰度分布图FFM(x，y)取1，否则取0,即若某区域的CFMi (X，y)较大，则表示& (X，y)中对应的区域是聚焦的；若某区域的 CFMi (X，y)较小，则表示A (X，y)中对应的区域是离焦的； 步骤三：利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图 FFM(X，y)处理，得到初始融合决策图像OD ; 首先，利用形态学小面积移除运算对最终清晰度分布图FFM(X，y)处理，若FFM(X，y) 中某区域像素数小于[mXn/40]，则该区域是小块区域；通过形态学小面积移除运算得到 OD1: OD1= RS0(FFM(x, y), [mXn/40])； 其中，m是源图像&的高，η是源图像匕的宽，[·]为取整运算，RS0(·)是形态学小 面积移除操作；通过形态学小面积移除运算，将聚焦区域中被误认为是离焦区域和离焦区 域中被误认为是聚焦区域的小块区域去掉； 然后，利用结构元素 B对(^进行数学形态学开运算，接着，利用形态学小面积移除运 算将开运算后生成被误认为是聚焦区域的小面积区域剔除，得到OD2，即 OD2 = OD x 〇 B ； 其中，。是数学形态学开运算，结构元素B为圆形扁平结构元素； 最后，利用结构元素B对OD2进行数学形态学闭运算，接着，利用形态学小面积移除运 算将闭运算后生成被误认为是离焦区域的小面积区域剔除，即可得到初始融合决策图像 0D，即 OD = OD2 · B ; 其中，?是数学形态学闭运算，结构元素B为圆形扁平结构元素，大小和开运算的大小 一样； 步骤四：从初始融合决策图像OD提取聚焦区域和离焦区域的分界线LiQ = I j...j1); 通过边缘提取、形态学桥接运算和形态学细化运算从初始融合决策图像OD提取聚焦 区域和离焦区域的分界线LiQ = 1，...，1);其中，1为初始融合决策图像OD中聚焦区域和 离焦区域的分界线数目； 步骤五：由自由边界条件活动轮廓模型，得到边界线图像Lfinal，并根据边界线图像 Lfinal和初始融合决策图像〇D，得到最终融合决策图像D final; 首先，将提取到的聚焦区域和离焦区域的分界线作为自由边界条件活动轮廓模型的初 始轮廓Li (i = 1，...，1)，运行自由边界条件活动轮廓模型N次得到边界线图像Lfinal; 然后，在边界线图像Lfinal分割的每个区域中，根据初始融合决策图像OD确定每一个区 域的清晰度；若边界线图像Lfinal中的某一区域R在初始融合决策图像OD中取1，则区域R 取值为1，拷贝源图像(X，y)中对应的区域到区域R ;若边界线图像Lfinal中的某一区域R 在初始融合决策图像OD中取0,则区域R取值为0,拷贝源图像f 2 (X，y)中对应的区域到区 域R，从而，获得最终融合决策图像Dfinal; 步骤六：根据多聚焦图像融合的决策图像Dfinal及制定的融合准则，生成最终的融合图 像； 为使融合图像在边界处平缓过渡，制定的融合准则如下： 首先，在决策图像Dfinal中，对边界进行高斯平滑，使边界的权重为高斯权重，平滑后的 最终决策图像为Dfinale; 然后，以Dfinale为权重拷贝源图像f七，y)到融合图像，以I-Dfinale为权重拷贝源图像 f2 (X，y)到融合图像，两者之和即为最终的多聚焦融合图像f (X，y)，表示为 f(x,y)= DfinalG Xf1 (x, y) + (l-D finalG )Xf2(x，y)。
【专利摘要】一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法，步骤是：一、利用梯度特征构造图像初始清晰度分布图；二、由初始清晰度分布图计算得到粗糙清晰度分布图，再确定最终清晰度分布图；三、利用形态学小面积移除运算和形态学开闭运算对最终清晰度分布图进行处理得到初始融合决策图像；四、从初始融合决策图像中提取聚焦区域和离焦区域的分界线，此分界线为自由边界条件活动轮廓模型的初始值；五、由自由边界条件活动轮廓模型得到边界线图像，并根据边界线图像和初始融合决策图像得到最终融合决策图像；六、根据多聚焦图像融合的决策图像及设定的融合准则，生成一幅各处清晰的最终融合图像。本发明广泛应用于各类图像处理的应用系统。
【IPC分类】G06T5/50
【公开号】CN104881855
【申请号】CN201510315767
【发明人】白相志, 刘妙明
【申请人】北京航空航天大学
【公开日】2015年9月2日
【申请日】2015年6月10日