一种基于黎曼度量的自适应多策略图像融合方法
一种基于黎曼度量的自适应多策略图像融合方法
【技术领域】
[0001] 本发明属于图像融合技术领域，特别是一种基于黎曼度量的自适应多策略图像融 合方法。
【背景技术】
[0002] 图像融合的过程是对源图像特征提取的过程，但是有时直接对图像灰度值的操作 不能达到很好的区分度，因此可以通过把图像转换成包含更丰富信息的形式，比如结构张 量，来产生更有区分度的特征（编码彩色、梯度等）。纹理是图像的最重要的特征之一，因此 充分考虑图像的纹理信息可以提高融合图像的质量。
[0003] 作为一种快速局部处理方法，结构张量已经被用来进行纹理分析，它可以作为边 缘保持以及方向的测度。结构张量是一类非常特殊的矩阵（正定对称矩阵），其位于黎曼流 形（赋予黎曼度量的微分流形）上。黎曼空间的操作不再遵循欧式几何，因为它不属于向 量空间，比如该空间对乘以负数不封闭，因此不能利用传统的欧式几何运算进行操作。
[0004] 根据Pennec对医学图像处理的研宄，Affine-Invariant度量（AI)和 Log-Euclidean度量（LE)为处理张量提供了有力的工具。Caseiro等提出了一种基于张量 域黎曼框架的前景分割方法，定义了张量流形上的核密度估计模型（KDE)，赋予了张量流形 两种度量方式：Affine-Invariant度量（AI)和Log-Euclidean度量（LE)，取得了很好的分 割效果。王国刚提出了一种基于黎曼度量的Hausdorff距离图像匹配算法，在匹配的准确 性、抵抗噪声干扰和光照变换等方面效果良好。刘佳提出了一种基于协方差描述子和黎曼 流形的语音情感识别方法，利用仿射不变度量实现了较好的识别效果。鉴于黎曼度量在图 像其他领域的良好应用，因此本发明将黎曼度量引入到图像融合中，以期获得更好的融合 效果。
【发明内容】
[0005] 本发明的目的在于提供一种基于黎曼度量的自适应多策略图像融合方法，能够实 现对多源图像进行高效的图像融合。
[0006] 实现本发明目的的技术解决方案为：一种基于黎曼度量的自适应多策略图像融合 方法，包括以下步骤： 步骤1)，源图像多尺度分解：对源图像进行平移不变剪切波变换（SIST)分解，得到低 频子带系数和一系列高频子带系数； 步骤2)，低频子带系数融合：对于步骤1)得到的低频子带系数，采用基于加权平均的 融合策略，得到低频融合子带系数； 步骤3)，高频子带系数融合：对于步骤1)得到的高频子带系数，给出了一种黎曼空 间不相似度，采用基于黎曼度量的自适应多策略融合规则进行融合，得到高频子带融合系 数； 步骤4)，图像重构：将步骤2)得到的低频融合子带系数和步骤3)得到的高频子带融 合系数进行SIST逆变换，得到最终融合图像。
[0007] 所述步骤1)具体为：将待融合的两幅MxJV源图像』和3，利用SIST分别将两幅 图像分解为低频子带与高频子带系数
为低频子带系 数；<5*和<7为一系列高频子带系数。
[0008] 所述步骤2)具体为：对得到的低频子带系数采用加权平均的融合规则进行融合。
[0009] 式中，
分别表示源图像以及融合图像F在 点(x&v)处对应的低频系数。
[0010] 所述步骤3)包括如下步骤： a)计算高频子带系数的结构张量 对于图像中的某一点
的邻域，这点的 局部梯度向星为：
其中：
分别为jc和>F方向的导数。
[0011] 利用梯度向量可以得到点的结构张量：
其中，
分别为I和jr方向的导数；*为卷积运算，&是标准 差为#的高斯核。
[0012] b)黎曼空间不相似度S ①基于AI(Affine-Invariant)度量的不相似度S虞 对于
，基于AI度量的P.0之间的不相似度（测地线距离）
为：
其中，&表示矩阵的迹。
[0013] ②基于Log-Euclidean度量的不相似度 对于
，基于LE度量的之间的不相似度（测地线距离）
为：
其中，*表示矩阵的迹。
[0014] c)采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：
其中，
分别表示源图像2、5以及融合图像F在点 (U)处的高频子带系数，权值吟由sigmoid函数计算得到，收缩因子fc与变量e的计算在 下面详细讨论。
[0015] 计算收缩因子* 通过以下公式建立*：与黎曼空间不相似度S的关系。
[0016] 其中，ff是一个正参数。
[0017] :f计算变量*r ?的计算公式如下：
其中，&或各为区域能量；i为不小于3的奇数；
表示源图像j或遇在点 (ty)处第_/个高频子带系数。
[0018] 本发明与现有技术相比，其显著优点：（1)利用SIST对待融合图像进行多尺度多 方向的分解，SIST是图像融合领域很有发展前景的分解工具，它克服了下采样操作引起的 伪Gibbs效应，有效抑制图像失真，并且各个子带系数间的对应关系更加明确。（2)引入了 结构张量，结构张量可以实现像素级和区域级特征的融合，在像素级能够利用梯度等信息 描述每一个像素，在区域级可以通过结构张量可以表示出像素级提取的特征相关性，并通 过计算像素点邻域得到，并且结构张量的阶数不依赖于邻域窗口的大小，而是依赖于特征 向量的维数，因此具备尺度不变性。（3)给出了一种黎曼空间不相似度，并提出了一种基于 黎曼度量的自适应多策略融合规则。该方法适用范围广，对多聚焦图像、遥感图像、医学图 像、红外与可见光图像均有很好的效果，并且具有鲁棒性强的优点。
[0019] 下面结合附图对本发明作进一步详细描述。
【附图说明】
[0020] 图1是本发明基于黎曼度量的自适应多策略图像融合方法的流程图。
[0021] 图2 (a)是本发明方法右聚焦图像。
[0022] 图2 (b)是本发明方法左聚焦图像。
[0023] 图2 (c)是基于加权平均的多聚焦图像融合结果图。
[0024] 图2 (d)是基于PCA的多聚焦图像融合结果图。
[0025] 图2 (e)是基于梯度金字塔变换的多聚焦图像融合结果图。
[0026] 图2 (f)是基于FSDP的多聚焦图像融合结果图。
[0027] 图2 (g)是基于PCNN的多聚焦图像融合结果图。
[0028] 图2 (h)是基于Shearlet变换和PCNN的多聚焦图像融合结果图。
[0029] 图2 (i)是基于本发明方法的利用仿射不变度量（AI)的多聚焦图像融合结果 图。
[0030] 图2 (j)是基于本发明方法的利用Log-Euclidean度量（LE)的多聚焦图像融合 结果图。
[0031] 图3 (a)是本发明方法NMR图像。
[0032] 图3 (b)是本发明方法CT图像。
[0033] 图3 (c)是基于加权平均的医学图像融合结果图。
[0034] 图3 (d)是基于PCA的医学图像融合结果图。
[0035] 图3 (e)是基于梯度金字塔变换的医学图像融合结果图。
[0036] 图3 (f)是基于FSDP的医学图像融合结果图。
[0037] 图3 (g)是基于PCNN的医学图像融合结果图。
[0038] 图3 (h)是基于Shearlet变换和PCNN的医学图像融合结果图。
[0039] 图3 (i)是基于本发明方法的利用AI度量的医学图像融合结果图。
[0040] 图3 (j)是基于本发明方法的利用LE度量的 医学图像融合结果图。
[0041] 图4 (a)是本发明方法3波段大地遥感图像。
[0042] 图4 (b)是本发明方法8波段大地遥感图像。
[0043] 图4 (c)是基于加权平均的遥感图像融合结果图。
[0044] 图4 (d)是基于PCA的遥感图像融合结果图。
[0045] 图4 (e)是基于梯度金字塔变换的遥感图像融合结果图。
[0046] 图4 (f)是基于FSDP的遥感图像融合结果图。
[0047] 图4 (g)是基于PCNN的遥感图像融合结果图。
[0048] 图4 (h)是基于Shearlet变换和PCNN的遥感图像融合结果图。
[0049] 图4 (i)是基于本发明方法的利用AI度量的遥感图像融合结果图。
[0050] 图4 (j)是基于本发明方法的利用LE度量的遥感图像融合结果图。
[0051] 图5 (a)是本发明方法红外图像。
[0052] 图5 (b)是本发明方法可见光图像。
[0053] 图5 (c)是基于加权平均的红外与可见光图像融合结果图。
[0054] 图5 (d)是基于PCA的红外与可见光图像融合结果图。
[0055] 图5 (e)是基于梯度金字塔变换的红外与可见光图像融合结果图。
[0056] 图5 (f)是基于FSDP的红外与可见光图像融合结果图。
[0057] 图5 (g)是基于PCNN的红外与可见光图像融合结果图。
[0058] 图5 (h)是基于Shearlet变换和PCNN的红外与可见光图像融合结果图。
[0059] 图5 (i)是基于本发明方法的利用AI度量的红外与可见光图像融合结果图。
[0060] 图5 (j)是基于本发明方法的利用LE度量的红外与可见光图像融合结果图。
【具体实施方式】
[0061] 下面结合附图对本发明的【具体实施方式】作进一步的详细说明。如图1所示，包括 如 下步骤： 步骤1准备待融合的两幅(本实施例中
）源图像』和5，利用 SIST分别将两幅图像分解为低频子带与高频子带系数 ：
〇 其中，$和 ^为低频子带系数；和为一系列高频子带系数。SIST采用的滤波器为"maxflat"，分 解的方向数为6,6,6。
[0062] 步骤2低频子带系数融合：对于低频子带系数，给出一种基于加权平均的融合策 略，得到低频子带融合系数。低频子带系数的融合方法为：
式中，
分别表示源图像以及融合图像F在点 处对应的低频系数。
[0063] 步骤3高频子带系数融合：对于高频子带系数，计算它们的局部梯度信息构造结 构张量，并计算他们的黎曼空间不相似度，采用基于黎曼度量的自适应多策略融合规则进 行融合； a)计算高频子带系数的结构张量 对于图像中的某一点.
（本实施例中 f= 3 )邻域，这点的局部梯度向量为[52]:
其中，
分别为I和^方向的导数。
[0064] 利用梯度向量可以得到点/(真的结构张量：
其中，
分别为i和方向的导数；*为卷积运算，&是标准 差为P的高斯核。
[0065]b)计算黎曼空间不相似度 结构张量具有黎曼流形结构，赋予黎曼流形两种黎曼度量：仿射不变度量和Log-Euclidean度量，利用这两种度量计算黎曼空间不相似度。
[0066] ①计算基于AI(Affine-Invariant)度量的不相似度 对于
，基于AI度量的之间的不相似度（测地线距离）
为：
其中，*表示矩阵的迹。
[0067] :g:计算基于Log-Euclidean度量的不相似度& 对于
，基于LE度量的之间的不相似度（测地线距离）
为：
其中，&表示矩阵的迹。
[0068]c)采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：
其中：
分别表示源图像^4、@以及融合图像/p在点 处的高频子带系数，权值叫由sigmoid函数计算得到，收缩因子jt与变量e的计算在 下面详细讨论。
[0069] 2计算收缩因子 通过以下公式建立与黎曼空间不相似度S的关系。
[0070] 其中，a是一个正参数（本实施例中为100)。
[0071] S:计算变量《 e的计算公式如下：
其中，毛或為为区域能量；|为不小于3的奇数（本实施例中f= 3 )
表示源 图像2或茗在点处第/个高频子带系数。
[0072] 步骤4对融合系数
进行SIST逆变换得到融合图像#。
[0073] 下面结合实例对本发明作进一步详细的说明。
[0074] 本发明以多聚焦图像、医学图像、遥感图像以及红外与可见光图像为待融合源图 像（这4组图像均为已经配准好），提出了一种基于黎曼度量的自适应多策略融合方法，并 利用此方法对多聚焦图像、医学图像、遥感图像以及红外与可见光图像进行融合。
[0075] 如图2 (a)本发明方法右聚焦图像，图2 (b)本发明方法左聚焦图像所示，首先 分别读取右聚焦图像J和左聚焦图像汉对其进行sist分解，得到低频子带系数qt，Cj和 一系列高频子带系数qf，cf，对于低频子带系数，给出一种基于加权平均的融合策略，得 到低频融合图像;对于得到的高频子带系数Cf，Cf，计算它们的局部梯度信息构造结 构张量，利用仿射不变度量AI和Log-Euclidean度量LE分别求解这两种度量方式的测地 线距离，也即黎曼空间不相似度，以此来衡量图像的互补与冗余信息；对于高频子带系数 Cf和Cf，分别计算它们的区域能量，然后计算出它们的比值建立左与黎曼空间不相似 度艰]关系，将妨卩e作为sigmoid函数变量，给出一种基于sigmoid函数的自适应多策 略图像融合方法，最后得到高频融合图像C/ ;将低频融合图像<和高频融合图像C/进行 SIST逆变换，得到最终融合图像，如图2 (i)基于本发明方法的利用仿射不变度量（AI)的 多聚焦图像融合结果图，图2 (j)基于本发明方法的利用Log-Euclidean度量（LE)的多聚 焦图像融合结果图所示。
[0076] 同样的，对于图3 (a)本发明方法NMR图像，图3 (b)本发明方法CT图像，图 4 (a)本发明方法3波段大地遥感图像，图4 (b)本发明方法8波段大地遥感图像，图5 (a)本发明方法红外图像，图5 (b)本发明方法可见光图像，利用本发明方法提出的一种 基于sigmoid函数的自适应多策略融合方法，得到的融合图像分别如图3 (i)基于本发明 方法的利用仿射不变度量（AI)的医学图像融合结果图，图3 (j)基于本发明方法的利用 Log-Euclidean度量（LE)的医学图像融合结果图，图4 (i)基于本发明方法的利用仿射不 变度量（AI)的遥感图像融合结果图，图4 (j)基于本发明方法的利用Log-Euclidean度量 (LE)的遥感图像融合结果图，图5 (i)基于本发明方法的利用仿射不变度量（AI)的红外 与可见光图像融合结果图，图5 (j)基于本发明方法的利用Log-Euclidean度量（LE)的红 外与可见光图像融合结果图所示。
[0077] 为了将本发明所提出的方法和其它方法对比，分别设计了基于加权平均的图像融 合方法（AVE)，基于PCA的图像融合方法（PCA)，基于梯度金字塔变换的图像融合方法（GP)， 基于FSDP的图像融合方法（FSDP)，基于PCNN的图像融合方法（PCNN)，基于Shearlet变 换和PCNN的图像融合方法（ShearletPCNN)，其中，GP和FSDP的分解 层数为2,小波基为 "DBSS(2, 2) "，低频系数取平均，高频系数绝对值取大；PCNN的链接强度为6,迭代次数是 20 ;ShearletPCNN采用的滤波器为"maxflat"，分解层数为3,每层的方向数为6。其仿真结 果分别如图 2 (c) - (h)，图 3 (c) - (h)，图 4 (c) - (h)，图 5 (c) - (h)所不：图 2 (c)基于加权平均的多聚焦图像融合结果图；图2 (d)基于PCA的多聚焦图像融合结果 图；图2 (e)基于梯度金字塔变换的多聚焦图像融合结果图；图2 (f)基于FSDP的多聚焦 图像融合结果图；图2 (g)基于PCNN的多聚焦图像融合结果图；图2 (h)基于Shearlet 变换和PCNN的多聚焦图像融合结果图；图3 (c)基于加权平均的医学图像融合结果图；图 3 (d)基于PCA的医学图像融合结果图；图3 (e)基于梯度金字塔变换的医学图像融合结 果图；图3 (f)基于FSDP的医学图像融合结果图；图3 (g)基于PCNN的医学图像融合结 果图；图3 (h)基于Shearlet变换和PCNN的医学图像融合结果图；图4 (c)基于加权平 均的遥感图像融合结果图；图4 (d)基于PCA的遥感图像融合结果图；图4 (e)基于梯度 金字塔变换的遥感图像融合结果图；图4 (f)基于FSDP的遥感图像融合结果图；图4 (g) 基于PCNN的遥感图像融合结果图；图4 (h)基于Shearlet变换和PCNN的遥感图像融合 结果图；图5 (c)基于加权平均的红外与可见光图像融合结果图；图5 (d)基于PCA的红 外与可见光图像融合结果图；图5 (e)基于梯度金字塔变换的红外与可见光图像融合结果 图；图5 (f)基于FSDP的红外与可见光图像融合结果图；图5 (g)基于PCNN的红外与可 见光图像融合结果图；图5 (h)基于Shearlet变换和PCNN的红外与可见光图像融合结果 图。
[0078] 根据图2 (c) - (j)，可以看出基于ShearletPCNN的融合结果左侧闹钟不清晰， 其他方法基本上能把源图像融合闹钟和钟表均清晰的图像，但是，基于AVE、PCA和PCNN的 融合结果对比度降低，尽管基于GP和FSDP的融合结果比基于AVE、PCA和PCNN的融合结果 对比度更适合人眼观察，但是仍然比不上本发明方法融合结果。说明了基于多分辨率分析 的融合结果优于基于非多分辨率分析的融合结果，本发明方法融合结果亮度适中，清晰度 高，更适合人眼观察，并且LE度量与AI度量具有相似的视觉效果。
[0079]根据图3 (c) - (j)，可以看出基于AVE的融合结果对比度下降，基于PCA的融 合结果丢失了大量的CT信息，基于DWT融合结果的左下边缘部分出现了虚假信息，基于GP 与FSDP的融合结果中软组织细节部分不太清晰，基于PCNN的融合结果右下部分丢失了部 分CT信息，基于ShearletPCNN的融合结果中出现了许多虚假信息，并且LE度量与AI度量 具有相似的视觉效果，所以本发明方法能够有效的融合CT和NMR图像，融合结果亮度适中， 细节清晰，具有最好的视觉效果。
[0080] 根据图4 (c) - (j)，可以发现本发明方法与对比方法均在一定程度上整合了两 幅图像中的互补信息，但是基于AVE、PCA和PCNN的融合结果对比度降低，而其他方法的融 合结果比较清晰，并且LE度量与AI度量具有相似的视觉效果。
[0081] 根据图5 (c) - (j)，可以从视觉效果上观察到，PCA具有最差的视觉效果，融合 图像中的目标"人"变成了黑色，不利于图像的后期处理，基于ShearletPCNN的融合方法目 标"人"周围有一圈黑影，不利于计算机的识别，基于PCNN的融合结果中"台子"比较模糊， 基于AVE的融合图像对比度下降，GP、FSDP和本文方法能够把目标和背景融合成比较清晰 的图像。
[0082] 所以，本发明方法的适用范围很广，对多聚焦图像、遥感图像、医学图像、红外与可 见光图像均有很好的效果。
【主权项】
1. 一种基于黎曼度量的自适应多策略图像融合方法，其特征在于包括以下步骤： 步骤1)，源图像多尺度分解：对源图像进行平移不变剪切波变换（SIST)分解，得到低 频子带系数和一系列高频子带系数； 步骤2)，低频子带系数融合：对低频子带系数，给出一种基于加权平均的融合策略，得 到低频子带融合系数； 步骤3)，高频子带系数融合：对高频子带系数，采用基于黎曼度量的自适应多策略融 合规则进行融合，得到高频子带融合系数； 步骤4)，图像重构：对得到的低频子带融合系数和高频子带融合系数进行SIST逆变 换，得到最终融合图像。2. 根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于， 所述步骤1)包括： 将待融合的两幅源图像j和^，利用平移不变剪切波变换分别将两幅图像分解 为低频子带与高频子带系数和，其中，^和《^为低频子带系数；G和 G为一系列高频子带系数。3. 根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于， 所 述步骤2)包括： 对于低频子带系数，给出一种基于加权平均的融合策略，得到低频子带融合系数，低频 子带系数的融合方法为：式中，分别表示源图像i、JI以及融合图像，在点 处对应的低频系数。4. 根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于， 所 述步骤3)包括如下步骤： a)计算高频子带系数的结构张量 对于图像中的某一点/i，其梯度为#=，在的ixf邻域，这点的 局部梯度向星为：其中，= i2 和分别为X和_F方向的导数； 利用梯度向量可以得到点/(Ijr)的结构张量： 其中，P 和分别为I和·τ方向的导数；*为卷积运算，&是标准 差为P的高斯核；b) 黎曼空间不相似度5 ;|}基于Al (Affine-Invariant)度量的不相似度Sjr 对于\O\0eSj，基于AI度量的之间的不相似度（测地线距离）&(巧0为： 其中，〃表示矩阵的迹；J:.基于Log-Euclidean度量的不相似度^ 对于基于LE度量的八0之间的不相似度（测地线距离）为： 其中，〃表示矩阵的迹；c) 采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：其中，和蜉Wjt)分别表示源图像』、$以及融合图像p在点 (Ay)处的高频子带系数，权值吟由sigmoid函数计算得到，收缩因子fc与变量β的计算在 下面详细讨论； X计算收缩因子Jt 通过以下公式建立fc与黎曼空间不相似度5的关系； 其中，α是一个正参数；S+计算变量》 β的计算公式如下：其中，晃或^为区域能量；f为不小于3的奇数；表示源图像瀘或5在点 处第_/个高频子带系数。
【专利摘要】本发明公开了一种基于黎曼度量的自适应多策略图像融合方法。(1)对待融合源图像进行平移不变剪切波变换(SIST)分解，得到低频子带系数和一系列高频子带系数；(2)对低频子带系数和高频子带系数分别采用不同的融合规则，低频子带系数采用加权平均的融合策略；高频子带系数采用基于黎曼度量的自适应多策略融合，给出了一种黎曼空间不相似度，利用仿射不变度量与Log-Euclidean度量两种度量方式计算高频子带系数形成黎曼空间的测地线距离，以此度量图像的互补冗余属性，然后得到融合的SIST系数；(3)对融合系数进行SIST逆变换，得到融合图像。本发明属于图像融合技术领域，能够实现对多源图像进行高效的图像融合。
【IPC分类】G06T3/40, G06T5/50
【公开号】CN104899848
【申请号】CN201510378194
【发明人】张战成, 罗晓清, 张翠英, 郑雪妮
【申请人】苏州科技学院
【公开日】2015年9月9日
【申请日】2015年7月2日
【技术领域】
[0001] 本发明属于图像融合技术领域，特别是一种基于黎曼度量的自适应多策略图像融 合方法。
【背景技术】
[0002] 图像融合的过程是对源图像特征提取的过程，但是有时直接对图像灰度值的操作 不能达到很好的区分度，因此可以通过把图像转换成包含更丰富信息的形式，比如结构张 量，来产生更有区分度的特征（编码彩色、梯度等）。纹理是图像的最重要的特征之一，因此 充分考虑图像的纹理信息可以提高融合图像的质量。
[0003] 作为一种快速局部处理方法，结构张量已经被用来进行纹理分析，它可以作为边 缘保持以及方向的测度。结构张量是一类非常特殊的矩阵（正定对称矩阵），其位于黎曼流 形（赋予黎曼度量的微分流形）上。黎曼空间的操作不再遵循欧式几何，因为它不属于向 量空间，比如该空间对乘以负数不封闭，因此不能利用传统的欧式几何运算进行操作。
[0004] 根据Pennec对医学图像处理的研宄，Affine-Invariant度量（AI)和 Log-Euclidean度量（LE)为处理张量提供了有力的工具。Caseiro等提出了一种基于张量 域黎曼框架的前景分割方法，定义了张量流形上的核密度估计模型（KDE)，赋予了张量流形 两种度量方式：Affine-Invariant度量（AI)和Log-Euclidean度量（LE)，取得了很好的分 割效果。王国刚提出了一种基于黎曼度量的Hausdorff距离图像匹配算法，在匹配的准确 性、抵抗噪声干扰和光照变换等方面效果良好。刘佳提出了一种基于协方差描述子和黎曼 流形的语音情感识别方法，利用仿射不变度量实现了较好的识别效果。鉴于黎曼度量在图 像其他领域的良好应用，因此本发明将黎曼度量引入到图像融合中，以期获得更好的融合 效果。
【发明内容】
[0005] 本发明的目的在于提供一种基于黎曼度量的自适应多策略图像融合方法，能够实 现对多源图像进行高效的图像融合。
[0006] 实现本发明目的的技术解决方案为：一种基于黎曼度量的自适应多策略图像融合 方法，包括以下步骤： 步骤1)，源图像多尺度分解：对源图像进行平移不变剪切波变换（SIST)分解，得到低 频子带系数和一系列高频子带系数； 步骤2)，低频子带系数融合：对于步骤1)得到的低频子带系数，采用基于加权平均的 融合策略，得到低频融合子带系数； 步骤3)，高频子带系数融合：对于步骤1)得到的高频子带系数，给出了一种黎曼空 间不相似度，采用基于黎曼度量的自适应多策略融合规则进行融合，得到高频子带融合系 数； 步骤4)，图像重构：将步骤2)得到的低频融合子带系数和步骤3)得到的高频子带融 合系数进行SIST逆变换，得到最终融合图像。
[0007] 所述步骤1)具体为：将待融合的两幅MxJV源图像』和3，利用SIST分别将两幅 图像分解为低频子带与高频子带系数
为低频子带系 数；<5*和<7为一系列高频子带系数。
[0008] 所述步骤2)具体为：对得到的低频子带系数采用加权平均的融合规则进行融合。
[0009] 式中，
分别表示源图像以及融合图像F在 点(x&v)处对应的低频系数。
[0010] 所述步骤3)包括如下步骤： a)计算高频子带系数的结构张量 对于图像中的某一点
的邻域，这点的 局部梯度向星为：
其中：
分别为jc和>F方向的导数。
[0011] 利用梯度向量可以得到点的结构张量：
其中，
分别为I和jr方向的导数；*为卷积运算，&是标准 差为#的高斯核。
[0012] b)黎曼空间不相似度S ①基于AI(Affine-Invariant)度量的不相似度S虞 对于
，基于AI度量的P.0之间的不相似度（测地线距离）
为：
其中，&表示矩阵的迹。
[0013] ②基于Log-Euclidean度量的不相似度 对于
，基于LE度量的之间的不相似度（测地线距离）
为：
其中，*表示矩阵的迹。
[0014] c)采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：
其中，
分别表示源图像2、5以及融合图像F在点 (U)处的高频子带系数，权值吟由sigmoid函数计算得到，收缩因子fc与变量e的计算在 下面详细讨论。
[0015] 计算收缩因子* 通过以下公式建立*：与黎曼空间不相似度S的关系。
[0016] 其中，ff是一个正参数。
[0017] :f计算变量*r ?的计算公式如下：
其中，&或各为区域能量；i为不小于3的奇数；
表示源图像j或遇在点 (ty)处第_/个高频子带系数。
[0018] 本发明与现有技术相比，其显著优点：（1)利用SIST对待融合图像进行多尺度多 方向的分解，SIST是图像融合领域很有发展前景的分解工具，它克服了下采样操作引起的 伪Gibbs效应，有效抑制图像失真，并且各个子带系数间的对应关系更加明确。（2)引入了 结构张量，结构张量可以实现像素级和区域级特征的融合，在像素级能够利用梯度等信息 描述每一个像素，在区域级可以通过结构张量可以表示出像素级提取的特征相关性，并通 过计算像素点邻域得到，并且结构张量的阶数不依赖于邻域窗口的大小，而是依赖于特征 向量的维数，因此具备尺度不变性。（3)给出了一种黎曼空间不相似度，并提出了一种基于 黎曼度量的自适应多策略融合规则。该方法适用范围广，对多聚焦图像、遥感图像、医学图 像、红外与可见光图像均有很好的效果，并且具有鲁棒性强的优点。
[0019] 下面结合附图对本发明作进一步详细描述。
【附图说明】
[0020] 图1是本发明基于黎曼度量的自适应多策略图像融合方法的流程图。
[0021] 图2 (a)是本发明方法右聚焦图像。
[0022] 图2 (b)是本发明方法左聚焦图像。
[0023] 图2 (c)是基于加权平均的多聚焦图像融合结果图。
[0024] 图2 (d)是基于PCA的多聚焦图像融合结果图。
[0025] 图2 (e)是基于梯度金字塔变换的多聚焦图像融合结果图。
[0026] 图2 (f)是基于FSDP的多聚焦图像融合结果图。
[0027] 图2 (g)是基于PCNN的多聚焦图像融合结果图。
[0028] 图2 (h)是基于Shearlet变换和PCNN的多聚焦图像融合结果图。
[0029] 图2 (i)是基于本发明方法的利用仿射不变度量（AI)的多聚焦图像融合结果 图。
[0030] 图2 (j)是基于本发明方法的利用Log-Euclidean度量（LE)的多聚焦图像融合 结果图。
[0031] 图3 (a)是本发明方法NMR图像。
[0032] 图3 (b)是本发明方法CT图像。
[0033] 图3 (c)是基于加权平均的医学图像融合结果图。
[0034] 图3 (d)是基于PCA的医学图像融合结果图。
[0035] 图3 (e)是基于梯度金字塔变换的医学图像融合结果图。
[0036] 图3 (f)是基于FSDP的医学图像融合结果图。
[0037] 图3 (g)是基于PCNN的医学图像融合结果图。
[0038] 图3 (h)是基于Shearlet变换和PCNN的医学图像融合结果图。
[0039] 图3 (i)是基于本发明方法的利用AI度量的医学图像融合结果图。
[0040] 图3 (j)是基于本发明方法的利用LE度量的 医学图像融合结果图。
[0041] 图4 (a)是本发明方法3波段大地遥感图像。
[0042] 图4 (b)是本发明方法8波段大地遥感图像。
[0043] 图4 (c)是基于加权平均的遥感图像融合结果图。
[0044] 图4 (d)是基于PCA的遥感图像融合结果图。
[0045] 图4 (e)是基于梯度金字塔变换的遥感图像融合结果图。
[0046] 图4 (f)是基于FSDP的遥感图像融合结果图。
[0047] 图4 (g)是基于PCNN的遥感图像融合结果图。
[0048] 图4 (h)是基于Shearlet变换和PCNN的遥感图像融合结果图。
[0049] 图4 (i)是基于本发明方法的利用AI度量的遥感图像融合结果图。
[0050] 图4 (j)是基于本发明方法的利用LE度量的遥感图像融合结果图。
[0051] 图5 (a)是本发明方法红外图像。
[0052] 图5 (b)是本发明方法可见光图像。
[0053] 图5 (c)是基于加权平均的红外与可见光图像融合结果图。
[0054] 图5 (d)是基于PCA的红外与可见光图像融合结果图。
[0055] 图5 (e)是基于梯度金字塔变换的红外与可见光图像融合结果图。
[0056] 图5 (f)是基于FSDP的红外与可见光图像融合结果图。
[0057] 图5 (g)是基于PCNN的红外与可见光图像融合结果图。
[0058] 图5 (h)是基于Shearlet变换和PCNN的红外与可见光图像融合结果图。
[0059] 图5 (i)是基于本发明方法的利用AI度量的红外与可见光图像融合结果图。
[0060] 图5 (j)是基于本发明方法的利用LE度量的红外与可见光图像融合结果图。
【具体实施方式】
[0061] 下面结合附图对本发明的【具体实施方式】作进一步的详细说明。如图1所示，包括 如 下步骤： 步骤1准备待融合的两幅(本实施例中
）源图像』和5，利用 SIST分别将两幅图像分解为低频子带与高频子带系数 ：
〇 其中，$和 ^为低频子带系数；和为一系列高频子带系数。SIST采用的滤波器为"maxflat"，分 解的方向数为6,6,6。
[0062] 步骤2低频子带系数融合：对于低频子带系数，给出一种基于加权平均的融合策 略，得到低频子带融合系数。低频子带系数的融合方法为：
式中，
分别表示源图像以及融合图像F在点 处对应的低频系数。
[0063] 步骤3高频子带系数融合：对于高频子带系数，计算它们的局部梯度信息构造结 构张量，并计算他们的黎曼空间不相似度，采用基于黎曼度量的自适应多策略融合规则进 行融合； a)计算高频子带系数的结构张量 对于图像中的某一点.
（本实施例中 f= 3 )邻域，这点的局部梯度向量为[52]:
其中，
分别为I和^方向的导数。
[0064] 利用梯度向量可以得到点/(真的结构张量：
其中，
分别为i和方向的导数；*为卷积运算，&是标准 差为P的高斯核。
[0065]b)计算黎曼空间不相似度 结构张量具有黎曼流形结构，赋予黎曼流形两种黎曼度量：仿射不变度量和Log-Euclidean度量，利用这两种度量计算黎曼空间不相似度。
[0066] ①计算基于AI(Affine-Invariant)度量的不相似度 对于
，基于AI度量的之间的不相似度（测地线距离）
为：
其中，*表示矩阵的迹。
[0067] :g:计算基于Log-Euclidean度量的不相似度& 对于
，基于LE度量的之间的不相似度（测地线距离）
为：
其中，&表示矩阵的迹。
[0068]c)采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：
其中：
分别表示源图像^4、@以及融合图像/p在点 处的高频子带系数，权值叫由sigmoid函数计算得到，收缩因子jt与变量e的计算在 下面详细讨论。
[0069] 2计算收缩因子 通过以下公式建立与黎曼空间不相似度S的关系。
[0070] 其中，a是一个正参数（本实施例中为100)。
[0071] S:计算变量《 e的计算公式如下：
其中，毛或為为区域能量；|为不小于3的奇数（本实施例中f= 3 )
表示源 图像2或茗在点处第/个高频子带系数。
[0072] 步骤4对融合系数
进行SIST逆变换得到融合图像#。
[0073] 下面结合实例对本发明作进一步详细的说明。
[0074] 本发明以多聚焦图像、医学图像、遥感图像以及红外与可见光图像为待融合源图 像（这4组图像均为已经配准好），提出了一种基于黎曼度量的自适应多策略融合方法，并 利用此方法对多聚焦图像、医学图像、遥感图像以及红外与可见光图像进行融合。
[0075] 如图2 (a)本发明方法右聚焦图像，图2 (b)本发明方法左聚焦图像所示，首先 分别读取右聚焦图像J和左聚焦图像汉对其进行sist分解，得到低频子带系数qt，Cj和 一系列高频子带系数qf，cf，对于低频子带系数，给出一种基于加权平均的融合策略，得 到低频融合图像;对于得到的高频子带系数Cf，Cf，计算它们的局部梯度信息构造结 构张量，利用仿射不变度量AI和Log-Euclidean度量LE分别求解这两种度量方式的测地 线距离，也即黎曼空间不相似度，以此来衡量图像的互补与冗余信息；对于高频子带系数 Cf和Cf，分别计算它们的区域能量，然后计算出它们的比值建立左与黎曼空间不相似 度艰]关系，将妨卩e作为sigmoid函数变量，给出一种基于sigmoid函数的自适应多策 略图像融合方法，最后得到高频融合图像C/ ;将低频融合图像<和高频融合图像C/进行 SIST逆变换，得到最终融合图像，如图2 (i)基于本发明方法的利用仿射不变度量（AI)的 多聚焦图像融合结果图，图2 (j)基于本发明方法的利用Log-Euclidean度量（LE)的多聚 焦图像融合结果图所示。
[0076] 同样的，对于图3 (a)本发明方法NMR图像，图3 (b)本发明方法CT图像，图 4 (a)本发明方法3波段大地遥感图像，图4 (b)本发明方法8波段大地遥感图像，图5 (a)本发明方法红外图像，图5 (b)本发明方法可见光图像，利用本发明方法提出的一种 基于sigmoid函数的自适应多策略融合方法，得到的融合图像分别如图3 (i)基于本发明 方法的利用仿射不变度量（AI)的医学图像融合结果图，图3 (j)基于本发明方法的利用 Log-Euclidean度量（LE)的医学图像融合结果图，图4 (i)基于本发明方法的利用仿射不 变度量（AI)的遥感图像融合结果图，图4 (j)基于本发明方法的利用Log-Euclidean度量 (LE)的遥感图像融合结果图，图5 (i)基于本发明方法的利用仿射不变度量（AI)的红外 与可见光图像融合结果图，图5 (j)基于本发明方法的利用Log-Euclidean度量（LE)的红 外与可见光图像融合结果图所示。
[0077] 为了将本发明所提出的方法和其它方法对比，分别设计了基于加权平均的图像融 合方法（AVE)，基于PCA的图像融合方法（PCA)，基于梯度金字塔变换的图像融合方法（GP)， 基于FSDP的图像融合方法（FSDP)，基于PCNN的图像融合方法（PCNN)，基于Shearlet变 换和PCNN的图像融合方法（ShearletPCNN)，其中，GP和FSDP的分解 层数为2,小波基为 "DBSS(2, 2) "，低频系数取平均，高频系数绝对值取大；PCNN的链接强度为6,迭代次数是 20 ;ShearletPCNN采用的滤波器为"maxflat"，分解层数为3,每层的方向数为6。其仿真结 果分别如图 2 (c) - (h)，图 3 (c) - (h)，图 4 (c) - (h)，图 5 (c) - (h)所不：图 2 (c)基于加权平均的多聚焦图像融合结果图；图2 (d)基于PCA的多聚焦图像融合结果 图；图2 (e)基于梯度金字塔变换的多聚焦图像融合结果图；图2 (f)基于FSDP的多聚焦 图像融合结果图；图2 (g)基于PCNN的多聚焦图像融合结果图；图2 (h)基于Shearlet 变换和PCNN的多聚焦图像融合结果图；图3 (c)基于加权平均的医学图像融合结果图；图 3 (d)基于PCA的医学图像融合结果图；图3 (e)基于梯度金字塔变换的医学图像融合结 果图；图3 (f)基于FSDP的医学图像融合结果图；图3 (g)基于PCNN的医学图像融合结 果图；图3 (h)基于Shearlet变换和PCNN的医学图像融合结果图；图4 (c)基于加权平 均的遥感图像融合结果图；图4 (d)基于PCA的遥感图像融合结果图；图4 (e)基于梯度 金字塔变换的遥感图像融合结果图；图4 (f)基于FSDP的遥感图像融合结果图；图4 (g) 基于PCNN的遥感图像融合结果图；图4 (h)基于Shearlet变换和PCNN的遥感图像融合 结果图；图5 (c)基于加权平均的红外与可见光图像融合结果图；图5 (d)基于PCA的红 外与可见光图像融合结果图；图5 (e)基于梯度金字塔变换的红外与可见光图像融合结果 图；图5 (f)基于FSDP的红外与可见光图像融合结果图；图5 (g)基于PCNN的红外与可 见光图像融合结果图；图5 (h)基于Shearlet变换和PCNN的红外与可见光图像融合结果 图。
[0078] 根据图2 (c) - (j)，可以看出基于ShearletPCNN的融合结果左侧闹钟不清晰， 其他方法基本上能把源图像融合闹钟和钟表均清晰的图像，但是，基于AVE、PCA和PCNN的 融合结果对比度降低，尽管基于GP和FSDP的融合结果比基于AVE、PCA和PCNN的融合结果 对比度更适合人眼观察，但是仍然比不上本发明方法融合结果。说明了基于多分辨率分析 的融合结果优于基于非多分辨率分析的融合结果，本发明方法融合结果亮度适中，清晰度 高，更适合人眼观察，并且LE度量与AI度量具有相似的视觉效果。
[0079]根据图3 (c) - (j)，可以看出基于AVE的融合结果对比度下降，基于PCA的融 合结果丢失了大量的CT信息，基于DWT融合结果的左下边缘部分出现了虚假信息，基于GP 与FSDP的融合结果中软组织细节部分不太清晰，基于PCNN的融合结果右下部分丢失了部 分CT信息，基于ShearletPCNN的融合结果中出现了许多虚假信息，并且LE度量与AI度量 具有相似的视觉效果，所以本发明方法能够有效的融合CT和NMR图像，融合结果亮度适中， 细节清晰，具有最好的视觉效果。
[0080] 根据图4 (c) - (j)，可以发现本发明方法与对比方法均在一定程度上整合了两 幅图像中的互补信息，但是基于AVE、PCA和PCNN的融合结果对比度降低，而其他方法的融 合结果比较清晰，并且LE度量与AI度量具有相似的视觉效果。
[0081] 根据图5 (c) - (j)，可以从视觉效果上观察到，PCA具有最差的视觉效果，融合 图像中的目标"人"变成了黑色，不利于图像的后期处理，基于ShearletPCNN的融合方法目 标"人"周围有一圈黑影，不利于计算机的识别，基于PCNN的融合结果中"台子"比较模糊， 基于AVE的融合图像对比度下降，GP、FSDP和本文方法能够把目标和背景融合成比较清晰 的图像。
[0082] 所以，本发明方法的适用范围很广，对多聚焦图像、遥感图像、医学图像、红外与可 见光图像均有很好的效果。
【主权项】
1. 一种基于黎曼度量的自适应多策略图像融合方法，其特征在于包括以下步骤： 步骤1)，源图像多尺度分解：对源图像进行平移不变剪切波变换（SIST)分解，得到低 频子带系数和一系列高频子带系数； 步骤2)，低频子带系数融合：对低频子带系数，给出一种基于加权平均的融合策略，得 到低频子带融合系数； 步骤3)，高频子带系数融合：对高频子带系数，采用基于黎曼度量的自适应多策略融 合规则进行融合，得到高频子带融合系数； 步骤4)，图像重构：对得到的低频子带融合系数和高频子带融合系数进行SIST逆变 换，得到最终融合图像。2. 根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于， 所述步骤1)包括： 将待融合的两幅源图像j和^，利用平移不变剪切波变换分别将两幅图像分解 为低频子带与高频子带系数和，其中，^和《^为低频子带系数；G和 G为一系列高频子带系数。3. 根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于， 所 述步骤2)包括： 对于低频子带系数，给出一种基于加权平均的融合策略，得到低频子带融合系数，低频 子带系数的融合方法为：式中，分别表示源图像i、JI以及融合图像，在点 处对应的低频系数。4. 根据权利要求1所述的基于黎曼度量的自适应多策略图像融合方法，其特征在于， 所 述步骤3)包括如下步骤： a)计算高频子带系数的结构张量 对于图像中的某一点/i，其梯度为#=，在的ixf邻域，这点的 局部梯度向星为：其中，= i2 和分别为X和_F方向的导数； 利用梯度向量可以得到点/(Ijr)的结构张量： 其中，P 和分别为I和·τ方向的导数；*为卷积运算，&是标准 差为P的高斯核；b) 黎曼空间不相似度5 ;|}基于Al (Affine-Invariant)度量的不相似度Sjr 对于\O\0eSj，基于AI度量的之间的不相似度（测地线距离）&(巧0为： 其中，〃表示矩阵的迹；J:.基于Log-Euclidean度量的不相似度^ 对于基于LE度量的八0之间的不相似度（测地线距离）为： 其中，〃表示矩阵的迹；c) 采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：其中，和蜉Wjt)分别表示源图像』、$以及融合图像p在点 (Ay)处的高频子带系数，权值吟由sigmoid函数计算得到，收缩因子fc与变量β的计算在 下面详细讨论； X计算收缩因子Jt 通过以下公式建立fc与黎曼空间不相似度5的关系； 其中，α是一个正参数；S+计算变量》 β的计算公式如下：其中，晃或^为区域能量；f为不小于3的奇数；表示源图像瀘或5在点 处第_/个高频子带系数。
【专利摘要】本发明公开了一种基于黎曼度量的自适应多策略图像融合方法。(1)对待融合源图像进行平移不变剪切波变换(SIST)分解，得到低频子带系数和一系列高频子带系数；(2)对低频子带系数和高频子带系数分别采用不同的融合规则，低频子带系数采用加权平均的融合策略；高频子带系数采用基于黎曼度量的自适应多策略融合，给出了一种黎曼空间不相似度，利用仿射不变度量与Log-Euclidean度量两种度量方式计算高频子带系数形成黎曼空间的测地线距离，以此度量图像的互补冗余属性，然后得到融合的SIST系数；(3)对融合系数进行SIST逆变换，得到融合图像。本发明属于图像融合技术领域，能够实现对多源图像进行高效的图像融合。
【IPC分类】G06T3/40, G06T5/50
【公开号】CN104899848
【申请号】CN201510378194
【发明人】张战成, 罗晓清, 张翠英, 郑雪妮
【申请人】苏州科技学院
【公开日】2015年9月9日
【申请日】2015年7月2日
最新回复(0)