基于盲模糊估计与锚定空间映射的图像超分辨处理方法
基于盲模糊估计与锚定空间映射的图像超分辨处理方法
【技术领域】：
[0001] 本发明涉及图像/视频处理技术，具体来讲，本发明涉及一种盲模糊估计与锚定 空间映射的单幅图像超分辨处理算法。 技术背景：
[0002] 图像超分辨是从同一场景的一幅或多幅低分辨率图像生成一幅同一场景的高分 辨率图像的技术。从本质上来说，超分辨问题是一个严重的病态问题，必须要有某些先验信 息才能求解。从该领域的历史发展角度来看，超分辨技术大致可以分为三类：基于插值的方 法、基于重建的方法和基于机器学习的方法。基于插值的方法目前已经发展得非常成熟，主 流的插值算法有最邻近插值、双线性插值、双立方插值、立方卷积插值与拉格朗日插值等。 插值算法一般假设图像信号是连续的、带宽受限的光滑信号，然而这一假设在自然图像中 通常是不成立的，因为自然图像中包含了大量的不连续特征，如边缘、角点等。所以基于插 值算法图像超分辨处理往往导致振铃与锯齿等现象，在对图像质量要求较高的场合往往不 能满足应用要求；基于重建的方法将超分辨问题看成图像采集过程的逆问题，这类方法一 般要求大量的输入样本来固定解的方向。这类技术一般可以取得比插值算法更好的处理效 果，但当上采样因子较大或有效输入图像的数量不足时这类方法的效果会急剧下降。
[0003] 基于机器学习的方法是一种比较有前景的技术，目前已经成为超分辨领域的主流 研宄方向。基于学习的方法最早体现在Freeman等人的样本学习方法中，该方法通过置信 传播求解马尔科夫随机域（MarkovRandomField)来进行低分辨率到高分辨率样本的预 测。Sun等人利扩展了这一方法，他们用原始草图先验来加强边缘、角点等非连续性特征。 然而，这类方法通常要求大量的外部数据库，该数据库由数以万计的高分辨率/低分辨率 图像块对组成，这极大地降低了算法执行效率。为了解决这一问题，Chang等人采用局部线 性嵌入（LocallyLinearEmbedding)的思想，假设高分辨率图像块与低分辨率图像块之间 具有相似的空间结构，利用最小二乘法求解低分辨率图像块固定数量的邻域，并将得到的 线性组合系数直接映射到高分辨率空间来恢复高分辨率图像块。这种方法能够以较少的 训练样本表达一个低分辨率图像块，有效地降提高了算法执行效率。这类方法后来被其他 人扩展，但是固定数量的邻域很容易引起过拟合或欠拟合现象，超分辨效果仍然有待提升。 Yang等人提出了图像超分辨的稀疏表达方法，该方法将观察特征空间和隐藏特征空间串接 在一起，然后根据压缩感知理论利用二次规划求得一个外部词典，最后利用该词典自适应 地表达低分辨率图像块。该方法也依赖于外部数据库来构建词典，若训练数据与输入图像 不兼容，算法也会引入明显的人工痕迹。Glasner等人于2009年发现了单幅图像的跨尺度 非局部自相似性，结合基于样本学习和传统的重建方法实现了超分辨处理效果的大幅度提 升。Glasner等人的方法没有考虑输入图像本身也存在模糊现象，而且在金字塔分层过程 中假设模糊核函数是已知的，但这与事实是不符的。最近，Michaeli等人利用图像块冗余 先验进行单幅图像的盲超分辨处理，通过最大化图像跨尺度自相似性来估计图像的真实模 糊核函数。随后，他又将这一性质用到了单幅图像的去模糊中，并取得良好的处理效果。然 而，Michaeli等人的方法是基于自然图像的连续性假设的，而且模糊核估计过程中利用了 所有图像块，这造成最终估计的模糊核函数出现过拟合或欠拟合现象。
[0004] 在单幅图像的超分辨处理领域，训练数据与测试数量之间的兼容性和训练数据的 精度、时效性要求是当前面临的两个主要挑战。一方面，在单幅输入图像的条件下，当前的 超分辨算法通常假设图像的模糊核函数是已知的，比如双线性插值核、高斯模糊核等低通 滤波器。然而，Michaeli等人的研宄成果表明，在假设的模糊核函数与图像真实模糊核函 数相差较大时，超分辨算法的处理效果会急剧下降。为了确保训练样本的精度及其与测试 样本之间的兼容性，有必要从输入图像自身估计图像的真实模糊核函数，以保证算法中所 用到的图像模糊参数自适应于输入图像；另一方面，基于机器学习的超分辨算法往往是十 分耗时的。这主要是由于超分辨重建阶段要求解一个U/^范式约束的最优化问题，而求解 该最优化问题一般要求很大的计算量。因此，如何在保证超分辨处理效果的同时提高算法 执行效率是单幅图像超分辨领域亟待解决的重要科学问题。
【发明内容】
：
[0005] 本发明的目的在于解决现有基于机器学习的图像超分辨算法所用到的训练数据 精度不高、与测试样本不兼容、以及时耗太大难以满足实际应用的问题。基于单幅图像的模 糊核函数盲估计过程与锚定空间映射提出了一种单幅图像的超分辨处理算法。所述模糊核 估计方法能够相对精确地估计输入图像的模糊核函数、提高训练样本精度与兼容性；锚定 空间映射处理能在不降低超分辨处理效果的同时极大地减少算法的时间消耗。
[0006] 本发明提供了一种提高训练样本精度与兼容性和提高算法效率的超分辨处理算 法，该方法主要包括两个阶段的处理：基于最小化图像跨尺度非局部相异性的模糊核估计 阶段和基于对偶词典学习与锚定空间映射的超分辨重建阶段。
[0007] 模糊核函数盲估计阶段：
[0008] 步骤1. 1数据准备：从输入图像Y中以稠密采样的方式提取样本索引图像块集 合和样本块集合对于2X超分辨问题，可以取索引块和样本块的大小分别为 5X5和9X9 ;对于3X超分辨问题，可以取索引块样本块的大小分别为5X5和13X13,样 本块的大小对应了将要估计的模糊核的大小；
[0009] 步骤1. 2筛选待处理的图像块：设定图像块的平均梯度幅度阈值|gard|s，舍弃索 引块中的平滑块；
[0010] 步骤1. 3设定初始模糊核函数k为delta函数；
[0011] 步骤1. 4利用模糊核函数对样本图像块{免丨匕进行下采样操作：首先将模糊核与图 像块卷积，再进行下采样，由此得到样本块的下采样版本&;
[0012] 步骤1. 5对每一个索引块？1，根据欧氏距离度量标准在kg中找到一定数量的邻 域块，根据下列公式计算每一个邻域块的权重：
[0014] 其中吣是每一个索引块口i的邻域个数，〇是p冲附加噪音的标准差；
[0015] 步骤1. 6更新模糊核核函数k:
[0017]其中&表示与qu对应的卷积矩阵。这里的qu表示索引块pi对应的邻域块在原 始大图像中的"父块"，其中〇 <j<MpC是对应"父块"在x和.y方向的偏导数矩阵。该 公式的出发点是最小化输入图像跨尺度相异性（dissimilarity)，与MAPk方法类似但有本 质不同；
[0018] 步骤1. 7将所得模糊核函数归一化为单位向量；
[0019] 步骤1. 8若图像块之间的平均跨尺度相异性（APD，AveragePatch Dissimilarity)持续下降，则返回到步骤1. 4重复执行模糊核更新过程；否则，即AH)不再 保持下降，输出估计的模糊核函数k;
[0020] 基于对偶词典的稀疏重建阶段：
[0021] 步骤2. 1根据所估计的模糊核函数对输入图像进行下采样。采用迭代投影残差 (BPR，BackProjectionResiduals)策略分别从原始图像及其下采样版本中提取特征，并 用对偶词典学习算法⑶L训练对偶词典队和DH ;
[0022] 步骤2. 2设置目标高分辨率图像X为0 ;
[0023] 步骤2. 3利用迭代反向投影IBP将低分辨率输入图像Y上采样为X'。迭代投影 过程中使用双立方插值核函数进行上采样，用估计的模糊核函数进行下采样。
[0024] 步骤2. 4利用下列公式计算锚定空间映射矩阵PM:
[0026] 其中参数y是。范式最优化问题的平衡参数。
[0027] 步骤2. 5对X'中的每一个小图像块yp，计算：
[0028] u=mean(yp)，v= | |yp_u| 12
[0029] 步骤2. 6从yp中提取归一化梯度特征y;
[0030] 步骤2. 7求解高分辨率特征块x，并进行归一化处理：
[0032] 步骤2. 8根据BPR重建高分辨率图像块：
[0033] xp= (cXv) ?x+yp
[0034] 其中c是一个常数。
[0035] 步骤2. 9将xp添加到目标高分辨率图像X中对应像素位置，直到X'中的所有图 像块都被处理完；
[0036] 步骤2. 10在重叠区域进行均值化处理，输出最终结果；
[0037] 在模糊核函数估计阶段，本发明有三点创新：第一，算法以迭代的方式最小化图像 跨尺度相异性来估计图像模糊核函数，更加准确地模拟图像的真实退化情况，为后续处理 提供了更加精确的、自适应于输入图像自身的训练样本；第二，算法在模糊核函数估计过程 中采用了图像块的平均梯度幅度作为相似性度量准则，增强了算法对对图像块结构的表达 能力；第三，实验表明平滑图像块具有典型的连续性特征，对模糊核函数的估计没有明显 影响。所以算法在模糊核函数估计过程中首先舍弃平滑图像块，只保留结构明显的图像块， 这极大地增加了算法时效性。在超分辨重建阶段，本发明也有三点创新：第一，采用了迭代 反向残差的特征提取策略，Bevilacqua等人的研宄表明这种特征提取策略比传统的方向导 数效果更好；第二，重建算法采用了Yang等人的对偶词典学习算法，这样训练得到的对偶 词典能够更加准确地反映低分辨特征空间到高分辨特征空间的映射关系；第三，为了进一 步提高算法效率，重建阶段除了采用分块处理策略之外，还在稀疏重建阶段中运用了。范 式锚定空间映射。这一处理将低分辨率输入特征到高分辨输入特征的求解转换成矩阵乘 法，极大地提高了算法效率。
【具体实施方式】
[0038] 为了更好的理解本发明，下面结合【具体实施方式】对本发明的单幅图像超分辨处理 算法进行更为详细的描述。为了突出本发明的具体内容和创新性，下面的描述对当前已有 的成熟技术的描述会相应地淡化。通过前面的描述可知本发明的图像超分辨算法主要包括 四个部分的内容，按处理的先后顺序分别为模糊核盲估计、特征提取策略、对偶词典学习与 锚定空间映射，其中对偶词典学习算法是现有的成熟技术。虽然模糊核函数估计和反向投 影残差的特征提取策略也是现有技术，但在本发明中有其独特的创新点。以下分阶段对整 个算法进行描述，但对处理步骤进行连续编号。
[0039] 模糊核函数盲估计：
[0040] 步骤1.模糊核估计阶段的数据准备：采用稠密采样的方式将输入图像划分为大 小为5X5的索引块集合{凡丨二和大小为9X9的样本块集合{以匕（若放大倍数为3,则样 本块大小为13X13)。所谓稠密采样就是每个图像块的中心的相邻的，所以稠密采样得到的 图像块之间存在大量的重叠区域；
[0041] 步骤2.设定图像块的平均梯度幅度阈值|gard|s，舍弃索引块中的平滑块。也就 是，如果某个图像块的梯度幅度小于|gard|s，我们就认为其为平滑图像块并将其抛弃不 用；否则就认为它是结构化块，并将其用于模糊核更新过程中；
[0042] 步骤3.设定初始模糊核函数为delta函数；
[0043] 步骤4.利用模糊核函数对样本图像块{免丨匕进行下采样操作：首先将模糊核与图 像块卷积，再进行下采样，由此得到样本块的下采样版本;
[0044] 步骤5.对每一个索引±夬，利用KD-TREE算法在^匕中找到一定数量的邻域块，并 计算邻域块权重矩阵：
[0046] 其中％是每一个索引块p i的邻域个数，〇是p 附加噪音的标准差；
[0047] 步骤6.更新模糊核函数：
[0049] 其中&表示与q ^对应的卷积矩阵。这里的q ^表示索引块p i对应的邻域块在原 始大图像中的"父块"，其中〇彡j彡Mp C是对应"父块"在x和y方向的偏导数矩阵。这 里需要说明的是根据某一个图像块计算其对应卷积矩阵过程。比如有矩阵A和矩阵B卷 积得到矩阵M:M=A*B，那么与矩阵B对应的卷积矩阵是将A和M转换成列向量3和m， 使得M=
[0050] 步骤7.将所得模糊核函数归一化为单位向量，再用所得的模糊核函数卷积样本 块并下采样，更新样本的下采样版本化以,，再次利用KD-TREE算法在中寻找每一个索 引块的邻域块。如果索引块与其邻域块之间的平均跨尺度相异性AH)持续下降，则重复更 新模糊核函数，直到AH)不再下降为止；
[0051] 特征提取策略：
[0052] 在传统的BPR特征提取中，图像模糊核函数都假设为已知的，如参数已知的高斯 模糊核、双立方插值核等低通滤波器。这里，我们采用的是估计的模糊核函数。具体流程如 下：
[0053] 步骤8.提取输入图像的Y通道值（YCbCr颜色空间），用所估计的模糊核函数对其 进行下采样操作得到Ys。利用迭代反向投影（IBP，IterativeBack-Projection)操作得到 加强插值版本Y':
[0055] 其中
是第t次迭代所得的下采样图像。k'是可用局部扩散差分误差 的反向投影滤波器，通常用高斯滤波器替代。开始时IBP用双立方插值将^插值到Y/， 然后用估计的模糊核卷积V并下采样；
[0056] 步骤9.经过有限次迭代得到Y'后，反向投影残差图像为Y-Y'。从Y'中采样图 像块，并提取归一化梯度特征作为低分辨率特征空间Fp从Y-Y'中采样的图像块作为高分 辨率特征空间Fh;
[0057] 对偶词典学习：
[0058] 步骤10.得到对偶特征空间和？[1后，利用Yang等人的对偶词典学习算法⑶L训 练对偶词典DjPDH。词典训练的具体过程可参见Yang等人的论文"CoupledDictionary TrainingforImageSuper-Resolution" （2012)；
[0059] 超分辨重建：
[0060] 步骤11.测试数据准备：根据所估计的模糊核函数对输入图像进行下采样，采用IBP对输入图像进行加强插值得到X'。对X'进行稠密采样得到低分辨率测试样本集；
[0061] 步骤12.设置目标高分辨率图像X为0;
[0062] 步骤13.利用下列公式计算锚定空间映射矩阵PM:
[0064] 其中参数y是1^2范式最优化问题的平衡参数。基于对偶词典学习的锚定空间映 射过程的关键就在于该映射矩阵。它实际上是下列最优化问题的代数解：
[0066] 将上述目标函数的导数设为0可得：
[0068] 步骤14.对X'中的每一个小图像块yp，计算：
[0069] u=mean(yp)，v= | |yp_u| 12
[0070] 步骤 15.从yp*提取归一化梯度特征y;
[0071 ] 步骤16.解高分辨率特征块x，并进行归一化处理：
[0073] 步骤17.根据BPR重建高分辨率图像块：
[0074] xp=(cXv) ?x+yp
[0075] 其中c是一个常数；
[0076] 步骤18.将xp添加到目标高分辨率图像X中对应像素位置，直到X'中的所有图 像块都被处理完毕。在图像块的重叠区域进行均值化处理，输出最终结果。
[0077] 综上所述，本发明主要包含了四个处理过程：模糊核函数的盲估计过程、反向迭代 残差的特征提取策略、对偶词典学习和锚定空间映射。在模糊核估计和超分辨重建过程中， 都采用了分块处理方式，舍弃无用的平滑图像块。这样既可以提高算法执行效率，又可以改 善模糊核估计效果。BPR的特征提取策略和对偶词典学习都是为了更加准确地反映低分辨 率特征空间到高分辨率特征空间的映射关系。L2范式的锚定空间映射过程，实质上是放松 了U/U范式的稀疏表达约束条件。理论上，L2范式最优化问题得到的结果往往比、/^范 式最优化问题的结果差。然而，本发明使用模糊核估计估计增强了训练数据的精度和兼容 性，分块处理和BPR的特征提取策略保证了词典学习过程中算法对图像特征的表达能力， 所以本发明的处理能在保证超分辨处理效果的同时，提高算法处理效率。
[0078] 尽管上面对本发明说明性的【具体实施方式】进行了详细描述，但本发明不局限于上 述【具体实施方式】的范围。对本技术领域的普通技术人员来讲，只要各种变化在所附的权利 要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思 的发明创造均在保护之列。
【主权项】
1.基于盲模糊估计与锚定空间映射的单幅图像超分辨处理方法，其特征在于算法包括 单幅图像模糊核函数的盲估计阶段与基于对偶词典的稀疏重建阶段。具体描述如下： 模糊核函数的盲估计阶段： 步骤1. 1从输入图像Y中以稠密采样的方式提取样本索引图像块集合{/^匕和样本块 集合?对于2X超分辨问题，可以取索引块和样本块的大小分别为5X5和9X9 ;对于 3X超分辨问题，可以取索引块样本块的大小分别为5X5和13X13。样本块的大小对应了 将要估计的模糊核的大小； 步骤1. 2设定图像块的平均梯度幅度阈值Igardls，舍弃索引块中的平滑块； 步骤1. 3设定初始模糊核函数k为delta函数； 步骤1. 4利用模糊核函数对样本图像块进行下采样操作：首先将模糊核与图像 块卷积，再进行下采样，由此得到样本块的下采样版本; 步骤1. 5对每一个索引块Pi，根据欧氏距离度量标准在中找到一定数量的邻域 块，根据下列公式计算每一个邻域块的权重： J=i其中Mi是每一个索引块p i的邻域个数，σ是p 附加噪音的标准差； 步骤1. 6通过下列公式更新模糊核函数k :其中Rij表示与q u对应的卷积矩阵。这里的q u表示索引块P，寸应的邻域块在原始大 图像中的"父块"，其中〇 < j < Mp C是对应"父块"在X和y方向的偏导数矩阵。该公式 的出发点是最小化输入图像跨尺度"不相似性"（dissimilarity)，与MAPk方法类似但有本 质不同； 步骤1. 7将所得模糊核函数归一化为单位向量； 步骤1.8若图像块之间的平均跨尺度相异性（APD，Average PatchDissimilarity)持 续下降，则返回到步骤1.4重复执行模糊核更新过程；否则，即AH)不再保持下降，输出估计 的模糊核函数k。基于对偶词典的稀疏重建阶段： 步骤2.1根据所估计的模糊核函数对输入图像进行下采样。采用迭代投影残差（BPR， Back Projection Residuals)策略分别从原始图像及其下采样版本中提取特征，并用对偶 词典学习算法⑶L训练对偶词典队和D H; 步骤2. 2设置目标高分辨率图像X为0 ; 步骤2. 3利用迭代反向投影IBP将低分辨率输入图像Y上采样为X'。迭代投影过程 中使用双立方插值核函数进行上采样，用估计的模糊核函数进行下采样。 步骤2. 4利用下列公式计算锚定空间映射矩阵PM:其中参数μ是1^2范式最优化问题的平衡参数。 步骤2.5对X'中的每一个小图像块yp，计算： u = mean (yp)，V = I I yp_u I 12 步骤2. 6从yp中提取归一化梯度特征y ; 步骤2. 7求解高分辨率特征块X，并进行归一化处理：步骤2. 8根据BPR重建高分辨率图像块： Xp= (cXv) · x+y p 其中c是一个常数。 步骤2. 9将Xp添加到目标高分辨率图像X中对应像素位置，直到t中的所有图像块 都被处理完； 步骤2. 10在重叠区域进行均值化处理，输出最终结果。2. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 2中根据图像块的 平均梯度幅度对图像块进行分类。平均梯度幅度小于I gard 13的图像块将被认为是平滑块， 这部分图像块对模糊核函数估计的作用可以忽略，而平均梯度幅度大于IgardIJ^图像块 将被认为是结构化块，这部分图像块被用于模糊核函数的估计。这样既可以减少无用图像 块的处理，提尚算法效率，又可以提尚t旲糊核的估计精度。3. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 5中每一个索引块 的邻域块数量是不固定的。这样可以避免固定数量邻域引起的过拟合或欠拟合问题。4. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 6中模糊核函数更 新公式的推导基于最小化跨尺度相异性的思想。5. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 8中判定跨尺度相 异性的标准采用的是平均跨尺度相异性APD，而不是索引块邻域数量。6. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤2. 1的对偶词典学习 过程中采用了迭代反向残差的特征提取策略。相对于直接采用图像块梯度特征的传统方 式，迭代反向残差表示的图像特征具有更强的表达能力，基于这种特征训练的对偶词典具 有更明显的方向、边缘和纹理信息。7. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤2. 4中利用锚定空间 映射矩阵求解高分辨率特征块。基于L2范式约束的锚定空间映射可以极大地提高算法效 率。由于模糊核估计得到的更精确的训练样本，所以这样放松约束条件不会降低超分辨效 果。
【专利摘要】训练样本的精度与时效性是当前图像超分辨领域面临的两大挑战。本发明针对该问题提出一种单幅图像超分辨处理方法。该方法包括模糊核函数估计与超分辨重建两个阶段。模糊核函数估计通过最小化图像跨尺度相异性来实现，以提高训练样本精度；超分辨重建在反向投影残差的特征提取策略和对偶词典学习的基础上进行锚定空间映射实现，以增强算法对图像底层特征的表达能力和准确反映低分辨率和高分辨率特征空间之间的映射关系。为提高算法效率，高分辨率特征重建采用锚定空间映射完成，并且模糊核函数估计阶段和超分辨重建阶段都采用分块处理方式。本发明为提高成像设备性能提供了有力竞争优势，为进一步提高超分辨处理效果提供必要的理论与技术支持。
【IPC分类】G06T5/00
【公开号】CN104899835
【申请号】CN201510224227
【发明人】吴亚东, 赵小乐, 田金沙, 张红英
【申请人】西南科技大学
【公开日】2015年9月9日
【申请日】2015年4月28日
【技术领域】：
[0001] 本发明涉及图像/视频处理技术，具体来讲，本发明涉及一种盲模糊估计与锚定 空间映射的单幅图像超分辨处理算法。 技术背景：
[0002] 图像超分辨是从同一场景的一幅或多幅低分辨率图像生成一幅同一场景的高分 辨率图像的技术。从本质上来说，超分辨问题是一个严重的病态问题，必须要有某些先验信 息才能求解。从该领域的历史发展角度来看，超分辨技术大致可以分为三类：基于插值的方 法、基于重建的方法和基于机器学习的方法。基于插值的方法目前已经发展得非常成熟，主 流的插值算法有最邻近插值、双线性插值、双立方插值、立方卷积插值与拉格朗日插值等。 插值算法一般假设图像信号是连续的、带宽受限的光滑信号，然而这一假设在自然图像中 通常是不成立的，因为自然图像中包含了大量的不连续特征，如边缘、角点等。所以基于插 值算法图像超分辨处理往往导致振铃与锯齿等现象，在对图像质量要求较高的场合往往不 能满足应用要求；基于重建的方法将超分辨问题看成图像采集过程的逆问题，这类方法一 般要求大量的输入样本来固定解的方向。这类技术一般可以取得比插值算法更好的处理效 果，但当上采样因子较大或有效输入图像的数量不足时这类方法的效果会急剧下降。
[0003] 基于机器学习的方法是一种比较有前景的技术，目前已经成为超分辨领域的主流 研宄方向。基于学习的方法最早体现在Freeman等人的样本学习方法中，该方法通过置信 传播求解马尔科夫随机域（MarkovRandomField)来进行低分辨率到高分辨率样本的预 测。Sun等人利扩展了这一方法，他们用原始草图先验来加强边缘、角点等非连续性特征。 然而，这类方法通常要求大量的外部数据库，该数据库由数以万计的高分辨率/低分辨率 图像块对组成，这极大地降低了算法执行效率。为了解决这一问题，Chang等人采用局部线 性嵌入（LocallyLinearEmbedding)的思想，假设高分辨率图像块与低分辨率图像块之间 具有相似的空间结构，利用最小二乘法求解低分辨率图像块固定数量的邻域，并将得到的 线性组合系数直接映射到高分辨率空间来恢复高分辨率图像块。这种方法能够以较少的 训练样本表达一个低分辨率图像块，有效地降提高了算法执行效率。这类方法后来被其他 人扩展，但是固定数量的邻域很容易引起过拟合或欠拟合现象，超分辨效果仍然有待提升。 Yang等人提出了图像超分辨的稀疏表达方法，该方法将观察特征空间和隐藏特征空间串接 在一起，然后根据压缩感知理论利用二次规划求得一个外部词典，最后利用该词典自适应 地表达低分辨率图像块。该方法也依赖于外部数据库来构建词典，若训练数据与输入图像 不兼容，算法也会引入明显的人工痕迹。Glasner等人于2009年发现了单幅图像的跨尺度 非局部自相似性，结合基于样本学习和传统的重建方法实现了超分辨处理效果的大幅度提 升。Glasner等人的方法没有考虑输入图像本身也存在模糊现象，而且在金字塔分层过程 中假设模糊核函数是已知的，但这与事实是不符的。最近，Michaeli等人利用图像块冗余 先验进行单幅图像的盲超分辨处理，通过最大化图像跨尺度自相似性来估计图像的真实模 糊核函数。随后，他又将这一性质用到了单幅图像的去模糊中，并取得良好的处理效果。然 而，Michaeli等人的方法是基于自然图像的连续性假设的，而且模糊核估计过程中利用了 所有图像块，这造成最终估计的模糊核函数出现过拟合或欠拟合现象。
[0004] 在单幅图像的超分辨处理领域，训练数据与测试数量之间的兼容性和训练数据的 精度、时效性要求是当前面临的两个主要挑战。一方面，在单幅输入图像的条件下，当前的 超分辨算法通常假设图像的模糊核函数是已知的，比如双线性插值核、高斯模糊核等低通 滤波器。然而，Michaeli等人的研宄成果表明，在假设的模糊核函数与图像真实模糊核函 数相差较大时，超分辨算法的处理效果会急剧下降。为了确保训练样本的精度及其与测试 样本之间的兼容性，有必要从输入图像自身估计图像的真实模糊核函数，以保证算法中所 用到的图像模糊参数自适应于输入图像；另一方面，基于机器学习的超分辨算法往往是十 分耗时的。这主要是由于超分辨重建阶段要求解一个U/^范式约束的最优化问题，而求解 该最优化问题一般要求很大的计算量。因此，如何在保证超分辨处理效果的同时提高算法 执行效率是单幅图像超分辨领域亟待解决的重要科学问题。
【发明内容】
：
[0005] 本发明的目的在于解决现有基于机器学习的图像超分辨算法所用到的训练数据 精度不高、与测试样本不兼容、以及时耗太大难以满足实际应用的问题。基于单幅图像的模 糊核函数盲估计过程与锚定空间映射提出了一种单幅图像的超分辨处理算法。所述模糊核 估计方法能够相对精确地估计输入图像的模糊核函数、提高训练样本精度与兼容性；锚定 空间映射处理能在不降低超分辨处理效果的同时极大地减少算法的时间消耗。
[0006] 本发明提供了一种提高训练样本精度与兼容性和提高算法效率的超分辨处理算 法，该方法主要包括两个阶段的处理：基于最小化图像跨尺度非局部相异性的模糊核估计 阶段和基于对偶词典学习与锚定空间映射的超分辨重建阶段。
[0007] 模糊核函数盲估计阶段：
[0008] 步骤1. 1数据准备：从输入图像Y中以稠密采样的方式提取样本索引图像块集 合和样本块集合对于2X超分辨问题，可以取索引块和样本块的大小分别为 5X5和9X9 ;对于3X超分辨问题，可以取索引块样本块的大小分别为5X5和13X13,样 本块的大小对应了将要估计的模糊核的大小；
[0009] 步骤1. 2筛选待处理的图像块：设定图像块的平均梯度幅度阈值|gard|s，舍弃索 引块中的平滑块；
[0010] 步骤1. 3设定初始模糊核函数k为delta函数；
[0011] 步骤1. 4利用模糊核函数对样本图像块{免丨匕进行下采样操作：首先将模糊核与图 像块卷积，再进行下采样，由此得到样本块的下采样版本&;
[0012] 步骤1. 5对每一个索引块？1，根据欧氏距离度量标准在kg中找到一定数量的邻 域块，根据下列公式计算每一个邻域块的权重：
[0014] 其中吣是每一个索引块口i的邻域个数，〇是p冲附加噪音的标准差；
[0015] 步骤1. 6更新模糊核核函数k:
[0017]其中&表示与qu对应的卷积矩阵。这里的qu表示索引块pi对应的邻域块在原 始大图像中的"父块"，其中〇 <j<MpC是对应"父块"在x和.y方向的偏导数矩阵。该 公式的出发点是最小化输入图像跨尺度相异性（dissimilarity)，与MAPk方法类似但有本 质不同；
[0018] 步骤1. 7将所得模糊核函数归一化为单位向量；
[0019] 步骤1. 8若图像块之间的平均跨尺度相异性（APD，AveragePatch Dissimilarity)持续下降，则返回到步骤1. 4重复执行模糊核更新过程；否则，即AH)不再 保持下降，输出估计的模糊核函数k;
[0020] 基于对偶词典的稀疏重建阶段：
[0021] 步骤2. 1根据所估计的模糊核函数对输入图像进行下采样。采用迭代投影残差 (BPR，BackProjectionResiduals)策略分别从原始图像及其下采样版本中提取特征，并 用对偶词典学习算法⑶L训练对偶词典队和DH ;
[0022] 步骤2. 2设置目标高分辨率图像X为0 ;
[0023] 步骤2. 3利用迭代反向投影IBP将低分辨率输入图像Y上采样为X'。迭代投影 过程中使用双立方插值核函数进行上采样，用估计的模糊核函数进行下采样。
[0024] 步骤2. 4利用下列公式计算锚定空间映射矩阵PM:
[0026] 其中参数y是。范式最优化问题的平衡参数。
[0027] 步骤2. 5对X'中的每一个小图像块yp，计算：
[0028] u=mean(yp)，v= | |yp_u| 12
[0029] 步骤2. 6从yp中提取归一化梯度特征y;
[0030] 步骤2. 7求解高分辨率特征块x，并进行归一化处理：
[0032] 步骤2. 8根据BPR重建高分辨率图像块：
[0033] xp= (cXv) ?x+yp
[0034] 其中c是一个常数。
[0035] 步骤2. 9将xp添加到目标高分辨率图像X中对应像素位置，直到X'中的所有图 像块都被处理完；
[0036] 步骤2. 10在重叠区域进行均值化处理，输出最终结果；
[0037] 在模糊核函数估计阶段，本发明有三点创新：第一，算法以迭代的方式最小化图像 跨尺度相异性来估计图像模糊核函数，更加准确地模拟图像的真实退化情况，为后续处理 提供了更加精确的、自适应于输入图像自身的训练样本；第二，算法在模糊核函数估计过程 中采用了图像块的平均梯度幅度作为相似性度量准则，增强了算法对对图像块结构的表达 能力；第三，实验表明平滑图像块具有典型的连续性特征，对模糊核函数的估计没有明显 影响。所以算法在模糊核函数估计过程中首先舍弃平滑图像块，只保留结构明显的图像块， 这极大地增加了算法时效性。在超分辨重建阶段，本发明也有三点创新：第一，采用了迭代 反向残差的特征提取策略，Bevilacqua等人的研宄表明这种特征提取策略比传统的方向导 数效果更好；第二，重建算法采用了Yang等人的对偶词典学习算法，这样训练得到的对偶 词典能够更加准确地反映低分辨特征空间到高分辨特征空间的映射关系；第三，为了进一 步提高算法效率，重建阶段除了采用分块处理策略之外，还在稀疏重建阶段中运用了。范 式锚定空间映射。这一处理将低分辨率输入特征到高分辨输入特征的求解转换成矩阵乘 法，极大地提高了算法效率。
【具体实施方式】
[0038] 为了更好的理解本发明，下面结合【具体实施方式】对本发明的单幅图像超分辨处理 算法进行更为详细的描述。为了突出本发明的具体内容和创新性，下面的描述对当前已有 的成熟技术的描述会相应地淡化。通过前面的描述可知本发明的图像超分辨算法主要包括 四个部分的内容，按处理的先后顺序分别为模糊核盲估计、特征提取策略、对偶词典学习与 锚定空间映射，其中对偶词典学习算法是现有的成熟技术。虽然模糊核函数估计和反向投 影残差的特征提取策略也是现有技术，但在本发明中有其独特的创新点。以下分阶段对整 个算法进行描述，但对处理步骤进行连续编号。
[0039] 模糊核函数盲估计：
[0040] 步骤1.模糊核估计阶段的数据准备：采用稠密采样的方式将输入图像划分为大 小为5X5的索引块集合{凡丨二和大小为9X9的样本块集合{以匕（若放大倍数为3,则样 本块大小为13X13)。所谓稠密采样就是每个图像块的中心的相邻的，所以稠密采样得到的 图像块之间存在大量的重叠区域；
[0041] 步骤2.设定图像块的平均梯度幅度阈值|gard|s，舍弃索引块中的平滑块。也就 是，如果某个图像块的梯度幅度小于|gard|s，我们就认为其为平滑图像块并将其抛弃不 用；否则就认为它是结构化块，并将其用于模糊核更新过程中；
[0042] 步骤3.设定初始模糊核函数为delta函数；
[0043] 步骤4.利用模糊核函数对样本图像块{免丨匕进行下采样操作：首先将模糊核与图 像块卷积，再进行下采样，由此得到样本块的下采样版本;
[0044] 步骤5.对每一个索引±夬，利用KD-TREE算法在^匕中找到一定数量的邻域块，并 计算邻域块权重矩阵：
[0046] 其中％是每一个索引块p i的邻域个数，〇是p 附加噪音的标准差；
[0047] 步骤6.更新模糊核函数：
[0049] 其中&表示与q ^对应的卷积矩阵。这里的q ^表示索引块p i对应的邻域块在原 始大图像中的"父块"，其中〇彡j彡Mp C是对应"父块"在x和y方向的偏导数矩阵。这 里需要说明的是根据某一个图像块计算其对应卷积矩阵过程。比如有矩阵A和矩阵B卷 积得到矩阵M:M=A*B，那么与矩阵B对应的卷积矩阵是将A和M转换成列向量3和m， 使得M=
[0050] 步骤7.将所得模糊核函数归一化为单位向量，再用所得的模糊核函数卷积样本 块并下采样，更新样本的下采样版本化以,，再次利用KD-TREE算法在中寻找每一个索 引块的邻域块。如果索引块与其邻域块之间的平均跨尺度相异性AH)持续下降，则重复更 新模糊核函数，直到AH)不再下降为止；
[0051] 特征提取策略：
[0052] 在传统的BPR特征提取中，图像模糊核函数都假设为已知的，如参数已知的高斯 模糊核、双立方插值核等低通滤波器。这里，我们采用的是估计的模糊核函数。具体流程如 下：
[0053] 步骤8.提取输入图像的Y通道值（YCbCr颜色空间），用所估计的模糊核函数对其 进行下采样操作得到Ys。利用迭代反向投影（IBP，IterativeBack-Projection)操作得到 加强插值版本Y':
[0055] 其中
是第t次迭代所得的下采样图像。k'是可用局部扩散差分误差 的反向投影滤波器，通常用高斯滤波器替代。开始时IBP用双立方插值将^插值到Y/， 然后用估计的模糊核卷积V并下采样；
[0056] 步骤9.经过有限次迭代得到Y'后，反向投影残差图像为Y-Y'。从Y'中采样图 像块，并提取归一化梯度特征作为低分辨率特征空间Fp从Y-Y'中采样的图像块作为高分 辨率特征空间Fh;
[0057] 对偶词典学习：
[0058] 步骤10.得到对偶特征空间和？[1后，利用Yang等人的对偶词典学习算法⑶L训 练对偶词典DjPDH。词典训练的具体过程可参见Yang等人的论文"CoupledDictionary TrainingforImageSuper-Resolution" （2012)；
[0059] 超分辨重建：
[0060] 步骤11.测试数据准备：根据所估计的模糊核函数对输入图像进行下采样，采用IBP对输入图像进行加强插值得到X'。对X'进行稠密采样得到低分辨率测试样本集；
[0061] 步骤12.设置目标高分辨率图像X为0;
[0062] 步骤13.利用下列公式计算锚定空间映射矩阵PM:
[0064] 其中参数y是1^2范式最优化问题的平衡参数。基于对偶词典学习的锚定空间映 射过程的关键就在于该映射矩阵。它实际上是下列最优化问题的代数解：
[0066] 将上述目标函数的导数设为0可得：
[0068] 步骤14.对X'中的每一个小图像块yp，计算：
[0069] u=mean(yp)，v= | |yp_u| 12
[0070] 步骤 15.从yp*提取归一化梯度特征y;
[0071 ] 步骤16.解高分辨率特征块x，并进行归一化处理：
[0073] 步骤17.根据BPR重建高分辨率图像块：
[0074] xp=(cXv) ?x+yp
[0075] 其中c是一个常数；
[0076] 步骤18.将xp添加到目标高分辨率图像X中对应像素位置，直到X'中的所有图 像块都被处理完毕。在图像块的重叠区域进行均值化处理，输出最终结果。
[0077] 综上所述，本发明主要包含了四个处理过程：模糊核函数的盲估计过程、反向迭代 残差的特征提取策略、对偶词典学习和锚定空间映射。在模糊核估计和超分辨重建过程中， 都采用了分块处理方式，舍弃无用的平滑图像块。这样既可以提高算法执行效率，又可以改 善模糊核估计效果。BPR的特征提取策略和对偶词典学习都是为了更加准确地反映低分辨 率特征空间到高分辨率特征空间的映射关系。L2范式的锚定空间映射过程，实质上是放松 了U/U范式的稀疏表达约束条件。理论上，L2范式最优化问题得到的结果往往比、/^范 式最优化问题的结果差。然而，本发明使用模糊核估计估计增强了训练数据的精度和兼容 性，分块处理和BPR的特征提取策略保证了词典学习过程中算法对图像特征的表达能力， 所以本发明的处理能在保证超分辨处理效果的同时，提高算法处理效率。
[0078] 尽管上面对本发明说明性的【具体实施方式】进行了详细描述，但本发明不局限于上 述【具体实施方式】的范围。对本技术领域的普通技术人员来讲，只要各种变化在所附的权利 要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思 的发明创造均在保护之列。
【主权项】
1.基于盲模糊估计与锚定空间映射的单幅图像超分辨处理方法，其特征在于算法包括 单幅图像模糊核函数的盲估计阶段与基于对偶词典的稀疏重建阶段。具体描述如下： 模糊核函数的盲估计阶段： 步骤1. 1从输入图像Y中以稠密采样的方式提取样本索引图像块集合{/^匕和样本块 集合?对于2X超分辨问题，可以取索引块和样本块的大小分别为5X5和9X9 ;对于 3X超分辨问题，可以取索引块样本块的大小分别为5X5和13X13。样本块的大小对应了 将要估计的模糊核的大小； 步骤1. 2设定图像块的平均梯度幅度阈值Igardls，舍弃索引块中的平滑块； 步骤1. 3设定初始模糊核函数k为delta函数； 步骤1. 4利用模糊核函数对样本图像块进行下采样操作：首先将模糊核与图像 块卷积，再进行下采样，由此得到样本块的下采样版本; 步骤1. 5对每一个索引块Pi，根据欧氏距离度量标准在中找到一定数量的邻域 块，根据下列公式计算每一个邻域块的权重： J=i其中Mi是每一个索引块p i的邻域个数，σ是p 附加噪音的标准差； 步骤1. 6通过下列公式更新模糊核函数k :其中Rij表示与q u对应的卷积矩阵。这里的q u表示索引块P，寸应的邻域块在原始大 图像中的"父块"，其中〇 < j < Mp C是对应"父块"在X和y方向的偏导数矩阵。该公式 的出发点是最小化输入图像跨尺度"不相似性"（dissimilarity)，与MAPk方法类似但有本 质不同； 步骤1. 7将所得模糊核函数归一化为单位向量； 步骤1.8若图像块之间的平均跨尺度相异性（APD，Average PatchDissimilarity)持 续下降，则返回到步骤1.4重复执行模糊核更新过程；否则，即AH)不再保持下降，输出估计 的模糊核函数k。基于对偶词典的稀疏重建阶段： 步骤2.1根据所估计的模糊核函数对输入图像进行下采样。采用迭代投影残差（BPR， Back Projection Residuals)策略分别从原始图像及其下采样版本中提取特征，并用对偶 词典学习算法⑶L训练对偶词典队和D H; 步骤2. 2设置目标高分辨率图像X为0 ; 步骤2. 3利用迭代反向投影IBP将低分辨率输入图像Y上采样为X'。迭代投影过程 中使用双立方插值核函数进行上采样，用估计的模糊核函数进行下采样。 步骤2. 4利用下列公式计算锚定空间映射矩阵PM:其中参数μ是1^2范式最优化问题的平衡参数。 步骤2.5对X'中的每一个小图像块yp，计算： u = mean (yp)，V = I I yp_u I 12 步骤2. 6从yp中提取归一化梯度特征y ; 步骤2. 7求解高分辨率特征块X，并进行归一化处理：步骤2. 8根据BPR重建高分辨率图像块： Xp= (cXv) · x+y p 其中c是一个常数。 步骤2. 9将Xp添加到目标高分辨率图像X中对应像素位置，直到t中的所有图像块 都被处理完； 步骤2. 10在重叠区域进行均值化处理，输出最终结果。2. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 2中根据图像块的 平均梯度幅度对图像块进行分类。平均梯度幅度小于I gard 13的图像块将被认为是平滑块， 这部分图像块对模糊核函数估计的作用可以忽略，而平均梯度幅度大于IgardIJ^图像块 将被认为是结构化块，这部分图像块被用于模糊核函数的估计。这样既可以减少无用图像 块的处理，提尚算法效率，又可以提尚t旲糊核的估计精度。3. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 5中每一个索引块 的邻域块数量是不固定的。这样可以避免固定数量邻域引起的过拟合或欠拟合问题。4. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 6中模糊核函数更 新公式的推导基于最小化跨尺度相异性的思想。5. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤1. 8中判定跨尺度相 异性的标准采用的是平均跨尺度相异性APD，而不是索引块邻域数量。6. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤2. 1的对偶词典学习 过程中采用了迭代反向残差的特征提取策略。相对于直接采用图像块梯度特征的传统方 式，迭代反向残差表示的图像特征具有更强的表达能力，基于这种特征训练的对偶词典具 有更明显的方向、边缘和纹理信息。7. 根据权利要求1所述的单幅图像超分辨算法，其特征在于步骤2. 4中利用锚定空间 映射矩阵求解高分辨率特征块。基于L2范式约束的锚定空间映射可以极大地提高算法效 率。由于模糊核估计得到的更精确的训练样本，所以这样放松约束条件不会降低超分辨效 果。
【专利摘要】训练样本的精度与时效性是当前图像超分辨领域面临的两大挑战。本发明针对该问题提出一种单幅图像超分辨处理方法。该方法包括模糊核函数估计与超分辨重建两个阶段。模糊核函数估计通过最小化图像跨尺度相异性来实现，以提高训练样本精度；超分辨重建在反向投影残差的特征提取策略和对偶词典学习的基础上进行锚定空间映射实现，以增强算法对图像底层特征的表达能力和准确反映低分辨率和高分辨率特征空间之间的映射关系。为提高算法效率，高分辨率特征重建采用锚定空间映射完成，并且模糊核函数估计阶段和超分辨重建阶段都采用分块处理方式。本发明为提高成像设备性能提供了有力竞争优势，为进一步提高超分辨处理效果提供必要的理论与技术支持。
【IPC分类】G06T5/00
【公开号】CN104899835
【申请号】CN201510224227
【发明人】吴亚东, 赵小乐, 田金沙, 张红英
【申请人】西南科技大学
【公开日】2015年9月9日
【申请日】2015年4月28日
最新回复(0)