一种图像超分辨方法
一种图像超分辨方法
【技术领域】
[0001] 本发明涉及计算机视觉和图像处理领域，特别是涉及一种图像超分辨方法。
【背景技术】
[0002] 图像超分辨属于计算机视觉和图像处理领域，是一个经典的图像处理问题，有着 重要的学术和工业研宄价值。图像超分辨的目标就是，由给定的低分辨率图像，重构出它相 应的高分辨率图像，使得在重构误差尽可能小的情况下，视觉效果尽可能的好。目前主流的 图像超分辨方法可以分为三大类：基于插值的方法；基于重构的方法；基于学习的方法。
[0003] 基于插值的方法，是一类基本的超分辨方法，其处理过程通常会使用局部协方差 系数，固定功能核或者自适应结构核，因其简单快速的特点而被广泛使用。但是，很多情况 下，这类方法产生的结果会随着放大倍数的增大而产生视觉伪影，比如：锯齿效应和模糊效 应。基于重构的方法，假设低分辨图像是由高分辨率图像经过几种退化因素得到的，比如： 降采样和模糊化。这类方法在超分辨过程中强调重构约束的重要性，因而，其得到的高分辨 率图像往往有着过于平滑和不自然的边缘以及在图像边缘附近产生振铃效应。基于学习的 方法，因为利用机器学习技术从训练集中学习到了大量先验知识，因而获得了更好的结果。 但是，这类方法通常需要求解基于范数或者范数的最优化问题，其处理速度是很慢的。
【发明内容】
[0004] 本发明的主要目的在于针对现有技术的不足，提供一种处理速度快、质量高的图 像超分辨方法。
[0005] 为实现上述目的，本发明采用以下技术方案：
[0006] 一种图像超分辨方法，包括以下步骤：
[0007]A1 :从预设图像公共数据集中得到高分辨率图像,将其下采样得到低分 辨率图像{/ij，从高分辨率与低分辨率的图像对中提取高、低分辨率特征集合bkj和 {ji,卜并利用低分辨率特征集合丨乂,丨来训练出低分辨率字典队；
[0008]A2 :利用高、低分辨率特征集合
丨，以及低分辨率字典队，计算高、低 分辨率近邻集合
；
[0009]A3 :由高、低分辨率近邻集合
，计算出从低分辨率特征到高分辨率 特征的映射矩阵集合{FJ;
[0010]A4 :对于输入的低分辨率图像L提取低分辨率图像块集合与低分辨率特征 集合{乂}，对于每一个低分辨率特征％，从低分辨率字典队中选择与其最接近的字典基 dk，使用相应的映射矩阵Fk恢复出对应的高分辨率特征，再将所有重构的高分辨特征 加上对应的低分辨率图像块丨炱丨，得到相应的高分辨率图像块{/4}，并将所有的高 分辨图像块融合成一张高分辨图像iH。
[0011] 进一步地：
[0012] 步骤A1包括：
[0013] a)先使用插值算法，对高分辨率图像集合下采样而得到低分辨率图像集合 ，再利用插值算法将所得低分辨率图像集合进行上采样处理，其中下采样过程的缩小 倍数和上采样过程的放大倍数相同；
[0014] b)从高分辨率图像集合?(芯4中提取高分辨率图像块集合{/U与高分辨率特征 集合，从低分辨率图像集合中的相应位置提取出低分辨率图像块集合'与 低分辨率特征集合(允」，其中，高分辨率特征yH，s为：
[0015] yH，s=pHs-pLs， （1)
[0016] 低分辨率特征yUs为：
[0017] yL,s=[fi*PL,s；f 2*PL,s；f 3*PL,s；f4*Pl,s]^ (2)
[0018] 其中，4和f2是水平与垂直方向的梯度高通滤波器，f#Pf4是水平与垂直方向拉 普拉斯高通滤波器，符号*表示卷积操作。
[0019] 步骤b)中，利用低分辨率特征集合来优化下列目标函数以得到低分辨率的字典，
[0021] 其中
，队={dj，X= {Xi}分别为低分辨率特征集合、字典以及系数，
是重构误差项：
是字典基之间的互相关性，Ai是大于〇的常数，L 是系数限制参数。
[0022] 步骤A2包括：利用高、低分辨率特征集合对
，对于任意低分辨率字 典的字典基屯，在hid中寻找其近邻，组成低分辨率近邻集合;并以高分辨率特征集 合?[>44中相应位置的特征来组成高分辨率近邻集合。
[0023] 通过评价字典基与低分辨率特征之间的相似性，找到与输入的低分辨率特征最接 近的字典基，优选可以采用内积的绝对值作为相似性的度量，即：|<患|，或以欧氏距离作 为度量。
[0024] 步骤A3包括：对于得到的低分辨率字典和高、低分辨率近邻集合，假定一个低分 辨特征与其最近的低分辨率字典基和近邻集合分别是dk和Nuk，为得到重构高分辨率特 征yH所需要的系数x，先求解下列最优化目标函数：
[0026] 其中A2是大于零的常数，
[0027] 其解析解为：
[0029] 相应的高分辨率特征由下列式子求得：
[0031] 离线计算出映射矩阵：
[0033] 从而对于每个低分辨率字典基，求得其相应的映射矩阵。
[0034] 步骤A4包括：
[0035] 对于任意输入的低分辨率图像，从中至少提取一部分相互重叠的低分辨率图像块 集合和相互重叠的低分辨率特征集合，所谓重叠，是指：一张图像中，相邻的图像块或者特 征之间有部分区域是重叠的。
[0036] 本发明的有益效果：
[0037] 本发明提出了一种新的基于非相关字典学习和近邻回归的图像超分辨方法，利用 本发明可获得基于范数的最优化模型而加快速度，扩大了字典基之间的非相关性，从而更 准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像，且处理速度快。
【附图说明】
[0038] 图1为本发明图像超分辨方法一种实施例的流程图。
【具体实施方式】
[0039] 以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的， 而不是为了限制本发明的范围及其应用。
[0040] 参阅图1，在本发明的实施例中，针对单张低分辨率的图像，提出一种基于非相关 字典学习和近邻回归的图像超分辨方法。根据该方法，从已有的高质量图像中提取训练样 本集合，在训练样本上训练出低分辨率字典。由低分辨率字典的基，以及高、低分辨率样本， 得到每个字典基对应的高、低分辨率近邻集合，再计算出从低分辨率特征到高分辨率特征 的映射矩阵，此为训练阶段；对于输入的低分辨率图像，提取低分辨率图像块与特征集合， 求与低分辨率特征最近的字典基，从而得到其相应的映射矩阵，映射矩阵与低分辨率特征 相乘就可重构出高分辨特征，高分辨图像特征加上低分辨率图像块，就得到高分辨率图像 块。最后，将重构后的图像块融合到一起，得到高分辨率深度图，此为超分辨率阶段。该方 法在字典学习的过程强调字典基之间的非相关性，同时在组成近邻集合与超分辨的过程中 都使用同一种相关性度量标准，得到统一的超分辨框架，从而更准确地恢复高分辨率图像 的高频信息，得到更高质量的高分辨率图像。
[0041] 在本发明的实施例中，基于非相关字典学习和近邻回归的图像超分辨方法包括以 下步骤：
[0042] 步骤A1 :从自然图像公共数据集（如ImageNet数据集）中得到高分辨率图像 {44，将其下采样得低分辨率图像，缩小倍数为s，从高分辨率与低分辨率的图像对 中提取高、低分辨率特征对
，利用低分辨率特征来训练出低分辨率字典队；
[0043] 步骤A2 :利用高、低分辨率特征对
，以及低分辨率字典队，计算高、 低分辨率近邻集合
；
[0044] 步骤A3 :由高、低分辨率近邻集合
，计算出从低分辨率特征到高分 辨率特征的映射矩阵集合{FJ;
[0045] 步骤A4 :利用输入的低分辨率图像L提取低分辨率特征集合(<}。对于每一个 低分辨率特征义，选择低分辨率字典队中与其最接近的字典基dk，再用相应的映射矩阵Fk 恢复出高分辨率特征，将所有重构的高分辨特征加上包含低频信息的图像块{pil 得到相应的高分辨率图像块{pII，将所有高分辨图像块融合成一张高分辨图像iH。
[0046] 在更具体的实施例中，可按下面方式处理。
[0047] 步骤A1 :训练阶段低分辨率字典学习。具体包括：
[0048]a)先使用插值算法，从高分辨率图像集合中得到低分辨率图像集合?f/ij， 再将这些低分辨率图像集合利用插值算法进行。上述下采样的缩小 倍数和上采样的放大倍 数都是s倍；
[0049]b)从高分辨率图像集合(砧中提取高分辨率图像块集合与特征集合 ，在低分辨率图像集合中的相应位置提取出低分辨率图像块集合丨与特征 集合，其中，高分辨率特征yH，s为：
[0050]yH，s=PH，S-PL，S， （l)
[0051] 低分辨率特征^为：
[0052] yL,s=[fl*PL,s；f2*PL,s；f3*PL,s；f4*Pl,s] ^ (2)
[0053] 其中，心和f2是水平与垂直方向的梯度高通滤波器，f#Pf4是水平与垂直方向拉 普拉斯高通滤波器，符号*表示卷积操作。为了得到低分辨率的字典，可以利用低分辨率特 征集合来优化下列目标函数：
[0055]其中，
，队={dJ，X= {Xi}分别低分辨率特征集合，字典以及系数，，
是重构误差项，
是字典基之间的互相关性，Ai是大于〇的常数， 用来平衡重构误差与互相关性，L用于限制稀疏系数中非零元素的个数。具体求解b)中最 优化问题的算法可采用MI-KSVD算法等。本发明涵盖的范围不限于所例举的方法。
[0056] 步骤A2 :训练阶段中高、低分辨率近邻集合的计算。利用高、低分辨率特征对
，对于任意低分辨率字典的基屯，在中寻找其N近邻，组成低分辨率近 邻集合。将高分辨率特征集合中相应位置的特征用来组成高分辨率近邻集合 。评价字典基与低分辨率特征之间的相似性。评价相似性的作用在于，找到与输入的 低分辨特征最接近的字典基。可以采用内积的绝对值作为度量，即：|<f.V/.|。当然，也可以是 其他形式的度量准则，如：欧氏距离等，本发明涵盖的范围不限于所例举的方法。
[0057] 步骤A3 :训练阶段中从低分辨率特征到高分辨率特征的映射矩阵计算。对于得到 的低分辨率字典和高、低分辨率近邻集合，假定一个低分辨特征3^，与其最近的低分辨率字 典基和近邻集合分别是dk和Nuk，为了得到重构高分辨率特征yH所需要的系数X，先求解下 列最优化目标函数：
[0059] 其中A2是大于零的常数，用于平衡重构误差和系数的稀疏度，
[0060] 该问题存在解析解，具体形式为：
[0062] 那么相应的高分辨率特征可由下列式子求得：
[0064] 上述式子的大部分是与输入的^无关的，因而可以离线计算出来，即为映射矩 阵：
[0066]因此对于每一个低分辨率字典基，都能求得其相应的映射矩阵。具体求解上述最 优化问题可采用协同表示方法等，本发明涵盖的范围不限于所例举的方法。
[0067] 步骤A4 :超分辨率阶段。对于任意输入的低分辨率图像Iy从中至少提取一部分 相互重叠的低分辨率特征集合，所谓重叠，是指：一张图像中，相邻的图像块或者特征 之间有部分区域是重叠的。使用重叠策略的好处在于：同一个像素点的值由多个覆盖它的 图像块取均值得到，能够更精确的重构出图像细节，减少恢复的高分辨图像中的块效应。对 每一个低分辨率特征K，找到其最近邻的低分辨率字典基dk和映射矩阵Fk，来恢复相应的 高分辨率特征'，即，
。将所有重构的高分辨特征加上包含低频信息的图像 块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像IH。
[0068] 利用本发明能够在字典学习时更扩大字典基之间的非相关性，统一了距离度量标 准，利用协同表示加快超分辨速度，从而更准确地恢复高分辨率图像的高频信息，得到更高 质量的高分辨率图像。
[0069] 以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认 定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说， 在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型， 而这些替代或变型方式都应当视为属于本发明的保护范围。
【主权项】
1. 一种图像超分辨方法，其特征在于，包括以下步骤： Al :从预设图像公共数据集中得到高分辨率图像，将其下采样得到低分辨率图 像，从高分辨率与低分辨率的图像对中提取高、低分辨率特征集合和，并 利用低分辨率特征集合}来训练出低分辨率字典队； A2 :利用高、低分辨率特征集合和，以及低分辨率字典1\，计算高、低分辨 率近邻集合和 A3 :由高、低分辨率近邻集合和j ^ 计算出从低分辨率特征到高分辨率特征 的映射矩阵集合{FJ ; A4 :对于输入的低分辨率图像L提取低分辨率图像块集合?与低分辨率特征集合 {.<}，对于每一个低分辨率特征允，从低分辨率字典1\中选择与其最接近的字典基dk，使 用相应的映射矩阵Fk恢复出对应的高分辨率特征 <，再将所有重构的高分辨特征加 上对应的低分辨率图像块，得到相应的高分辨率图像块1/4}，并将所有的高分辨图 像块融合成一张高分辨图像IH。2. 如权利要求1所述的图像超分辨方法，其特征在于，步骤Al包括： a) 先使用插值算法，对高分辨率图像集合下采样而得到低分辨率图像集合 ，再利用插值算法将所得低分辨率图像集合进行上采样处理，其中下采样过程的缩小 倍数和上采样过程的放大倍数相同； b) 从高分辨率图像集合中提取高分辨率图像块集合{/4^与高分辨率特征集 合，从低分辨率图像集合中的相应位置提取出低分辨率图像块集合与低 分辨率特征集合{允」，其中，高分辨率特征yH; s为： YhjS -Ph，s_Pl，s， ⑴ 低分辨率特征yUs为： yL，s= [f i*pL，s;f 2*pL，s;f 3*pL，s;f 4*pl，J， （2) 其中，心和f2是水平与垂直方向的梯度高通滤波器，f#P f4是水平与垂直方向拉普拉 斯高通滤波器，符号*表示卷积操作。3. 如权利要求1所述的图像超分辨方法，其特征在于，步骤b)中，利用低分辨率特征集 合来优化下列目标函数以得到低分辨率的字典，(3) s. t. I I dj I2= 1，and, I |xn| K L 其中1{dj，X = {Xi}分别为低分辨率特征集合、字典以及系数， Ks 是重构误差项，石石1<七1是字典基之间的互相关性，人i是大于〇的常数，L 是系数限制参数。4. 如权利要求1或2所述的图像超分辨方法，其特征在于，步骤A2包括：利用高、低分 辨率特征集合对^4,5丨和j，对于任意低分辨率字典的字典基Cli，在·[jij中寻找其近 邻，组成低分辨率近邻集合并以高分辨率特征集合·中相应位置的特征来组成 高分辨率近邻集合。5. 如权利要求4所述的图像超分辨方法，其特征在于，通过评价字典基与低分辨率特 征之间的相似性，找到与输入的低分辨率特征最接近的字典基，优选可以采用内积的绝对 值作为相似性的度量，即：|^'λ|，或以欧氏距离作为度量。6. 如权利要求1或2所述的图像超分辨方法，其特征在于，步骤A3包括：对于得到的 低分辨率字典和高、低分辨率近邻集合，假定一个低分辨特征与其最近的低分辨率字典 基和近邻集合分别是dk和N uk，为得到重构高分辨率特征yH所需要的系数X，先求解下列最 优化目标函数：(4) 其中λ2是大于零的常数， 其解析解为：(5) 相应的高分辨率特征由下列式子求得：(6) 离线计算出映射矩阵：(7) 从而对于每个低分辨率字典基，求得其相应的映射矩阵。7. 如权利要求1或2所述的图像超分辨方法，其特征在于，步骤Α4包括： 对于任意输入的低分辨率图像，从中至少提取一部分相互重叠的低分辨率图像块集合 和相互重叠的低分辨率特征集合，所谓重叠，是指一张图像中，相邻的图像块或者特征之间 有部分区域是重叠的。
【专利摘要】本发明公开了一种图像超分辨方法，包括：训练出低分辨率字典DL，计算高、低分辨率近邻集合和计算出从低分辨率特征到高分辨率特征的映射矩阵集合{Fi}，对于输入的低分辨率图像IL，提取低分辨率图像块集合与低分辨率特征集合对于每一个低分辨率特征从低分辨率字典DL中选择与其最接近的字典基dk，使用相应的映射矩阵Fk恢复出对应的高分辨率特征再将所有重构的高分辨特征加上对应的低分辨率图像块得到相应的高分辨率图像块并将所有的高分辨图像块融合成一张高分辨图像IH。该方法处理速度快，并能得到质量高的高分辨率图像。
【IPC分类】G06T3/40
【公开号】CN104899830
【申请号】CN201510290639
【发明人】张永兵, 张宇伦, 王兴政, 王好谦, 戴琼海
【申请人】清华大学深圳研究生院
【公开日】2015年9月9日
【申请日】2015年5月29日
【技术领域】
[0001] 本发明涉及计算机视觉和图像处理领域，特别是涉及一种图像超分辨方法。
【背景技术】
[0002] 图像超分辨属于计算机视觉和图像处理领域，是一个经典的图像处理问题，有着 重要的学术和工业研宄价值。图像超分辨的目标就是，由给定的低分辨率图像，重构出它相 应的高分辨率图像，使得在重构误差尽可能小的情况下，视觉效果尽可能的好。目前主流的 图像超分辨方法可以分为三大类：基于插值的方法；基于重构的方法；基于学习的方法。
[0003] 基于插值的方法，是一类基本的超分辨方法，其处理过程通常会使用局部协方差 系数，固定功能核或者自适应结构核，因其简单快速的特点而被广泛使用。但是，很多情况 下，这类方法产生的结果会随着放大倍数的增大而产生视觉伪影，比如：锯齿效应和模糊效 应。基于重构的方法，假设低分辨图像是由高分辨率图像经过几种退化因素得到的，比如： 降采样和模糊化。这类方法在超分辨过程中强调重构约束的重要性，因而，其得到的高分辨 率图像往往有着过于平滑和不自然的边缘以及在图像边缘附近产生振铃效应。基于学习的 方法，因为利用机器学习技术从训练集中学习到了大量先验知识，因而获得了更好的结果。 但是，这类方法通常需要求解基于范数或者范数的最优化问题，其处理速度是很慢的。
【发明内容】
[0004] 本发明的主要目的在于针对现有技术的不足，提供一种处理速度快、质量高的图 像超分辨方法。
[0005] 为实现上述目的，本发明采用以下技术方案：
[0006] 一种图像超分辨方法，包括以下步骤：
[0007]A1 :从预设图像公共数据集中得到高分辨率图像,将其下采样得到低分 辨率图像{/ij，从高分辨率与低分辨率的图像对中提取高、低分辨率特征集合bkj和 {ji,卜并利用低分辨率特征集合丨乂,丨来训练出低分辨率字典队；
[0008]A2 :利用高、低分辨率特征集合
丨，以及低分辨率字典队，计算高、低 分辨率近邻集合
；
[0009]A3 :由高、低分辨率近邻集合
，计算出从低分辨率特征到高分辨率 特征的映射矩阵集合{FJ;
[0010]A4 :对于输入的低分辨率图像L提取低分辨率图像块集合与低分辨率特征 集合{乂}，对于每一个低分辨率特征％，从低分辨率字典队中选择与其最接近的字典基 dk，使用相应的映射矩阵Fk恢复出对应的高分辨率特征，再将所有重构的高分辨特征 加上对应的低分辨率图像块丨炱丨，得到相应的高分辨率图像块{/4}，并将所有的高 分辨图像块融合成一张高分辨图像iH。
[0011] 进一步地：
[0012] 步骤A1包括：
[0013] a)先使用插值算法，对高分辨率图像集合下采样而得到低分辨率图像集合 ，再利用插值算法将所得低分辨率图像集合进行上采样处理，其中下采样过程的缩小 倍数和上采样过程的放大倍数相同；
[0014] b)从高分辨率图像集合?(芯4中提取高分辨率图像块集合{/U与高分辨率特征 集合，从低分辨率图像集合中的相应位置提取出低分辨率图像块集合'与 低分辨率特征集合(允」，其中，高分辨率特征yH，s为：
[0015] yH，s=pHs-pLs， （1)
[0016] 低分辨率特征yUs为：
[0017] yL,s=[fi*PL,s；f 2*PL,s；f 3*PL,s；f4*Pl,s]^ (2)
[0018] 其中，4和f2是水平与垂直方向的梯度高通滤波器，f#Pf4是水平与垂直方向拉 普拉斯高通滤波器，符号*表示卷积操作。
[0019] 步骤b)中，利用低分辨率特征集合来优化下列目标函数以得到低分辨率的字典，
[0021] 其中
，队={dj，X= {Xi}分别为低分辨率特征集合、字典以及系数，
是重构误差项：
是字典基之间的互相关性，Ai是大于〇的常数，L 是系数限制参数。
[0022] 步骤A2包括：利用高、低分辨率特征集合对
，对于任意低分辨率字 典的字典基屯，在hid中寻找其近邻，组成低分辨率近邻集合;并以高分辨率特征集 合?[>44中相应位置的特征来组成高分辨率近邻集合。
[0023] 通过评价字典基与低分辨率特征之间的相似性，找到与输入的低分辨率特征最接 近的字典基，优选可以采用内积的绝对值作为相似性的度量，即：|<患|，或以欧氏距离作 为度量。
[0024] 步骤A3包括：对于得到的低分辨率字典和高、低分辨率近邻集合，假定一个低分 辨特征与其最近的低分辨率字典基和近邻集合分别是dk和Nuk，为得到重构高分辨率特 征yH所需要的系数x，先求解下列最优化目标函数：
[0026] 其中A2是大于零的常数，
[0027] 其解析解为：
[0029] 相应的高分辨率特征由下列式子求得：
[0031] 离线计算出映射矩阵：
[0033] 从而对于每个低分辨率字典基，求得其相应的映射矩阵。
[0034] 步骤A4包括：
[0035] 对于任意输入的低分辨率图像，从中至少提取一部分相互重叠的低分辨率图像块 集合和相互重叠的低分辨率特征集合，所谓重叠，是指：一张图像中，相邻的图像块或者特 征之间有部分区域是重叠的。
[0036] 本发明的有益效果：
[0037] 本发明提出了一种新的基于非相关字典学习和近邻回归的图像超分辨方法，利用 本发明可获得基于范数的最优化模型而加快速度，扩大了字典基之间的非相关性，从而更 准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像，且处理速度快。
【附图说明】
[0038] 图1为本发明图像超分辨方法一种实施例的流程图。
【具体实施方式】
[0039] 以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的， 而不是为了限制本发明的范围及其应用。
[0040] 参阅图1，在本发明的实施例中，针对单张低分辨率的图像，提出一种基于非相关 字典学习和近邻回归的图像超分辨方法。根据该方法，从已有的高质量图像中提取训练样 本集合，在训练样本上训练出低分辨率字典。由低分辨率字典的基，以及高、低分辨率样本， 得到每个字典基对应的高、低分辨率近邻集合，再计算出从低分辨率特征到高分辨率特征 的映射矩阵，此为训练阶段；对于输入的低分辨率图像，提取低分辨率图像块与特征集合， 求与低分辨率特征最近的字典基，从而得到其相应的映射矩阵，映射矩阵与低分辨率特征 相乘就可重构出高分辨特征，高分辨图像特征加上低分辨率图像块，就得到高分辨率图像 块。最后，将重构后的图像块融合到一起，得到高分辨率深度图，此为超分辨率阶段。该方 法在字典学习的过程强调字典基之间的非相关性，同时在组成近邻集合与超分辨的过程中 都使用同一种相关性度量标准，得到统一的超分辨框架，从而更准确地恢复高分辨率图像 的高频信息，得到更高质量的高分辨率图像。
[0041] 在本发明的实施例中，基于非相关字典学习和近邻回归的图像超分辨方法包括以 下步骤：
[0042] 步骤A1 :从自然图像公共数据集（如ImageNet数据集）中得到高分辨率图像 {44，将其下采样得低分辨率图像，缩小倍数为s，从高分辨率与低分辨率的图像对 中提取高、低分辨率特征对
，利用低分辨率特征来训练出低分辨率字典队；
[0043] 步骤A2 :利用高、低分辨率特征对
，以及低分辨率字典队，计算高、 低分辨率近邻集合
；
[0044] 步骤A3 :由高、低分辨率近邻集合
，计算出从低分辨率特征到高分 辨率特征的映射矩阵集合{FJ;
[0045] 步骤A4 :利用输入的低分辨率图像L提取低分辨率特征集合(<}。对于每一个 低分辨率特征义，选择低分辨率字典队中与其最接近的字典基dk，再用相应的映射矩阵Fk 恢复出高分辨率特征，将所有重构的高分辨特征加上包含低频信息的图像块{pil 得到相应的高分辨率图像块{pII，将所有高分辨图像块融合成一张高分辨图像iH。
[0046] 在更具体的实施例中，可按下面方式处理。
[0047] 步骤A1 :训练阶段低分辨率字典学习。具体包括：
[0048]a)先使用插值算法，从高分辨率图像集合中得到低分辨率图像集合?f/ij， 再将这些低分辨率图像集合利用插值算法进行。上述下采样的缩小 倍数和上采样的放大倍 数都是s倍；
[0049]b)从高分辨率图像集合(砧中提取高分辨率图像块集合与特征集合 ，在低分辨率图像集合中的相应位置提取出低分辨率图像块集合丨与特征 集合，其中，高分辨率特征yH，s为：
[0050]yH，s=PH，S-PL，S， （l)
[0051] 低分辨率特征^为：
[0052] yL,s=[fl*PL,s；f2*PL,s；f3*PL,s；f4*Pl,s] ^ (2)
[0053] 其中，心和f2是水平与垂直方向的梯度高通滤波器，f#Pf4是水平与垂直方向拉 普拉斯高通滤波器，符号*表示卷积操作。为了得到低分辨率的字典，可以利用低分辨率特 征集合来优化下列目标函数：
[0055]其中，
，队={dJ，X= {Xi}分别低分辨率特征集合，字典以及系数，，
是重构误差项，
是字典基之间的互相关性，Ai是大于〇的常数， 用来平衡重构误差与互相关性，L用于限制稀疏系数中非零元素的个数。具体求解b)中最 优化问题的算法可采用MI-KSVD算法等。本发明涵盖的范围不限于所例举的方法。
[0056] 步骤A2 :训练阶段中高、低分辨率近邻集合的计算。利用高、低分辨率特征对
，对于任意低分辨率字典的基屯，在中寻找其N近邻，组成低分辨率近 邻集合。将高分辨率特征集合中相应位置的特征用来组成高分辨率近邻集合 。评价字典基与低分辨率特征之间的相似性。评价相似性的作用在于，找到与输入的 低分辨特征最接近的字典基。可以采用内积的绝对值作为度量，即：|<f.V/.|。当然，也可以是 其他形式的度量准则，如：欧氏距离等，本发明涵盖的范围不限于所例举的方法。
[0057] 步骤A3 :训练阶段中从低分辨率特征到高分辨率特征的映射矩阵计算。对于得到 的低分辨率字典和高、低分辨率近邻集合，假定一个低分辨特征3^，与其最近的低分辨率字 典基和近邻集合分别是dk和Nuk，为了得到重构高分辨率特征yH所需要的系数X，先求解下 列最优化目标函数：
[0059] 其中A2是大于零的常数，用于平衡重构误差和系数的稀疏度，
[0060] 该问题存在解析解，具体形式为：
[0062] 那么相应的高分辨率特征可由下列式子求得：
[0064] 上述式子的大部分是与输入的^无关的，因而可以离线计算出来，即为映射矩 阵：
[0066]因此对于每一个低分辨率字典基，都能求得其相应的映射矩阵。具体求解上述最 优化问题可采用协同表示方法等，本发明涵盖的范围不限于所例举的方法。
[0067] 步骤A4 :超分辨率阶段。对于任意输入的低分辨率图像Iy从中至少提取一部分 相互重叠的低分辨率特征集合，所谓重叠，是指：一张图像中，相邻的图像块或者特征 之间有部分区域是重叠的。使用重叠策略的好处在于：同一个像素点的值由多个覆盖它的 图像块取均值得到，能够更精确的重构出图像细节，减少恢复的高分辨图像中的块效应。对 每一个低分辨率特征K，找到其最近邻的低分辨率字典基dk和映射矩阵Fk，来恢复相应的 高分辨率特征'，即，
。将所有重构的高分辨特征加上包含低频信息的图像 块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像IH。
[0068] 利用本发明能够在字典学习时更扩大字典基之间的非相关性，统一了距离度量标 准，利用协同表示加快超分辨速度，从而更准确地恢复高分辨率图像的高频信息，得到更高 质量的高分辨率图像。
[0069] 以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认 定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说， 在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型， 而这些替代或变型方式都应当视为属于本发明的保护范围。
【主权项】
1. 一种图像超分辨方法，其特征在于，包括以下步骤： Al :从预设图像公共数据集中得到高分辨率图像，将其下采样得到低分辨率图 像，从高分辨率与低分辨率的图像对中提取高、低分辨率特征集合和，并 利用低分辨率特征集合}来训练出低分辨率字典队； A2 :利用高、低分辨率特征集合和，以及低分辨率字典1\，计算高、低分辨 率近邻集合和 A3 :由高、低分辨率近邻集合和j ^ 计算出从低分辨率特征到高分辨率特征 的映射矩阵集合{FJ ; A4 :对于输入的低分辨率图像L提取低分辨率图像块集合?与低分辨率特征集合 {.<}，对于每一个低分辨率特征允，从低分辨率字典1\中选择与其最接近的字典基dk，使 用相应的映射矩阵Fk恢复出对应的高分辨率特征 <，再将所有重构的高分辨特征加 上对应的低分辨率图像块，得到相应的高分辨率图像块1/4}，并将所有的高分辨图 像块融合成一张高分辨图像IH。2. 如权利要求1所述的图像超分辨方法，其特征在于，步骤Al包括： a) 先使用插值算法，对高分辨率图像集合下采样而得到低分辨率图像集合 ，再利用插值算法将所得低分辨率图像集合进行上采样处理，其中下采样过程的缩小 倍数和上采样过程的放大倍数相同； b) 从高分辨率图像集合中提取高分辨率图像块集合{/4^与高分辨率特征集 合，从低分辨率图像集合中的相应位置提取出低分辨率图像块集合与低 分辨率特征集合{允」，其中，高分辨率特征yH; s为： YhjS -Ph，s_Pl，s， ⑴ 低分辨率特征yUs为： yL，s= [f i*pL，s;f 2*pL，s;f 3*pL，s;f 4*pl，J， （2) 其中，心和f2是水平与垂直方向的梯度高通滤波器，f#P f4是水平与垂直方向拉普拉 斯高通滤波器，符号*表示卷积操作。3. 如权利要求1所述的图像超分辨方法，其特征在于，步骤b)中，利用低分辨率特征集 合来优化下列目标函数以得到低分辨率的字典，(3) s. t. I I dj I2= 1，and, I |xn| K L 其中1{dj，X = {Xi}分别为低分辨率特征集合、字典以及系数， Ks 是重构误差项，石石1<七1是字典基之间的互相关性，人i是大于〇的常数，L 是系数限制参数。4. 如权利要求1或2所述的图像超分辨方法，其特征在于，步骤A2包括：利用高、低分 辨率特征集合对^4,5丨和j，对于任意低分辨率字典的字典基Cli，在·[jij中寻找其近 邻，组成低分辨率近邻集合并以高分辨率特征集合·中相应位置的特征来组成 高分辨率近邻集合。5. 如权利要求4所述的图像超分辨方法，其特征在于，通过评价字典基与低分辨率特 征之间的相似性，找到与输入的低分辨率特征最接近的字典基，优选可以采用内积的绝对 值作为相似性的度量，即：|^'λ|，或以欧氏距离作为度量。6. 如权利要求1或2所述的图像超分辨方法，其特征在于，步骤A3包括：对于得到的 低分辨率字典和高、低分辨率近邻集合，假定一个低分辨特征与其最近的低分辨率字典 基和近邻集合分别是dk和N uk，为得到重构高分辨率特征yH所需要的系数X，先求解下列最 优化目标函数：(4) 其中λ2是大于零的常数， 其解析解为：(5) 相应的高分辨率特征由下列式子求得：(6) 离线计算出映射矩阵：(7) 从而对于每个低分辨率字典基，求得其相应的映射矩阵。7. 如权利要求1或2所述的图像超分辨方法，其特征在于，步骤Α4包括： 对于任意输入的低分辨率图像，从中至少提取一部分相互重叠的低分辨率图像块集合 和相互重叠的低分辨率特征集合，所谓重叠，是指一张图像中，相邻的图像块或者特征之间 有部分区域是重叠的。
【专利摘要】本发明公开了一种图像超分辨方法，包括：训练出低分辨率字典DL，计算高、低分辨率近邻集合和计算出从低分辨率特征到高分辨率特征的映射矩阵集合{Fi}，对于输入的低分辨率图像IL，提取低分辨率图像块集合与低分辨率特征集合对于每一个低分辨率特征从低分辨率字典DL中选择与其最接近的字典基dk，使用相应的映射矩阵Fk恢复出对应的高分辨率特征再将所有重构的高分辨特征加上对应的低分辨率图像块得到相应的高分辨率图像块并将所有的高分辨图像块融合成一张高分辨图像IH。该方法处理速度快，并能得到质量高的高分辨率图像。
【IPC分类】G06T3/40
【公开号】CN104899830
【申请号】CN201510290639
【发明人】张永兵, 张宇伦, 王兴政, 王好谦, 戴琼海
【申请人】清华大学深圳研究生院
【公开日】2015年9月9日
【申请日】2015年5月29日
最新回复(0)