一种基于图像分解的图像超分辨率方法

一种基于图像分解的图像超分辨率方法
【技术领域】
[0001] 本发明的技术邻域属于数字图像处理，为其中的图像超分辨（super-resolution) 技术。目P，对给定的一幅低分辨率图像进行放大，得到的一幅更清晰，细节纹理更加丰富的 高分辨率的图像。此技术可应用于对数码相机中的图像、互联网上存储的图像、监控视频中 的图像等邻域中的图像的放大，W提高其分辨率和清晰度。
【背景技术】
[0002] 随着数字图像处理技术和互联网技术的发展，由于受到存储空间和传输带宽的限 审IJ，互联网上存在大量的低分辨的图像和视频。而人们对高分辨率图像与视频的需求与曰 俱增，希望能看到更高分辨率和更清晰的图像，同时高分辨率图像的播放技术已经成熟。因 此，为满足该一需求，基于单幅图像的超分辨率技术就诞生了。
[0003] 已有的图像超分辨率技术主要可W分为=类方法；第一类是早期的图像插值方 法，它是基于单幅图像的插值放大，在插值过程中利用未知像素点与邻域内的已知像素点 的某种关系，根据不同的关系产生了最近邻插值法、双线性插值法、双立方插值法等经典的 插值算法，W及在此基础上的某些改进的方法；第二类是基于图像重建的方法，其主要思想 是建立观察图像的退化模型，人为的提出约束条件，通过迭代计算重建出高分辨率图像，在 该些方法中统计学、概率论等领域知识提供了有力的理论支持；第=类是近年来基于学习 的图像超分辨率方法，其主要思想是针对重建算法中人为定义约束条件的缺陷，通过学习 样本库中的图像来获得先验知识，再利用该些知识进行超分辨放大，是近年来性能较好的 方法。
[0004] 基于样例学习的超分辨算法是W上第=类基于学习的方法中的一种方法，该方法 主要分为离线的样本库训练和在线的图像重构两个部分。在训练部分中，传统的方法首先 对高分辨率图像进行标准差为1，大小为7*7的高斯模板滤波平滑处理，然后对高斯滤波后 的图像进行下采样得到低分辨率的图像，而高分辨率的预测差值图像则通过原始图像减去 低分辨率图像的双线性插值部分来获得，最后把所有图像进行分块处理，每块的高分辨率 部分与低分辨率部分存在相对应的关系，可得到大量的低分辨率块和与之对应的高分辨率 差值块。一个低分辨率的块和其对应的高分辨率差值块组成了一个样例对。然后把该些样 例对存储到训练数据库中。该样，在训练数据库中就存在着低分辨率图像块和与之对应的 高分辨率差值图像块的样例对。在图像超分辨率重构部分中，首先对输入的低分辨率图像 进行双线性插值，然后对插值图像分块处理；接着依次的把低分辨率图像块与样本库中的 图像低分辨率块进行匹配捜索，获得最佳的几个匹配的高分辨率的图像差值块；最后把和 该几个匹配得到的样本块所对应的高分辨率信息通过线性的方法叠加到插值图像上W重 构最终的高分辨率图像。
[0005] 在W上的样本建立的过程中，只是简单的对高分辨率图像进行滤波和下采样处理 作为低分辨率的图像，由于其线性分解会导致低分辨的图像的边缘信息的模糊，产生模糊 效应，而使低分辨率的训练块不利于与实际图像块进行匹配。而且，所提取的样本中存在多 对一的情况，即原本相差较小的低分辨率块，在训练数据库中对应着相差很大的高分辨率 块。该样，仅利用低分辨率块来寻找高分辨率块，在很多情况下会产生较大的误差。同时， 由于在匹配过程中，只是简单地计算像素值之间的绝对差值之和，并未考虑图像的本质内 容的差别，该也降低了图像匹配的准确度。
[0006] 另外，由于本发明可W应用到放大倍数为整数倍时的情况，而传统的基于插 值或样例的放大方法所得到的重构图像质量较差，存在着模糊效应和块效应化lock arti化ct)。在放大倍数高时，该些失真效应尤其明显。
[0007] 该样，为了能有效克服W上的图像超分辨率的方法中的缺点，在本发明中，将建立 一种基于图像分解的超分辨率方法来克服W上缺点，取得更好质量和视觉效果的放大图 像。在此，将利用卡通和纹理图像分解的方法，把待放大图像分解为卡通图像和纹理图像。 由于，卡通图像中包含图像中的平滑部分，和物体边界部分的边缘信息，是分区域平滑的 (piece-wisesmooth)的，非常有利于重构出高质量的高分辨率的图像。同时，本发明在对 低分辨率的卡通图像的插值方面，是利用偏微分方程（PDE)的方法，W使滤波沿着边缘的 走向，而在垂直于边缘的方向基本不滤波，W减少插值后边缘的模糊化lur)。在本发明中， 为了充分利用卡通图像的特性和其优点来提高重构后的图像的质量，对传统存储在数据库 中的样例对（低分辨块和高分辨率差值块）进行了改进，在数据库中存储样例=元组（低 分辨率块，低分辨率的卡通图像块，和高分辨率的预测差值）。在捜索和匹配方面，对重要的 边缘像素提高了其权重，同时不仅利用低分辨率块来寻找匹配块，还利用了低分辨率的卡 通块来寻找匹配块。该样，可W有效地克服W上所述的一对多的问题。最后，利用和所提出 的匹配差值成反比的权重来重构高分辨率的图像块。

【发明内容】

[000引 （1)本发明所采用的基于卡通和纹理的图像分解方法
[0009] 本发明提出了一种利用图像分解的图像超分辨率方法。该种图像分解方法是把 低分辨率的训练图像、和待超分辨放大的图像先分解为卡通图像部分和纹理图像部分。在 此方法中，利用图像的卡通和纹理分解技术对图像进行分解，把原始图像分解I分解为纹 理部分图像T和卡通部分图像C，且I=T+C。其中，卡通部分C包含图像中主要的结构信 息和中低频信息，像素值变化在各物体内部是比较缓慢的，仅在各物体的边缘处有较剧烈 的变化，所W是分区域平滑的（piece-wisesmooth)。而图像的纹理部分的像素值的变化 剧烈。相比较而言，卡通部分在超分辨处理中更容易处理，而纹理部分较难处理。由于W 下文章中的分解方法具有较好的性能，本发明采用如下文献中的图像分解技术；"Modeling TextureswithTotalVariationMinimizationandOscillatingPatternsinImage Processing"，Journalofscientificcomputing，vol. 19，issue1-2，pp. 553-572， Dec. 2003,来先对低分辨率的图像进行卡通和纹理分解。在分解后，将对卡通图像和纹理图 像进行和其特点相适应的处理方法。
[0010] (2)对卡通图像块的插值处理的新方法
[0011] 虽然传统插值计算简单，但是其容易造成放大后的图像的边缘模糊问题。为进一 步地减少放大后的图像的边缘模糊，本发明对传统的基于偏微分方程（ro巧的滤波方法进 行改进，在先对卡通图像块进行传统的双线性插值后，再对其进行改进的PDE方法的处理。 其处理方法如下所述。
[0012] 作为非线性扩散的偏微分方程，方向扩散模型也是从尽量保持图像边缘信息的观 点出发，扩散是沿着平行于边缘的切线方向进行，即垂直于图像的梯度矢量的方向。把水平 集理论应用到图像处理中来，任一水平集的内部取值较外部大，因此水平集矢量为
[001引
（1)
[0014]其中，C为双线性插值过的卡通图像块，巧为其梯度，|^|为其梯度的模，心巧)； 为对3的散度的计算。
[0015] 其图像的曲率可表示为：
[001引
0)
[0017] 于是，在传统的方法中所采取的方向扩散可W表示为
[001引
P)
[0019] 由于传统的基于方向扩散的图像滤波对边缘还是有一定的平滑和模糊问题，针对 此问题，本发明提出加入一个与图像梯度相关的乘法因子各(|^|)使扩散率在边缘区域能迅 速到达零，表达式为
[0020]
(4)
[0021 ] 其中，函蠻
「为乘法因子，在本发明中T为40 (根据实验而优化地 确定）。当图像边缘区域梯度大时，其扩散率迅速变为零而停止扩散，达到保持边缘效果。 因此该方法能对放大图像起到消除边缘银齿效应，在滤波的同时尽量保持了图像的边缘信 息，与经典算法相比有一定的图像插值质量提高。
[0022]按照式（4)对图像进行方向扩散处理就等于图像中所有水平集在作曲率运动，而 对该偏微分方程对所有偏导数采用中屯、差分离散化，就可W得到如下显式方案 [002引ci(i，_j)=C(i，_j) 妨
[0024]CW(i，_]?) =Ck(i，_j) +AtQk(i，_j) 做
[00巧]式中，Ck(i，j)为卡通图像第k次的处理结果，第1次初始处理时Ci(i，j) =C(i， j)，At为迭代参数，根据大量的实验结果，本发明中取At= 0. 25,妒(i，j)为第k次处理 的增量，可用离散化的方式近似表示-g(l^l)wc)，即有[0026]
[0030] 该样通过m次迭代即可得到区域平滑（piece-wisesmooth)的图像块Cm(m的取值 将由停止准则来确定）。在本发明中，此停止准则设计为d(cm，C-气《e，d(cm，C-4)为块 C-和块C--1之间的欧氏 距离，e为一值较小的数。在本发明中，根据大量实验结果，e优化 地取值为WXHX1. 3。其中，W为块的长度，H为块的宽度。
[0031] (3)基于卡通纹理分解的图像训练样本库的建立的新方法
[0032] 在已有的方法中，对于原始的高分辨率的训练图像fs，首先进行下采样得到低分 辨的图像片=DfH，值为下采样矩阵）。然后对低分辨率的图像片进行双线性插值得到高 分辨率的预测图像fp。该样，其预测误差图像为f；=fg-fV。然后，在离线的处理过程中， 在数据库中存储从低分辨率的图像片中提取的图像块I\(i)和其对应的高分辨率的预测 误差图像fp中的图像块PhcQ)所组成的二元组化(i)，PhcQ))，i为此两个图像块所组成 的二元组在数据库中的索引值，该个二元组在超分辨率的处理中叫做样例对（apairof examples)。
[0033] 在本发明中，训练样例的提取是和已有的方法不同的。在所提出的方法中，首先利 用如上（1)中所述的方法对原始的高分辨率的训练图像fs进行卡通和纹理分解，得到高分 辨率的卡通图像fge和高分辨率的纹理图像fHT，且fH=fHC+fsT。接着对高分辨率的图像、和 高分辨率的卡通图像分别进行下采样得到低分辨率的图像片二Df?和C^=DfH。。然后，对 图像片进行双线性插值得到图像C。接下来，对图像C采取如上（2)中所述的PDE处理，得 到高分辨率的图像CM。图像CM将比传统的方法更能准确地预测原始图像（因为其不仅包括 图像中的物体内的平滑的信息，还包括物体边界的高频的边缘信息）。因此，本发明将图像 C"作为对原始图像的预测图像，得到预测误差图像f'。二fH-C"。然后，在离线的处理过程 中，在数据库中存储从低分辨率的图像片、片和高分辨率的预测误差图像f'。中提取的所 对应的图像块町(i)、Pa(i)、和P'heQ)所组成的；元组化(i)，Pa(i)，P'HEa))，i为此 =个图像块所组成的=元组在数据库中的索引值。我们把该样的=元组称为训练样例=元 组，当对训练图像库中所有的高分辨率的图像都提取并存储了W上所述的=元组后，就建 立了基于卡通和纹理分解的图像训练样本库。此=元组在本发明中称为样例=元组。
[0034] (4)所提出的待放大区域和样本库中的训练样例=元组的匹配差值的确定方法
[0035] 在传统的方法中，待放大的低分辨率块Py許日训练数据库中的样例的匹配捜索是 根据匹配准则来进行的，一般采用的是绝对差值之和（SAD)的匹配准则来计算待放大块Pyt 和第i个样例的匹配值，即
[0036]
[0037] 其中，N为块中的像素个数，PxL(j)为块PxL中的第j个像素的像素值（如果为灰 度图像，其为第j个像素的灰度值，如果为彩色图像，其为第j个像素的亮度值），町(i，j) 为块町(i)中的第j个像素的像素值。
[0038] W上的匹配准则中，存在一个问题，其对块中的所有像素都是采用同样的方法去 计算绝对差值的。而在通常的图像块中，有的像素具有较大的重要性，需要在匹配过程中提 高其权重。该样，可W使超分辨率放大的图像具有更好的效果。
[0039] 对于一幅图像，人们的视觉总是对图像的边缘细节部分更加敏感。由于边缘细节 作为图像内容的重要部分，本课题组认为需要在计算匹配准则时提高边缘像素的权重。在 本发明中，利用Sobel算子进行边缘检测，对于Sobel梯度大于200的像素点，确定为边缘 像素点；其他像素点为非边缘像素点。对于图像中的边缘点和非边缘点，其权值分别为A、 和B，即若待放大块1\^中的第j个像素点为用Sobel算子检测出的边缘像素点，则其权重为 wCi) =A;否则，其权重wCi) =B。（通过大量的实验和优化，在本发明中A= 2，B= 1)。
[0040] 从上说明中可W看出，所提出的方法用到了卡通和纹理图像的分解，化及基于PDE 的滤波方法，所提出的匹配准则必须充分考虑W上因素。因此，先对待放大块pji行如上 (1)中所述的卡通和纹理分解，得到低分辨率的卡通图像块P,a。在此基础上，所提出的匹 配准则为
[0041]
[0042] 其中，w(j)为如上所述的权值，Pxc^j)为低分辨率的卡通图像块中的第j个像素 的像素值，A为一平衡因子。通过大量的实验和优化，在本发明中A=0.4。
[0043] (5)所提出的超分辨率的重构方法
[0044]在传统的方法中，可根据当前待放大的低分辨的块Pyu找到数据库中的K个和当 前待放大块Pxj勺匹配准则SAD(P 町化1))最小的样例对中的低分辨率块町化1)，其中ki 为第k个匹配准则最小的样例对在训练库中的索引值（index)。然后，对町化1)进行双线 性的插值，得到高分辨率的预测块Pm^ki)。该样，所重构的高分辨率的块PJ%
[0045]
[004引其中，Wi反比于SAD(P 町化1))，且
为数据库中的样例对 0\化1)，Phe化1))中和低分辨块Pl化1)所对应的高分辨率预差值块。当把待放大图像中 的所有待放大块都经过如上的重构，就得到了所需的高分辨率图像。
[0047] 和传统的重构方法不同，在所提出的方法中，将不仅利用到预测差值块，还将利用 到本发明在数据库中存储的样例=元组中的卡通图像块。目P，先根据当前待放大的低分辨 的块找到数据库中的K个和当前待放大块PJ勺匹配准则SAD(P町化1)，Pc^ki))(由W 上式（9)定义的）最小的样例S元组中的低分辨率块町化1)和低分辨率的卡通块IV化1)， 其中ki为第k个匹配准则最小的样例对在训练库中的索引值（index)。然后，按照W上（2) 中所提出的对卡通块插值的方法，对低分辨率的卡通块Pa化1)进行基于PDE的插值，得到 插值之后的块为C-化1)。然后，根据SAD(PxuP^ki)，Pc^ki))的值来确定重构块。
[004引
yo)
[004引其中，W'i反比于SAD(Pxl，Pl化i)，PcL化i))，且
he化i)块由数据库中 的样例S元组（Pl化i)，PcL化i)，P'HE化1))中的P'HE化1)而得来。
[0050] 当低分辨率的图像块都进行了超分辨率的重构之和，就可W得到超分辨率放大之 后的高分辨率的图像。
[0051] (6)本发明的离线处理过程
[0052] 本发明所提出的方法分为离线的建立训练样本库的过程，和在线的图像超分辨率 放大的过程。其离线的训练数据库的建立过程如下所述。即对高分辨率的图像数据库中的 每幅图像进行如下处理：
[005引输入；很多高分辨率的训练图像。
[0054] 输出；由提取的样例S元组化(i)，Pe班），P'hcQ))所组成的数据库。
[0055] 步骤1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像。然 后对每一幅高分辨率的图像利用如上（1)中所述的图像的卡通和纹理分解技术进行分解， 同时对分解得到的卡通部分进行下采样，再对低分辨率的卡通图像进行如上（2)中所述的 基于偏微分方程的插值W得到高分辨率的预测图像。接下来，计算原始图像和预测图像之 间的差值，得到预测差值图像。该样，可W为提取样例=元组做准备。
[0056] 步骤2)x尸l，y尸1，该里，是低分辨率样例在低分辨率的图像中采集的 第一个块的左上角的坐标。i= 1。
[0057] 步骤扣令m=2,提取下采样的低分辨的图像中从坐标记，7^)开始到（X片m+1， y片m+1)间的图像块町a)存储到数据库中。提取下采样的卡通图像中从坐标记，yj开 始到（而+2m+l，y片m+1)间的图像块P。班）存储到数据库中。（2m+l) X (2m+l)为低分辨率 块的大小。本发明中选择的块的大小为5X5。
[005引步骤4)令Xh=l，yH= 1，（XH，yH)为高分辨率的样例在高分辨率图像中采集的第 一个块的左上角的坐标。
[0059] 步骤W提取高分辨率的预测差值图像中从坐标（Xh，ys)开始到（XH+4m+2， yH+4m+2)间的图像块P'hea)，存储到数据库中。（4m+2)X(4m+2)为高分辨率预测差值块 的大小。本发明中选择的预测差值块的大小为10X10。该样，就存储了一个如上（3)中所 述的样例S元组化(i)，PcL(i)，P'HE(i))，其中町a)和Pci(i)在步骤3)中存储，P'HE(i) 在本步骤中存储。i=i+1。
[0060] 步骤6)令X尸X片，样例在低分辨率图像的左上角的横坐标右移两个像素单位， W提取出下一个样例。Xh=Xh+4,样例在高分辨率图像的左上角的横坐标右移四个像素单 位。
[006。 步骤7)若X声Wf-2m(Wf为低分辨率图像的宽度），则跳到步骤扣提取下一个样 例立元组并把它存储在数据库中；否则该一行的样例=元组已提取完毕。
[006引步骤8)令X尸1，y尸y片，样例在低分辨率图像的左上角的纵坐标下移两个像 素。令义《=1，7?=7?+4，样例在高分辨率图像的左上角的纵 坐标下移四个像素。步骤9) 若H,-2111(卑为低分辨率图像的高度），则跳到步骤3)提取下一个样例^元组；否则对 当前训练图像的样例=元组的提取过程进行完毕，共存储了I=i个样例=元组。
[0063] 该样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用 于超分辨率处理的很多样例=元组，并且该些样例=元组都存储在数据库中。
[0064] (7)本发明的在线处理过程
[0065] 本发明对待放大的低分辨率图像进行超分辨率放大的在线过程如下所述。
[0066] 输入；待放大的低分辨率的图像，和已经训练和保存好的由样例S元组所组成的 数据库。
[0067]输出；放大的高分辨率的图像。
[006引步骤l)x尸l，y尸1，该里，是低分辨率的块在低分辨率的待放大图像中 的第一个块的左上角的坐标。令Xh= 1，ys= 1，（Xh，yH)为高分辨率的块在高分辨率图像 中第一个块的左上角的坐标。
[006引步骤。令m= 2,提取待放大的低分辨的图像中从坐标记，7^)开始到（X片m+1，y片m+1)间的图像块IV对图像块Px进行卡通和纹理分解，得到低分辨率的卡通图像块 P,。^。对图像块运用Sobel算子提取其中的边缘像素，并根据W上（4)中所述的方法对 边缘像素和非边缘像素赋权值。（2m+l)X(2m+l)为低分辨率块的大小。本发明中选择的块 的大小为5X5。
[0070]步骤扣根据提取到的图像块IVP,。讯各像素的权值，按W上（4)中所述的方法， 对训练数据库中的第1个样例^元组（町扣），口。^1)，口'《^1))，按式（9)计算其匹配差值 SAD任比，Pl(i)，PcLa))，1《i《I，其中I为数据库中存储的样例S元组的个数。然后，选择 匹配差值最小的K个样例S元组，和其中的低分辨率块町也）和低分辨率的卡通块IV也）， 其中ki为第k个匹配准则最小的样例对在训练库中的索引值（index)。接下来，运用W上 似中所述的方法得到插值之后的块为C-GO,然后，根据SAD(Pxu町也），Pc^ki))的值和 式（10)来确定重构块P'。^。
[00川步骤4)从坐标（Xh，yH)开始到（XH+4m+2,yH+4m+。间的图像块设置为重构块P'若在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的 像素值的平均值来确定。（4m+2)X(4m+2)为高分辨率预测差值块的大小。本发明中选择的 高分辨率块的大小为10X10。
[0072]步骤5)令义^二x^3，在低分辨率图像的左上角的横坐标右移S个像素单位，^提 取出下一个低分辨率块。Xh=Xh+6,样例在高分辨率图像的左上角的横坐标右移六个像素 单位。
[007引步骤6)若X店Wf-2m(Wf为低分辨率图像的宽度），则跳到步骤。处理下一个 块。步骤7)令义^二1，y^= 7片3，样例在低分辨率图像的左上角的纵坐标下移^个像素。 令Xh= 1，ys=Yh+S，样例在高分辨率图像的左上角的纵坐标下移六个像素。步骤8)若y声Hf-2m化为低分辨率图像的高度），则跳到步骤。处理下一个块；否则对所有的图像 块的处理完毕，得到由各重构块P'。若且成的高分辨率的图像。
[0074] 综上所述，本发明的创新点在于；1)在离线的样本库建立中，利用图像卡通和纹 理分解技术进行分解，W更好地提取图像中的光滑区域和物体边界处的信息。2)采用改进 的PDE方法产生预测的高分辨率图像，接着对下采样的低分辨率图像、下采样的卡通图像、 高分辨率的预测图像分块训练成由样例=元组形成的样本库，W克服传统方法中的低分辨 率的样例块缺图像细节的问题。3)在所提出的方法的在线匹配捜索过程中，不仅利用待放 大图像中的低分辨率块，还利用低分辨率的卡通块来在训练库中寻优，W克服传统方法中 的一对多的问题。4)在匹配捜索样本块的过程中对重要的图像边缘点信息提高其权重，提 出新的匹配准则，继续提高图像匹配的准确度。
[00巧]本发明运用包括在线处理过程和离线处理过程。其中，离线处理过程可W在离线 的情况下一次完成形成训练数据库。在线的处理过程是针对待放大的图像进行超分辨率放 大处理，W利用训练好的数据库和新的匹配准则，得到高质量的高分辨率的图像。
[0076] W下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，W 充分地反映本发明的目的、特征和效果。
【附图说明】
[0077] 图1是本发明所提出的利用图像分解的超分辨率方法的示意流程图；
[0078] 图2是本发明对普通自然图像的超分辨率方法的实验结果图，此图把本方法的结 果和已有的最新的效果好的方法的结果进行了对比，并把本发明中的2个方法进行了对 比。图2中从左到右的每列依次为；图2(a)为基于样例学习的原有算法的实验结果图，图 2(b)为在本发明中仅利用基于图像分解的方法的实验结果图，图2(c)为利用了本发明的 所有创新的工具之后产生的实验结果图，图2(d)为原始的高分辨率图像。
[0079] 图3是本发明利用化le大学人脸库中的一部分图像用于训练的人脸图像原始 图；
[0080] 图4是本发明对人脸图像进行放大的实验结果图，图4中从左到右的每一列的图 像依次为：图4(a)是下采样后的低分辨率图像，图4(b)是原来的基于样例学习的方法对图 4(a)中的图像进行处理后的结果图，图4(c)为在本发明中仅利用基于图像分解的方法的 实验结果图，图4(d)为利用了本发明的所有创新的工具之后对图4(a)中的图像进行处理 后的结果图，图4(e)为原始的高分辨率图像。
【具体实施方式】
[0081] 下面结合附图对本发明的实施例作详细说明；本实施例在W本发明技术方案前提 下进行实施，W下给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于 下述的实施例。
[0082] 首先，先收集好大量的高分辨率的图像。高分辨率图像可W由网上的一些免费的 图像数据库中获得，如本发明利用的Yale大学的人脸数据库等。然后对收集到的每幅高分 辨率的图像进行如下处理；
[008引输入；很多高分辨率的训练图像。
[0084] 输出；由提取的样例S元组化(i)，Pe班），P'hcQ))所组成的数据库。
[0085] 步骤1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像。 然后对每一幅高分辨率的图像利用此文章（ModelingTextureswithTotalVariation MinimizationandOscillatingPatternsinImageProcessing"，Journalof scientificcomputing,vol. 19,issue1-2,卵.553-572,Dec. 2003)中所述的图像的卡通 和纹理分解技术进行分解，同时对分解得到的卡通部分进行下采样，再对低分辨率的卡通 图像进行如下所述的基于偏微分方程的插值W得到高分辨率的预测图像。首先，基于偏微 分方程的插值方法中的初始图像为下采样的低分辨率的卡通图像，即，Cl(i，j) =C(i，j)， 然后定义如下偏导数的离散化计算方法，有
[0086]
[0087] 利用该些偏导数可计算出第k次迭代应采取的修正量，即
[0088]
[0089] 利用该个修正量，可W得到第k次迭代产生的结果，给第k+1次迭代产生初始值， 有
[0090] CW(i，_]?)=ck(i，_]?) +0. 25*QkQ，_j)
[0091] 然后，重复此迭代过程，直到cKC-，C-4)《WXHX1. 3,cKC-，C-4)为块C-和块 之间的欧氏距离，其中，W为块的长度，H为块的宽度。接下来，计算原始图像和预测图像之 间的差值，得到预测差值图像。该样，可^为提取样例^元组做准备。步骤2^^=1，7^ = 1，该里，（Xu 是低分辨率样例在低分辨率的图像中采集的第一个块的左上角的坐标。i =1。
[009引步骤扣令111= 2,提取下采样的低分辨的图像中从坐标开始到（X片m+1，y片m+1)间的图像块町a)存储到数据库中。提取下采样的卡通图像中从坐标记，yj开 始到记+2m+l，y片m+1)间的图像块P。班）存储到数据库中。（2m+l)X(2m+l)为低分辨率 块的大小。本发明中选择的块的大小为5X5。
[009引步骤4)令Xh= 1，yH= 1，（XH，ys)为高分辨率的样例在高分辨率图像中采集的第 一个块的左上角的坐标。
[0094] 步骤W提取高分辨率的预测差值图像中从坐标（Xh，ys)开始到（XH+4m+2，yH+4m+2)间的图像块P'hea)，存储到数据库中。（4m+2)X(4m+2)为高分辨率预测差值 块的大小。本发明中选择的预测差值块的大小为10X10。该样，就存储了一个如上（3)中 所述的样例S元组化(i)，Pc^i)，P'HE(i))，其中町(i)和Pci(i)在W上步骤3)中存储， P'HE(i)在本步骤中存储。i=i+l。
[009引步骤6)令X尸X片，样例在低分辨率图像的左上角的横坐标右移两个像素单位，W提取出下一个样例。Xh=Xh+4,样例在高分辨率图像的左上角的横坐标右移四个像素单 位。
[009引步骤7)若X声Wf-2m(Wf为低分辨率图像的宽度），则跳到步骤扣提取下一个样 例立元组并把它存储在数据库中；否则该一行的样例=元组已提取完毕。
[0097] 步骤8)令X尸1，y尸y片，样例在低分辨率图像的左上角的纵坐标下移两个像 素。令义《=1，7?=7?+4，样例在高分辨率图像的左上角的纵坐标下移四个像素。步骤9) 若H,-2111(卑为低分辨率图像的高度），则跳到步骤3)提取下一个样例^元组；否则对 当前训练图像的样例=元组的提取过程进行完毕，共存储了I=i个样例=元组。
[0098] 该样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用 于超分辨率处理的很多样例=元组，并且该些样例=元组都存储在数据库中。
[0099] 该样，经过此离线的处理方法，就得到了可用于超分辨率处理的很多低频样例和 与此样例对应的高频块所组成的数据库。
[0100] 对于待放大的图像，本发明对其进行如下所述的在线放大处理，具体步骤如下：
[0101] 输入；待放大的低分辨率的图像，和已经离线训练和保存好的由样例S元组所组 成的数据库。
[0102] 输出；放大的高分辨率的图像。
[010引步骤l)x尸l，y尸1，该里，是低分辨率的块在低分辨率的待放大图像中 的第一个块的左上角的坐标。令Xh= 1，ys= 1，（Xh，yH)为高分辨率的块在高分辨率图像 中第一个块的左上角的坐标。
[0104] 步骤。令111= 2,提取待放大的低分辨的图像中从坐标（x^i)开始到（Xi+2m+l，y片m+1)间的图像块IV对图像块P,进行和离线方式相同的卡通和纹理分解，得到低分 辨率的卡通图像块P,。,。对图像块运用Sobel算子提取其中的边缘像素，并对边缘像素 和非边缘像素赋权值，即，若Py^(j)为边缘像素，则w(j) = 2 ;否则，w(j) = 1。5X5为低 分辨率块的大小。
[010引步骤扣根据提取到的图像块IVP,。讯各像素的权值，对训练数据库中的第i个 样例S元组化a)，Pc^i)，P'hea))，计算其匹配差值SAD(P心町(i)，Pc^i))，即，
[0106]
[0107] 1《i《I，其中I为数据库中存储的样例S元组的个数，和分别为 块P。讯块P冲的第j个像素的像素值。然后，选择匹配差值最小的K个样例立元组，和 其中的低分辨率块町化1)和低分辨率的卡通块IV化1)，其中ki为第k个匹配准则最小的样 例对在训练库中的索引值（index)。接下来，基于偏微分方程的插值方法中的初始图像块 为下采样的低分辨率的卡通图像，即，Ci(i，j) = 如，其中j)为块1\。^中第i 行和第j列的像素的像素值。然后，反复迭代使cw(i，j) =ck(i，j)+0.25*妒(i，j)，其中k为迭代次数，妒(i，j)由说明书中的式（7)定义，直到d(cm，cm气《WXHX1.3，d(Cm，Cm^ 为块C°和块之间的欧氏距离，其中，W为块的长度，H为块的宽度。然后，根据SAD(Pyi^， PlGO，？化化i))的值来确定重构块。
[010 引
[010引其中，W'i反比于SAD(Pxl，Pl化i)，PcL化i))，且
，P'he化i)块由数据库中 的样例S元组（Pl化i)，PcL化i)，P'HE化1))中的P'HE化1)而得来。
[0110] 步骤4)从坐标（Xh，yH)开始到（XH+4m+2,yH+4m+。间的图像块设置为重构块 P'若在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的 像素值的平均值来确定。10X10为高分辨率预测差值块的大小。
[0111] 步骤5)令义^二x^3，在低分辨率图像的左上角的横坐标右移S个像素单位，^提 取出下一个低分辨率块。Xh=Xh+6,样例在高分辨率图像的左上角的横坐标右移六个像素 单位。
[011引步骤6)若义^《￥,-2111师,为低分辨率图像的宽度），则跳到步骤。处理下一个 块。步骤7)令义^二1，y^= 7片3，样例在低分辨率图像的左上角的纵坐标下移^个像素。 令Xh= 1，ys=Yh+S，样例在高分辨率图像的左上角的纵坐标下移六个像素。步骤8)若 y声Hf-2m化为低分辨率图像的高度），则跳到步骤。处理下一个块；否则对所有的图像 块的处理完毕，得到由各重构块P'。若且成的高分辨率的图像。
[0113] 本发明分别W自然图像和人脸图像数据库作为实验对象进行实验，并通过主观评 价和客观评价两个方面来对实验结果进行评价，其中主观评价指的是人眼通过观察重建图 像对于其中细节的感受，客观评价主要采用PSNR和SSIM评价准则。原始图像表示为f(X， y)，而处理后得到的图像表示为g(X，y)，那么均方误差定义为：
[0114]
[01巧]而峰值信噪比为：
[0116] PSNR= 10*log(255VMSE)(地）
[0117] 在实际应用中峰值信噪比的值越大，说明重构的图像越接近原始图像。
[0118] 结构相似性度（SSIM)是从人眼的视觉系统角度出发来观测图像，形成有效的结 合了图像亮度比较、对比度比较和结构信息的比较，其定义为：
[0119]
[0120] 式中，X，y分别表示原始图像与处理后的图像，l(x，y)，C(X，y)，s(x，y)分别为 亮度对比、对比度对比、和结构信息对比量。SSIM评价指标的取值范围为（0,1)，而指标值 越接近1，说明重构图像与原始图像的结构性越相似，视觉效果也越好。
[0121] 实验一对普通图像进行图像超分辨率重构，实验中对41张内容类型不同的图像 进行训练建立样本库，内容主要有人物、建筑、动物、植物等。训练中采用如说明书中所述的 离线处理方法，通过训练得到包含八万多个由样例=元组所组成的样本数据库。
[0122] 实验一采用如说明书所述的在线的放大方法，放大倍数为4X4。此实验的放大重 建实验结果如说明书附图2所示，图中，（a)列中为基于样例学习的原有方法的结果图，化） 列中为在所提出的方法中仅采用图像分解方法的结果图，（C)列中为采用整个所提出的离 线方法和在线方法的结果图（d)列中为原始高分辨率图像。从该些图像中，可W很明显地 发现在基于样例学习方法的效果图（a)列中第一行的草丛和天空的交界处，第=行的建筑 和天空的交界处都存在着伪轮廓，第一行人物拿着的杆也并不是直的，存在银齿状断节的 现象，而本发明提出的方法由于图像对应的高频信息较为丰富，解决了该问题，并未存在该 现象。
[0123] 客观评价指标采用峰值信噪比（PSNR)和结构相似度（SSIM)对实验结果进行对比 评价，表1、表2分别为对W上4幅测试图像的各种方法的峰值信噪比和结构相似度的实验 结果数据。通过表1、表2的横向对比，本发明所提出的实验结果的峰值信噪比和结构相似 度的值都有一定的提高，该也验证了所提出的整个基于图像分解的超分辨率方法所处理出 的图像的视觉效果较好。
[0124] 表1各种算法重建图像的PSNR比较
[0125]
[0128] 实验二是专口对人脸图像进行图像超分辨率重构，实验中采用化le大学的人脸 数据库进行训练重建。人脸数据库中提取8位不同的人的人脸图像，每个人的人脸图像集 包含有8种不同的表情的图像，共用64张图像进行离线的处理W形成样本库，高分辨率的 训练图像集中的某些图像如说明书附图3中所示。实验二对该些图像离线训练形成一个储 存样例=元组的样本库。然后输入样本库中没有的人脸进行图像超分辨率实验。其他参数 设置与实验一相同，放大倍数为4X4倍。
[0129] 说明书附图4为对四幅人脸图像进行了超分辨率重构的实验结果，图中（a)是低 分辨率图像，化）是样例学习的重构方法，（C)是本文提出的基于样例学习的超分辨率重构 放，（d)是采用方向扩散插值图像作为低频块的方法，（e)为原始高分辨率图像。实验图像 明显看出本发明提出的超分辨率算法实现的图像有一定的效果，样例学习算法重建的图像 对比度较为分明，但是轮廓、眼睛等区域存在着一定的失真现象，本发明提出的两种算法都 较好的保持了图像的大致轮廓，边缘细节信息也有一定的增加。由于人脸图像脸部的边缘 梯度并不十分高，因此基于方向扩散算法对其影响不是很大。对实验结果分别计算PSNR值 和MSSIM值，结果如表3和表4所示，无论哪个指标都有明显的提高，而因人脸图像的高梯 度区域少，对插值图像进行了一定平滑，因此效果也没有未经方向扩散处理的方向效果稍 差一点。通过与实验一的对比，基于方向扩散处理对梯度大的图像比较有效，针对梯度较小 的图像最好不要使用。
[0130] 表3各种算法重构人脸图像的PSNR比较
[0131]
[0134] W上详细描述了本发明的 较佳具体实施例。应当理解，本领域的普通技术无需创 造性劳动就可W根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员 依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可W得到的技术 方案，皆应在由权利要求书所确定的保护范围内。
【主权项】
1. 一种新的图像超分辨率放大的方法。此方法包括新的离线的建立训练样本库的方法 和新的在线对待放大的低分辨率图像进行超分辨率放大的得到高分辨率图像的方法。其离 线的训练数据库的建立过程如下所述。即对高分辨率的图像数据库中的每幅图像进行如下 处理： 输入：很多高分辨率的训练图像。 输出：由提取的样例三元组（pjihPaa) w ΗΕα))所组成的数据库。 步骤1)先对原始的训练的高分辨率的图像进行下采样得到低分辨率的图像。然后对 每一幅高分辨率的图像利用图像的卡通和纹理分解技术进行分解，同时对分解得到的卡通 部分进行下采样，再对低分辨率的卡通图像进行所提出的基于偏微分方程的插值方法以得 到高分辨率的预测图像。接下来，计算原始图像和预测图像之间的差值，得到预测差值图 像。这样，可以为提取样例三元组做准备。 步骤2)?= l，y 1，这里，（Xyh)是低分辨率样例在低分辨率的图像中采集的第一 个块的左上角的坐标。i = 1。 步骤3)令m = 2,提取下采样的低分辨的图像中从坐标匕，yj开始到（xpm+l， ^+2m+l)间的图像块⑴存储到数据库中。提取下采样的卡通图像中从坐标（^，yj开 始到（xpm+Ly^m+l)间的图像块P cl⑴存储到数据库中。（2m+l) X (2m+l)为低分辨率 块的大小。本发明中选择的块的大小为5X5。 步骤4)令&= l，yH= 1，（xH，yH)为高分辨率的样例在高分辨率图像中采集的第一个 块的左上角的坐标。 步骤5)提取高分辨率的预测差值图像中从坐标（xH，yH)开始到（xH+4m+2，y H+4m+2)间 的图像块P HE(i)，存储到数据库中。（4m+2)X(4m+2)为高分辨率预测差值块的大小。本 发明中选择的预测差值块的大小为IOX 10。这样，就存储了一个样例三元组（Mi)，Pa(i)， ji))，其中⑴和PJi)在步骤3)中存储， HE⑴在本步骤中存储。i = i+l。 步骤6)令XJ2,样例在低分辨率图像的左上角的横坐标右移两个像素单位，以提 取出下一个样例。Xh= Xh+4,样例在高分辨率图像的左上角的横坐标右移四个像素单位。 步骤7)若W f-2m(WfS低分辨率图像的宽度），则跳到步骤3)提取下一个样例三 元组并把它存储在数据库中；否则这一行的样例三元组已提取完毕。 步骤8)令&= 1，h= yf2,样例在低分辨率图像的左上角的纵坐标下移两个像素。 令知=1，yH= yH+4,样例在高分辨率图像的左上角的纵坐标下移四个像素。步骤9)若 H f-2m(HfS低分辨率图像的高度），则跳到步骤3)提取下一个样例三元组；否则对当 前训练图像的样例三元组的提取过程进行完毕，共存储了 I = i个样例三元组。 这样，对训练库中的每一个高分辨率图像经过此离线的处理方法，就得到了可用于超 分辨率处理的很多样例三元组，并且这些样例三元组都存储在数据库中。2. 如权利要求1的步骤1)中所述的对低分辨率的卡通图像进行基于偏微分方程的插 值方法。首先，基于偏微分方程的插值方法中的初始图像为下采样的低分辨率的卡通图像， 即，C 1 (i，j) = C (i，j)，然后定义如下偏导数的离散化计算方法，有利用这些偏导数可计算出第k次迭代应采取的修正量，即 / \利用这个修正量，可以得到第k次迭代产生的结果，给第k+Ι次迭代产生初始值，有 Ck+1(i，j) = Ck(i，j)+0.25*Qk(i，j) 然后，重复此迭代过程，直到d(Cm，Cnri) < WXHX I. 3, d(Cm，Cnrl)为块Cm和块Cnri之间 的欧氏距离，其中，W为块的长度，H为块的宽度。3.如权利要求1中所述的在线的超分辨率放大的新方法。此方法包括如下步骤： 输入：待放大的低分辨率的图像，和已经训练和保存好的由样例三元组所组成的数据 库。 输出：放大的高分辨率的图像。 步骤1)?= l，h= 1，这里，（Xy5〇是低分辨率的块在低分辨率的待放大图像中的第 一个块的左上角的坐标。令Xh= 1，yH= 1，（xH，yH)为高分辨率的块在高分辨率图像中第 一个块的左上角的坐标。 步骤2)令m = 2,提取待放大的低分辨的图像中从坐标匕，yj开始到（xpm+l， h+2m+l)间的图像块ΡΛ。对图像块匕进行卡通和纹理分解，得到低分辨率的卡通图像块 Pxcl。对图像块？1运用Sobel算子提取其中的边缘像素，并根据以上（4)中所述的方法对 边缘像素和非边缘像素赋权值。（2m+l) X (2m+l)为低分辨率块的大小。本发明中选择的块 的大小为5X5。 步骤3)根据提取到的图像块ΡΛ、Pxcl和各像素的权值，对训练数据库中的第i个样例 三元组（PL(i)，Pa⑴，P' ^⑴），计算其匹配差值SAD(PxL，Pji)，Pa(i))，l彡i彡I，其中 I为数据库中存储的样例三元组的个数。然后，选择匹配差值最小的K个样例三元组，和其 中的低分辨率块PJk i)和低分辨率的卡通块Pa(Ici)，其中Ici为第k个匹配准则最小的样例 对在训练库中的索引值（index)。接下来，运用以上（2)中所述的方法得到插值之后的块为 C m(Iii)，然后，根据SAD (ΡΛ，PJk1)，Pa(Iii))的值和式（10)来确定重构块P' 步骤4)从坐标（xH，yH)开始到（xH+4m+2，yH+4m+2)间的图像块设置为重构块P' ，若 在此区域中已有之前设置的块，则重叠区域的像素值由此区域中所有的设置块的像素值的 平均值来确定。（4m+2) X (4m+2)为高分辨率预测差值块的大小。本发明中选择的高分辨率 块的大小为10X10。 步骤5)令^+3,在低分辨率图像的左上角的横坐标右移三个像素单位，以提取出 下一个低分辨率块。Xh= xH+6,样例在高分辨率图像的左上角的横坐标右移六个像素单位。 步骤6)若Wf-2m(W fS低分辨率图像的宽度），则跳到步骤2)处理下一个块。 步骤7)令&= 1，h= yf3,样例在低分辨率图像的左上角的纵坐标下移三个像素。 令xH= 1，yH= yH+6,样例在高分辨率图像的左上角的纵坐标下移六个像素。 步骤8)若y# H f-2m(H#低分辨率图像的高度），则跳到步骤2)处理下一个块；否则 对所有的图像块的处理完毕，得到由各重构块P' &组成的高分辨率的图像。4. 如权利要求书3中所用到的待放大区域和样本库中的训练样例三元组的匹配差值 的确定方法。此方法先对图像块采用Sobel梯度计算各像素点的梯度，对于梯度值大于200 的像素点，确定其权值w(j) = 2 ;否则w(j) = 1。然后先对待放大块PjJi行卡通和纹理分 解，得到低分辨率的卡通图像块Ρχα。在此基础上，所提出的匹配准则为其中，w(j)为所确定的权值，Pxa(j)为低分辨率的卡通图像块中的第j个像素的像素 值，λ为一平衡因子。通过大量的实验和优化，在本发明中λ =0.4。5. 所提出的超分辨率的重构方法。此方法先根据当前待放大的低分辨的块ΡΛ，找到数 据库中的K个和当前待放大块Ρ Λ的匹配准则SAD(PfPJki), Pa(Iii))(由以上式（9)定义 的）最小的样例三元组中的低分辨率块Mk i)和低分辨率的卡通块Pa(Iii)，其中Iii为第k 个匹配准则最小的样例对在训练库中的索引值（index)。然后，按照以上权利要求2中所提 出的对卡通块插值的方法，对低分辨率的卡通块P a GO进行基于偏微分方程的插值，得到 插值之后的块SCmGO。然后，根据SAD(Pj^PJk i), Pa(IO)的值来确定重构块。其中，w' i反比于SAD(Px^PJki), Ρα(1〇)，且￡<=1，P' JffiGO块由数据库中的样 1=1 例三元组（PLGO，Pcl(Iii)，P' ΗΕ(1〇)中的 P' ΗΕ(1〇 而得来。
【专利摘要】本发明公开了一种利用图像分解和样例加权匹配的图像超分辨率的新方法。在离线训练过程中，先对图像进行卡通和纹理分解，然后提取下采样的低分辨的图像块、卡通块、和基于改进的方法所产生的基于偏微分方程插值后的高分辨率的预测差值块所组成的三元组。在线过程中，先对低分辨的图像进行卡通与纹理分解。接下来，进行所提出的基于权值的样例匹配的方法。最后，把放大后的卡通图像的块和数据库中的预测差值图像块进行优化的线性叠加。仿真实验表明，本方法的匹配准确度高，高分辨率的图像具有更丰富的细节，克服了传统超分辨率方法中的边缘模糊、块效应和一对多的问题。
【IPC分类】G06T3/40
【公开号】CN104881842
【申请号】CN201510266433
【发明人】端木春江, 李林伟
【申请人】浙江师范大学
【公开日】2015年9月2日
【申请日】2015年5月18日