一种基于空-频域的联合视频图像的上采样方法

一种基于空-频域的联合视频图像的上采样方法
【技术领域】
[0001] 本发明属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。
【背景技术】
[0002] 视频图像信号上采样是增加图像分辨率大小的一个过程，其主要目的是解决视频 源尺寸与接收终端显示屏幕不匹配、缺乏高分辨率片源等问题。目前视频图像上采样技术 已经广泛应用于广播电视、网络视频以及视频节目制作中，如数字电视中标清节目在高清 电视机上显示、高清节目在标清电视机上播放，多屏视频业务中同一视频要在多个不同空 间分辨率的接收终端上播放，P2P业务中各种屏幕尺寸的peer之间相互传送视频信息。为 满足不同视频应用的要求，商业上已经形成了从QCIF到UHDTV等多个固定格式。
[0003] 视频图像上采样技术根据实现域不同可分为空域和频域转码技术。
[0004] 空域转码技术是利用像素之间的空间相似性插入或者重构目标尺寸像素点的值， 如经典的bilinear插值、bicubic插值；采样/插值滤波器法实现视频图像分辨率转换，立 足于设计更逼近理想低通滤波器性能的采样滤波器，减少混叠或者镜像失真，如6-tap的 Wiener插值滤波器、4-tap的cubic插值滤波器、16相位4-tap的cubic插值滤波器、13-tap 的采样滤波器、以及根据输入图像自身特点设计的各种自适应Wiener滤波器；主观效果主 导的上采样技术，如基于图像边缘方向性的采样插值方法、基于图像内容自适应采样插值 方法。固定系数滤波器法相对简单，能获得客观质量（PSNR)相对较高的目标图像，但会引 入明显的假轮廓、阶梯效应等失真，主观效果有待提高。主观质量主导的上采样技术能获得 较好的主观质量，但是客观质量却无法保证且运算复杂度相对前者增加了若干倍。
[0005] 频域上采样技术主要通过在DCT域进行高频截断或补零处理实现。由于在DCT 域直接处理高频系数完成图像尺寸变换，因此能获得较好的客观（PSNR)质量，但是因为采 样和插值过程是按块进行的，所以不可避免的会出现方块效应严重影响主观效果。Hybrid DCT-Wiener-BasedInterpolationScheme提出了一种空-频域联合的上采样方法。该方 法以低分辨率的图像数据作为重构的高分辨率图像的DCT系数的低频部分，而将低分辨率 的图像在空域采用Wiener滤波方法得到的高分辨图像的DCT系数的高频系数与上述低频 系数结合起来组成重构高分辨率图像的DCT系数，最后通过IDCT变换得到上采样的图像数 据。
[0006]如图1所不，Hybrid DCT-Wiener-Based Interpolation Scheme算法的数据处 理方法。按视频图像编码习惯，通常将DCT系数分块成
，代表低频部分， 以8X8块大小为例，其低频部分是4X4的矩阵。代表高频分量，大小同flOT-致，此 时，i= 1，2, 3。根据DCT和IDCT对矩阵的加法和乘法服从分配率，原始大尺寸图像每个 块的像素sOTig可以表示为
其中，〇代表零矩阵（块大小为8X8时，0的尺寸为4X4)，代表原始高分辨率图像的 各频率成分。通过HybridDCT-Wiener-BasedInterpolationScheme得到的上米样图像
。这种方法融合了空_频域算 法，能够兼得DCT域和空域上采样算法各自的优点，从而获得比一般空域或频域更好的主 客观质量，但是，该方法重构的高频信息由于Wiener滤波器算法与DCT重构算法有1/2像 素的位置漂移，大大降低了高频信息的准确性，并引入了假轮廓等失真，从而影响了该算法 的整体效果。

【发明内容】

[0007] 本发明的目的在于提供一种上采样质量比HybridDCT-Wiener-Based InterpolationScheme算法更好的空-频域联合视频图像上采样方法，避免空域与频域上 采样过程中产生的像素位置漂移，恢复出更加准确的高频信息，实现客观质量与主观质量 较传统上采样方法大幅度的提升。
[0008] 本发明的思路是：本发明基于空-频域联合的思想，综合空-频域各自的优势实现 更加准确的上采样处理。本发明首先将待上采样的低分辨率图像分块后进行DCT变换，其 系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行 插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块 进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上 采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。
[0009] 一种基于空-频域的联合视频图像的上采样方法，包括如下步骤：
[0010]S1、对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT 系数，具体如下：
[0011]S11、对待采样的低分辨率视频图像进行NXN点离散余弦变换（DiscreteCosine Transform，DCT)，得到变换后的NXN点DCT系数；
[0012] S12、对Sll所述变换后的NXN点DCT系数进行扩展处理，得到频域上低频数据扩 展以后的DCT系数，所述扩展处理为将S11所述变换后的NXN点DCT系数扩展至目标上采 样倍数k，其中，k多2且k为自然数；
[0013]S2、对待采样的视频图像在空域进行处理，具体为：
[0014]S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k;
[0015]S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系 数，具体为：
[0016]S221、根据公式gjx，y,n) =hL0G(x,y)*f(x,y,n)，采用改进型Laplicanof Gaussian(LOG)算子对S31所述采样后的视频图像进行模糊处理，其中，g(x,y,n)是LOG模 糊处理后的视频图像素点值，为LOG算子，
为S21所述采样后的视频图像的像素点值，x，y表示像素点的位置，n表示是第n帧视频图 像，var是视频图像的全局方差，S为高斯分布的标准方差，S= 〇. 7 ;
[0017] S222、根据公式gmask(x,y,n) =f(x,y,rO-gJx，y,n)对S221 所述模糊处理后的 视频图像进行反锐化掩蔽处理，其中，gmask(X，y，n)为反锐化掩蔽处理后的视频图像像素点 值；
[0018] 3223、根据公式4_(叉，7，]1)=;^叉，7，11) +人\区_15(叉，7，11)对5222所述反锐化掩 蔽处理后的视频图像进行锐化处理，其中，fstop(x，y，n)为锐化后的视频图像像素点值，入 是锐化深度因子，A是经验值；
[0019] S224、对S223所述经过锐化处理的视频图像进行kNXkN点DCT变换，截取所述 kNXkN点DCT变换后的视频图像的DCT变换后的高频系数；
[0020] S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合 形成上采样图像DCT系数；
[0021] S4、对S3所述上采样DCT系数进行离散余弦逆变换（InverseDiscreteCosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。
[0022] 进一步地，S12所述扩展处理具体为对S11所述变换后的NXN点DCT系数进行添 零。
[0023] 进一步地，S12所述k= 2。
[0024] 进一步地，S21所述采用Wiener滤波器进行上采样至目标倍数，具体过程为：
[0025] S211、根据上采样像素值与原始像素值的12-律，训练求解得到 argm|n||/(x，)')*〃(x，〕W)-g(x'，/)||，其中，f(x，y)为待采样的低分辨率图像的像素点值， g(x'，y'）为原始高分辨率图像像素点值，u(X，y,x'，y'）为构造的自适应6-抽头Wiener滤 波器；
[0026] S212、保持待采样的视频图像的整像素点值，采用S211所述u(x，y，x'，y'）进行非 整像素点插值。
[0027] 进一步地，S223所述A的取值范围为：〇? 2彡A彡〇? 7。
[0028] 进一步地，S223 所述X= 〇? 7。
[0029] 本发明的有益效果是：
[0030] 本发明将待上采样的低分辨率视频图像分别在频域和空域进行上采样处理。在频 域处理部分，完整地保留了待上采样视频图像的所有频率成分；在空域处理部分，本发明首 先采用自适应Wiener滤波器有效地解决了像素位置漂移问题，然后对Wiener滤波后的图 像进行锐化处理达到以牺牲整体质量而大幅度增强轮廓信息的目的，最终实现高频信息的 更准确估计。
[0031] 本发明能大大提高上采样视频图像的PSNR和主观质量，有效地减弱假轮廓和块 效应等失真。
【附图说明】
[0032]图 1Hybrid DCT-Wiener-Based Interpolation Scheme算法的数据处理不意图。
[0033] 图2本发明流程图。
[0034] 图3本发明与主要相关技术的主观效果比较图，其中，（a)为原始高清晰度图，（b) 为Wiener滤波上米样图，（c)为HybridDCT-Wiener-BasedInterpolationScheme上米 样图，（d)为本发明上采样图。
【具体实施方式】
[0035] 下面结合实施例和附图，详细说明本发明的技术方案。
[0036] 如图2所示：
[0037]S1、对待采样的视频图像在频域 进行处理，得到频域上低频数据扩展以后的DCT 系数，具体如下：
[0038]S11、对待采样的低分辨率视频图像进行4X4点离散余弦变换（DiscreteCosine Transform，DCT)，得到变换后的4X4点DCT系藝
，其 中，
14X4块的DCT变换矩阵。
[0039]S12、对S11所述4X4点DCT系|t行添零扩展至目标上采样倍数 \-ju -ji
-a-m / 2,可得频域上低频数据扩展以后的DCT系_
[0040]S2、对待采样的视频图像在空域进行处理，具体为：
[0041]S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k，具体如下：
[0042]S211、根据上采样像素值与原始像素值的12-律训练求解得到 argm丨11|/(^')*"(1，)'夂，_)")-&'，)''；)||，其中，以\7)为待采样的低分辨率图像的像素点值， g(x'，y'）为原始高分辨率图像像素点值，u(X，y,x'，y'）为构造的自适应6-抽头Wiener滤 波器；
[0043]S212、保持待采样的视频图像的整像素点值，采用S211所述u(x，y，x'，y'）进行非 整像素点插值；
[0044] S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系 数，具体为：
[0045] S221、根据公式gjx，y,n) =hLQG(x,y)*f(x,y,n)，采用改进型Laplicanof Gaussian(LOG)算子对S21所述采样后的视频图像进行模糊处理，其中，f?(x，y，n)是LOG模 糊处理后的视频图像素点值，为LOG算子，
f(x，y，n) 为S21所述采样后的视频图像的像素点值，x，y表示像素点的位置，n表示是第n帧视频图 像，var是视频图像的全局方差，S为高斯分布的标准方差，S= 〇. 7 ;
[0046] S222、根据公式gmask(x,y,n) =f(x,y,rO-gJx，y,n)对S221 所述模糊处理后的 视频图像进行反锐化掩蔽处理，其中，gmask(X，y，n)为反锐化掩蔽处理后的视频图像像素点 值；
[0047] 3223、根据公式;^￡111)(叉，7，11)=;^叉，7，11) + 人\ 8_15(叉，7，11)对5222所述反锐化掩 蔽处理后的视频图像进行锐化处理，其中，fstop(x，y，n)为锐化后的视频图像像素点值，入 =0. 7 ；
[0048] S224、对S223所述经过锐化处理的视频图像进行8X8点DCT变换，截取所述8X8 点DCT变换后的视频图像的DCT变换后的高频系：
其中，k= 2 ;
[0049] S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合 形成上采样图像DCT系
[0050] S45、对S3所述上采样DCT系数进行离散余弦逆变换（InverseDiscreteCosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。
[0051] 输入QCIF(176X144)视频图像，用本发明方案进行上采样至CIF大小 (352X288)，如表1所示为几种上采样方法客观测试结果。
[0052]
[0053] 表 1
[0054] 可以看出，本发明较HybirdDCT-Wiener-BasedInterpolationScheme算法获得 平均0.6dB的PSNR增益和0. 02的SSM增益；本发明较DCT-based算法获得平均0. 7dBPSNR 增益和0. 03的SSM增益。
[0055] 输入960X540大小的视频图像，用本发明方案进行上采样至HD大小 (1920X1080)，如表2所示为几种上采样方法客观测试结果。
[0056]
[0057] 表 2
[0058] 可以看出，本发明较HybirdDCT-Wiener-BasedInterpolationScheme算法获 得平均0. 76dB的PSNR增益和0. 018的SSM增益；本发明较DCT-based算法获得平均 1. 3dBPSNR增益和 0? 022 的SSIM增益。
[0059] 图 3 比较了本发明与Wiener滤波上米样、HybridDCT-Wiener-Based InterpolationScheme上采样的主观结果。本发明获得了比上述算法更加清晰的主观图并 大大减小了HybridDCT-Wiener-BasedInterpolationScheme算法产生的假轮廓等失真。
【主权项】
1. 一种基于空-频域的联合视频图像的上采样方法，其特征在于，包括如下步骤：Sl、 对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT系数，具体如 下： 511、 对待采样的低分辨率视频图像进行NXN点离散余弦变换（Discrete Cosine Transform，DCT)，得到变换后的NXN点DCT系数； 512、 对Sll所述变换后的NXN点DCT系数进行扩展处理，得到频域上低频数据扩展以 后的DCT系数，所述扩展处理为将Sll所述变换后的NXN点DCT系数扩展至目标上采样倍 数k，其中，k彡2且k为自然数； 52、 对待采样的视频图像在空域进行处理，具体为： 521、 采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k ; 522、 对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系数，具 体为： 5221、 根据公式 gjx.y, n) = hLQG(x，y)*f(x，y，n)，采用改进型 Laplican of Gaussian(LOG)算子对S31所述采样后的视频图像进行模糊处理，其中，R (x，y，η)是LOG模 糊处理后的视频图像素点值，为LOG算子f (X，y，η) 为S21所述采样后的视频图像的像素点值，X，y表示像素点的位置，η表示是第η帧视频图 像，var是视频图像的全局方差，δ为高斯分布的标准方差，δ = 〇. 7 ; 5222、 根据公式gmask(x, y, n) = f (X，y, rO-gJx, y, η)对S221所述模糊处理后的视频图 像进行反锐化掩蔽处理，其中，gmask(x，y，η)为反锐化掩蔽处理后的视频图像像素点值； 3223、根据公式;^_(1，7，11)=;^1，7，11) + 人\ 8_15(1，7，11)对5222所述反锐化掩蔽处 理后的视频图像进行锐化处理，其中，fshaip(x，y，n)为锐化后的视频图像像素点值，λ是锐 化深度因子，λ是经验值； S224、对S223所述经过锐化处理的视频图像进行kNX kN点DCT变换，截取所述kNX kN 点DCT变换后的视频图像的DCT变换后的高频系数； 53、 将Sl所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合形成 上采样图像DCT系数； 54、 对S3所述上采样DCT系数进行离散余弦逆变换（Inverse Discrete Cosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。2. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S12所述扩展处理具体为对Sll所述变换后的NXN点DCT系数进行添零。3. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S12所述k = 2。4. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S21所述采用Wiener滤波器进行上采样至目标倍数，具体过程为： S211、根据上采样像素值与原始像素值的I2-律，训练求解得到 argminl/W'XqW)-g(x'，/)||，其中，f(x，y)为待采样的低分辨率图像的像素点值， g (X'，y'）为原始高分辨率图像像素点值，u (X，y, X'，y'）为构造的自适应6-抽头Wiener滤 波器； S212、保持待采样的视频图像的整像素点值，采用S211所述u(x，y，X'，y'）进行非整像 素点插值。5. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S223所述λ的取值范围为：〇. 2 < λ < 〇. 7。6. 根据权利要求1或5所述的一种基于空-频域的联合视频图像的上采样方法，其特 征在于：S223所述λ = 〇. 7。
【专利摘要】本发明属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。本发明基于空-频域联合的思想，综合空-频域各自的优势实现更加准确的上采样处理。本发明首先将待上采样的低分辨率图像分块后进行DCT变换，其系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。本发明能大大提高上采样视频图像的PSNR和主观质量，有效地减弱假轮廓和块效应等失真。
【IPC分类】H04N19/86, H04N19/625, H04N19/154, H04N19/117
【公开号】CN104883579
【申请号】CN201510309370
【发明人】邬震宇, 陈长汶, 万群, 沈晓峰, 冯健, 周代英, 窦衡, 廖阔, 况凌
【申请人】电子科技大学
【公开日】2015年9月2日
【申请日】2015年6月8日