使用空间移位增加视觉质量度量的鲁棒性的方法和系统的制作方法

xiaoxiao2020-7-22  4

【专利下载】Tel:18215660330

使用空间移位增加视觉质量度量的鲁棒性的方法和系统的制作方法
【专利摘要】视觉质量评价方法和系统基于通过比较失真图像和同一图像的未失真版本的子带近似得到质量度量,提供了计算复杂度和精确度之间的良好折衷。从每个图像的小图像块的离散小波(Haar)变换导出子带近似。由于固有对称性,该小波变换对于特定类型失真有“盲性”。但是该方法的精确性得到加强,并且通过计算失真图像的质量度量以及计算失真图像的移位版本的质量度量并且组合所述结果,克服了所述变换的盲性。
【专利说明】使用空间移位增加视觉质量度量的鲁棒性的方法和系统
[0001]相关申请
[0002]本申请要求2011年5月4日提交的美国临时申请序列号61/482,472的权益,该临时申请的全部内容通过引用的方式合并于此。
【技术领域】
[0003]本发明涉及图像质量的评价,具体地,涉及用于确定具有增强的感知性能的图像的改进的质量测量(measure)或度量(metrics)的方法和系统。
【背景技术】
[0004]图像质量评价在各种图像和视频应用(例如压缩和增强)的开发和确认中扮演了重要角色。通常基于参考图像的可用性对目标质量模型进行分类。如果未失真的参考图像可用,则质量度量被认为是全参考(FR)评价法。若干图像和视频应用需要实时评价质量。因此,与质量评价方法相关联的计算复杂性变成了要解决的重要问题。要考虑的另一重要因素是质量评价方法的精确性,该精确性指示所计算的质量分数与人类观点的对应有多好。
[0005]相应地,需要提高复杂性低的质量评价方法的精确度的方法和系统。

【发明内容】

[0006]本发明的一个目的是提供使用空间移位增加视觉质量度量(visual qualitymetrics)的鲁棒性(robustness)的方法和系统。
[0007]根据本发明的一方面,提供了一种为失真图像Y计算质量测量的方法,所述测量表征图像Y与未失真参考图像X之间的相似性,所述参考图像X具有与图像Y相同行数和列数的像素,该方法包括:
[0008](a)通过变换过程分别对所述失真图像Y和未失真参考图像X进行变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换,所述变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲性,因此导致在所述变换过程期间图像的特定图案不被识别;
[0009](b)分别将参考图像X和失真图像Y中的像素空间移位具有相同预定量像素的空间移位量,以产生参考图像X的空间移位的版本X2和图像Y的空间移位的版本Y2,所述空间移位量被选择成使得在应用于所述空间移位的版本X2和Y2的变换过程期间所述特定图案变得可检测;
[0010](C)分别通过所述变换过程变换所述空间移位的版本Y2和空间移位的版本X2,以产生所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换;以及
[0011]Cd)根据所述失真图像Y的变换、所述未失真参考图像X的变换、所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换,确定所述失真图像Y的质量测量。
[0012]所述步骤(b)还包括:
[0013]将所述参考图像X的像素分成W个像素乘以W个像素的块,W是比所述像素行数和列数少的数量;以及
[0014]将所述失真图像Y的像素分成对应的W个像素乘以W个像素的块。
[0015]所述步骤(b)还包括:
[0016]水平地空间移位第一预定量;或者
[0017]垂直地空间移位第二预定量;或者
[0018]分别水平地和垂直地空间移位第一预定量和第二预定量。
[0019]方便的是,可以将所述第一预定量和第二预定量选择为相同。
[0020]在本发明的一个实施例中,W等于2~N,其中指数N是所述变换过程的分解级。
[0021]例如,所述第一和第二预定量中的每一个可以被选择为I和(W/2-1)中的较大者。
[0022]在本发明的一个实施例中,所述第一和第二预定量是小于W的奇数。
[0023]在上述方法中,所述变换过程是如下之一:余弦变换、正弦变换或小波变换。
[0024]在本发明的一个实施例中,所述变换过程是Haar变换。或者,所述变换过程可以是 Daubechies 变换。
[0025]在上述方法中,所述步骤(d)还包括:
[0026]使用失真图像Y的变换和未失真参考图像X的变换计算第一近似图像质量度量IQMA ;
[0027]使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计算第二近似图像质量度量IQM’ A;以及
[0028]处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生失真图像Y的质量测量。
[0029]在本发明的一个实施例中,所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近似质量图,并且所述步骤(d)还包括:
[0030]分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图;
[0031]分别使用所述第一和第二对照图进行所述第一和第二近似质量图的加权合并(pooling)以产生近似质量分数SA ;以及
[0032]使用所述近似质量分数SA确定所述质量测量。
[0033]所述步骤(d)还包括:
[0034](i)使用失真图像Y的变换和未失真参考图像X的变换计算第一边缘图像质量度量 IQME ;
[0035](ii)使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计算第二边缘图像质量度量IQM’ E;以及
[0036](iii)根据IQMA、IQM' A、IQME和IQM' E确定失真图像Y的质量测量。
[0037]所述步骤(iii)还包括:
[0038]处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生近似质量分数SA ;
[0039]处理所述第一和第二边缘质量度量IQME和IQM’ E以产生边缘质量分数SE ;以及
[0040]根据所述近似质量分数SA和所述边缘质量分数SE确定失真图像Y的质量测量。
[0041]在本发明的一个实施例中,将所述质量测量计算为最终分数SF=a*SA+ (l_a)*SE,其中SF值在从O到I的范围内变化。
[0042]在上述方法中,所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近似质量图,并且所述第一和第二边缘质量度量IQME和IQM’ E分别是第一和第二边缘质量图,并所述步骤(d)还包括:
[0043](dl)分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图;
[0044](d2)分别使用所述第一和第二对照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA ;以及
[0045](d3)分别使用所述第一和第二对照图进行所述第一和第二边缘质量图的加权合并以产生边缘质量分数SE ;以及
[0046](d4)处理所述近似质量分数SA和所述边缘质量分数SE以确定所述质量测量。
[0047]所述生成第一和第二对照图的步骤还包括:根据其对于人类视觉系统的相应重要性,为参考图像X和空间移位版本X2的第一和第二近似质量图以及第一和第二边缘图指定值。
[0048]所述步骤(d2)还包括如下之一:对所述第一近似质量图和第二近似质量图进行平均、以及取所述第一近似质量图和第二近似质量图的最小者,以产生所述近似质量分数SA0
[0049]根据本发明的另一方面,提供了一种为失真图像Y计算质量测量的系统,所述测量表征图像Y与未失真参考图像X之间的相似性,所述参考图像X具有与图像Y相同的行数和列数的像素,该方法包括:
[0050]处理器;
[0051]非暂态计算机可读存储介质,该计算机可读存储介质上存储有由所述处理器执行使得所述处理器执行以下操作的计算机可读指令:
[0052](a)通过变换过程分别对所述失真图像Y和未失真参考图像X进行变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换,所述变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲性,因此导致在所述变换过程期间图像的特定图案不被识别;
[0053](b)分别将参考图像X和失真图像Y中的像素空间移位具有相同预定量像素的空间移位量,以产生参考图像X的空间移位的版本X2和图像Y的空间移位的版本Y2,所述空间移位量被选择成使得在应用于所述空间移位的版本X2和Y2的变换过程期间所述特定图案变得可检测;
[0054](C)分别通过所述变换过程变换所述空间移位的版本Y2和空间移位的版本X2,以产生所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换;以及
[0055](d)根据所述失真图像Y的变换、所述未失真参考图像X的变换、所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换,确定所述失真图像Y的质量测量。
[0056]在上述系统中,所述计算机可读指令还使得所述处理器:
[0057]将所述参考图像X的像素分成W个像素乘以W个像素的块,W是比所述像素的行数和列数少的数量;以及
[0058]将所述失真图像Y的像素分成对应的W个像素乘以W个像素的块。
[0059]所述计算机可读指令还使得所述处理器:
[0060]水平地空间移位第一预定量;或者
[0061]垂直地空间移位第二预定量;或者[0062]分别水平地和垂直地空间移位第一预定量和第二预定量。
[0063]在上述系统中,所述第一预定量和所述第二预定量是相同的。
[0064]例如,W可以等于2~N,其中指数N是所述变换过程的分解级;并且所述第一和第二预定量中的每一个可以被选择为I和(W/2-1)中的较大者。或者,所述第一和第二预定量可以被选择为小于W的奇数。
[0065]在上述系统中,所述变换过程是如下之一:余弦变换、正弦变换或小波变换。
[0066]在本发明的实施例中,所述变换过程是Haar变换。或者,所述变换过程可以是Daubechies 变换。
[0067]在上述系统中,所述计算机可读指令还使得所述处理器:
[0068]使用失真图像Y的变换和未失真参考图像X的变换计算第一近似图像质量度量IQMA ;
[0069]使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计算第二近似图像质量度量IQM’ A;以及
[0070]处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生失真图像Y的质量测量。
[0071]所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近似质量图,并且所述计算机可读指令还使得所述处理器:
[0072]分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图;
[0073]分别使用所述第一和第二对照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA;以及
[0074]使用所述近似质量分数SA确定所述质量测量。
[0075]在上述系统中,所述计算机可读指令还使得所述处理器:
[0076](i)使用失真图像Y的变换和未失真参考图像X的变换计算第一边缘图像质量度量 IQME ;
[0077](ii)使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计算第二边缘图像质量度量IQM’ E;以及
[0078](iii)根据IQMA、IQM' A、IQME和IQM' E确定失真图像Y的质量测量。
[0079]所述计算机可读指令还使得所述处理器:
[0080]处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生近似质量分数SA ;
[0081]处理所述第一和第二边缘质量度量IQME和IQM’ E以产生边缘质量分数SE ;以及
[0082]根据所述近似质量分数SA和所述边缘质量分数SE确定失真图像Y的质量测量。
[0083]在上述系统中,将所述质量测量计算为最终分数SF=a*SA+ (l_a) *SE,其中SF值在从O到I的范围内变化。
[0084]在本发明的实施例中,所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近似质量图,并且所述第一和第二边缘质量度量IQME和IQM’E分别是第一和第二边缘质量图,并且所述计算机可读指令还使得所述处理器:
[0085]分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图;
[0086]分别使用所述第一和第二对照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA ;[0087]分别使用所述第一和第二对照图进行所述第一和第二边缘质量图的加权合并以产生边缘质量分数SE ;以及
[0088]处理所述近似质量分数SA和所述边缘质量分数SE以确定所述质量测量。
[0089]所述计算机可读指令还使得所述处理器:根据其对于人类视觉系统的相应重要性,为参考图像X和空间移位版本X2的第一和第二近似质量图以及第一和第二边缘图指定值。
[0090]所述计算机可读指令还使得所述处理器进行如下操作之一:对所述第一近似质量图和第二近似质量图进行平均和取所述第一近似质量图和第二近似质量图的最小者,以产生所述近似质量分数SA。
[0091]根据本发明的另一方面,提供了一种为失真图像Y计算质量测量的系统,所述测量表征图像Y与未失真参考图像X之间的相似性,该系统包括:
[0092]处理器;
[0093]存储器,该存储器上存储有由所述处理器执行使得所述处理器处理失真图像Y和未失真参考图像X的计算机可读指令,包括:
[0094]变换模块,其通过变换过程分别对所述失真图像Y和未失真参考图像X进行变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换,所述变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲性,因此导致在所述变换过程期间图像的特定图案不被识别;
[0095]空间移位模块,其用于分别产生所述失真图像Y的空间移位版本Y2和所述参考图像X的空间移位版本X2 ;
[0096]所述变换模块还配置成分别通过所述变换过程变换所述空间移位的版本Y2和空间移位的版本X2,以产生所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换;
[0097]图像质量度量(IQM)计算子系统,其用于根据所述失真图像Y的变换、所述未失真参考图像X的变换、所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换,确定所述失真图像Y的质量测量。
[0098]所述系统还包括近似质量图/分数计算模块,该模块用于:
[0099]使用失真图像Y的变换和未失真参考图像X的变换计算第一近似图像质量度量IQMA ;以及
[0100]使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计算第二近似图像质量度量IQM’ A0
[0101]所述系统还包括最终分数计算模块,用于组合所述第一和第二近似图像质量度量IQMA和IQM’ A以产生失真图像Y的质量测量。
[0102]所述系统还包括边缘质量图/分数计算模块,该模块用于:
[0103]使用失真图像Y的变换和未失真参考图像X的变换计算第一边缘图像质量度量IQME ;以及
[0104]使用所述空间移位版本Y2的变换和所述空间移位版本X2的变换计算第二边缘图像质量度量IQM’ E0
[0105]所述最终分数计算模块还配置成根据IQMA、IQMA' A、IQME和IQM' E确定失真图像Y的质量测量。[0106]该系统还包括:
[0107]近似质量图共同合并模块,用于组合所述第一和第二近似图像质量度量IQMA和IQM’ A以产生近似质量分数SA ;
[0108]边缘图共同合并模块,用于组合所述第一和第二边缘质量度量IQME和IQM’E以产生边缘质量分数SE ;以及
[0109]所述最终分数计算模块还配置成根据所述近似质量分数SA和所述边缘质量分数SE确定失真图像Y的质量测量。
[0110]在上述系统中,将所述近似质量分数SA和边缘质量分数SE的函数计算为最终分数SF=a*SA+ (1-a) *SE,其中SF值在从O到I的范围内变化。
[0111]在本发明的实施例中,所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近似质量图,并且所述系统还包括:
[0112]对照图生产模块,用于分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图;以及
[0113]所述近似质量图共同合并模块还配置成分别使用所述第一和第二对照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA ;
[0114]在上述系统中,所述第一和第二近似质量度量IQMA和IQM’A分别是第一和第二近似质量图,所述第一和第二边缘质量度量IQME和IQM’ E分别是第一和第二边缘质量图,所述系统还包括:
[0115]对照图生产模块,用于分别生成参考图像X的和所述空间移位版本X2的第一和第二对照图;以及
[0116]所述近似质量图共同合并模块还配置成分别使用所述第一和第二对照图进行所述第一和第二近似质量图的加权合并以产生近似质量分数SA ;以及分别使用所述第一和第二对照图进行所述第一和第二边缘质量图的加权合并以产生边缘质量分数SE。
[0117]所述对照图产生模块还配置成生成第一和第二对照图,包括根据其对于人类视觉系统的相应重要性,为参考图像X和空间移位版本X2的第一和第二近似质量图以及第一和第二边缘图指定对应值。
[0118]所述最终分数计算模块还配置成执行如下操作之一:
[0119]对所述近似质量分数SA和所述边缘质量分数SE进行平均;以及
[0120]取所述近似质量分数SA和所述边缘质量分数SE的最小者以确定所述质量测量。[0121 ] 所述变换模块还配置成:
[0122]将所述参考图像X的像素分成W个像素乘以W个像素的块,W是比所述像素行数和列数少的数量;以及
[0123]将所述失真图像Y的像素分成对应的W个像素乘以W个像素的块。
[0124]所述空间移位模块还配置成:
[0125]水平地空间移位第一预定量;或者
[0126]垂直地空间移位第二预定量;或者
[0127]分别水平地和垂直地空间移位第一预定量和第二预定量。
[0128]因此,已经提供了用于使用空间移位增加视觉质量度量的鲁棒性的改进的方法和系统。【专利附图】

【附图说明】
[0129]现在将参考附图通过例子描述本发明的实施例,在附图中:
[0130]图1示出了用于确定质量测量的离散小波域图像质量评价框架10的框图;
[0131]图1A示出了用于确定所述质量测量的对应方法140的流程图;
[0132]图2示出了描绘用于图1的参考图像X的二级分解的(N=2)的小波子带的示例性图示200 ;
[0133]图3A示出了典型的原始图像;
[0134]图3B示出了通过用于图3A的原始图像的等式(9)获得的调整大小的对比图;
[0135]图4示出了用于产生和显示在H.264压缩中使用的4x4DCT基的Matlab代码片段900 ;
[0136]图5示出了数阵列1000,该数阵列示出了在任意比例尺下计算的图4的4x4DCT基的结果。
[0137]图6不出了第一质量度量计算系统1100,其包括质量评价模块1102的两个例子(1102.1和1102.2)、空间移位模块1104和最终分数计算模块1106。
[0138]图7示出了第二质量度量计算系统1200,其包括质量评价模块1102的两个例子(1102.1和1102.2)、空间移位模块1104的两个例子(1140.1和1104.2)和最终分数计算模块1106。
[0139]图8示出了第三质量度量计算系统1300,其包括质量评价模块1102和空间移位模块 1104。
[0140]图9示出了离散小波域图像质量评价系统1400的一个实施例的框图;
[0141]图10示出了计算作为失真图像质量测量的组合分数的方法1500的流程图,该计算通过与图9的系统框图相关联的顺序图中的与对应原始图像的比较结合失真图像的空间移位版本与对应原始图像的等同空间移位版本的比较来进行;
[0142]图1OA示出了图10的五步组1502的扩展;
[0143]图1OB示出了图10的五步组1508的扩展;
[0144]图11 (a)示出了标准图像“Image House”作为原始参考图像;
[0145]图11 (b)示出了从图11 (a)的参考图像生成的第一失真图像,其中4x4DCT变换图像的第2行和第2列设为零;
[0146]图11 (C)示出了从图11 (a)的参考图像生成的第二失真图像,其中4x4DCT变换图像的第3行和第3列设为零;
[0147]图11 (d)示出了从图11 (a)的参考图像生成的第三失真图像,其中4x4DCT变换图像的第4行和第4列设为零;以及
[0148]图12示出了根据本发明实施例的离散小波域图像质量评价系统1400的示例性硬件视图1700,其包括处理器1702和计算机存储器1704。
【具体实施方式】
[0149]本发明的实施例提供了一种质量评价方法,该方法的目的是在良好精确性和低复杂程度之间实现良好折衷。[0150]术语表
[0151]近似-图(或近似质量图):表征图像的主要内容并且被确定为在一级(或更高级)离散小波分解之后获得的图像的近似子带。
[0152]近似子带:包含图像的主要内容一即,低频内容一的子带。
[0153]近似质量分数:图像X的近似子带与图像Y的近似子带的相似性的测量。
[0154]近似质量测量:提供当使用基于图(map)的度量来进行质量评价(例如,VIF)时的近似质量分数、或者当使用非基于图的度量来进行质量评价(例如,SSIMwb)时的近似质量图(也称为近似图)的图像质量的测量。
[0155]对照图:用于基于图像的不同区域中的像素的视觉重要性为所述像素自动指定权重的加权函数。
[0156]相关系数:基于皮尔森积矩相关系数(Pearson product-moment correlationcoefficient)在两个图块之间计算的统计测量。
[0157]DC:(直流)表示变换的零频率成分,即,平均值。
[0158]细节子带:包含图像的精细边缘的子带。
[0159]对角细节子带:包含图像的精细对角边缘的子带。
[0160]离散小波变换(DWT):应用于图像以将其低频成分与其高频成分分离的变换。
[0161]离散余弦变换(DCT):用于图像的多分辨率分解的离散余弦变换。
[0162]边缘图(或边缘质量图):表征图像的精细边缘并且被确定为在一级(或更高级)离散小波分解后获得的图像的水平、垂直和对角细节子带的均方根。
[0163]边缘质量分数:两个图像的细节子带之间的相似性的测量。
[0164]边缘质量测量:图像质量测量,其当使用基于图(map)的度量来进行质量评价(例如,VIF)时提供边缘质量分数、或者当使用非基于图的度量来进行质量评价(例如,SSIMwb)时提供边缘质量图(也称为边缘图)。
[0165]高斯滑动窗口:具有单位和以及高斯概率分布的一组N个系数。
[0166]水平子带:包含图像的精细水平边缘的子带。
[0167]多分辨率分解:应用于数字图像以产生子带的变换,所述子带之一包含原始图像的低频主要内容并且其它子带包含原始图像的精细边缘。
[0168]Sa和Se:分别是近似质量分数和边缘质量分数。
[0169]Sf:最终分数。
[0170]结构相似性(SSM):图像质量的精确测量,其捕获两个图像之间的相似性并且能够以与诸如VIF的其它图像质量度量相比高但是仍可接受的计算复杂性来计算。
[0171]SSIMm:Z.Wang 和 A.C.Bovik 提出的质量评价 SSM 方法。
[0172]质量分数:用于计算最终分数的中间相似性值。存在两种质量分数:近似质量分数和边缘质量分数。
[0173]质量图:中间相似性值,其用于计算基于图的视觉质量评价方法(例如,当SSIMwb用于质量评价时)中的质量测量。存在两种质量图:近似质量图(或者近似-图)和边缘质量图(或边缘-图)。
[0174]视觉信息保真度(VIF):H.R.Sheikh和A.C.Bovik提出的图像质量评价方法。
[0175]垂直子带:包含图像的精细垂直边缘的子带。[0176]峰值信噪比(PSNR)是最古老并且最广泛使用的FR图像质量评价测量之一,因为其简单、具有清楚的物理意义、无需参数并且在优化情境中表现优异。然而,常规的PSNR不能充分反映人对图像保真度的感知,即,大的PSNR增益可能仅对应于视觉质量的小改善。这致使研究者开发若干其它质量测量。表1和II示出了 PSNR与其它质量度量的精确性对比,见 H.R.Sheikh、Z.Wang、L.Cormack 和 A.C.Bovik 的 “LIVE Image QualityAssessment Database Release2,,,可从 http://live.ece.utexas.edu/research/quality获得。该发表LIVE Image Quality Assessment Database包含使用五种类型的失真从29个原始彩色图像得到的779个失真图像:JPEG压缩、JPEG2000压缩、高斯白噪声(GWN)、高斯模糊(GBlur)和瑞利快速衰落(Rayleigh, fast fading, FF)信道模型。在所有实验中使用数据库的重新对准主观质量数据,见H.R.Sheikh、Z.Wang、L.Cormack和A.C.Bovik的“LIVE Image Quality Assessment Database Release2”。表 I 中使用的度量是主观得分差值(Difference Mean Opinion Score,DMOS)与非线性回归之后的客观模型输出之间的皮尔森相关系数(LCC)。该相关系数给出了预测精确性的评估。我们使用在H.R.Sheikh、Μ.F.Sabir和A.C.Bovik的“A statistical evaluation of recent full reference imagequality assessment algorithms,,(IEEE Trans.1mage Process., vol.15, n0.11, pp.3440-3451, Nov.2006)中定义的五参数逻辑函数(logistical function)来用于非线性回归。表1I中使用的度量是Spearman分级相关系数(SRCC),其提供预测单调性的度量。
[0177]可以看出PSNR (在表中表示为PSNRspatial)与其它视觉质量度量(例如结构相似性(SSIM)空间和自动比例以及视觉信息保真度(VIF))相比具有低得多的相关系数(LCC)和Spearman等级次序(SRCC)。不幸的是,这些更精确的度量是在花费很高的计算复杂度上获得的。
[0178]表1
[0179]有效图像数据库的 非线性回归之后的LCC值
[0180]
[0181]
【权利要求】
1.一种方法,用于为失真图像Y计算质量测量,所述测量表征图像Y与未失真参考图像X之间的相似性,所述参考图像X具有与所述图像Y相同行数和列数的像素,该方法包括: Ca)通过变换过程分别对所述失真图像Y和所述未失真参考图像X进行变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换,所述变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲性,因此导致在所述变换过程期间图像的特定图案不被识别; (b)分别将所述参考图像X和所述失真图像Y中的像素空间移位具有相同预定量像素的空间移位量,以产生所述参考图像X的空间移位的版本X2和所述图像Y的空间移位的版本Y2,所述空间移位量被选择成使得在应用于所述空间移位的版本X2和Y2的变换过程期间所述特定图案变得可检测; (c)分别通过所述变换过程变换所述空间移位的版本Y2和所述空间移位的版本X2,以产生所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换; Cd)根据所述失真图像Y的变换、所述未失真参考图像X的变换、所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换,确定所述失真图像Y的质量测量。
2.权利要求1的方法,其中:所述步骤(b)还包括: 将所述参考图像X的像素分成W个像素乘以W个像素的块;以及 将所述失真图像Y的像素分成W个像素乘以W个像素的对应块; W是小于所述像素的行数和列数的数。`
3.权利要求2的方法,其中:W等于2~N,其中指数N是所述变换过程的分解级。
4.权利要求1-3中任一项的方法,其中所述步骤(b)还包括: 水平地空间移位第一预定量;或者 垂直地空间移位第二预定量;或者 分别水平地和垂直地空间移位第一预定量和第二预定量。
5.权利要求4的方法,其中: 所述第一预定量和所述第二预定量是相同的;或者 所述第一和第二预定量中的每一个是I和(W/2-1)中的较大者,其中,W是小于所述像素的行数和列数的数;或者 所述第一和第二预定量是小于W的奇数。
6.权利要求1-5中任一项的方法,其中所述步骤(d)还包括: 使用所述失真图像Y的变换和所述未失真参考图像X的变换计算第一近似图像质量度量 IQMA ; 使用所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换计算第二近似图像质量度量IQM’ A;以及 处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生所述失真图像Y的质量测量。
7.权利要求6的方法,其中:所述步骤(d)还包括: (i)使用所述失真图像Y的变换和所述未失真参考图像X的变换计算第一边缘图像质量度量IQME ; (ii)使用所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换计算第二边缘图像质量度量IQM’ E ;以及 (iii)根据IQMA、IQM' A、IQME和IQM' E确定所述失真图像Y的质量测量。
8.权利要求7的方法,其中:所述步骤(iii)还包括: 处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生近似质量分数SA ; 处理所述第一和第二边缘质量度量IQME和IQM’ E以产生边缘质量分数SE ;以及 根据所述近似质量分数SA和所述边缘质量分数SE确定所述失真图像Y的质量测量。
9.权利要求1-8中任一项的方法,其中所述变换过程是如下之一: 余弦变换;或者 正弦变换;或者 小波变换;或者 Haar变换;或者 Daubechies 变换。
10.一种系统,用于为失真图像Y计算质量测量,所述测量表征图像Y与未失真参考图像X之间的相似性,所述参考图像X具有与所述图像Y相同行数和列数的像素,该系统包括: 处理器; 非暂态计算机可读存储介质,该计算机可读存储介质上存储有由所述处理器执行使得所述处理器执行以下操作的计算机可读指令: Ca)通过变换过程分别对所述失真图像Y和所述未失真参考图像X进行变换以产生所述失真图像Y的变换和所述未失真参考图像X的变换,所述变换过程具有在图像的变换中不包含关于待变换图像的所有信息的盲性,因此导致在所述变换过程期间图像的特定图案不被识别; (b)分别将所述参考图像X和所述失真图像Y中的像素空间移位具有相同预定量像素的空间移位量,以产生所述参考图像X的空间移位的版本X2和所述图像Y的空间移位的版本Y2,所述空间移位量被选择成使得在应用于所述空间移位的版本X2和Y2的变换过程期间所述特定图案变得可检测; (c)分别通过所述变换过程变换所述空间移位的版本Y2和所述空间移位的版本X2,以产生所述空间移位的版本Y2的变换和所述空间变换的版本X2的变换; Cd)根据所述失真图像Y的变换、所述未失真参考图像X的变换、所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换,确定所述失真图像Y的质量测量。
11.权利要求10的系统,其中所述处理器还配置成: 将所述参考图像X的像素分成W个像素乘以W个像素的块;以及 将所述失真图像Y的像素分成W个像素乘以W个像素的对应块。 W是小于所述像素的行数和列数的数。
12.权利要求11的系统,其中W等于2~N,其中指数N是所述变换过程的分解级。
13.权利要求10-12中的任一项的系统,还配置成在所述参考图像X和所述失真图像Y中如下空间移位像素: 水平地空间移位第一预定量;或者 垂直地空间移位第二预定量;或者分别水平地和垂直地空间移位第一预定量和第二预定量。
14.权利要求13的系统,其中 所述第一预定量和所述第二预定量是相同的;或者 所述第一和第二预定量中的每一个是I和(W/2-1)中的较大者,其中,W是小于所述像素的行数和列数的数;或者 所述第一和第二预定量是小于W的奇数。
15.权利要求10-15中的任一项的系统,还配置成 使用所述失真图像Y的变换和所述未失真参考图像X的变换计算第一近似图像质量度量 IQMA ; 使用所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换计算第二近似图像质量度量IQM’ A;以及 处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生所述失真图像Y的质量测量。
16.权利要求15的系统,还配置成: (i)使用所述失真图像Y的变换和所述未失真参考图像X的变换计算第一边缘图像质量度量IQME ; (ii)使用所述空间移位的版本Y2的变换和所述空间移位的版本X2的变换计算第二边缘图像质量度量IQM’ E;以及 (iii)根据IQMA、IQM'A、IQME和IQM' E确定所述失真图像Y的质量测量。
17.权利要求16的系统,还配置成: 处理所述第一和第二近似图像质量度量IQMA和IQM’ A以产生近似质量分数SA ; 处理所述第一和第二边缘质量度量IQME和IQM’ E以产生边缘质量分数SE ;以及 根据所述近似质量分数SA和所述边缘质量分数SE确定所述失真图像Y的质量测量。
18.权利要求1-8中任一项的系统,其中所述变换过程是如下之一: 余弦变换;或者 正弦变换;或者 小波变换;或者 Haar变换;或者 Daubechies 变换。
【文档编号】G06T7/00GK103503026SQ201280021486
【公开日】2014年1月8日 申请日期:2012年5月4日 优先权日:2011年5月4日
【发明者】S·库隆布, S·拉扎扎德 申请人:高等技术学校

最新回复(0)