一种基于梯度信息的无参考图像质量评价方法
一种基于梯度信息的无参考图像质量评价方法
【技术领域】
[0001] 本发明设及一种图像质量评价方法，尤其是设及一种基于梯度信息的无参考图像 质量评价方法。
【背景技术】
[0002] 图像质量是评价图像处理系统及算法优劣的主要性能指标。图像质量评价方法可 W分为两类：主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分，得到 平均评价分用W衡量图像质量；后者利用数学模型计算图像质量。主观评价方法的实验结 果比较可靠，但费时费力。客观评价方法又可分为=类；全参考图像质量评价方法、半参考 图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方 法，但是该类方法要求评价时必须要有原始参考图像进行比较，且参考图像须是清晰质量 较好的，而在一些实际应用场景中无法获得参考图像，该就制约了该类方法的使用。无参考 图像质量评价方法不需要原始参考图像，只需待测图像就可W进行评价，可W适应较多的 应用场合。因此无参考图像质量评价方法的研究更具实用价值。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于梯度信息的无参考图像质量评价方 法，其能够充分考虑到梯度结构改变对视觉质量的影响，从而能够提高客观评价结果与主 观感知之间的相关性。
[0004]本发明解决上述技术问题所采用的技术方案为；一种基于梯度信息的无参考图像 质量评价方法，其特征在于包括W下步骤：
[000引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值；
[000引②对{Id(i，j)}实施梯度滤波，得到山(i，j)}的梯度信息的幅值图像和 {Id(i，j)}的梯度信息的相位图像，对应记为（Md(i，j)}和{妍化乃}，其中，Md(i，j)表示 {Md(i，j)}中坐标位置为（i，j)的像素点的像素值，表示{脚0'，乃}中坐标位置为 (i，j)的像素点的像素值；
[0007] ⑨采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二 值化模式特征图像，记为{LBP"(i，j)};同样，采用局部二值化模式操作对{斯化J')}进行 处理，得到柄化碱的局部二值化模式特征图像，记为{^^忍户茄对；其中，LBPM(i，_]?)表示(LBP"(i，j)}中坐标位置为（ij)的像素点的像素值，LBP"(iJ) G [0，P+1]，表示 公化4中坐标位置为（i，如的像素点的像素值，王邸,〇?，_/)引〇，f+1]，P表示局部二值化 模式操作中的领域参数；
[000引④获取{LBP"(iJ)}中像素值为0至P+1中的每个值的所有像素点与|iW:，(Z，./')| 中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBP"(i，j)}中像素值 为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为，
其中，m= 0, 1,. . . ,P,P+l，n= 0, 1,. . . ,P,P+1， 口。0为联合概率函数；
[0009] ⑥计算{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率 特征，将（LBPM(i，j)}中像素值为m的所有像素点的条件概率特征记为QM(LBPM(i，j)= =m)，
并计算及中像素值为0至P+1中 的每个值的所有像素点的条件概率特征，将中像素值为n的所有像素点的条 件概率特征记为
；其中，m= 0, 1，? ? ?，P,P+1，n二 0, 1，? ? ?，P,P+1 ;
[0010] ⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失真 图像集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出该失真 图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像的主观评 分记为DM0S,;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真图像集合中的每幅 失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每 个值的所有像素点的条件概率特征、每幅失真图像的梯度信息的相位图像的局部二值化模 式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征，将该失真图像 集合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为m 的所有像素点的条件概率特征记为(LBPM^y(i，j) = =m)，将该失真图像集合中的第X幅 失真图像的梯度信息的相位图像的局部二值化模式特征图像中像素值为n的所有像素点 的条件概率特征记为&.,(^公气.,从./)==");其中，n"〉l，X的初始值为1，1《X《X，X表 示该失真图像集合中包含的失真图像的总幅数，0《DM0Sy《 100,m= 0, 1，. . .，P,P+1，n=0, 1，. . .，P，P+1，LBPM,,(i，j)表示该失真图像集合中的第X幅失真图像的梯度信息的幅 值图像的局部二值化模式特征图像{LBP",,(i，j)}中坐标位置为（i，j)的像素点的像素值， LBPM,y(i，j)G[0，P+1]，iCC，.、(/'，/)表示该失真图像集合中的第X幅失真图像的梯度信息 的相位图像的局部二值化模式特征图像中坐标位置为（i，j)的像素点的像素 值，iW:，.,..(/，./.)6「0，/) +l];
[0011] ⑦将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失 真图像各自的主观评分及各自的梯度信息的幅值图像的局部二值化模式特征图像中像素 值为0至P+1中的每个值的所有像素点的条件概率特征、各自的梯度信息的相位图像的 局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征 进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°pt和最优的偏置项b 接着利用w°pt和b构造得到支持向量回归训练模 型；再根据支持向量回归训练模型，对{LBPmQ，j)}中像素值为0至P+1中的每个值的所 有像素点的条件概率特征和中像素值为0至P+1中的每个值的所有像素点的 条件概率特征进行测试，预测得到{Id(i，j)}的客观质量评价预测值，记为Q，Q=f(y)， /W= (WW")>〇；) +bW'，其中，Q是y的函数，fO为函数表示形式，y为输入，y表示 {LBP"(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率特征和 中像素值为0至P+1中的每个值的所有像素点的条件概率特征，（W°Pt)T为W°Pt的转置矢量， 界(>'）为y的线性函数。
[0012] 所述的步骤②中采用高斯导数函数作为梯度算子的梯度滤波器对{Id(i，j)}实施 梯度滤波。
[0013] 所述的步骤⑨中局部二值化模式操作中的领域参数P取值为8。
[0014] 与现有技术相比，本发明的优点在于；通过深入挖掘人眼视觉对图像结构的感知 特性，对失真图像实施梯度滤波，得到梯度信息的幅值图像和相位图像；接着对上述二幅图 像分别进行局部二值化模式（LocalBinary化ttern)操作，得到各自的局部二值化模式特 征图像；然后求取幅值图像和相位图像中像素值为不同值的所有像素点的条件概率特征； 最后根据条件概率特征，采用支持向量回归预测待评价的失真图像的客观质量评价预测 值，由于充分考虑到了梯度结构改变对视觉质量的影响，因此得到的客观质量评价预测值 能够准确地反映人眼视觉主观感知质量，即能够有效地提高客观评价结果与主观 感知之间 的相关性。
【附图说明】
[0015] 图1为本发明方法的总体实现框图。
【具体实施方式】
[0016] W下结合附图实施例对本发明作进一步详细描述。
[0017] 本发明提出的一种基于梯度信息的无参考图像质量评价方法，其总体实现框图如 图1所示，其处理过程为；首先，对失真图像实施梯度滤波，得到梯度信息的幅值图像和相 位图像；接着对上述二幅图像分别进行局部二值化模式（LocalBinary化ttern)操作，得 到各自的局部二值化模式特征图像；然后求取幅值图像和相位图像中像素值为不同值的所 有像素点的条件概率特征；最后根据条件概率特征，采用支持向量回归预测待评价的失真 图像的客观质量评价预测值。
[0018] 本发明的无参考图像质量评价方法包括W下步骤：
[001引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值。
[0020] ②对{Id(i，j)}实施梯度滤波，得到{Id(i，j)}的梯度信息的幅值图像和 {Id(i，j)}的梯度信息的相位图像，对应记为lMd(i，j)j和，其中，Md(i，j)表示 {Md(i，j)}中坐标位置为（i，j)的像素点的像素值，巧,.(/'，./)-巧示{脚(/'，./)}中坐标位置为 (i，j)的像素点的像素值。
[0021] 在本实施例中，梯度滤波的方法采用现有的高斯导数函数（Gaussianderivative 化nction)作为梯度算子的梯度滤波器。
[0022] ⑨采用现有的局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的 局部二值化模式特征图像，记为{LBP"(i，j)};同样，采用现有的局部二值化模式操作对 (妍片/)}进行处理，得至"妍化/)}的局部二值化模式特征图像，记为[如Pp化;其中，LBPM(i，j)表示{LBPmQ，j)}中坐标位置为（i，j)的像素点的像素值，LBPmQ，j)G[0,P+1]， 占公/:，(/\./')表示'{/'/^/并./)|中坐标位置为（1，_1)的像素点的像素值，^/:,(/'，./')6「0./。+1]，？表 示局部二值化模式操作中的领域参数。
[0023] 在本实施例中，局部二值化模式操作中的领域参数P取值为8,局部半径参数R取 值为1。
[0024]④获取{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点与化/)} 中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBP"(i，j)}中像素值 为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为，
其中，m= 0, 1,. . . ,P,P+l，n= 0, 1,. . . ,P,P+1， 为联合概率函数，联合概率函数为现有函数。
[002引⑥计算{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率 特征，将（LBPM(i，j)}中像素值为m的所有像素点的条件概率特征记为QM(LBPM(i，j)= =m)，
并计算化中像素值为0至P+1中 的每个值的所有像素点的条件概率特征，将中像素值为n的所有像素点的条 件概率特征记为公/；(/，./) = ?)，
；其中，m= 0, 1，. . .，P，P+1，n= 0, 1，. . .，P，P+1。
[0026] ⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失 真图像集合，该失真图像集合包括多幅失真图像；然后利用现有的主观质量评价方法评价 出该失真图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像 的主观评分记为DMOSy;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真图像集 合中的每幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为0至 P+1中的每个值的所有像素点的条件概率特征、每幅失真图像的梯度信息的相位图像的局 部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征， 将该失真图像集合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图 像中像素值为m的所有像素点的条件概率特征记为QM,y(LBPM,y(i，j) = =m)，将该失真图 像集合中的第X幅失真图像的梯度信息的相位图像的局部二值化模式特征图像中像素值 为〇的所有像素点的条件概率特征记为公，.、(/心气,.,(/'，./)==句；其中，11"〉1，如取11" = 3， X的初始值为1，1《X《X，X表示该失真图像集合中包含的失真图像的总幅数，在本实施 例中X> 5,0《DMOSx《 100,m= 0, 1,. . . ,P,P+1，n= 0, 1,. . . ,P,P+1，LBPM，x(i, ?]?)表示 该失真图像集合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像 (LBPM,x(i，j)}中坐标位置为（i，j)的像素点的像素值，LBPM,x(i，j)G[0，P+l]，^公/：，.，(/'，./) 表示该失真图像集合中的第X幅失真图像的梯度信息的相位图像的局部二值化模式特征 图像中坐标位置为（ij)的像素点的像素值，王拟;,(/J)e化f+U。
[0027] ⑦支持向量回归（Suppo;rtVectorRegression,SVR)是基于结构风险最小化准 则的新型机器学习方法和统计学理论，其可W有效地抑制过拟合问题，因此本发明将该失 真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图像各自的主观 评分及各自的梯度信息的幅值图像的局部二值化模式特征图像中像素值为0至P+1中的 每个值的所有像素点的条件概率特征、各自的梯度信息的相位图像的局部二值化模式特征 图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训练，使得经过训 练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w°pt和最优的 偏置项b°pt;接着利用w°p嘴b构造得到支持向量回归训练模型巧根据支持向量回归训 练模型，对{LBP"(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征和 {LW;，(7，./)j中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行测试，预测 得到{Id(i，j)}的客观质量评价预测值，记为Q，Q=f(y)，/00 = (W"p')>Cv) +bw'，其中，Q是y的函数，f 0为函数表示形式，y为输入，y表示{LBPm(i，j)}中像素值为0至P+1中 的每个值的所有像素点的条件概率特征和(/心/;，化./')j中像素值为0至P+1中的每个值的所 有像素点的条件概率特征，（W°Pt)T为W°Pt的转置矢量，口〇0为y的线性函数。
[0028] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0029] 在此，采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量 评价预测值与平均主观评分差值之间的相关性。该里，利用评估图像质量评价方法的 3个常用客观参量作为评价指标，即非线性回归条件下的化arson相关系数（Pearson linearcorrelationcoefficient，PLCC)、Spearman相关系数（Spearmanrankorder correlationcoefficient，SROCC)、均方误差（rootmeansquarederror，RISE)，PLCC和 RISE反映失真图像的客观评价结果的准确性，SROCC反映其单调 性。
[0030]利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值，再 利用现有的主观评价方法获得LIVE图像库中的每幅失真图像的平均主观评分差值。将按 本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟 合，PLCC和SROCC值越高，RISE值越低说明按本发明方法计算得到的失真图像的客观质量 评价预测值与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的 PLCC、SROCC和RISE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的 失真图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的，表明 客观评价结果与人眼主观感知的结果较为一致，足W说明本发明方法的可行性和有效性。
[0031] 表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差 值之间的相关性
[0032]
【主权项】
1. 一种基于梯度信息的无参考图像质量评价方法，其特征在于包括以下步骤： ① 令{Id(i，j)}表示待评价的失真图像，其中，1彡i彡w，1彡j彡H，W表示{Id(i，j)} 的宽度，H表示{Id(i，j)}的高度，Id(i，j)表示{Id(i，j)}中坐标位置为（i，j)的像素点的 像素值； ② 对{Id(i，j)}实施梯度滤波，得到{Id(i，j)}的梯度信息的幅值图像和{I d(i，j)}的 梯度信息的相位图像，对应记为{Md(i，j)}和化,(/,/)}，其中，Md(i，j)表示{M d(i，j)}中坐 标位置为（i，j)的像素点的像素值，％(/_,./_)表示丨，/(U)}中坐标位置为（i，j)的像素点的 像素值； ③ 采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二值化模 式特征图像，记为{LBPM(i，j)};同样，采用局部二值化模式操作对进行处理，得到 {%(0_)}的局部二值化模式特征图像，记为其中，LBPM(i，j)表示{LBPM(i，j)} 中坐标位置为（i，j)的像素点的像素值，LBPM(i，j) e [〇，P+l]，/^/),(/./)表示中 坐标位置为（i，j)的像素点的像素值，P表示局部二值化模式操作中 的领域参数； ④ 获取{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点与(△%(/，./)}中 像素值为〇至P+1中的每个值的所有像素点的联合概率函数值，将{LBPM(i，j)}中像素值 为m的所有像素点与中像素值为η的所有像素点的联合概率函数值记为,其中，m = 0, 1，...，Ρ，Ρ+1，η = 0, 1，...，P，P+1， PeO为联合概率函数； ⑤ 计算{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特 征，将{LBPM(i，j)}中像素值为m的所有像素点的条件概率特征记为QM(LBP M(i，j)== m)，；并计算中像素值为〇至Ρ+l中的 每个值的所有像素点的条件概率特征，将中像素值为η的所有像素点的条件 概率特征记为；其中，m = 0, 1，…，P，Ρ+1，η = 0, 1，…，P，P+1 ; ⑥ 采用η"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失真图 像集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出该失真图 像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像的主观评分 记为01?\;再按照步骤①至步骤⑤的操作，以相同的方式获取该失真图像集合中的每幅失 真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为〇至Ρ+1中的每个 值的所有像素点的条件概率特征、每幅失真图像的梯度信息的相位图像的局部二值化模式 特征图像中像素值为0至Ρ+1中的每个值的所有像素点的条件概率特征，将该失真图像集 合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为m的 所有像素点的条件概率特征记为QM，x(LBPM;x(i，j) == m)，将该失真图像集合中的第X幅 失真图像的梯度信息的相位图像的局部二值化模式特征图像中像素值为η的所有像素点 的条件概率特征记为./)=="):其中，η" >I，X的初始值为I，1彡X彡X，X表 示该失真图像集合中包含的失真图像的总幅数，〇 < DMOSxS 100, m = 0, 1，…，Ρ, Ρ+1，η = 0，1，···，Ρ，Ρ+1，LBPM，x(i，j)表示该失真图像集合中的第X幅失真图像的梯度信息的幅值 图像的局部二值化模式特征图像{LBP^aj)}中坐标位置为（i，j)的像素点的像素值， LBPM，x(i，j) e [〇，Ρ+1]，/^八.,(/，./)表示该失真图像集合中的第x幅失真图像的梯度信息 的相位图像的局部二值化模式特征图像中坐标位置为（i，j)的像素点的像素 值，「0，P +1]; ⑦将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图 像各自的主观评分及各自的梯度信息的幅值图像的局部二值化模式特征图像中像素值 为0至P+1中的每个值的所有像素点的条件概率特征、各自的梯度信息的相位图像的局 部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征 进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°pt和最优的偏置项b °pt;接着利用W°pt和b _构造得到支持向量回归训练模 型；再根据支持向量回归训练模型，对{LBPM(i，j)}中像素值为0至P+1中的每个值的所 有像素点的条件概率特征和中像素值为〇至p+i中的每个值的所有像素点的 条件概率特征进行测试，预测得到{Id(i，j)}的客观质量评价预测值，记为Q，Q = f(y)， /Iv) =，，>Cv) + b'其中，〇是7的函数，f()为函数表示形式，y为输入，y表示 {LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征和?ΜΟ，./)} 中像素值为〇至P+1中的每个值的所有像素点的条件概率特征，（W°pt)TSW°pt的转置矢量， P〇')为y的线性函数。2. 根据权利要求1所述的一种基于梯度信息的无参考图像质量评价方法，其特征在于 所述的步骤②中采用高斯导数函数作为梯度算子的梯度滤波器对{Id(i，j)}实施梯度滤 波。3. 根据权利要求1或2所述的一种基于梯度信息的无参考图像质量评价方法，其特征 在于所述的步骤③中局部二值化模式操作中的领域参数P取值为8。
【专利摘要】本发明公开了一种基于梯度信息的无参考图像质量评价方法，其通过深入挖掘人眼视觉对图像结构的感知特性，对失真图像实施梯度滤波，得到梯度信息的幅值图像和相位图像；接着对上述二幅图像分别进行局部二值化模式操作，得到各自的局部二值化模式特征图像；然后求取幅值图像和相位图像中像素值为不同值的所有像素点的条件概率特征；最后根据条件概率特征，采用支持向量回归预测待评价的失真图像的客观质量评价预测值；优点是由于充分考虑到了梯度结构改变对视觉质量的影响，因此得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量，能够有效地提高客观评价结果与主观感知之间的相关性。
【IPC分类】H04N17/00, H04N19/154
【公开号】CN104902267
【申请号】CN201510309633
【发明人】周武杰, 孙丽慧, 陈寿法, 翁剑枫, 郑卫红, 施祥, 李鑫, 张磊, 吴洁雯
【申请人】浙江科技学院
【公开日】2015年9月9日
【申请日】2015年6月8日
【技术领域】
[0001] 本发明设及一种图像质量评价方法，尤其是设及一种基于梯度信息的无参考图像 质量评价方法。
【背景技术】
[0002] 图像质量是评价图像处理系统及算法优劣的主要性能指标。图像质量评价方法可 W分为两类：主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分，得到 平均评价分用W衡量图像质量；后者利用数学模型计算图像质量。主观评价方法的实验结 果比较可靠，但费时费力。客观评价方法又可分为=类；全参考图像质量评价方法、半参考 图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方 法，但是该类方法要求评价时必须要有原始参考图像进行比较，且参考图像须是清晰质量 较好的，而在一些实际应用场景中无法获得参考图像，该就制约了该类方法的使用。无参考 图像质量评价方法不需要原始参考图像，只需待测图像就可W进行评价，可W适应较多的 应用场合。因此无参考图像质量评价方法的研究更具实用价值。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于梯度信息的无参考图像质量评价方 法，其能够充分考虑到梯度结构改变对视觉质量的影响，从而能够提高客观评价结果与主 观感知之间的相关性。
[0004]本发明解决上述技术问题所采用的技术方案为；一种基于梯度信息的无参考图像 质量评价方法，其特征在于包括W下步骤：
[000引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值；
[000引②对{Id(i，j)}实施梯度滤波，得到山(i，j)}的梯度信息的幅值图像和 {Id(i，j)}的梯度信息的相位图像，对应记为（Md(i，j)}和{妍化乃}，其中，Md(i，j)表示 {Md(i，j)}中坐标位置为（i，j)的像素点的像素值，表示{脚0'，乃}中坐标位置为 (i，j)的像素点的像素值；
[0007] ⑨采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二 值化模式特征图像，记为{LBP"(i，j)};同样，采用局部二值化模式操作对{斯化J')}进行 处理，得到柄化碱的局部二值化模式特征图像，记为{^^忍户茄对；其中，LBPM(i，_]?)表示(LBP"(i，j)}中坐标位置为（ij)的像素点的像素值，LBP"(iJ) G [0，P+1]，表示 公化4中坐标位置为（i，如的像素点的像素值，王邸,〇?，_/)引〇，f+1]，P表示局部二值化 模式操作中的领域参数；
[000引④获取{LBP"(iJ)}中像素值为0至P+1中的每个值的所有像素点与|iW:，(Z，./')| 中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBP"(i，j)}中像素值 为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为，
其中，m= 0, 1,. . . ,P,P+l，n= 0, 1,. . . ,P,P+1， 口。0为联合概率函数；
[0009] ⑥计算{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率 特征，将（LBPM(i，j)}中像素值为m的所有像素点的条件概率特征记为QM(LBPM(i，j)= =m)，
并计算及中像素值为0至P+1中 的每个值的所有像素点的条件概率特征，将中像素值为n的所有像素点的条 件概率特征记为
；其中，m= 0, 1，? ? ?，P,P+1，n二 0, 1，? ? ?，P,P+1 ;
[0010] ⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失真 图像集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出该失真 图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像的主观评 分记为DM0S,;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真图像集合中的每幅 失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每 个值的所有像素点的条件概率特征、每幅失真图像的梯度信息的相位图像的局部二值化模 式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征，将该失真图像 集合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为m 的所有像素点的条件概率特征记为(LBPM^y(i，j) = =m)，将该失真图像集合中的第X幅 失真图像的梯度信息的相位图像的局部二值化模式特征图像中像素值为n的所有像素点 的条件概率特征记为&.,(^公气.,从./)==");其中，n"〉l，X的初始值为1，1《X《X，X表 示该失真图像集合中包含的失真图像的总幅数，0《DM0Sy《 100,m= 0, 1，. . .，P,P+1，n=0, 1，. . .，P，P+1，LBPM,,(i，j)表示该失真图像集合中的第X幅失真图像的梯度信息的幅 值图像的局部二值化模式特征图像{LBP",,(i，j)}中坐标位置为（i，j)的像素点的像素值， LBPM,y(i，j)G[0，P+1]，iCC，.、(/'，/)表示该失真图像集合中的第X幅失真图像的梯度信息 的相位图像的局部二值化模式特征图像中坐标位置为（i，j)的像素点的像素 值，iW:，.,..(/，./.)6「0，/) +l];
[0011] ⑦将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失 真图像各自的主观评分及各自的梯度信息的幅值图像的局部二值化模式特征图像中像素 值为0至P+1中的每个值的所有像素点的条件概率特征、各自的梯度信息的相位图像的 局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征 进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°pt和最优的偏置项b 接着利用w°pt和b构造得到支持向量回归训练模 型；再根据支持向量回归训练模型，对{LBPmQ，j)}中像素值为0至P+1中的每个值的所 有像素点的条件概率特征和中像素值为0至P+1中的每个值的所有像素点的 条件概率特征进行测试，预测得到{Id(i，j)}的客观质量评价预测值，记为Q，Q=f(y)， /W= (WW")>〇；) +bW'，其中，Q是y的函数，fO为函数表示形式，y为输入，y表示 {LBP"(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率特征和 中像素值为0至P+1中的每个值的所有像素点的条件概率特征，（W°Pt)T为W°Pt的转置矢量， 界(>'）为y的线性函数。
[0012] 所述的步骤②中采用高斯导数函数作为梯度算子的梯度滤波器对{Id(i，j)}实施 梯度滤波。
[0013] 所述的步骤⑨中局部二值化模式操作中的领域参数P取值为8。
[0014] 与现有技术相比，本发明的优点在于；通过深入挖掘人眼视觉对图像结构的感知 特性，对失真图像实施梯度滤波，得到梯度信息的幅值图像和相位图像；接着对上述二幅图 像分别进行局部二值化模式（LocalBinary化ttern)操作，得到各自的局部二值化模式特 征图像；然后求取幅值图像和相位图像中像素值为不同值的所有像素点的条件概率特征； 最后根据条件概率特征，采用支持向量回归预测待评价的失真图像的客观质量评价预测 值，由于充分考虑到了梯度结构改变对视觉质量的影响，因此得到的客观质量评价预测值 能够准确地反映人眼视觉主观感知质量，即能够有效地提高客观评价结果与主观 感知之间 的相关性。
【附图说明】
[0015] 图1为本发明方法的总体实现框图。
【具体实施方式】
[0016] W下结合附图实施例对本发明作进一步详细描述。
[0017] 本发明提出的一种基于梯度信息的无参考图像质量评价方法，其总体实现框图如 图1所示，其处理过程为；首先，对失真图像实施梯度滤波，得到梯度信息的幅值图像和相 位图像；接着对上述二幅图像分别进行局部二值化模式（LocalBinary化ttern)操作，得 到各自的局部二值化模式特征图像；然后求取幅值图像和相位图像中像素值为不同值的所 有像素点的条件概率特征；最后根据条件概率特征，采用支持向量回归预测待评价的失真 图像的客观质量评价预测值。
[0018] 本发明的无参考图像质量评价方法包括W下步骤：
[001引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值。
[0020] ②对{Id(i，j)}实施梯度滤波，得到{Id(i，j)}的梯度信息的幅值图像和 {Id(i，j)}的梯度信息的相位图像，对应记为lMd(i，j)j和，其中，Md(i，j)表示 {Md(i，j)}中坐标位置为（i，j)的像素点的像素值，巧,.(/'，./)-巧示{脚(/'，./)}中坐标位置为 (i，j)的像素点的像素值。
[0021] 在本实施例中，梯度滤波的方法采用现有的高斯导数函数（Gaussianderivative 化nction)作为梯度算子的梯度滤波器。
[0022] ⑨采用现有的局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的 局部二值化模式特征图像，记为{LBP"(i，j)};同样，采用现有的局部二值化模式操作对 (妍片/)}进行处理，得至"妍化/)}的局部二值化模式特征图像，记为[如Pp化;其中，LBPM(i，j)表示{LBPmQ，j)}中坐标位置为（i，j)的像素点的像素值，LBPmQ，j)G[0,P+1]， 占公/:，(/\./')表示'{/'/^/并./)|中坐标位置为（1，_1)的像素点的像素值，^/:,(/'，./')6「0./。+1]，？表 示局部二值化模式操作中的领域参数。
[0023] 在本实施例中，局部二值化模式操作中的领域参数P取值为8,局部半径参数R取 值为1。
[0024]④获取{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点与化/)} 中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBP"(i，j)}中像素值 为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为，
其中，m= 0, 1,. . . ,P,P+l，n= 0, 1,. . . ,P,P+1， 为联合概率函数，联合概率函数为现有函数。
[002引⑥计算{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率 特征，将（LBPM(i，j)}中像素值为m的所有像素点的条件概率特征记为QM(LBPM(i，j)= =m)，
并计算化中像素值为0至P+1中 的每个值的所有像素点的条件概率特征，将中像素值为n的所有像素点的条 件概率特征记为公/；(/，./) = ?)，
；其中，m= 0, 1，. . .，P，P+1，n= 0, 1，. . .，P，P+1。
[0026] ⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失 真图像集合，该失真图像集合包括多幅失真图像；然后利用现有的主观质量评价方法评价 出该失真图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像 的主观评分记为DMOSy;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真图像集 合中的每幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为0至 P+1中的每个值的所有像素点的条件概率特征、每幅失真图像的梯度信息的相位图像的局 部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征， 将该失真图像集合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图 像中像素值为m的所有像素点的条件概率特征记为QM,y(LBPM,y(i，j) = =m)，将该失真图 像集合中的第X幅失真图像的梯度信息的相位图像的局部二值化模式特征图像中像素值 为〇的所有像素点的条件概率特征记为公，.、(/心气,.,(/'，./)==句；其中，11"〉1，如取11" = 3， X的初始值为1，1《X《X，X表示该失真图像集合中包含的失真图像的总幅数，在本实施 例中X> 5,0《DMOSx《 100,m= 0, 1,. . . ,P,P+1，n= 0, 1,. . . ,P,P+1，LBPM，x(i, ?]?)表示 该失真图像集合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像 (LBPM,x(i，j)}中坐标位置为（i，j)的像素点的像素值，LBPM,x(i，j)G[0，P+l]，^公/：，.，(/'，./) 表示该失真图像集合中的第X幅失真图像的梯度信息的相位图像的局部二值化模式特征 图像中坐标位置为（ij)的像素点的像素值，王拟;,(/J)e化f+U。
[0027] ⑦支持向量回归（Suppo;rtVectorRegression,SVR)是基于结构风险最小化准 则的新型机器学习方法和统计学理论，其可W有效地抑制过拟合问题，因此本发明将该失 真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图像各自的主观 评分及各自的梯度信息的幅值图像的局部二值化模式特征图像中像素值为0至P+1中的 每个值的所有像素点的条件概率特征、各自的梯度信息的相位图像的局部二值化模式特征 图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训练，使得经过训 练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w°pt和最优的 偏置项b°pt;接着利用w°p嘴b构造得到支持向量回归训练模型巧根据支持向量回归训 练模型，对{LBP"(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征和 {LW;，(7，./)j中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行测试，预测 得到{Id(i，j)}的客观质量评价预测值，记为Q，Q=f(y)，/00 = (W"p')>Cv) +bw'，其中，Q是y的函数，f 0为函数表示形式，y为输入，y表示{LBPm(i，j)}中像素值为0至P+1中 的每个值的所有像素点的条件概率特征和(/心/;，化./')j中像素值为0至P+1中的每个值的所 有像素点的条件概率特征，（W°Pt)T为W°Pt的转置矢量，口〇0为y的线性函数。
[0028] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0029] 在此，采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量 评价预测值与平均主观评分差值之间的相关性。该里，利用评估图像质量评价方法的 3个常用客观参量作为评价指标，即非线性回归条件下的化arson相关系数（Pearson linearcorrelationcoefficient，PLCC)、Spearman相关系数（Spearmanrankorder correlationcoefficient，SROCC)、均方误差（rootmeansquarederror，RISE)，PLCC和 RISE反映失真图像的客观评价结果的准确性，SROCC反映其单调 性。
[0030]利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值，再 利用现有的主观评价方法获得LIVE图像库中的每幅失真图像的平均主观评分差值。将按 本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟 合，PLCC和SROCC值越高，RISE值越低说明按本发明方法计算得到的失真图像的客观质量 评价预测值与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的 PLCC、SROCC和RISE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的 失真图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的，表明 客观评价结果与人眼主观感知的结果较为一致，足W说明本发明方法的可行性和有效性。
[0031] 表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差 值之间的相关性
[0032]
【主权项】
1. 一种基于梯度信息的无参考图像质量评价方法，其特征在于包括以下步骤： ① 令{Id(i，j)}表示待评价的失真图像，其中，1彡i彡w，1彡j彡H，W表示{Id(i，j)} 的宽度，H表示{Id(i，j)}的高度，Id(i，j)表示{Id(i，j)}中坐标位置为（i，j)的像素点的 像素值； ② 对{Id(i，j)}实施梯度滤波，得到{Id(i，j)}的梯度信息的幅值图像和{I d(i，j)}的 梯度信息的相位图像，对应记为{Md(i，j)}和化,(/,/)}，其中，Md(i，j)表示{M d(i，j)}中坐 标位置为（i，j)的像素点的像素值，％(/_,./_)表示丨，/(U)}中坐标位置为（i，j)的像素点的 像素值； ③ 采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二值化模 式特征图像，记为{LBPM(i，j)};同样，采用局部二值化模式操作对进行处理，得到 {%(0_)}的局部二值化模式特征图像，记为其中，LBPM(i，j)表示{LBPM(i，j)} 中坐标位置为（i，j)的像素点的像素值，LBPM(i，j) e [〇，P+l]，/^/),(/./)表示中 坐标位置为（i，j)的像素点的像素值，P表示局部二值化模式操作中 的领域参数； ④ 获取{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点与(△%(/，./)}中 像素值为〇至P+1中的每个值的所有像素点的联合概率函数值，将{LBPM(i，j)}中像素值 为m的所有像素点与中像素值为η的所有像素点的联合概率函数值记为,其中，m = 0, 1，...，Ρ，Ρ+1，η = 0, 1，...，P，P+1， PeO为联合概率函数； ⑤ 计算{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特 征，将{LBPM(i，j)}中像素值为m的所有像素点的条件概率特征记为QM(LBP M(i，j)== m)，；并计算中像素值为〇至Ρ+l中的 每个值的所有像素点的条件概率特征，将中像素值为η的所有像素点的条件 概率特征记为；其中，m = 0, 1，…，P，Ρ+1，η = 0, 1，…，P，P+1 ; ⑥ 采用η"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失真图 像集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出该失真图 像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像的主观评分 记为01?\;再按照步骤①至步骤⑤的操作，以相同的方式获取该失真图像集合中的每幅失 真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为〇至Ρ+1中的每个 值的所有像素点的条件概率特征、每幅失真图像的梯度信息的相位图像的局部二值化模式 特征图像中像素值为0至Ρ+1中的每个值的所有像素点的条件概率特征，将该失真图像集 合中的第X幅失真图像的梯度信息的幅值图像的局部二值化模式特征图像中像素值为m的 所有像素点的条件概率特征记为QM，x(LBPM;x(i，j) == m)，将该失真图像集合中的第X幅 失真图像的梯度信息的相位图像的局部二值化模式特征图像中像素值为η的所有像素点 的条件概率特征记为./)=="):其中，η" >I，X的初始值为I，1彡X彡X，X表 示该失真图像集合中包含的失真图像的总幅数，〇 < DMOSxS 100, m = 0, 1，…，Ρ, Ρ+1，η = 0，1，···，Ρ，Ρ+1，LBPM，x(i，j)表示该失真图像集合中的第X幅失真图像的梯度信息的幅值 图像的局部二值化模式特征图像{LBP^aj)}中坐标位置为（i，j)的像素点的像素值， LBPM，x(i，j) e [〇，Ρ+1]，/^八.,(/，./)表示该失真图像集合中的第x幅失真图像的梯度信息 的相位图像的局部二值化模式特征图像中坐标位置为（i，j)的像素点的像素 值，「0，P +1]; ⑦将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图 像各自的主观评分及各自的梯度信息的幅值图像的局部二值化模式特征图像中像素值 为0至P+1中的每个值的所有像素点的条件概率特征、各自的梯度信息的相位图像的局 部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征 进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°pt和最优的偏置项b °pt;接着利用W°pt和b _构造得到支持向量回归训练模 型；再根据支持向量回归训练模型，对{LBPM(i，j)}中像素值为0至P+1中的每个值的所 有像素点的条件概率特征和中像素值为〇至p+i中的每个值的所有像素点的 条件概率特征进行测试，预测得到{Id(i，j)}的客观质量评价预测值，记为Q，Q = f(y)， /Iv) =，，>Cv) + b'其中，〇是7的函数，f()为函数表示形式，y为输入，y表示 {LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征和?ΜΟ，./)} 中像素值为〇至P+1中的每个值的所有像素点的条件概率特征，（W°pt)TSW°pt的转置矢量， P〇')为y的线性函数。2. 根据权利要求1所述的一种基于梯度信息的无参考图像质量评价方法，其特征在于 所述的步骤②中采用高斯导数函数作为梯度算子的梯度滤波器对{Id(i，j)}实施梯度滤 波。3. 根据权利要求1或2所述的一种基于梯度信息的无参考图像质量评价方法，其特征 在于所述的步骤③中局部二值化模式操作中的领域参数P取值为8。
【专利摘要】本发明公开了一种基于梯度信息的无参考图像质量评价方法，其通过深入挖掘人眼视觉对图像结构的感知特性，对失真图像实施梯度滤波，得到梯度信息的幅值图像和相位图像；接着对上述二幅图像分别进行局部二值化模式操作，得到各自的局部二值化模式特征图像；然后求取幅值图像和相位图像中像素值为不同值的所有像素点的条件概率特征；最后根据条件概率特征，采用支持向量回归预测待评价的失真图像的客观质量评价预测值；优点是由于充分考虑到了梯度结构改变对视觉质量的影响，因此得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量，能够有效地提高客观评价结果与主观感知之间的相关性。
【IPC分类】H04N17/00, H04N19/154
【公开号】CN104902267
【申请号】CN201510309633
【发明人】周武杰, 孙丽慧, 陈寿法, 翁剑枫, 郑卫红, 施祥, 李鑫, 张磊, 吴洁雯
【申请人】浙江科技学院
【公开日】2015年9月9日
【申请日】2015年6月8日
最新回复(0)