基于局部三元模式的无参考立体图像客观质量评价方法
基于局部三元模式的无参考立体图像客观质量评价方法
【技术领域】
[0001] 本发明设及一种立体图像质量评价方法，尤其是设及一种基于局部=元模式的无 参考立体图像客观质量评价方法。
【背景技术】
[0002] 进入二十一世纪W来，随着立体图像/视频系统处理技术的日趋成熟，W及计算 机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统 单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感， 给用户W身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要 的发展方向，引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和 视觉体验，对立体视觉主观感知质量提出了更高的要求。立体视觉主观感知质量是衡量立 体图像/视频系统性能优劣的一个重要指标。在立体图像/视频系统中，采集、编码、传输、 解码及显示等处理环节都会引入一定失真，该些失真将对立体视觉主观感知质量产生不同 程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体 图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。目前，研究人员提 出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视 觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参 考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应W及与之 相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地 把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现 有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像， 现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性， 因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得 客观评价结果更加符合人类视觉感知系统，是立体图像进行客观质量评价过程中需要研究 解决的问题。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于局部=元模式的无参考立体图像客 观质量评价方法，其能够充分考虑到立体视觉特性，从而能够有效地提高客观评价结果与 主观感知之间的相关性。
[0004] 本发明解决上述技术问题所采用的技术方案为；一种基于局部=元模式的无参考 立体图像客观质量评价方法，其特征在于其处理过程为；首先，对待评价的失真的立体图像 的左视点图像和右视点图像分别实施高斯梯度滤波，得到各自的幅值图像和相位图像，并 计算待评价的失真的立体图像的左视点图像与右视点图像之间的视差图像；其次，根据待 评价的失真的立体图像的左视点图像和右视点图像各自的幅值图像和相位图像，及左视点 图像与右视点图像之间的视差图像，计算待评价的失真的立体图像的左右视点特征融合图 像；接着，采用局部=元模式操作对待评价的失真的立体图像的左右视点特征融合图像进 行处理，得到其局部=元模式的上模式图像和下模式图像；之后，采用直方图统计方法分别 对上模式图像和下模式图像进行统计操作，对应得到待评价的失真的立体图像的上模式图 像直方图统计特征向量和下模式图像直方图统计特征向量；最后，根据待评价的失真的立 体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量，采用支持向 量回归预测得到待评价的失真的立体图像的客观质量评价预测值。
[0005] 该无参考立体图像客观质量评价方法包括W下步骤：
[0006] ①令Sdk表示待评价的失真的立体图像，将Sdk的左视点图像记为{Ldk(X，y)}，将 SdJ勺右视点图像记为出心(x，y)}，其中，1《X《W，1《y《H，W表示SdJ勺宽度，H表示 Sdis的高度，Ldis(x，y)表示{Ldk(x，y)}中坐标位置为（x，y)的像素点的像素值，Rdk(x，y) 表示出dk(x，y)}中坐标位置为（x，y)的像素点的像素值；
[0007] ②对{Ldk(x，y)}实施高斯梯度滤波，得到{Ldk(x，y)}的幅值图像和相位图 像，对应记为{GL_dk(x，y)}和巧L_dk(x，y)};同样，对化k(x，y)}实施高斯梯度滤波，得 到{R心(x，y)}的幅值图像和相位图像，对应记为咕_心片7)}和〇Vdk(x，y)};其中，Gl 心(x，y)表示粒_心(x，y)}中坐标位置为（x，y)的像素点的像素值，PLdk(x，y)表示IPl_ dis(x，y)}中坐标位置为（x，y)的像素点的像素值，GK_dis(x，y)表示（GK_dis(x，y)}中坐标位 置为（x，y)的像素点的像素值，PE_dk(x，y)表示0V心(x，y)}中坐标位置为（x，y)的像素 点的像素值；
[000引⑨采用块匹配方法计算{Ldk(x，y)}与化k(x，y)}之间的视差图像，记为 {(1心0!；，7)}，其中，(1心0!；，7)表示{(1心0!；，7)}中坐标位置为0!；，7)的像素点的像素值；
[0009] ④根据（Guis(X，y)}和{Puis(X，y)}、咕_心(X，y)}和{PK_dis(X，y)}、{d"s(X，y)}， 计算5^煎左右视点特征融合图像，记为伊^,片州，将化^片州中坐标位置为片7)的 像素点的像素值记为Fdk(x，y)， (x,v)= (G, {x,v))' + (Gj,{x+ {x,v),v))" +Gi{x,v)x{x+ (x,v),v)xcos(^^,,(x,v)) ，其中，GK_dk(x+ddk(x，y)，y)表示（GK_dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，脚b(W) = 6_化佔y)-fi〇/,,(x+馬,,(x，y)，y)，PK_dis(x+cU(x，y)，y)表示 〇V dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，cosO为取余弦函数；
[0010] ⑥采用局部S元模式操作对{Fdk(x，y)}进行处理，得到{Fdk(x，y)}的局部S元 模式的上模式图像和下模式图像，对应记为{LTPu(x，y)}和{LTPD(x，y)}，其中，LTPu(x，y) 表示{LTPu(x，y)}中坐标位置为（x，y)的像素点的像素值，LTPD(x，y)表示{LTPD(x，y)}中 坐标位置为（x，y)的像素点的像素值；
[OCm] ⑧采用直方图统计方法对{LTPu(x，y)}进行统计操作，得到Sdk的上模式图像直方 图统计特征向量，记为{Hu(m)};同样，采用直方图统计方法对{LTPD(x，y)}进行统计操作， 得到Sdk的下模式图像直方图统计特征向量，记为化D(m)};其中，的维数为IXm' 维，Hu(m)表示化(m)}中的第m个元素，化(m)}的维数为1Xm'维，Hd(m)表示化(m)}中 的第m个元素，1《m《m'，m' =P+2,P表示局部S元模式操作中的领域参数；
[0012]⑦采用n"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的 失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价 方法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集 合中的第j幅失真立体图像的主观评分记为DMOSj.;再按照步骤①至步骤⑧的操作，W相同 的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统计特征向 量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的 上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为和 化，^m)};其中，n"〉1，j的初始值为1，1《j《N'，N'表示该失真立体图像集合中包含的失 真立体图像的总幅数，0《DM0S声100,化uj(m)}和{HdjOu)}的维数均为IXm'维，Hu，j(m) 表示咕，j(m)}中的第m个元素，H。，j(m)表示化，j(m)}中的第m个元素，1《m《m'，m'= P+2,P表示局部S元模式操作中的领域参数；
[0013] ⑨将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真 立体图像的主观评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向 量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°p嘴最优的偏置项b接着利用W嘴b构造得到支持向量回归训练模型； 再根据支持向量回归训练模型，对Sdk的上模式图像直方图统计特征向量化u(m)}和下模 式图像直方图统计特征向量{HdOu)}进行测试，预测得到Sdk的客观质量评价预测值，记为 Q，Q=f(X)，/树= (WW")>Cr) +bw';其中，Q是X的函数，f0为函数表示形式，X为输入， X表示Sdk的上模式图像直方图统计特征向量化u(m)}和下模式图像直方图统计特征向量 (HdOu)}，（W°Pt)T为W°Pt的转置矢量，抑A')为X的线性函数。
[0014] 所述的步骤②中的高斯梯度滤波中的尺度参数0取值为0. 5。
[0015] 所述的步骤⑥中的局部=元模式操作中的领域参数P取值为8、局部半径参 数R取值为1、自适应阔值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为 曰XFdi,(x,y )，其中，曰为强度因子，取曰=0. 05。
[0016] 与现有技术相比，本发明的优点在于：通过深入挖掘立体视觉感知特性，对待评价 的失真的立体图像的左右视点特征融合图像进行局部=元模式操作，得到其局部=元模式 的上模式图像和下模式图像，再采用直方图统计方法分别对上模式图像和下模式图像进行 统计操作，对应得到待评价的失真的立体图像的上模式图像直方图统计特征向量和下模式 图像直方图统计特征向量，特征向量提取方法简单，计算复杂度低，由于获得的待评价的失 真的立体图像的特征向量信息能够较好地反映待评价的失真的立体图像的质量变化情况， 即：可W使得到的待评价的失真的立体图像的客观质量评价预测值能够准确地反映人眼视 觉主观感知质量，能够有效地提高客观评价结果与主观感知的相关性。
【附图说明】
[0017] 图1为本发明方法的总体实现框图。
【具体实施方式】
[001引 W下结合附图实施例对本发明作进一步详细描述。
[0019] 本发明提出的一种基于局部=元模式的无参考立体图像客观质量评价方法，其总 体实现框图如图1所示，其处理过程为；首先，对待评价的失真的立体图像的左视点图像和 右视点图像分别实施高斯梯度滤波，得到各自的幅值图像和相位图像，并计算待评价的失 真的立体图像的左视点图像与右视点图像之间的视差图像；其次，根据待评价的失真的立 体图像的左视点图像和右视点图像各自的幅值图像和相位图像，及左视点图像与右视点图 像之间的视差图像，计算待评价的失真的立体图像的左右视点特征融合图像；接着，采用局 部=元模式操作对待评价的失真的立体图像的左右视点特征融合图像进行处理，得到其局 部=元模式的上模式图像和下模式图像；之后，采用直方图统计方法分别对上模式图像和 下模式图像进行统计操作，对应得到待评价的失真的立体图像的上模式图像直方图统计特 征向量和下模式图像直方图统计特征向量；最后，根据待评价的失真的立体图像的上模式 图像直方图统计特征向量和下模式图像直方图统计特征向量，采用支持向量回归预测得到 待评价的失真的立体图像的客观质量评价预测值。
[0020] 本发明的无参考立体图像客观质量评价方法，其包括W下步骤：
[002U ①令Sdk表示待评价的失真的立体图像，将Sdk的左视点图像记为{Ldk(x，y)}，将 SdJ勺右视点图像记为出心(x，y)}，其中，1《x《W，l《y《H，W表示SdJ勺宽度，H表示Sdis的高度，Ldis(x，y)表示{Ldk(x，y)}中坐标位置为（x，y)的像素点的像素值，Rdk(x，y) 表示出dk(x，y)}中坐标位置为（x，y)的像素点的像素值。
[0022] ②采用现有技术对{Ldk(x，y)}实施高斯梯度滤波，得到{Ldk(x，y)}的幅值图像 和相位图像，对应记为{GL_dis(x，y)}和巧L_dis(x，y)};同样，对出dis(x，y)}实施高斯梯度滤 波，得到出dk(x，y)}的幅值图像和相位图像，对应记为咕_心片7)}和〇Vdk(x，y)};其中， Guk(x，y)表示（Guk(x，y)}中坐标位置为（x，y)的像素点的像素值，Puk(x，y)表示 dis(x，y)}中坐标位置为（x，y)的像素点的像素值，GK_dis(x，y)表示（GK_dis(x，y)}中坐标位 置为（x，y)的像素点的像素值，PE_dk(x，y)表示0V心(x，y)}中坐标位置为（x，y)的像素 点的像素值。
[0023] 在本实施例中，高斯梯度滤波中的尺度参数0可取值为0 = 0.5。
[0024] ⑨采用现有的块匹配方法计算{L心(x，y)}与出dk(x，y)}之间的视差图像，记为 {(1心片7)}，其中，(1心片7)表示{(1心片7)}中坐标位置为片7)的像素点的像素值。
[002引④根据（Guis(X，y)}和{Puis(X，y)}、咕_心(X，y)}和{PK_dis(X，y)}、{d"s(X，y)}， 计算5^煎左右视点特征融合图像，记为伊^,片州，将化^片州中坐标位置为片7)的 像素点的像素值记为Fdi,(x,y)， (x,y) = (G,(x,y))" + (,,,(x+ (x,y),y))' + (x,v)x ,,,(x+ (x,v),y)xcos(^",(,y,v)) ，其中，GK_dis(x+ddk(x，y)，y)表示（GK_dis(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点 的像素值，奶,(y，-V) = (X，y) -&_血("布u,片，-v)，-V)，Pe心(x+ddk(X，y)，y)表示 0V dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，cosO为取余弦函数。
[0026] ⑥采用现有的局部S元模式操作对{Fdk(x，y)}进行处理，得到{Fdk(x，y)}的 局部S元模式的上模式图像和下模式图像，对应记为{LTPu(x，y)}和{LTPD(x，y)}，其中， LTPu(x，y)表示{LTPu(x，y)}中坐标位置为（x，y)的像素点的像素值，LTPD(x，y)表示 (LTPD(x，y)}中坐标位置为（x，y)的像素点的像素值。
[0027]在本实施例中，局部=元模式操作中的领域参数P取值为8、局部半径参数R取值 为1、自适应阔值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为aXFdk(x，y)， 其中，a为强度因子，取a= 0. 05。
[002引⑧采用现有的直方图统计方法对{LTPu(x，y)}进行统计操作，得到Sdk的上模式 图像直方图统计特征向量，记为;同样，采用直方图统计方法对{LTPD(x，y)}进行统 计操作，得到Sdk的下模式图像直方图统计特征向量，记为化D(m)};其中，的维数 为IXm'维，Hu(m)表示{Hu(m)}中的第m个元素，化加)}的维数为IXm'维，HdOu)表示 化。加)}中的第111个元素，1《1]1《1]1'，1]1'=口+2，？表示局部^元模式操作中的领域参数。
[0029] ⑦采用n"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下 的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用现有的主观 质量评价方法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立 体图像集合中的第j幅失真立体图像的主观评分记为DMOSj.;再按照步骤①至步骤⑧的操 作，W相同的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统 计特征向量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真 立体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为 咕，>)}和咕>)};其中，n"〉l，如取n"= 3,j的初始值为1，1《j《N'，N'表示该失 真立体图像集合中包含的失真立体图像的总幅数，0《DM0Sj《 100,化uj(m)}和化Dj(m)} 的维数均为IXm'维，Huj(m)表示{Huj(m)}中的第m个元素，HdjOu)表示{HdjOu)}中的第 m个元素，1《m《m'，m' =P+2,P表示局部S元模式操作中的领域参数。
[0030] ⑨支持向量回归（Suppo;rtVectorRegression,SVR)是基于结构风险最小化准 则的新型机器学习方法和统计学理论，其可W有效地抑制过拟合问题，因此本发明将该失 真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真立体图像的主观 评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向量进行训练，使得 经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w°pt和 最优的偏置项b°Pt;接着利用W和b构造得到支持向量回归训练模型；再根据支持向 量回归训练模型，对Sdk的上模式图像直方图统计特征向量化u(m)}和下模式图像直方图 统计特征向量{HdOu)}进行测试，预测得到Sdk的客观质量评价预测值，记为Q，Q=f(x)， /片) = (fFw')>片) +b"Pf;其中，Q是x的函数，fO为函数表示形式，x为输入，x表示Sdk 的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量{HdOu)}， (W°Pt)T为w°Pt的转置矢量，如V)为X的线性函数。
[0031] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0032] 在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真的立体图 像的客观质量评价预测值与平均主观评分差值之间的相关性。该里，利用评估图像质量 评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的化arson相关系数 (Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数（Spearmanrank ordercorrelationcoefficient，SROCC)、均方误差（rootmeansquarederror，RISE)， 化CC和RISE反映失真的立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。
[0033] 利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评 价预测值，再利用现有的主观评价方法获得LIVE立体图像失真库中的每幅失 真立体图像 的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做 五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RISE值越低说明客观评价方法的 客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的 PLCC、SR0CC和RISE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的 失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的， 表明客观评价结果与人眼主观感知的结果较为一致，足W说明本发明方法的可行性和有效 性。
[0034] 表1利用本发明方法得到的失真的立体图像的客观质量评价预测值与平均主观 评分差值之间的相关性
[0035]
【主权项】
1. 一种基于局部三元模式的无参考立体图像客观质量评价方法，其特征在于其处理过 程为：首先，对待评价的失真的立体图像的左视点图像和右视点图像分别实施高斯梯度滤 波，得到各自的幅值图像和相位图像，并计算待评价的失真的立体图像的左视点图像与右 视点图像之间的视差图像；其次，根据待评价的失真的立体图像的左视点图像和右视点图 像各自的幅值图像和相位图像，及左视点图像与右视点图像之间的视差图像，计算待评价 的失真的立体图像的左右视点特征融合图像；接着，采用局部三元模式操作对待评价的失 真的立体图像的左右视点特征融合图像进行处理，得到其局部三元模式的上模式图像和下 模式图像；之后，采用直方图统计方法分别对上模式图像和下模式图像进行统计操作，对应 得到待评价的失真的立体图像的上模式图像直方图统计特征向量和下模式图像直方图统 计特征向量；最后，根据待评价的失真的立体图像的上模式图像直方图统计特征向量和下 模式图像直方图统计特征向量，采用支持向量回归预测得到待评价的失真的立体图像的客 观质量评价预测值。2. 根据权利要求1所述的基于局部三元模式的无参考立体图像客观质量评价方法，其 特征在于包括以下步骤： ① 令Sdis表示待评价的失真的立体图像，将S dis的左视点图像记为{L dis (X，y) }，将Sdis的右视点图像记为{Rdis(x，y)}，其中，1彡X彡W，1彡y彡H，W表示Sdis的宽度，H表示S dis的高度，Ldis (x，y)表示{Ldis (x，y)}中坐标位置为（x，y)的像素点的像素值，Rdis (x，y)表示 {Rdis(x，y)}中坐标位置为（x，y)的像素点的像素值； ② 对{Ldis(x，y)}实施高斯梯度滤波，得到{Ldis(x，y)}的幅值图像和相位图像，对应记 为{Guis(x，y)}和{Puis(x，y)};同样，对{Rdis(x，y)}实施高斯梯度滤波，得到{R dis(x，y)} 的幅值图像和相位图像，对应记为{GK_dis(x，y)}和{PK_ dis(x，y)};其中，Guis(x，y)表示dis(x，y)}中坐标位置为（x，y)的像素点的像素值，P^dis(x，y)表示{P^ is(x，y)}中坐标位 置为（x，y)的像素点的像素值，GK dis(x，y)表示{GK dis(x，y)}中坐标位置为（x，y)的像素 点的像素值，PK dis(x，y)表示{PK dis(x，y)}中坐标位置为（x，y)的像素点的像素值； ③ 采用块匹配方法计算{Ldis(x，y)}与{Rdis(x，y)}之间的视差图像，记为{d dis(x，y)}， 其中，ddis(x，y)表示{ddis(x，y)}中坐标位置为（x，y)的像素点的像素值； ④ 根据{GL-dis (X，y)}和{PL-dis (X，y)}、{GK-dis (X，y)}和{PK-dis (X，y)}、{ddis (X，y)}，计算 3(^的左右视点特征融合图像，记为$("^，7)}，将^^，7)}中坐标位置为（1，7)的像素 点的像素值记为Fdis (x，y)， Fiis y) = >'))" + + ddis v), v))' + Gl ihs(.Y, r) X Gr jis (x + diis (,r, r), r) x cos(%"(x, y)) ，其中，GK_dis (x+ddis (x, y), y)表示{GK_dis (x, y)}中坐标位置为（x+ddis (x, y), y)的像素 点的像素值，1(47) =巧」(心〇-巧」,> + 4卜，3〇,3〇，？1；也〇[+(1也〇^)，7)表示妒1； &(1，7)}中坐标位置为（1+(1(^(1，7)，7)的像素点的像素值，(3〇8()为取余弦函数 ； ⑤ 采用局部三元模式操作对{Fdis(x，y)}进行处理，得到{Fdis(x，y)}的局部三元模式 的上模式图像和下模式图像，对应记为ILTPu(Xj)I和{LTPD(x，y)}，其中，LTP u(Xj)表示 ILTPuUyM中坐标位置为（x，y)的像素点的像素值，LTPd(x，y)表示{LTP D(x，y)}中坐标 位置为（x，y)的像素点的像素值； ⑥ 采用直方图统计方法对ILTPuO^yM进行统计操作，得到Sdis的上模式图像直方图 统计特征向量，记为（HuOnM ;同样，采用直方图统计方法对{LTPD(x，y)}进行统计操作，得 到Sdis的下模式图像直方图统计特征向量，记为{HD(m)};其中，IHuOnM的维数为lXm'维， Hu(Iii)表示IHuOiiM中的第m个元素，{HD(m)}的维数为IXm'维，H d (m)表示{HD(m)}中的 第m个元素，1彡m彡m'，= P+2, P表示局部三元模式操作中的领域参数； ⑦ 采用η"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失 真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价方 法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合 中的第j幅失真立体图像的主观评分记为DMOSf再按照步骤①至步骤⑥的操作，以相同 的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统计特征向 量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的 上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为（HiuOnM和 {HD，>)};其中，η">I，j的初始值为I，1彡j彡Ν'，Ν'表示该失真立体图像集合中包含的失 真立体图像的总幅数，O彡DMOSj彡100,（Hiu (m)}和IHiu (m)}的维数均为lXm'维，HiuOn) 表示IHu,』(m)}中的第m个元素，Hd,』(m)表示{HD，』(m)}中的第m个元素，1彡m彡m'，m' = P+2, P表示局部三元模式操作中的领域参数； ⑧ 将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真立体 图像的主观评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向量进 行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权 值矢量W°pt和最优的偏置项b °pt;接着利用W °pt和b °pt构造得到支持向量回归训练模型；再 根据支持向量回归训练模型，对Sdis的上模式图像直方图统计特征向量（HuOnM和下模式 图像直方图统计特征向量{HD(m)}进行测试，预测得到Sdis的客观质量评价预测值，记为Q， Q = f(x)，/(x) = (W")_>(x) + b#;其中，Q是X的函数，f()为函数表示形式，X为输入， X表示Sdis的上模式图像直方图统计特征向量（HuOnM和下模式图像直方图统计特征向量 {HD (m)}，OTt) tSW °pt的转置矢量，机V)为X的线性函数。3. 根据权利要求2所述的基于局部三元模式的无参考立体图像客观质量评价方法，其 特征在于所述的步骤②中的高斯梯度滤波中的尺度参数σ取值为0.5。4. 根据权利要求2或3所述的基于局部三元模式的无参考立体图像客观质量评价 方法，其特征在于所述的步骤⑤中的局部三元模式操作中的领域参数P取值为8、局部半 径参数R取值为1、自适应阈值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为 €^卩也〇^)，其中，€[为强度因子，取€[=〇.〇5。
【专利摘要】本发明公开了一种基于局部三元模式的无参考立体图像客观质量评价方法，其先对待评价的失真的立体图像的左、右视点图像实施高斯梯度滤波，得到各自的幅值图像和相位图像，计算左、右视点图像之间的视差图像；根据幅值图像和相位图像及视差图像，计算左右视点特征融合图像；采用局部三元模式操作对左右视点特征融合图像进行处理，得到其局部三元模式的上、下模式图像；采用直方图统计方法对上、下模式图像进行统计操作，对应得到上模式图像直方图统计特征向量和下模式图像直方图统计特征向量；根据直方图统计特征向量，采用支持向量回归预测得到客观质量评价预测值；优点是能够有效地提高客观评价结果与主观感知之间的相关性。
【IPC分类】H04N13/00, H04N17/00
【公开号】CN104902268
【申请号】CN201510310558
【发明人】周武杰, 孙丽慧, 陈寿法, 翁剑枫, 郑卫红, 施祥, 李鑫, 张磊, 吴洁雯
【申请人】浙江科技学院
【公开日】2015年9月9日
【申请日】2015年6月8日
【技术领域】
[0001] 本发明设及一种立体图像质量评价方法，尤其是设及一种基于局部=元模式的无 参考立体图像客观质量评价方法。
【背景技术】
[0002] 进入二十一世纪W来，随着立体图像/视频系统处理技术的日趋成熟，W及计算 机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统 单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感， 给用户W身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要 的发展方向，引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和 视觉体验，对立体视觉主观感知质量提出了更高的要求。立体视觉主观感知质量是衡量立 体图像/视频系统性能优劣的一个重要指标。在立体图像/视频系统中，采集、编码、传输、 解码及显示等处理环节都会引入一定失真，该些失真将对立体视觉主观感知质量产生不同 程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体 图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。目前，研究人员提 出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视 觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参 考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应W及与之 相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地 把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现 有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像， 现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性， 因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得 客观评价结果更加符合人类视觉感知系统，是立体图像进行客观质量评价过程中需要研究 解决的问题。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于局部=元模式的无参考立体图像客 观质量评价方法，其能够充分考虑到立体视觉特性，从而能够有效地提高客观评价结果与 主观感知之间的相关性。
[0004] 本发明解决上述技术问题所采用的技术方案为；一种基于局部=元模式的无参考 立体图像客观质量评价方法，其特征在于其处理过程为；首先，对待评价的失真的立体图像 的左视点图像和右视点图像分别实施高斯梯度滤波，得到各自的幅值图像和相位图像，并 计算待评价的失真的立体图像的左视点图像与右视点图像之间的视差图像；其次，根据待 评价的失真的立体图像的左视点图像和右视点图像各自的幅值图像和相位图像，及左视点 图像与右视点图像之间的视差图像，计算待评价的失真的立体图像的左右视点特征融合图 像；接着，采用局部=元模式操作对待评价的失真的立体图像的左右视点特征融合图像进 行处理，得到其局部=元模式的上模式图像和下模式图像；之后，采用直方图统计方法分别 对上模式图像和下模式图像进行统计操作，对应得到待评价的失真的立体图像的上模式图 像直方图统计特征向量和下模式图像直方图统计特征向量；最后，根据待评价的失真的立 体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量，采用支持向 量回归预测得到待评价的失真的立体图像的客观质量评价预测值。
[0005] 该无参考立体图像客观质量评价方法包括W下步骤：
[0006] ①令Sdk表示待评价的失真的立体图像，将Sdk的左视点图像记为{Ldk(X，y)}，将 SdJ勺右视点图像记为出心(x，y)}，其中，1《X《W，1《y《H，W表示SdJ勺宽度，H表示 Sdis的高度，Ldis(x，y)表示{Ldk(x，y)}中坐标位置为（x，y)的像素点的像素值，Rdk(x，y) 表示出dk(x，y)}中坐标位置为（x，y)的像素点的像素值；
[0007] ②对{Ldk(x，y)}实施高斯梯度滤波，得到{Ldk(x，y)}的幅值图像和相位图 像，对应记为{GL_dk(x，y)}和巧L_dk(x，y)};同样，对化k(x，y)}实施高斯梯度滤波，得 到{R心(x，y)}的幅值图像和相位图像，对应记为咕_心片7)}和〇Vdk(x，y)};其中，Gl 心(x，y)表示粒_心(x，y)}中坐标位置为（x，y)的像素点的像素值，PLdk(x，y)表示IPl_ dis(x，y)}中坐标位置为（x，y)的像素点的像素值，GK_dis(x，y)表示（GK_dis(x，y)}中坐标位 置为（x，y)的像素点的像素值，PE_dk(x，y)表示0V心(x，y)}中坐标位置为（x，y)的像素 点的像素值；
[000引⑨采用块匹配方法计算{Ldk(x，y)}与化k(x，y)}之间的视差图像，记为 {(1心0!；，7)}，其中，(1心0!；，7)表示{(1心0!；，7)}中坐标位置为0!；，7)的像素点的像素值；
[0009] ④根据（Guis(X，y)}和{Puis(X，y)}、咕_心(X，y)}和{PK_dis(X，y)}、{d"s(X，y)}， 计算5^煎左右视点特征融合图像，记为伊^,片州，将化^片州中坐标位置为片7)的 像素点的像素值记为Fdk(x，y)， (x,v)= (G, {x,v))' + (Gj,{x+ {x,v),v))" +Gi{x,v)x{x+ (x,v),v)xcos(^^,,(x,v)) ，其中，GK_dk(x+ddk(x，y)，y)表示（GK_dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，脚b(W) = 6_化佔y)-fi〇/,,(x+馬,,(x，y)，y)，PK_dis(x+cU(x，y)，y)表示 〇V dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，cosO为取余弦函数；
[0010] ⑥采用局部S元模式操作对{Fdk(x，y)}进行处理，得到{Fdk(x，y)}的局部S元 模式的上模式图像和下模式图像，对应记为{LTPu(x，y)}和{LTPD(x，y)}，其中，LTPu(x，y) 表示{LTPu(x，y)}中坐标位置为（x，y)的像素点的像素值，LTPD(x，y)表示{LTPD(x，y)}中 坐标位置为（x，y)的像素点的像素值；
[OCm] ⑧采用直方图统计方法对{LTPu(x，y)}进行统计操作，得到Sdk的上模式图像直方 图统计特征向量，记为{Hu(m)};同样，采用直方图统计方法对{LTPD(x，y)}进行统计操作， 得到Sdk的下模式图像直方图统计特征向量，记为化D(m)};其中，的维数为IXm' 维，Hu(m)表示化(m)}中的第m个元素，化(m)}的维数为1Xm'维，Hd(m)表示化(m)}中 的第m个元素，1《m《m'，m' =P+2,P表示局部S元模式操作中的领域参数；
[0012]⑦采用n"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的 失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价 方法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集 合中的第j幅失真立体图像的主观评分记为DMOSj.;再按照步骤①至步骤⑧的操作，W相同 的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统计特征向 量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的 上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为和 化，^m)};其中，n"〉1，j的初始值为1，1《j《N'，N'表示该失真立体图像集合中包含的失 真立体图像的总幅数，0《DM0S声100,化uj(m)}和{HdjOu)}的维数均为IXm'维，Hu，j(m) 表示咕，j(m)}中的第m个元素，H。，j(m)表示化，j(m)}中的第m个元素，1《m《m'，m'= P+2,P表示局部S元模式操作中的领域参数；
[0013] ⑨将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真 立体图像的主观评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向 量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°p嘴最优的偏置项b接着利用W嘴b构造得到支持向量回归训练模型； 再根据支持向量回归训练模型，对Sdk的上模式图像直方图统计特征向量化u(m)}和下模 式图像直方图统计特征向量{HdOu)}进行测试，预测得到Sdk的客观质量评价预测值，记为 Q，Q=f(X)，/树= (WW")>Cr) +bw';其中，Q是X的函数，f0为函数表示形式，X为输入， X表示Sdk的上模式图像直方图统计特征向量化u(m)}和下模式图像直方图统计特征向量 (HdOu)}，（W°Pt)T为W°Pt的转置矢量，抑A')为X的线性函数。
[0014] 所述的步骤②中的高斯梯度滤波中的尺度参数0取值为0. 5。
[0015] 所述的步骤⑥中的局部=元模式操作中的领域参数P取值为8、局部半径参 数R取值为1、自适应阔值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为 曰XFdi,(x,y )，其中，曰为强度因子，取曰=0. 05。
[0016] 与现有技术相比，本发明的优点在于：通过深入挖掘立体视觉感知特性，对待评价 的失真的立体图像的左右视点特征融合图像进行局部=元模式操作，得到其局部=元模式 的上模式图像和下模式图像，再采用直方图统计方法分别对上模式图像和下模式图像进行 统计操作，对应得到待评价的失真的立体图像的上模式图像直方图统计特征向量和下模式 图像直方图统计特征向量，特征向量提取方法简单，计算复杂度低，由于获得的待评价的失 真的立体图像的特征向量信息能够较好地反映待评价的失真的立体图像的质量变化情况， 即：可W使得到的待评价的失真的立体图像的客观质量评价预测值能够准确地反映人眼视 觉主观感知质量，能够有效地提高客观评价结果与主观感知的相关性。
【附图说明】
[0017] 图1为本发明方法的总体实现框图。
【具体实施方式】
[001引 W下结合附图实施例对本发明作进一步详细描述。
[0019] 本发明提出的一种基于局部=元模式的无参考立体图像客观质量评价方法，其总 体实现框图如图1所示，其处理过程为；首先，对待评价的失真的立体图像的左视点图像和 右视点图像分别实施高斯梯度滤波，得到各自的幅值图像和相位图像，并计算待评价的失 真的立体图像的左视点图像与右视点图像之间的视差图像；其次，根据待评价的失真的立 体图像的左视点图像和右视点图像各自的幅值图像和相位图像，及左视点图像与右视点图 像之间的视差图像，计算待评价的失真的立体图像的左右视点特征融合图像；接着，采用局 部=元模式操作对待评价的失真的立体图像的左右视点特征融合图像进行处理，得到其局 部=元模式的上模式图像和下模式图像；之后，采用直方图统计方法分别对上模式图像和 下模式图像进行统计操作，对应得到待评价的失真的立体图像的上模式图像直方图统计特 征向量和下模式图像直方图统计特征向量；最后，根据待评价的失真的立体图像的上模式 图像直方图统计特征向量和下模式图像直方图统计特征向量，采用支持向量回归预测得到 待评价的失真的立体图像的客观质量评价预测值。
[0020] 本发明的无参考立体图像客观质量评价方法，其包括W下步骤：
[002U ①令Sdk表示待评价的失真的立体图像，将Sdk的左视点图像记为{Ldk(x，y)}，将 SdJ勺右视点图像记为出心(x，y)}，其中，1《x《W，l《y《H，W表示SdJ勺宽度，H表示Sdis的高度，Ldis(x，y)表示{Ldk(x，y)}中坐标位置为（x，y)的像素点的像素值，Rdk(x，y) 表示出dk(x，y)}中坐标位置为（x，y)的像素点的像素值。
[0022] ②采用现有技术对{Ldk(x，y)}实施高斯梯度滤波，得到{Ldk(x，y)}的幅值图像 和相位图像，对应记为{GL_dis(x，y)}和巧L_dis(x，y)};同样，对出dis(x，y)}实施高斯梯度滤 波，得到出dk(x，y)}的幅值图像和相位图像，对应记为咕_心片7)}和〇Vdk(x，y)};其中， Guk(x，y)表示（Guk(x，y)}中坐标位置为（x，y)的像素点的像素值，Puk(x，y)表示 dis(x，y)}中坐标位置为（x，y)的像素点的像素值，GK_dis(x，y)表示（GK_dis(x，y)}中坐标位 置为（x，y)的像素点的像素值，PE_dk(x，y)表示0V心(x，y)}中坐标位置为（x，y)的像素 点的像素值。
[0023] 在本实施例中，高斯梯度滤波中的尺度参数0可取值为0 = 0.5。
[0024] ⑨采用现有的块匹配方法计算{L心(x，y)}与出dk(x，y)}之间的视差图像，记为 {(1心片7)}，其中，(1心片7)表示{(1心片7)}中坐标位置为片7)的像素点的像素值。
[002引④根据（Guis(X，y)}和{Puis(X，y)}、咕_心(X，y)}和{PK_dis(X，y)}、{d"s(X，y)}， 计算5^煎左右视点特征融合图像，记为伊^,片州，将化^片州中坐标位置为片7)的 像素点的像素值记为Fdi,(x,y)， (x,y) = (G,(x,y))" + (,,,(x+ (x,y),y))' + (x,v)x ,,,(x+ (x,v),y)xcos(^",(,y,v)) ，其中，GK_dis(x+ddk(x，y)，y)表示（GK_dis(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点 的像素值，奶,(y，-V) = (X，y) -&_血("布u,片，-v)，-V)，Pe心(x+ddk(X，y)，y)表示 0V dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，cosO为取余弦函数。
[0026] ⑥采用现有的局部S元模式操作对{Fdk(x，y)}进行处理，得到{Fdk(x，y)}的 局部S元模式的上模式图像和下模式图像，对应记为{LTPu(x，y)}和{LTPD(x，y)}，其中， LTPu(x，y)表示{LTPu(x，y)}中坐标位置为（x，y)的像素点的像素值，LTPD(x，y)表示 (LTPD(x，y)}中坐标位置为（x，y)的像素点的像素值。
[0027]在本实施例中，局部=元模式操作中的领域参数P取值为8、局部半径参数R取值 为1、自适应阔值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为aXFdk(x，y)， 其中，a为强度因子，取a= 0. 05。
[002引⑧采用现有的直方图统计方法对{LTPu(x，y)}进行统计操作，得到Sdk的上模式 图像直方图统计特征向量，记为;同样，采用直方图统计方法对{LTPD(x，y)}进行统 计操作，得到Sdk的下模式图像直方图统计特征向量，记为化D(m)};其中，的维数 为IXm'维，Hu(m)表示{Hu(m)}中的第m个元素，化加)}的维数为IXm'维，HdOu)表示 化。加)}中的第111个元素，1《1]1《1]1'，1]1'=口+2，？表示局部^元模式操作中的领域参数。
[0029] ⑦采用n"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下 的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用现有的主观 质量评价方法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立 体图像集合中的第j幅失真立体图像的主观评分记为DMOSj.;再按照步骤①至步骤⑧的操 作，W相同的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统 计特征向量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真 立体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为 咕，>)}和咕>)};其中，n"〉l，如取n"= 3,j的初始值为1，1《j《N'，N'表示该失 真立体图像集合中包含的失真立体图像的总幅数，0《DM0Sj《 100,化uj(m)}和化Dj(m)} 的维数均为IXm'维，Huj(m)表示{Huj(m)}中的第m个元素，HdjOu)表示{HdjOu)}中的第 m个元素，1《m《m'，m' =P+2,P表示局部S元模式操作中的领域参数。
[0030] ⑨支持向量回归（Suppo;rtVectorRegression,SVR)是基于结构风险最小化准 则的新型机器学习方法和统计学理论，其可W有效地抑制过拟合问题，因此本发明将该失 真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真立体图像的主观 评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向量进行训练，使得 经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w°pt和 最优的偏置项b°Pt;接着利用W和b构造得到支持向量回归训练模型；再根据支持向 量回归训练模型，对Sdk的上模式图像直方图统计特征向量化u(m)}和下模式图像直方图 统计特征向量{HdOu)}进行测试，预测得到Sdk的客观质量评价预测值，记为Q，Q=f(x)， /片) = (fFw')>片) +b"Pf;其中，Q是x的函数，fO为函数表示形式，x为输入，x表示Sdk 的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量{HdOu)}， (W°Pt)T为w°Pt的转置矢量，如V)为X的线性函数。
[0031] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0032] 在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真的立体图 像的客观质量评价预测值与平均主观评分差值之间的相关性。该里，利用评估图像质量 评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的化arson相关系数 (Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数（Spearmanrank ordercorrelationcoefficient，SROCC)、均方误差（rootmeansquarederror，RISE)， 化CC和RISE反映失真的立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。
[0033] 利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评 价预测值，再利用现有的主观评价方法获得LIVE立体图像失真库中的每幅失 真立体图像 的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做 五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RISE值越低说明客观评价方法的 客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的 PLCC、SR0CC和RISE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的 失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很好的， 表明客观评价结果与人眼主观感知的结果较为一致，足W说明本发明方法的可行性和有效 性。
[0034] 表1利用本发明方法得到的失真的立体图像的客观质量评价预测值与平均主观 评分差值之间的相关性
[0035]
【主权项】
1. 一种基于局部三元模式的无参考立体图像客观质量评价方法，其特征在于其处理过 程为：首先，对待评价的失真的立体图像的左视点图像和右视点图像分别实施高斯梯度滤 波，得到各自的幅值图像和相位图像，并计算待评价的失真的立体图像的左视点图像与右 视点图像之间的视差图像；其次，根据待评价的失真的立体图像的左视点图像和右视点图 像各自的幅值图像和相位图像，及左视点图像与右视点图像之间的视差图像，计算待评价 的失真的立体图像的左右视点特征融合图像；接着，采用局部三元模式操作对待评价的失 真的立体图像的左右视点特征融合图像进行处理，得到其局部三元模式的上模式图像和下 模式图像；之后，采用直方图统计方法分别对上模式图像和下模式图像进行统计操作，对应 得到待评价的失真的立体图像的上模式图像直方图统计特征向量和下模式图像直方图统 计特征向量；最后，根据待评价的失真的立体图像的上模式图像直方图统计特征向量和下 模式图像直方图统计特征向量，采用支持向量回归预测得到待评价的失真的立体图像的客 观质量评价预测值。2. 根据权利要求1所述的基于局部三元模式的无参考立体图像客观质量评价方法，其 特征在于包括以下步骤： ① 令Sdis表示待评价的失真的立体图像，将S dis的左视点图像记为{L dis (X，y) }，将Sdis的右视点图像记为{Rdis(x，y)}，其中，1彡X彡W，1彡y彡H，W表示Sdis的宽度，H表示S dis的高度，Ldis (x，y)表示{Ldis (x，y)}中坐标位置为（x，y)的像素点的像素值，Rdis (x，y)表示 {Rdis(x，y)}中坐标位置为（x，y)的像素点的像素值； ② 对{Ldis(x，y)}实施高斯梯度滤波，得到{Ldis(x，y)}的幅值图像和相位图像，对应记 为{Guis(x，y)}和{Puis(x，y)};同样，对{Rdis(x，y)}实施高斯梯度滤波，得到{R dis(x，y)} 的幅值图像和相位图像，对应记为{GK_dis(x，y)}和{PK_ dis(x，y)};其中，Guis(x，y)表示dis(x，y)}中坐标位置为（x，y)的像素点的像素值，P^dis(x，y)表示{P^ is(x，y)}中坐标位 置为（x，y)的像素点的像素值，GK dis(x，y)表示{GK dis(x，y)}中坐标位置为（x，y)的像素 点的像素值，PK dis(x，y)表示{PK dis(x，y)}中坐标位置为（x，y)的像素点的像素值； ③ 采用块匹配方法计算{Ldis(x，y)}与{Rdis(x，y)}之间的视差图像，记为{d dis(x，y)}， 其中，ddis(x，y)表示{ddis(x，y)}中坐标位置为（x，y)的像素点的像素值； ④ 根据{GL-dis (X，y)}和{PL-dis (X，y)}、{GK-dis (X，y)}和{PK-dis (X，y)}、{ddis (X，y)}，计算 3(^的左右视点特征融合图像，记为$("^，7)}，将^^，7)}中坐标位置为（1，7)的像素 点的像素值记为Fdis (x，y)， Fiis y) = >'))" + + ddis v), v))' + Gl ihs(.Y, r) X Gr jis (x + diis (,r, r), r) x cos(%"(x, y)) ，其中，GK_dis (x+ddis (x, y), y)表示{GK_dis (x, y)}中坐标位置为（x+ddis (x, y), y)的像素 点的像素值，1(47) =巧」(心〇-巧」,> + 4卜，3〇,3〇，？1；也〇[+(1也〇^)，7)表示妒1； &(1，7)}中坐标位置为（1+(1(^(1，7)，7)的像素点的像素值，(3〇8()为取余弦函数 ； ⑤ 采用局部三元模式操作对{Fdis(x，y)}进行处理，得到{Fdis(x，y)}的局部三元模式 的上模式图像和下模式图像，对应记为ILTPu(Xj)I和{LTPD(x，y)}，其中，LTP u(Xj)表示 ILTPuUyM中坐标位置为（x，y)的像素点的像素值，LTPd(x，y)表示{LTP D(x，y)}中坐标 位置为（x，y)的像素点的像素值； ⑥ 采用直方图统计方法对ILTPuO^yM进行统计操作，得到Sdis的上模式图像直方图 统计特征向量，记为（HuOnM ;同样，采用直方图统计方法对{LTPD(x，y)}进行统计操作，得 到Sdis的下模式图像直方图统计特征向量，记为{HD(m)};其中，IHuOnM的维数为lXm'维， Hu(Iii)表示IHuOiiM中的第m个元素，{HD(m)}的维数为IXm'维，H d (m)表示{HD(m)}中的 第m个元素，1彡m彡m'，= P+2, P表示局部三元模式操作中的领域参数； ⑦ 采用η"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失 真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价方 法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合 中的第j幅失真立体图像的主观评分记为DMOSf再按照步骤①至步骤⑥的操作，以相同 的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统计特征向 量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的 上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为（HiuOnM和 {HD，>)};其中，η">I，j的初始值为I，1彡j彡Ν'，Ν'表示该失真立体图像集合中包含的失 真立体图像的总幅数，O彡DMOSj彡100,（Hiu (m)}和IHiu (m)}的维数均为lXm'维，HiuOn) 表示IHu,』(m)}中的第m个元素，Hd,』(m)表示{HD，』(m)}中的第m个元素，1彡m彡m'，m' = P+2, P表示局部三元模式操作中的领域参数； ⑧ 将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真立体 图像的主观评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向量进 行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权 值矢量W°pt和最优的偏置项b °pt;接着利用W °pt和b °pt构造得到支持向量回归训练模型；再 根据支持向量回归训练模型，对Sdis的上模式图像直方图统计特征向量（HuOnM和下模式 图像直方图统计特征向量{HD(m)}进行测试，预测得到Sdis的客观质量评价预测值，记为Q， Q = f(x)，/(x) = (W")_>(x) + b#;其中，Q是X的函数，f()为函数表示形式，X为输入， X表示Sdis的上模式图像直方图统计特征向量（HuOnM和下模式图像直方图统计特征向量 {HD (m)}，OTt) tSW °pt的转置矢量，机V)为X的线性函数。3. 根据权利要求2所述的基于局部三元模式的无参考立体图像客观质量评价方法，其 特征在于所述的步骤②中的高斯梯度滤波中的尺度参数σ取值为0.5。4. 根据权利要求2或3所述的基于局部三元模式的无参考立体图像客观质量评价 方法，其特征在于所述的步骤⑤中的局部三元模式操作中的领域参数P取值为8、局部半 径参数R取值为1、自适应阈值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为 €^卩也〇^)，其中，€[为强度因子，取€[=〇.〇5。
【专利摘要】本发明公开了一种基于局部三元模式的无参考立体图像客观质量评价方法，其先对待评价的失真的立体图像的左、右视点图像实施高斯梯度滤波，得到各自的幅值图像和相位图像，计算左、右视点图像之间的视差图像；根据幅值图像和相位图像及视差图像，计算左右视点特征融合图像；采用局部三元模式操作对左右视点特征融合图像进行处理，得到其局部三元模式的上、下模式图像；采用直方图统计方法对上、下模式图像进行统计操作，对应得到上模式图像直方图统计特征向量和下模式图像直方图统计特征向量；根据直方图统计特征向量，采用支持向量回归预测得到客观质量评价预测值；优点是能够有效地提高客观评价结果与主观感知之间的相关性。
【IPC分类】H04N13/00, H04N17/00
【公开号】CN104902268
【申请号】CN201510310558
【发明人】周武杰, 孙丽慧, 陈寿法, 翁剑枫, 郑卫红, 施祥, 李鑫, 张磊, 吴洁雯
【申请人】浙江科技学院
【公开日】2015年9月9日
【申请日】2015年6月8日
最新回复(0)