一种基于单演二进制编码的无参考图像质量评价方法
一种基于单演二进制编码的无参考图像质量评价方法
【技术领域】
[0001] 本发明设及一种图像质量评价方法，尤其是设及一种基于单演二进制编码的无参 考图像质量评价方法。
【背景技术】
[0002] 图像质量是评价图像处理系统及算法优劣的主要性能指标。图像质量评价方法可 W分为两类：主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分，得到 平均评价分用W衡量图像质量；后者利用数学模型计算图像质量。主观评价方法的实验结 果比较可靠，但费时费力。客观评价方法又可分为=类；全参考图像质量评价方法、半参考 图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方 法，但是该类方法要求评价时必须要有原始参考图像进行比较，且参考图像须是清晰质量 较好的，而在一些实际应用场景中无法获得参考图像，该就制约了该类方法的使用。无参考 图像质量评价方法不需要原始参考图像，只需待测图像就可W进行评价，可W适应较多的 应用场合。因此无参考图像质量评价方法的研究更具实用价值。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于单演二进制编码的无参考图像质量 评价方法，其能够充分考虑到图像结构改变对视觉质量的影响，从而能够提高客观评价结 果与主观感知之间的相关性。
[0004] 本发明解决上述技术问题所采用的技术方案为；一种基于单演二进制编码的无参 考图像质量评价方法，其特征在于包括W下步骤：
[000引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值；
[000引②对{Id(i，j)}实施单演二进制编码，得到山(i，j)}的单演二进制编码幅值图 像、{Id(i，j)}的单演二进制编码相位图像和山(1，j)}的单演二进制编码方向图像，对 应记为{Md(i，j)}、{巧/O'J)}和（0d(iJ)}，其中，Md(iJ)表示{Md(iJ)}中坐标位置为 (i，j)的像素点的像素值，％片乃^表示{%片乃}中坐标位置为（i，j)的像素点的像素值， 0d(i，j)表示{ed(i，j)}中坐标位置为（i，j)的像素点的像素值；
[0007] ⑨采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二 值化模式特征图像，记为{LBP"(i，j)};同样，采用局部二值化模式操作对{脚片/)}进 行处理，得到柄片乃}的局部二值化模式特征图像，记为[左公叩';/)};采用局部二值化 模式操作对（9da，j)}进行处理，得到{ 0 4(1，j)}的局部二值化模式特征图像，记为(LBPe(i，j)};其中，LBP"(i，j)表示{LBP"(i，j)}中坐标位置为（i，j)的像素点的像素值， LBPM(iJ)G[0，P+1]，/：公/:.,化/)表示{LW;,(/?，./')}中坐标位置为（ij)的像素点的像素值， 左公/;，(/，./')￡阳，'+ 1]，18口9(1，_1)表示{18口9(1^)}中坐标位置为（1，_1)的像素点的像素值，LBPe(i，j)G[0，P+1]，P表示局部二值化模式操作中的领域参数；
[000引④获取{LBP"(iJ)}中像素值为0至P+1中的每个值的所有像素点与化./')|I中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBPmQ，j)}中像素值 为m的所有像素点与化_/)}中像素值为n的所有像素点的联合概率函数值记为严，
并获取{LBPM(i，j)}中像素值为0至P+1中的 每个值的所有像素点与{LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的联合 概率函数值，将（LBPM(i，j)}中像素值为m的所有像素点与（LBPe(i，j)}中像素值为q的 所有像素点的联合概率函数值记为<心"，作(/，/')==";心;&(/，y)==g);其中，m= 0, 1，…，P，P+1，n= 0, 1，…，P，P+1，q= 0, 1，…，P，P+1，PcO为联合概率函数；
[000引⑥计算{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点的 第一条件概率特征，将（LBPM(i，j)}中像素值为m的所有像素点的第一条件概率 特征记为
并计 算?[ZW;，(/../)j1中像素值为0至P+1中的每个值的所有像素点的条件概率特征，将 {iSPp片4中像素值为n的所有像素点的条件概率特征记为侣化/) =n)，
计算{LBPmQ，j)}中像素值为0至P+1中的每个 值的所有像素点的第二条件概率特征，将{LBP"(i，j)}中像素值为m的所有像素点的第 二条件概率特征记为Qm，0 (LBPii(i，j) = =m)，
计算{LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征，将 (LBPe(i，j)}中像素值为q的所有像素点的条件概率特征记为Qe,M(LBPe(i，j) ==q)，
其中，m= 0, 1,…，P,P+l，n= 0, 1,…，P,P+1，q= 0,1，…，P，P+1 ;
[0010] ⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的 失真图像集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出 该失真图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像 的主观评分记为DMOSy;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真图像集 合中的每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值 为0至P+1中的每个值的所有像素点的第一条件概率特征、每幅失真图像的单演二进制 编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点 的条件概率特征、每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像 中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、每幅失真图像的单 演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的 所有像素点的条件概率特征，将该失真图像集合中的第X幅失真图像的单演二进制编码 幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第一条件概率特征 记为0，,awV.、(/'，./) ==w)，将该失真图像集合中的第X幅失真图像的单演二进制编 码相位图像的局部二值化模式特征图像中像素值为n的所有像素点的条件概率特征记 为化片乃==")，将该失真图像集合中的第X幅失真图像的单演二进制编码幅 值图像的局部二值化模式特征图像中像素值为m的所有像素点的第二条件概率特征记 为Qm,e,y(LBPM,,(i，如==m)，将该失真图像集合中的第X幅失真图像的单演二进制编码 方向图像的局部二值化模式特征图像中像素值为q的所有像素点的条件概率特征记为 Qe，M，xaBPe，x(iJ) ==q);其中，n" >l，x的初始值为l，l《x《X，X表示该失真图像集 合中包含的失真图像的总幅数，〇《DMOSx《 100，m= 0, 1，…，P，P+l，n= 0, 1，…，P，P+l，q = 0，l，…，P，P+l，LBP",,(i，j)表示该失真图像集合中的第x幅失真图像的单演二进制编码 幅值图像的局部二值化模式特征图像{LBP",,(i，j)}中坐标位置为（i，j)的像素点的像素 值，LBP",,(i，j)G[0，P+1]，表示该失真图像集合中的第X幅失真图像的单演二 进制编码相位图像的局部二值化模式特征图像{心中坐标位置为（ij)的像素点 的像素值，^W;u.(<'，./)6「n，P+l]，LBPe^a，j)表示该失真图像集合中的第X幅失真图像的 单演二进制编码方向图像的局部二值化模式特征图像{LBPe,,(i，j)}中坐标位置为（i，j) 的像素点的像素值，LBPe，x(i,j)G[0，P+l];
[0011] ⑦将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真 图像各自的主观评分及各自的单演二进制编码幅值图 像的局部二值化模式特征图像中像 素值为0至P+1中的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相 位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概 率特征、各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1 中的每个值的所有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二 值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训 练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢 量w°pt和最优的偏置项b 接着利用W和b构造得到支持向量回归训练模型；再根据 支持向量回归训练模型，对{LBPmQ，j)}中像素值为0至P+1中的每个值的所有像素点的 第一条件概率特征、|/^W:,(/\./パ中像素值为0至P+1中的每个值的所有像素点的条件概率 特征、（LBP"(i，j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、(LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行测试，预测 得到{Id(i，j)}的客观质量评价预测值，记为Q，Q=f(y)，/Cv) = (ww")>Cv) +bw"，其中， Q是y的函数，f0为函数表示形式，y为输入，y表示{LBPm(i，j)}中像素值为0至P+1中 的每个值的所有像素点的第一条件概率特征、化./)}中像素值为0至P+1中的每个值 的所有像素点的条件概率特征、{LBPmQ，j)}中像素值为0至P+1中的每个值的所有像素点 的第二条件概率特征、（LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件 概率特征，（W°Pt)T为W°Pt的转置矢量，抑>')为y的线性函数。
[0012] 所述的步骤⑨中局部二值化模式操作中的领域参数P取值为8。
[0013] 与现有技术相比，本发明的优点在于：
[0014] 通过深入挖掘人眼视觉对图像结构的感知特性，对待评价的失真图像实施单演二 进制编码，得到单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编码方 向图像；接着，对上述=幅图像分别进行局部二值化模式操作，得到各自的局部二值化模式 特征图像；然后，求取单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编 码方向图像各自的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点 的条件概率特征；最后，根据条件概率特征，采用支持向量回归预测得到待评价的失真图像 的客观质量评价预测值，采用该过程得到的客观质量评价预测值能够准确地反映人眼视觉 主观感知质量，即能够有效地提高客观评价结果与主观感知之间的相关性。
【附图说明】
[0015] 图1为本发明方法的总体实现框图。
【具体实施方式】
[0016]W下结合附图实施例对本发明作进一步详细描述。
[0017] 本发明提出的一种基于单演二进制编码的无参考图像质量评价方法，其总体 实现框图如图1所示，其处理过程为；首先，对待评价的失真图像实施单演二进制编码 (Monogenicbinarycoding,MBC)，得到单演二进制编码幅值图像、单演二进制编码相位 图像和单演二进制编码方向图像；接着，对上述=幅图像分别进行局部二值化模式（Local Binary化ttern)操作，得到各自的局部二值化模式特征图像；然后，求取单演二进制编码 幅值图像、单演二进制编码相位图像和单演二进制编码方向图像各自的局部二值化模式特 征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征；最后，根据条件概率 特征，采用支持向量回归预测得到待评价的失真图像的客观质量评价预测值。
[0018] 本发明的无参考图像质量评价方法具体包括W下步骤：
[001引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值。
[0020] ②采用现有技术对{Id(i，j)}实施单演二进制编码，得到{Id(i，j)}的单演二进制 编码幅值图像、{Id(i，j)}的单演二进制编码相位图像和{Ida,j)}的单演二进制编码方向 图像，对应记为{Md(i，和{0d(i，j)}，其中，Md(i，j)表示{Md(i，j)}中坐标位 置为（i，j)的像素点的像素值，巧,.(/，./)表示[巧/O'J)}中坐标位置为（i，j)的像素点的像素 值，0dQ，j)表示{ 0 4(1，j)}中坐标位置为（i，j)的像素点的像素值。
[0021] ⑨采用现有的局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的 局部二值化模式特征图像，记为{LBP"(i，j)};同样，采用现有的局部二值化模式操作对 柄0'J)}进行处理，得到柄O'J)}的局部二值化模式特征图像，记为[王sPpO'j)};采用现有 的局部二值化模式操作对{ed(i，j)}进行处理，得到{0d(i，j)}的局部二值化模式特征图 像，记为（LBPe(i，j)};其中，LBPM(i，j)表示{LEPmU，j)}中坐标位置为（i，j)的像素点的 像素值，LBPM(iJ)G[0，P+1]，^^3/;，(/，7')表示^|/^^/>'，./)|中坐标位置为（ij)的像素点的 像素值，。^^，(|''，./)曰「()，/'411，1^8?0(;[，_]')表示邮？0(;[，如}中坐标位置为（;[，_]')的像素点 的像素值，LBPe(i，j)G[0,P+1]，P表示局部二值化模式操作中的领域参数。
[0022] 在本实施例中，局部二值化模式操作中的领域参数P取值为8,局部半径参数R取 值为1。
[002引④获取{LBP"(i，如}中像素值为0至P+1中的每个值的所有像素点与{/^/?/^0'，./')| 中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBPmQ，j)}中像素值 为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为， 公尸、/0'，./)=="a公巧,(/，./)-=");并获取{LBP"(iJ)}中像素值为0 至P+1 中的 每个值的所有像素点与{LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的联合 概率函数值，将（LBPM(i，j)}中像素值为m的所有像素点与（LBPe(i，j)}中像素值为q的 所有像素点的联合概率函数值记为每，鮮^0 =C化5巧,(/J) == 化乃==如；其中， m= 0, 1，…，P，P+1，n= 0, 1，…，P，P+1，q= 0, 1，…，P，P+1，PcO为联合概率函数。
[0024]⑥计算{LEPmU，j)}中像素值为0至P+1中的每个值的所有像素点的第一 条件概率特征，将{LBP"(i，j)}中像素值为m的所有像素点的第一条件概率特征记为 0、,公尸、,(/，./)== "0，如,。(/公尸、,〇'，./)== "0 = -^之;；并计算jZ_.公中像 素值为0至P+1中的每个值的所有像素点的条件概率特征，将y)}中像素值为n的 所有像素点的条件概率特征记为如，脚明，a,,(/?."=?)=去己计 算{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征，将 (LBPmQ,j)}中像素值为m的所有像素点的第二条件概率特征记为瑞，0(LBPmQ，j)== m)，(/，./)==…)=^^^完:;,火;',;"；计算{LBPe(i，_]?)}中像素值为 0 至P+1 中的 每个值的所有像素点的条件概率特征，将{LBPe(i，j)}中像素值为q的所有像素点的条件 概率特征记为Qe,M(LBPe(i，j) ==q)，化、心公&(/，./)==如=^完其中，m= 0, 1,…，P,P+1，n= 0, 1,…，P,P+1，q= 0, 1,…，P,P+1。
[00巧]⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的 失真图像集合，该失真图像集合包括多幅失真图像；然后利用现有的主观质量 评价方法 评价出该失真图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失 真图像的主观评分记为DMOSy;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真 图像集合中的每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像 素值为0至P+1中的每个值的所有像素点的第一条件概率特征、每幅失真图像的单演二 进制编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有 像素点的条件概率特征、每幅失真图像的单演二进制编码幅值图像的局部二值化模式特 征图像中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、每幅失真图 像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每 个值的所有像素点的条件概率特征，将该失真图像集合中的第X幅失真图像的单演二进 制编码幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第一条件概率 特征记为&/。、(/~^^/^、,、〇'，/) ==w)，将该失真图像集合中的第X幅失真图像的单演二进制 编码相位图像的局部二值化模式特征图像中像素值为n的所有像素点的条件概率特征记 为公,(/'，./)=句，将该失真图像集合中的第X幅失真图像的单演二进制编码幅 值图像的局部二值化模式特征图像中像素值为m的所有像素点的第二条件概率特征记 为Qm,e,y(LBPM,,(i，如==m)，将该失真图像集合中的第X幅失真图像的单演二进制编码 方向图像的局部二值化模式特征图像中像素值为q的所有像素点的条件概率特征记为 Qe，M，x(LBPe，x(i,j) ==q);其中，n" > 1，如取n" =3，x的初始值为l，l《x《X，X表示 该失真图像集合中包含的失真图像的总幅数，在本实施例中X> 5,0《DMOS,《 100,m= 0, 1，…，P，P+l，n= 0, 1，…，P，P+l，q= 0, 1，…，P，P+l，LBPM，x(i,j)表示该失真图像集合中 的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像{LBP",,(i，j)} 中坐标位置为（i，j)的像素点的像素值，LBP",,(i，j)G[0,P+1]，.、(/'，>)表示该失真 图像集合中的第X幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像 {laPpT化对中坐标位置为（ij)的像素点的像素值，iSPp,心'问0，P+1]，LBPe,x(iJ)表 示该失真图像集合中的第X幅失真图像的单演二进制编码方向图像的局部二值化模式特 征图像（LBPe，x(i，j)}中坐标位置为（i，j)的像素点的像素值，LBPe，x(i,j)G[0，P+l]。 [0026] ⑦支持向量回归（Suppo;rtVectorRegression,SVR)是基于结构风险最小化准 则的新型机器学习方法和统计学理论，其可W有效地抑制过拟合问题，因此本发明将该失 真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图像各自的主观评 分及各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中 的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相位图像的局部二值 化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征、各自的单 演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所 有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二值化模式特征图 像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训练，使得经过训练 得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w°pt和最优的偏 置项b°pt;接着利用W嘴b构造得到支持向量回归训练模型巧根据支持向量回归训练 模型，对{LBPmQJ)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、 {LWy/，./)|中像素值为0至P+1中的每个值的所有像素点的条件概率特征、{LBP"(iJ)}中 像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、（LBPe(i，j)}中像素值 为0至P+1中的每个值的所有像素点的条件概率特征进行测试，预测得到{Id(i，j)}的客观 质量评价预测值，记为Q，Q=f(y)，/(.V) = (ww')>(y)+b^'，其中，Q是y的函数，f0为函 数表示形式，y为输入，y表示{LBPmQ，j)}中像素值为0至P+1中的每个值的所有像素点 的第一条件概率特征、'|^W!，(A./)|中像素值为0至P+1中的每个值的所有像素点的条件概 率特征、{LBPmQJ)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、{LBPe(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率特征，（W°Pr为W 的转置矢量，口(>')为y的线性函数。
[0027] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0028] 在此，采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量 评价预测值与平均主观评分差值之间的相关性。该里，利用评估图像质量评价方法的 3个常用客观参量作为评价指标，即非线性回归条件下的化arson相关系数（Pearson linearcorrelationcoefficient，PLCC)、Spearman相关系数（Spearmanrankorder correlationcoefficient，SROCC)、均方误差（rootmeansquarederror，RISE)，PLCC和 RISE反映失真图像的客观评价结果的准确性，SROCC反映其单调性。
[0029] 利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值，再 利用现有的主观评价方法获得LIVE图像库中的每幅失真图像的平均主观评分差值。将按 本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟 合，PLCC和SROCC值越高，RISE值越低说明利用本发明方法得到的客观评价结果与平均主 观评分差值之间的相关性越好。反映本发明方法的质量评价性能的化CC、SR0CC和RISE相 关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真图像的最终的客观 质量评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主 观感知的结果较为一致，足W说明本发明方法的可行性和有效性。
[0030] 表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差 值之间的相关性
[0031]
【主权项】
1. 一种基于单演二进制编码的无参考图像质量评价方法，其特征在于包括以下步骤： ① 令{Id(i，j)}表示待评价的失真图像，其中，1彡i彡w，1彡j彡H，W表示{Id(i，j)} 的宽度，H表示{Id(i，j)}的高度，Id(i，j)表示{Id(i，j)}中坐标位置为（i，j)的像素点的 像素值； ② 对{Id(i，j)}实施单演二进制编码，得到{Id(i，j)}的单演二进制编码幅值图像、 {Id(i，j)}的单演二进制编码相位图像和{Id(i，j)}的单演二进制编码方向图像，对应记为 {Md(i，j)}、{%(/,_/)}和{0d(i，j)}，其中，Md(i，j)表示{M d(i，j)}中坐标位置为（i，j)的像 素点的像素值，表中坐标位置为（i，j)的像素点的像素值，Θ d(i，j)表 示{ θd(i，j)}中坐标位置为（i，j)的像素点的像素值； ③ 采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二值 化模式特征图像，记为{LBPM(i，j)};同样，采用局部二值化模式操作对进行 处理，得到的局部二值化模式特征图像，记为^3/；(/，7_)};采用局部二值化模 式操作对{9d(i，j)}进行处理，得到{9d(i，j)}的局部二值化模式特征图像，记为 ILBP0 (i，j)};其中，LBPM(i，j)表示{LBPM(i，j)}中坐标位置为（i，j)的像素点的像素值， LBPM(i，j) e [〇，P+l]，L5/:,(/，./)表示!以丨中坐标位置为（i，j)的像素点的 像素值， ，LBP0 (i，j)表示ILBP0 (i，j)}中坐标位置为（i，j)的像素点的像素值， LBP0 (i，j) e [〇, P+1]，P表示局部二值化模式操作中的领域参数； ④ 获取{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点与中 像素值为〇至P+1中的每个值的所有像素点的联合概率函数值，将{LBPM(i，j)}中像素值 为m的所有像素点与1 △〃/;(/，./)}中像素值为η的所有像素点的联合概率函数值记为， 欠上Γ =以乙谷广W (之./) == 乙召C(/·，力==");并获取{LBPM(i, j)}中像素^ 每个值的所有像素点与ILBP0 (i，j)}中像素值为0至P+1中的每个值的所有像素点的联合 概率函数值，将{LBPM(i，j)}中像素值为m的所有像素点与{LBP0 (i，j)}中像素值为q的 所有像素点的联合概率函数值记为C , ；其中， m = 0, 1，…，Ρ，Ρ+1，η = 0, 1，…，P，P+l，q = 0, 1，…，P，P+l，PcO 为联合概率函数； ⑤ 计算{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的第一 条件概率特征，将{LBPM(i，j)}中像素值为m的所有像素点的第一条件概率特 征记为；并计算 {L/i/〗(/，./)}中像素值为〇至p+i中的每个值的所有像素点的条件概率特征，将 {Z份;(，，/>}中像素值为η的所有像素点的条件概率特征记为= ，计算{LBPM(i，j)}中像素值为O至Ρ+l中的每个 值的所有像素点的第二条件概率特征，将{LBPM(i，j)}中像素值为m的所有像素点的第 二条件概率特征记为Qm f计算ILBP0 (i，j)}中像素值为O至Ρ+l中的每个值的所有像素点的条件概率特征，将 {LBP0(i，j)}中像素值为q的所有像素点的条件概率特征记为Q0，M(LBP 0(i，j) ==q)，;其中，m = 0, 1，…，P，P+l，n = 0, 1，…，P，P+l，q = 〇，1，...，Ρ，Ρ+1 ; ⑥ 采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失真图像 集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出该失真图像 集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像的主观评分记 为〇1?\;再按照步骤①至步骤⑤的操作，以相同的方式获取该失真图像集合中的每幅失真 图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为〇至Ρ+l中的每个 值的所有像素点的第一条件概率特征、每幅失真图像的单演二进制编码相位图像的局部二 值化模式特征图像中像素值为〇至Ρ+l中的每个值的所有像素点的条件概率特征、每幅失 真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为〇至Ρ+l中的每 个值的所有像素点的第二条件概率特征、每幅失真图像的单演二进制编码方向图像的局部 二值化模式特征图像中像素值为〇至ρ+l中的每个值的所有像素点的条件概率特征，将该 失真图像集合中的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图 像中像素值为m的所有像素点的第一条件概率特征记为== "0，将该失 真图像集合中的第X幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像 中像素值为η的所有像素点的条件概率特征记为^^.., (^^^,..,从./) ==?)，将该失真图像集 合中的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值 为m的所有像素点的第二条件概率特征记为Qst 0，x (LBPstx (i，j) == m)，将该失真图像集合 中的第X幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为q 的所有像素点的条件概率特征记为Qe，M，x(LBP0， x(i，j) == q);其中，η">1，X的初始值为 1，1彡X彡X，X表示该失真图像集合中包含的失真图像的总幅数，0彡DMOSxS 100, m = 0, 1，…，P，P+l，n = 0, 1，…，P，P+l，q = 0, 1，…，P，P+l，LBPM，x(i，j)表示该失真图像集合中 的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像{LBPMiX(i，j)} 中坐标位置为（i，j)的像素点的像素值，LBPM,x(i，j) e [〇，Ρ+1]，ΔΖ?/；λ.(/_,./)表示该失真 图像集合中的第x幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像 >，./)}中坐标位置为（i，j)的像素点的像素值，15尸#(/，/)€[0,尸+ 1]，LBP0,x(i, j)表 示该失真图像集合中的第X幅失真图像的单演二进制编码方向图像的局部二值化模式特 征图像{LBP0，x(i，j)}中坐标位置为（i，j)的像素点的像素值，LBP0， x(i，j) e [〇，Ρ+1]; ⑦ 将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图 像各自的主观评分及各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素 值为O至P+1中的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相位 图像的局部二值化模式特征图像中像素值为O至P+1中的每个值的所有像素点的条件概 率特征、各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为O至P+1 中的每个值的所有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二 值化模式特征图像中像素值为O至P+1中的每个值的所有像素点的条件概率特征进行训 练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢 量W°pt和最优的偏置项b °pt;接着利用W °pt和b °pt构造得到支持向量回归训练模型；再根据 支持向量回归训练模型，对{LBPM(i，j)}中像素值为O至P+1中的每个值的所有像素点的 第一条件概率特征、中像素值为〇至P+1中的每个值的所有像素点的条件概率 特征、{LBPM(i，j)}中像素值为O至Ρ+1中的每个值的所有像素点的第二条件概率特征、 {LBP 0 (i，j)}中像素值为O至P+1中的每个值的所有像素点的条件概率特征进行测试，预测 得到Ud(i，j)}的客观质量评价预测值，记为Q，Q = f (y)，/(3〇 =，#)>00 +b'其中， Q是y的函数，f()为函数表示形式，y为输入，y表示{LBPM(i，j)}中像素值为O至P+1中 的每个值的所有像素点的第一条件概率特征、中像素值为〇至P+1中的每个值 的所有像素点的条件概率特征、ILBPm(i，j)}中像素值为O至P+1中的每个值的所有像素点 的第二条件概率特征、ILBP0 (i，j)}中像素值为O至P+1中的每个值的所有像素点的条件 概率特征，（W°pt)TSW°pt的转置矢量，舛>')为y的线性函数。2.根据权利要求1所述的一种基于单演二进制编码的无参考图像质量评价方法，其特 征在于所述的步骤③中局部二值化模式操作中的领域参数P取值为8。
【专利摘要】本发明公开了一种基于单演二进制编码的无参考图像质量评价方法，其通过深入挖掘人眼视觉对图像结构的感知特性，对待评价的失真图像实施单演二进制编码，得到单演二进制编码幅值图像、相位图像和方向图像；接着，对上述三幅图像分别进行局部二值化模式操作，得到各自的局部二值化模式特征图像；然后，求取单演二进制编码幅值图像、相位图像和方向图像各自的局部二值化模式特征图像中像素值为不同值的所有像素点的条件概率特征；最后，根据条件概率特征，采用支持向量回归预测得到待评价的失真图像的客观质量评价预测值；优点是得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量，即能够有效地提高客观评价结果与主观感知之间的相关性。
【IPC分类】H04N19/154
【公开号】CN104902277
【申请号】CN201510310419
【发明人】周武杰, 孙丽慧, 陈寿法, 翁剑枫, 郑卫红, 施祥, 李鑫, 张磊, 吴洁雯
【申请人】浙江科技学院
【公开日】2015年9月9日
【申请日】2015年6月8日
【技术领域】
[0001] 本发明设及一种图像质量评价方法，尤其是设及一种基于单演二进制编码的无参 考图像质量评价方法。
【背景技术】
[0002] 图像质量是评价图像处理系统及算法优劣的主要性能指标。图像质量评价方法可 W分为两类：主观评价方法和客观评价方法。前者是由观察者对图像质量进行评分，得到 平均评价分用W衡量图像质量；后者利用数学模型计算图像质量。主观评价方法的实验结 果比较可靠，但费时费力。客观评价方法又可分为=类；全参考图像质量评价方法、半参考 图像质量评价方法和无参考图像质量评价方法，当前研究最多的是全参考图像质量评价方 法，但是该类方法要求评价时必须要有原始参考图像进行比较，且参考图像须是清晰质量 较好的，而在一些实际应用场景中无法获得参考图像，该就制约了该类方法的使用。无参考 图像质量评价方法不需要原始参考图像，只需待测图像就可W进行评价，可W适应较多的 应用场合。因此无参考图像质量评价方法的研究更具实用价值。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于单演二进制编码的无参考图像质量 评价方法，其能够充分考虑到图像结构改变对视觉质量的影响，从而能够提高客观评价结 果与主观感知之间的相关性。
[0004] 本发明解决上述技术问题所采用的技术方案为；一种基于单演二进制编码的无参 考图像质量评价方法，其特征在于包括W下步骤：
[000引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值；
[000引②对{Id(i，j)}实施单演二进制编码，得到山(i，j)}的单演二进制编码幅值图 像、{Id(i，j)}的单演二进制编码相位图像和山(1，j)}的单演二进制编码方向图像，对 应记为{Md(i，j)}、{巧/O'J)}和（0d(iJ)}，其中，Md(iJ)表示{Md(iJ)}中坐标位置为 (i，j)的像素点的像素值，％片乃^表示{%片乃}中坐标位置为（i，j)的像素点的像素值， 0d(i，j)表示{ed(i，j)}中坐标位置为（i，j)的像素点的像素值；
[0007] ⑨采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二 值化模式特征图像，记为{LBP"(i，j)};同样，采用局部二值化模式操作对{脚片/)}进 行处理，得到柄片乃}的局部二值化模式特征图像，记为[左公叩';/)};采用局部二值化 模式操作对（9da，j)}进行处理，得到{ 0 4(1，j)}的局部二值化模式特征图像，记为(LBPe(i，j)};其中，LBP"(i，j)表示{LBP"(i，j)}中坐标位置为（i，j)的像素点的像素值， LBPM(iJ)G[0，P+1]，/：公/:.,化/)表示{LW;,(/?，./')}中坐标位置为（ij)的像素点的像素值， 左公/;，(/，./')￡阳，'+ 1]，18口9(1，_1)表示{18口9(1^)}中坐标位置为（1，_1)的像素点的像素值，LBPe(i，j)G[0，P+1]，P表示局部二值化模式操作中的领域参数；
[000引④获取{LBP"(iJ)}中像素值为0至P+1中的每个值的所有像素点与化./')|I中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBPmQ，j)}中像素值 为m的所有像素点与化_/)}中像素值为n的所有像素点的联合概率函数值记为严，
并获取{LBPM(i，j)}中像素值为0至P+1中的 每个值的所有像素点与{LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的联合 概率函数值，将（LBPM(i，j)}中像素值为m的所有像素点与（LBPe(i，j)}中像素值为q的 所有像素点的联合概率函数值记为<心"，作(/，/')==";心;&(/，y)==g);其中，m= 0, 1，…，P，P+1，n= 0, 1，…，P，P+1，q= 0, 1，…，P，P+1，PcO为联合概率函数；
[000引⑥计算{LBPM(i，如}中像素值为0至P+1中的每个值的所有像素点的 第一条件概率特征，将（LBPM(i，j)}中像素值为m的所有像素点的第一条件概率 特征记为
并计 算?[ZW;，(/../)j1中像素值为0至P+1中的每个值的所有像素点的条件概率特征，将 {iSPp片4中像素值为n的所有像素点的条件概率特征记为侣化/) =n)，
计算{LBPmQ，j)}中像素值为0至P+1中的每个 值的所有像素点的第二条件概率特征，将{LBP"(i，j)}中像素值为m的所有像素点的第 二条件概率特征记为Qm，0 (LBPii(i，j) = =m)，
计算{LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征，将 (LBPe(i，j)}中像素值为q的所有像素点的条件概率特征记为Qe,M(LBPe(i，j) ==q)，
其中，m= 0, 1,…，P,P+l，n= 0, 1,…，P,P+1，q= 0,1，…，P，P+1 ;
[0010] ⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的 失真图像集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出 该失真图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像 的主观评分记为DMOSy;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真图像集 合中的每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值 为0至P+1中的每个值的所有像素点的第一条件概率特征、每幅失真图像的单演二进制 编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点 的条件概率特征、每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像 中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、每幅失真图像的单 演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的 所有像素点的条件概率特征，将该失真图像集合中的第X幅失真图像的单演二进制编码 幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第一条件概率特征 记为0，,awV.、(/'，./) ==w)，将该失真图像集合中的第X幅失真图像的单演二进制编 码相位图像的局部二值化模式特征图像中像素值为n的所有像素点的条件概率特征记 为化片乃==")，将该失真图像集合中的第X幅失真图像的单演二进制编码幅 值图像的局部二值化模式特征图像中像素值为m的所有像素点的第二条件概率特征记 为Qm,e,y(LBPM,,(i，如==m)，将该失真图像集合中的第X幅失真图像的单演二进制编码 方向图像的局部二值化模式特征图像中像素值为q的所有像素点的条件概率特征记为 Qe，M，xaBPe，x(iJ) ==q);其中，n" >l，x的初始值为l，l《x《X，X表示该失真图像集 合中包含的失真图像的总幅数，〇《DMOSx《 100，m= 0, 1，…，P，P+l，n= 0, 1，…，P，P+l，q = 0，l，…，P，P+l，LBP",,(i，j)表示该失真图像集合中的第x幅失真图像的单演二进制编码 幅值图像的局部二值化模式特征图像{LBP",,(i，j)}中坐标位置为（i，j)的像素点的像素 值，LBP",,(i，j)G[0，P+1]，表示该失真图像集合中的第X幅失真图像的单演二 进制编码相位图像的局部二值化模式特征图像{心中坐标位置为（ij)的像素点 的像素值，^W;u.(<'，./)6「n，P+l]，LBPe^a，j)表示该失真图像集合中的第X幅失真图像的 单演二进制编码方向图像的局部二值化模式特征图像{LBPe,,(i，j)}中坐标位置为（i，j) 的像素点的像素值，LBPe，x(i,j)G[0，P+l];
[0011] ⑦将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真 图像各自的主观评分及各自的单演二进制编码幅值图 像的局部二值化模式特征图像中像 素值为0至P+1中的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相 位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概 率特征、各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1 中的每个值的所有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二 值化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训 练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢 量w°pt和最优的偏置项b 接着利用W和b构造得到支持向量回归训练模型；再根据 支持向量回归训练模型，对{LBPmQ，j)}中像素值为0至P+1中的每个值的所有像素点的 第一条件概率特征、|/^W:,(/\./パ中像素值为0至P+1中的每个值的所有像素点的条件概率 特征、（LBP"(i，j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、(LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行测试，预测 得到{Id(i，j)}的客观质量评价预测值，记为Q，Q=f(y)，/Cv) = (ww")>Cv) +bw"，其中， Q是y的函数，f0为函数表示形式，y为输入，y表示{LBPm(i，j)}中像素值为0至P+1中 的每个值的所有像素点的第一条件概率特征、化./)}中像素值为0至P+1中的每个值 的所有像素点的条件概率特征、{LBPmQ，j)}中像素值为0至P+1中的每个值的所有像素点 的第二条件概率特征、（LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的条件 概率特征，（W°Pt)T为W°Pt的转置矢量，抑>')为y的线性函数。
[0012] 所述的步骤⑨中局部二值化模式操作中的领域参数P取值为8。
[0013] 与现有技术相比，本发明的优点在于：
[0014] 通过深入挖掘人眼视觉对图像结构的感知特性，对待评价的失真图像实施单演二 进制编码，得到单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编码方 向图像；接着，对上述=幅图像分别进行局部二值化模式操作，得到各自的局部二值化模式 特征图像；然后，求取单演二进制编码幅值图像、单演二进制编码相位图像和单演二进制编 码方向图像各自的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有像素点 的条件概率特征；最后，根据条件概率特征，采用支持向量回归预测得到待评价的失真图像 的客观质量评价预测值，采用该过程得到的客观质量评价预测值能够准确地反映人眼视觉 主观感知质量，即能够有效地提高客观评价结果与主观感知之间的相关性。
【附图说明】
[0015] 图1为本发明方法的总体实现框图。
【具体实施方式】
[0016]W下结合附图实施例对本发明作进一步详细描述。
[0017] 本发明提出的一种基于单演二进制编码的无参考图像质量评价方法，其总体 实现框图如图1所示，其处理过程为；首先，对待评价的失真图像实施单演二进制编码 (Monogenicbinarycoding,MBC)，得到单演二进制编码幅值图像、单演二进制编码相位 图像和单演二进制编码方向图像；接着，对上述=幅图像分别进行局部二值化模式（Local Binary化ttern)操作，得到各自的局部二值化模式特征图像；然后，求取单演二进制编码 幅值图像、单演二进制编码相位图像和单演二进制编码方向图像各自的局部二值化模式特 征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征；最后，根据条件概率 特征，采用支持向量回归预测得到待评价的失真图像的客观质量评价预测值。
[0018] 本发明的无参考图像质量评价方法具体包括W下步骤：
[001引①令{Id(i，j)}表示待评价的失真图像，其中，1《i《w，l《j《H，W表示 {Id(iJ)}的宽度，H表示{Id(iJ)}的高度，Id(iJ)表示中坐标位置为（iJ) 的像素点的像素值。
[0020] ②采用现有技术对{Id(i，j)}实施单演二进制编码，得到{Id(i，j)}的单演二进制 编码幅值图像、{Id(i，j)}的单演二进制编码相位图像和{Ida,j)}的单演二进制编码方向 图像，对应记为{Md(i，和{0d(i，j)}，其中，Md(i，j)表示{Md(i，j)}中坐标位 置为（i，j)的像素点的像素值，巧,.(/，./)表示[巧/O'J)}中坐标位置为（i，j)的像素点的像素 值，0dQ，j)表示{ 0 4(1，j)}中坐标位置为（i，j)的像素点的像素值。
[0021] ⑨采用现有的局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的 局部二值化模式特征图像，记为{LBP"(i，j)};同样，采用现有的局部二值化模式操作对 柄0'J)}进行处理，得到柄O'J)}的局部二值化模式特征图像，记为[王sPpO'j)};采用现有 的局部二值化模式操作对{ed(i，j)}进行处理，得到{0d(i，j)}的局部二值化模式特征图 像，记为（LBPe(i，j)};其中，LBPM(i，j)表示{LEPmU，j)}中坐标位置为（i，j)的像素点的 像素值，LBPM(iJ)G[0，P+1]，^^3/;，(/，7')表示^|/^^/>'，./)|中坐标位置为（ij)的像素点的 像素值，。^^，(|''，./)曰「()，/'411，1^8?0(;[，_]')表示邮？0(;[，如}中坐标位置为（;[，_]')的像素点 的像素值，LBPe(i，j)G[0,P+1]，P表示局部二值化模式操作中的领域参数。
[0022] 在本实施例中，局部二值化模式操作中的领域参数P取值为8,局部半径参数R取 值为1。
[002引④获取{LBP"(i，如}中像素值为0至P+1中的每个值的所有像素点与{/^/?/^0'，./')| 中像素值为0至P+1中的每个值的所有像素点的联合概率函数值，将{LBPmQ，j)}中像素值 为m的所有像素点与中像素值为n的所有像素点的联合概率函数值记为， 公尸、/0'，./)=="a公巧,(/，./)-=");并获取{LBP"(iJ)}中像素值为0 至P+1 中的 每个值的所有像素点与{LBPe(i，j)}中像素值为0至P+1中的每个值的所有像素点的联合 概率函数值，将（LBPM(i，j)}中像素值为m的所有像素点与（LBPe(i，j)}中像素值为q的 所有像素点的联合概率函数值记为每，鮮^0 =C化5巧,(/J) == 化乃==如；其中， m= 0, 1，…，P，P+1，n= 0, 1，…，P，P+1，q= 0, 1，…，P，P+1，PcO为联合概率函数。
[0024]⑥计算{LEPmU，j)}中像素值为0至P+1中的每个值的所有像素点的第一 条件概率特征，将{LBP"(i，j)}中像素值为m的所有像素点的第一条件概率特征记为 0、,公尸、,(/，./)== "0，如,。(/公尸、,〇'，./)== "0 = -^之;；并计算jZ_.公中像 素值为0至P+1中的每个值的所有像素点的条件概率特征，将y)}中像素值为n的 所有像素点的条件概率特征记为如，脚明，a,,(/?."=?)=去己计 算{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征，将 (LBPmQ,j)}中像素值为m的所有像素点的第二条件概率特征记为瑞，0(LBPmQ，j)== m)，(/，./)==…)=^^^完:;,火;',;"；计算{LBPe(i，_]?)}中像素值为 0 至P+1 中的 每个值的所有像素点的条件概率特征，将{LBPe(i，j)}中像素值为q的所有像素点的条件 概率特征记为Qe,M(LBPe(i，j) ==q)，化、心公&(/，./)==如=^完其中，m= 0, 1,…，P,P+1，n= 0, 1,…，P,P+1，q= 0, 1,…，P,P+1。
[00巧]⑧采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的 失真图像集合，该失真图像集合包括多幅失真图像；然后利用现有的主观质量 评价方法 评价出该失真图像集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失 真图像的主观评分记为DMOSy;再按照步骤①至步骤⑥的操作，W相同的方式获取该失真 图像集合中的每幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像 素值为0至P+1中的每个值的所有像素点的第一条件概率特征、每幅失真图像的单演二 进制编码相位图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所有 像素点的条件概率特征、每幅失真图像的单演二进制编码幅值图像的局部二值化模式特 征图像中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、每幅失真图 像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为0至P+1中的每 个值的所有像素点的条件概率特征，将该失真图像集合中的第X幅失真图像的单演二进 制编码幅值图像的局部二值化模式特征图像中像素值为m的所有像素点的第一条件概率 特征记为&/。、(/~^^/^、,、〇'，/) ==w)，将该失真图像集合中的第X幅失真图像的单演二进制 编码相位图像的局部二值化模式特征图像中像素值为n的所有像素点的条件概率特征记 为公,(/'，./)=句，将该失真图像集合中的第X幅失真图像的单演二进制编码幅 值图像的局部二值化模式特征图像中像素值为m的所有像素点的第二条件概率特征记 为Qm,e,y(LBPM,,(i，如==m)，将该失真图像集合中的第X幅失真图像的单演二进制编码 方向图像的局部二值化模式特征图像中像素值为q的所有像素点的条件概率特征记为 Qe，M，x(LBPe，x(i,j) ==q);其中，n" > 1，如取n" =3，x的初始值为l，l《x《X，X表示 该失真图像集合中包含的失真图像的总幅数，在本实施例中X> 5,0《DMOS,《 100,m= 0, 1，…，P，P+l，n= 0, 1，…，P，P+l，q= 0, 1，…，P，P+l，LBPM，x(i,j)表示该失真图像集合中 的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像{LBP",,(i，j)} 中坐标位置为（i，j)的像素点的像素值，LBP",,(i，j)G[0,P+1]，.、(/'，>)表示该失真 图像集合中的第X幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像 {laPpT化对中坐标位置为（ij)的像素点的像素值，iSPp,心'问0，P+1]，LBPe,x(iJ)表 示该失真图像集合中的第X幅失真图像的单演二进制编码方向图像的局部二值化模式特 征图像（LBPe，x(i，j)}中坐标位置为（i，j)的像素点的像素值，LBPe，x(i,j)G[0，P+l]。 [0026] ⑦支持向量回归（Suppo;rtVectorRegression,SVR)是基于结构风险最小化准 则的新型机器学习方法和统计学理论，其可W有效地抑制过拟合问题，因此本发明将该失 真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图像各自的主观评 分及各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中 的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相位图像的局部二值 化模式特征图像中像素值为0至P+1中的每个值的所有像素点的条件概率特征、各自的单 演二进制编码幅值图像的局部二值化模式特征图像中像素值为0至P+1中的每个值的所 有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二值化模式特征图 像中像素值为0至P+1中的每个值的所有像素点的条件概率特征进行训练，使得经过训练 得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢量w°pt和最优的偏 置项b°pt;接着利用W嘴b构造得到支持向量回归训练模型巧根据支持向量回归训练 模型，对{LBPmQJ)}中像素值为0至P+1中的每个值的所有像素点的第一条件概率特征、 {LWy/，./)|中像素值为0至P+1中的每个值的所有像素点的条件概率特征、{LBP"(iJ)}中 像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、（LBPe(i，j)}中像素值 为0至P+1中的每个值的所有像素点的条件概率特征进行测试，预测得到{Id(i，j)}的客观 质量评价预测值，记为Q，Q=f(y)，/(.V) = (ww')>(y)+b^'，其中，Q是y的函数，f0为函 数表示形式，y为输入，y表示{LBPmQ，j)}中像素值为0至P+1中的每个值的所有像素点 的第一条件概率特征、'|^W!，(A./)|中像素值为0至P+1中的每个值的所有像素点的条件概 率特征、{LBPmQJ)}中像素值为0至P+1中的每个值的所有像素点的第二条件概率特征、{LBPe(i，如}中像素值为0至P+1中的每个值的所有像素点的条件概率特征，（W°Pr为W 的转置矢量，口(>')为y的线性函数。
[0027] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0028] 在此，采用LIVE图像库来分析利用本发明方法得到的失真图像的客观质量 评价预测值与平均主观评分差值之间的相关性。该里，利用评估图像质量评价方法的 3个常用客观参量作为评价指标，即非线性回归条件下的化arson相关系数（Pearson linearcorrelationcoefficient，PLCC)、Spearman相关系数（Spearmanrankorder correlationcoefficient，SROCC)、均方误差（rootmeansquarederror，RISE)，PLCC和 RISE反映失真图像的客观评价结果的准确性，SROCC反映其单调性。
[0029] 利用本发明方法计算LIVE图像库中的每幅失真图像的客观质量评价预测值，再 利用现有的主观评价方法获得LIVE图像库中的每幅失真图像的平均主观评分差值。将按 本发明方法计算得到的失真图像的客观质量评价预测值做五参数Logistic函数非线性拟 合，PLCC和SROCC值越高，RISE值越低说明利用本发明方法得到的客观评价结果与平均主 观评分差值之间的相关性越好。反映本发明方法的质量评价性能的化CC、SR0CC和RISE相 关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真图像的最终的客观 质量评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主 观感知的结果较为一致，足W说明本发明方法的可行性和有效性。
[0030] 表1利用本发明方法得到的失真图像的客观质量评价预测值与平均主观评分差 值之间的相关性
[0031]
【主权项】
1. 一种基于单演二进制编码的无参考图像质量评价方法，其特征在于包括以下步骤： ① 令{Id(i，j)}表示待评价的失真图像，其中，1彡i彡w，1彡j彡H，W表示{Id(i，j)} 的宽度，H表示{Id(i，j)}的高度，Id(i，j)表示{Id(i，j)}中坐标位置为（i，j)的像素点的 像素值； ② 对{Id(i，j)}实施单演二进制编码，得到{Id(i，j)}的单演二进制编码幅值图像、 {Id(i，j)}的单演二进制编码相位图像和{Id(i，j)}的单演二进制编码方向图像，对应记为 {Md(i，j)}、{%(/,_/)}和{0d(i，j)}，其中，Md(i，j)表示{M d(i，j)}中坐标位置为（i，j)的像 素点的像素值，表中坐标位置为（i，j)的像素点的像素值，Θ d(i，j)表 示{ θd(i，j)}中坐标位置为（i，j)的像素点的像素值； ③ 采用局部二值化模式操作对{Md(i，j)}进行处理，得到{Md(i，j)}的局部二值 化模式特征图像，记为{LBPM(i，j)};同样，采用局部二值化模式操作对进行 处理，得到的局部二值化模式特征图像，记为^3/；(/，7_)};采用局部二值化模 式操作对{9d(i，j)}进行处理，得到{9d(i，j)}的局部二值化模式特征图像，记为 ILBP0 (i，j)};其中，LBPM(i，j)表示{LBPM(i，j)}中坐标位置为（i，j)的像素点的像素值， LBPM(i，j) e [〇，P+l]，L5/:,(/，./)表示!以丨中坐标位置为（i，j)的像素点的 像素值， ，LBP0 (i，j)表示ILBP0 (i，j)}中坐标位置为（i，j)的像素点的像素值， LBP0 (i，j) e [〇, P+1]，P表示局部二值化模式操作中的领域参数； ④ 获取{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点与中 像素值为〇至P+1中的每个值的所有像素点的联合概率函数值，将{LBPM(i，j)}中像素值 为m的所有像素点与1 △〃/;(/，./)}中像素值为η的所有像素点的联合概率函数值记为， 欠上Γ =以乙谷广W (之./) == 乙召C(/·，力==");并获取{LBPM(i, j)}中像素^ 每个值的所有像素点与ILBP0 (i，j)}中像素值为0至P+1中的每个值的所有像素点的联合 概率函数值，将{LBPM(i，j)}中像素值为m的所有像素点与{LBP0 (i，j)}中像素值为q的 所有像素点的联合概率函数值记为C , ；其中， m = 0, 1，…，Ρ，Ρ+1，η = 0, 1，…，P，P+l，q = 0, 1，…，P，P+l，PcO 为联合概率函数； ⑤ 计算{LBPM(i，j)}中像素值为0至P+1中的每个值的所有像素点的第一 条件概率特征，将{LBPM(i，j)}中像素值为m的所有像素点的第一条件概率特 征记为；并计算 {L/i/〗(/，./)}中像素值为〇至p+i中的每个值的所有像素点的条件概率特征，将 {Z份;(，，/>}中像素值为η的所有像素点的条件概率特征记为= ，计算{LBPM(i，j)}中像素值为O至Ρ+l中的每个 值的所有像素点的第二条件概率特征，将{LBPM(i，j)}中像素值为m的所有像素点的第 二条件概率特征记为Qm f计算ILBP0 (i，j)}中像素值为O至Ρ+l中的每个值的所有像素点的条件概率特征，将 {LBP0(i，j)}中像素值为q的所有像素点的条件概率特征记为Q0，M(LBP 0(i，j) ==q)，;其中，m = 0, 1，…，P，P+l，n = 0, 1，…，P，P+l，q = 〇，1，...，Ρ，Ρ+1 ; ⑥ 采用n"幅原始的无失真的图像，建立其在不同失真类型不同失真程度下的失真图像 集合，该失真图像集合包括多幅失真图像；然后利用主观质量评价方法评价出该失真图像 集合中的每幅失真图像的主观评分，将该失真图像集合中的第X幅失真图像的主观评分记 为〇1?\;再按照步骤①至步骤⑤的操作，以相同的方式获取该失真图像集合中的每幅失真 图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为〇至Ρ+l中的每个 值的所有像素点的第一条件概率特征、每幅失真图像的单演二进制编码相位图像的局部二 值化模式特征图像中像素值为〇至Ρ+l中的每个值的所有像素点的条件概率特征、每幅失 真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为〇至Ρ+l中的每 个值的所有像素点的第二条件概率特征、每幅失真图像的单演二进制编码方向图像的局部 二值化模式特征图像中像素值为〇至ρ+l中的每个值的所有像素点的条件概率特征，将该 失真图像集合中的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图 像中像素值为m的所有像素点的第一条件概率特征记为== "0，将该失 真图像集合中的第X幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像 中像素值为η的所有像素点的条件概率特征记为^^.., (^^^,..,从./) ==?)，将该失真图像集 合中的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像中像素值 为m的所有像素点的第二条件概率特征记为Qst 0，x (LBPstx (i，j) == m)，将该失真图像集合 中的第X幅失真图像的单演二进制编码方向图像的局部二值化模式特征图像中像素值为q 的所有像素点的条件概率特征记为Qe，M，x(LBP0， x(i，j) == q);其中，η">1，X的初始值为 1，1彡X彡X，X表示该失真图像集合中包含的失真图像的总幅数，0彡DMOSxS 100, m = 0, 1，…，P，P+l，n = 0, 1，…，P，P+l，q = 0, 1，…，P，P+l，LBPM，x(i，j)表示该失真图像集合中 的第X幅失真图像的单演二进制编码幅值图像的局部二值化模式特征图像{LBPMiX(i，j)} 中坐标位置为（i，j)的像素点的像素值，LBPM,x(i，j) e [〇，Ρ+1]，ΔΖ?/；λ.(/_,./)表示该失真 图像集合中的第x幅失真图像的单演二进制编码相位图像的局部二值化模式特征图像 >，./)}中坐标位置为（i，j)的像素点的像素值，15尸#(/，/)€[0,尸+ 1]，LBP0,x(i, j)表 示该失真图像集合中的第X幅失真图像的单演二进制编码方向图像的局部二值化模式特 征图像{LBP0，x(i，j)}中坐标位置为（i，j)的像素点的像素值，LBP0， x(i，j) e [〇，Ρ+1]; ⑦ 将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真图 像各自的主观评分及各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素 值为O至P+1中的每个值的所有像素点的第一条件概率特征、各自的单演二进制编码相位 图像的局部二值化模式特征图像中像素值为O至P+1中的每个值的所有像素点的条件概 率特征、各自的单演二进制编码幅值图像的局部二值化模式特征图像中像素值为O至P+1 中的每个值的所有像素点的第二条件概率特征、各自的单演二进制编码方向图像的局部二 值化模式特征图像中像素值为O至P+1中的每个值的所有像素点的条件概率特征进行训 练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优的权值矢 量W°pt和最优的偏置项b °pt;接着利用W °pt和b °pt构造得到支持向量回归训练模型；再根据 支持向量回归训练模型，对{LBPM(i，j)}中像素值为O至P+1中的每个值的所有像素点的 第一条件概率特征、中像素值为〇至P+1中的每个值的所有像素点的条件概率 特征、{LBPM(i，j)}中像素值为O至Ρ+1中的每个值的所有像素点的第二条件概率特征、 {LBP 0 (i，j)}中像素值为O至P+1中的每个值的所有像素点的条件概率特征进行测试，预测 得到Ud(i，j)}的客观质量评价预测值，记为Q，Q = f (y)，/(3〇 =，#)>00 +b'其中， Q是y的函数，f()为函数表示形式，y为输入，y表示{LBPM(i，j)}中像素值为O至P+1中 的每个值的所有像素点的第一条件概率特征、中像素值为〇至P+1中的每个值 的所有像素点的条件概率特征、ILBPm(i，j)}中像素值为O至P+1中的每个值的所有像素点 的第二条件概率特征、ILBP0 (i，j)}中像素值为O至P+1中的每个值的所有像素点的条件 概率特征，（W°pt)TSW°pt的转置矢量，舛>')为y的线性函数。2.根据权利要求1所述的一种基于单演二进制编码的无参考图像质量评价方法，其特 征在于所述的步骤③中局部二值化模式操作中的领域参数P取值为8。
【专利摘要】本发明公开了一种基于单演二进制编码的无参考图像质量评价方法，其通过深入挖掘人眼视觉对图像结构的感知特性，对待评价的失真图像实施单演二进制编码，得到单演二进制编码幅值图像、相位图像和方向图像；接着，对上述三幅图像分别进行局部二值化模式操作，得到各自的局部二值化模式特征图像；然后，求取单演二进制编码幅值图像、相位图像和方向图像各自的局部二值化模式特征图像中像素值为不同值的所有像素点的条件概率特征；最后，根据条件概率特征，采用支持向量回归预测得到待评价的失真图像的客观质量评价预测值；优点是得到的客观质量评价预测值能够准确地反映人眼视觉主观感知质量，即能够有效地提高客观评价结果与主观感知之间的相关性。
【IPC分类】H04N19/154
【公开号】CN104902277
【申请号】CN201510310419
【发明人】周武杰, 孙丽慧, 陈寿法, 翁剑枫, 郑卫红, 施祥, 李鑫, 张磊, 吴洁雯
【申请人】浙江科技学院
【公开日】2015年9月9日
【申请日】2015年6月8日
最新回复(0)