基于梯度幅值相似性的色调映射图像质量评价方法
基于梯度幅值相似性的色调映射图像质量评价方法
【技术领域】
[0001] 本发明属于图像质量评价技术领域，尤其是一种基于梯度幅值相似性的色调映射 图像质量评价方法。
【背景技术】
[0002] 高动态范围图像化igh Dynamic Range,简称HDR)，相比普通图像，可W提供更多 的动态范围和图像细节，因此，HDR图像变得越来越流行。但是普通的显示设备只能显示低 动态范围化OW Dynamic Range,简称LDR)图像。为了正常的显示LDR图像，需要将其转化为 LDR图像。运个转化过程就叫做色调映射(tone mapping)。近些年来，涌现了有很多的色调 映射器(tone mapping operator,简称TM0)。由于图像动态范围的改变，转换后的图像质量 的评价变得非常重要。对色调映射图像(tone-mapped images)质量的评价，可W用来评估 色调映射器的好坏，也可W用来调整色调映射器的性能。传统上，色调映射图像采用主观的 方式进行评价，即通过人眼在一定的外界环境下，去看一幅图像，根据人的主观感受来对图 像的质量进行打分。但是主观评价的方式费时费力，并且容易受到打分者情绪的影响，所W 客观质量评价变的越来越被重视。由于色调映射图像和其原来的图像的动态范围不相同， 因此经典的方法是有参考图像质量评价方法，没有办法直接的应用。运也使得色调映射图 像质量的客观评价变得困难。
[0003] 现有的色调映射图像质量评价方法主要有：文献（T . 0 . A y d i η，R . Μ a η t i U k， K.Myszkowski,and H.-P. Seidel ,"Dynamic range independent image quality assessmentin ACM Transactions on Graphics(TOG),vol.27,no.3.ACM,2008,p.69.) $：^ltjt(R.M.A,S.D.B,K.M.A,and H.peter Seidel A, "Predicting visible differences in high dynamic range images-model and its calibration,''in Human Vision and Electronic Imaging X,IS&T/SPIEs 17th Annual Symposium on Electronic Imaging 2005，pp.204-214.)的基础上发展了一种可W表明可视化特征损失，可视化特征幅度和对 比度极性反转的Ξ张独立的图像质量类型图。但是，其并没有给出整个图像最后的一个质 量分值。Yeganeh和Wang提出了一种基于结构失真度和图像自然性的质量评价方法，该方法 第一次给出了色调映射图像的质量分值，并用它来优化TM0。一种基于图像细节分析的无参 考方'法被提出（K.Gu,G.Zhai ,M.Liu,X.Yang,and W. Zhan 邑，''Detai 1 s preservation inspired blind quality metric of tone mapping methods,''in Circuits and Systems(ISCAS),2014IEEE International Symposium on.IEEE,2014,pp.518-521.)，该 方法主要研究图像细节的丢失对图像质量的影响。基于特征相似性的成功，出现了基于特 征相似性的FSITM方法化.Ziaei Nafchi ,Α.化ahkolaei ,R.Fa;rrahi Moghaddam,and M. Cheriet, "Fsitm: A feature similarity index for tone-mapped images,'' Signalprocessing Letters, I邸Ε,νο?. 22 ,no. 8,卵.1026-1029,2015.)，该方法采用了局 部加权的相位图，但是该方法的时间复杂度较大。
[0004] 综上所述，现有的色调映射图像质量评价方法普遍存在评价准确度低、计算复杂 等问题。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供一种设计合理、评价准确且降低计 算复杂度的基于梯度幅值相似性的色调映射图像质量评价方法。
[0006] 本发明解决其技术问题是采取W下技术方案实现的：
[0007] 基于梯度幅值相似性的色调映射图像质量评价方法，包括W下步骤：
[000引步骤1、利用五阶四方向图像梯度算子，计算原高动态化igh Dynamic Range,皿R) 图像和色调映射器转换之后的色调映射(Tone Mapped)图像的梯度图，并取计算后的梯度 幅度最大值；
[0009] 步骤2、鉴于动态范围的不同，为了可W比较，对高动态图像所对应的梯度图和色 调映射图像所对应的梯度图进行基于人类视觉系统化uman Visual System，HVS)特性非线 性修正，使梯度图的动态范围调整在0到1之间；
[0010] 步骤3、利用几何平均与算数平均之比计算修正后的梯度图对之间的相似性，并W 色调映射幅值大小对相似性图进行加权，得到整个图像的相似性值；
[0011] 步骤4、利用对比度、亮度和细节表述计算色调映射图像的自然性值；
[0012] 步骤5、将步骤3得到的相似性值和步骤4得到的自然性值进行合并，并对合并时所 采用的参数进行寻优。
[0013] 而且，所述图像梯度算子包括水平梯度算子gl、垂直梯度算子g2、对角线方向的梯 度算子的和g4，上述图像梯度算子分别表示为：
[0016] 而且，所述计算色调映射图像的梯度图的方法为：
[0017] 设TMI(x)为一副低动态范围色调映射图像，X图像中任意像素点，GMtmi(x)为最后 的梯度图，则：
[001 引
[0019]
[0020] GMtmi(x) =max{GMi(x) ,GM2(x)}
[0021] 所述计算高动态图像的梯度图的方法为：
[0022] 设HDR(x)为一副高动态范围色调映射图像，X图像中任意像素点，GMhdr(x)为最后 的梯度图，则：
[0025] GMhdr(x) =max{GMi(x) ,GM2(x)}
[00%]其中，"*"代表卷积算子。
[0027]而且，所述步骤2采用如下模型对梯度图进行修正：
[0031] A(f) - 2.6(0.019^0.114f)exp{-(0.114f)i'i}
[0032] 其中f是图像的空间频率，λ是Ke 11 y ' s对比度敏感函数中的λ，k是化ozier ' s法则 里面的k，设置f = 8圈/度/; = 12g (色调映射图像动态范围的一半）。
[0033] 而且，所述步骤3计算梯度图对的公式为(假设GM'h(x)和GMt'（x)为修正后的高动 态梯度图和色调映射梯度图）：
[0034]
[003引其中，Κι是很小的常数W保持S?(x)的稳定性；
[0036] 所述相似性值gscore的计算公式为：
[0037]
[003引 c0i = GM，LDR(Xi)
[0039]其中，b决定着灵敏度，i是图像中的第i个像素，ωι为权值，由于人眼更加关注图 像中的边缘部分，而梯度是对边缘的一种很好的描述，利用图像的梯度值对梯度相似性值 进行加权。
[0040]而且，所述步骤4采用如下模型计算色调映射图像的自然性N:
[0045] 其中，N为图像的自然性，Pm是图像的亮度概率密度函数Jd是图像的对比度概率密 度函数,Pf是图像的细分值,1?二115.94, 二27.99, B是Be化函数,〇d二4.4,0d二10.1 ,Κ为 Pm、Pd、Pf的中最大值，使得Ν的最大值为1。
[0046] 而且，所述步骤5对梯度相似性值和图像自然性值进行合并的方法为：
[0047] score = a X gscore+( 1-a) XN。
[004引其中，a决定着两个分量所占的比重，c决定着灵敏度；
[0049] a，b，c运Ξ个参数是通过下面的方法决定的：寻找使得客观质量值score与主观打 分的值更加拟合的参数寻优方式为:采用两个训练集，每个训练集由随机从数据库中抽取 的40张图组成，采用迭代的方式，每次参数的更新发生在运一次的迭代比上一次的迭代与 主观质量值更加的拟合。
[0050] 而且，所述参数寻优后的参数值是:a = 0.8122，b = 0.5370，c = 0.3018。
[0051] 本发明的优点和积极效果是：
[0052] 本发明设计合理，其采用能够有效捕捉到图像失真的梯度幅度相似性特征，并且 结合了图像的自然性特征（图像看起来必须自然)能够有效地对色调映射图像的质量进行 评价，有效地降低了计算的复杂度，提高了评价性能；同时，由于梯度幅度特征的有效性，使 得本发明扩展了色调映射图像质量算法领域。
【附图说明】
[0053] 图1是本发明的原理图；
[0054] 图2是实施例给出的一张高动态图经过不同的色调映射器所产生的两张色调映射 图W及对应的梯度图；
[0055] 图3是基于修正后的高动态图像的梯度图和色调映射图得到的两张梯度相似性 图。
【具体实施方式】
[0056] W下结合附图对本发明实施例做进一步详述。
[0057] -种基于梯度幅值相似性的色调映射图像质量评价方法，如图1所示，包括W下步 骤：
[0058] 步骤1、利用图像梯度算子，计算皿R图像和LDR图像的梯度图。
[0059] 在本步骤中，采用的图像梯度算子为：
[0062] 其中，gl是水平梯度算子，g2是垂直梯度算子，的和g4为对角线方向的梯度算子。
[0063] 利用五阶四方向图像梯度算子，计算原高动态化i曲Dynamic Range,皿R)图像和 色调映射器转换之后的色调映射(Tone Mapped)图像的梯度图，并取计算后的梯度幅度最 大值，计算方法如下：
[0064] 设TMI(x)为一副低动态范围色调映射图像，X图像中任意像素点，GMtmi(x)为最后 的梯度图，则：
[0067] GMtmi(x) =max{GMi(x) ,GM2(x)}
[0068] 其中，"*"代表卷积算子。
[0069] 假设HDR(x)为一副高动态范围色调映射图像，X图像中任意像素点，GMhdr(x)为最 后的梯度幅度图，贝U
[0073] 其中，"*"代表卷积算子。
[0074] 图2给出了一张色调映射图像通过本步骤得到的梯度幅度图。
[0075] 步骤2、鉴于动态范围的不同，为了可W比较，对高动态图像所对应的梯度图和色 调映射图像所对应的梯度图进行基于人类视觉系统特性非线性修正，使梯度图的动态范围 调整在ο到1之间；
[0076] 由于梯度图像动态范围的不同，为了更加有效的计算梯度图之间的相似性，在本 步骤中，对高动态图像所对应的梯度图和色调映射图像所对应的梯度图进行非线性修正。 我们所用到的修正公式应该使得在高动态和 色调映射图中同样重要的部分和同样不重要 的部分不被惩罚，而去惩罚在高动态图像中非常重要在色调映射图像中不重要的部分和在 高动态图像中不重要而在色调映射图像中非常重要的部分。
[0077] 本实施例最终下式对梯度图进行修正。表达式如下：
[0081 ] A(f) - 2.6(0.019^0.114f)exp{-(0.114f)i'i}
[0082] 其中f是图像的空间频率，λ是Ke 11 y ' s对比度敏感函数中的λ，k是化ozier ' s法则 里面的k，设置f = 8圈/度，^ = (色调映射图像动态范围的一半）。
[0083] 步骤3、利用几何平均与算数平均之比计算修正后的梯度图对之间的相似性，并W 色调映射幅值大小对相似性图进行加权，得到整个图像的相似性值；
[0084] 在本步骤中，计算梯度图对的公式为假设GM'h(x)和GMt'（x)为修正后的高动态梯 度图和色调映射梯度图：
[0085]
[0086] 其中，Κι是很小的常数来保持Sgm(x)的稳定性，由于Κι对结果影响小，可W随机取 值。
[0087] 图像梯度幅度相似性值gscore的计算公式为：
[008引
[0089] ω i = GM'LDR(Xi)
[0090] 其中，b决定着灵敏度，i是图像中的第i个像素，ωι为权值，由于人眼更加关注图 像中的边缘部分，而梯度是对边缘的一种很好的描述，利用图像的梯度值对梯度相似性值 进行加权。
[0091] 图3给出了对应于图2的梯度相似性图的例子。
[0092] 步骤4、利用对比度、亮度和细节表述计算色调映射图像的自然性值；
[0093] 调查得知图像的na化ralness特性和图像的亮度、对比度、色度、细节的丢失，和视 觉系统都有关系。但占比例较大的是图像的亮度和对比度信息和细节。于是图像的自然性 被建模为图像的对比度和亮度的联合概率密度。具体如下：
[0094] 图像的亮度信息被建模为高斯型的随机变量，概率密度函数为：
[0095]
[0096] 其中，ym=115.94,〇m=27.99。
[0097] 图像的对比度信息被建模为Be化型的随机变量，概率密度函数为：
[009引
[0099] 其中，B是 Be1:a 函数，〇d = 4.4，0d=l〇. 1。
[0100] 图像的细节部分用图像的梯度幅值来表示：
[0101]
[0102] 其中，Pf为图像的梯度幅值，XI为色调映射梯度图中的第XI个像素。
[0103] 图像的自然性表示为：
[0104]
[0105] 其中，K为Pm，Pd，Pf的中最大值，使得N的最大值为1。
[0106] 步骤5、将步骤3得到的相似性值和步骤4得到的自然性值进行合并，并对合并时所 采用的参数进行寻优。
[0107] 在本步骤中，相似性值和自然性值合并的计算公式为：
[0108] score = a X gscore+( 1-a) X
[0109] 其中a决定着两个分量所占的比重，c决定着灵敏度。
[0110] a，b，c运Ξ个参数是通过下面的方法决定的：寻找使得客观质量值score与主观打 分的值更加拟合的。参数寻优方式为:采用两个训练集，每个训练集由随机从数据库中抽取 的40张图组成，采用迭代的方式，每次参数的更新发生在运一次的迭代比上一次的迭代与 王观质重值更加的拟合。最终得到的参数值是曰二0.8122,b = 0.5370,c = 0.3018。
[0111] 下面按照本发明的方法进行测试，W说明本发明的实验效果。
[0112] 测试环境:matlab;
[0113] 测试图片:色调映射图像评价的数据库，运些色调映射图像来至8个TM0:
[0114] 713x535:皿 R 图像（15 张）
[0115] 713x535:LDR 图像（120 张）
[0116] 斯皮尔曼相关系数（Spearman rank order correlation coeffi-cient，SROCC) 和肯德尔相关系数化endall's rank correlation coefficient，KR0CC)常被用来图像质 量评价算法的性能。SROCC和KROCC分别定义如下：
[0117] 令Xi为第i个主观值，Yi是第i个客观质量值在一个有N个数据的序列对中。xi是Xi 在N中的独立排列顺序，yi是Yi在N中的独立排列顺序。
[0118] 斯皮尔曼相关系数SROCC计算表达式：
[0119]
[0120] 其中X '和y '分别为XI和yi的平均值。
[0121 ]肯德尔相关系数KR0CC的计算表达式为：
[0122]
[0123] 其中，N。是Nd和是数据序列中排序后的顺序中一致的数字对和不一致的数字对的 个数。
[0124] 斯皮尔曼相关系数SR0CC和坎德尔相关系数KR0CC的值越接近于1，说明所衡量的 算法的性能越好。
[01 巧]本发明与基于特征提取的Fsitm:A feature similarity index for tone-mapped images 中的方法进行 比较。 Fs i tm给出了 Ξ种算法 ，分别为FSITMR ， FSITMG ， FSITMB 。
[0126] 测试结果如下：
[0127] 测试结果如下:表一、与主观质量拟合结果 [012 引
[0129] 实验结论：
[0130] 根据表一，可W看出本发明不管是斯皮尔曼相关系数SR0CC的中位数还是平均值， 在本表所列举的所有方法中都是最大的。坎德尔相关系数KR0CC的中位数和平均值中，本发 明也是最高的。运说明本发明得到的客观质量值与主观质量值更加的拟合，亦可W说明本 发明更加的符合人眼的特性。
[0131]需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包 括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本发明的技术方案 得出的其他实施方式，同样属于本发明保护的范围。
【主权项】
1. 基于梯度幅值相似性的色调映射图像质量评价方法，其特征在于包括以下步骤： 步骤1、利用五阶四方向图像梯度算子，计算原高动态图像和色调映射器转换之后的色 调映射图像的梯度图，并取计算后的梯度幅度最大值； 步骤2、鉴于动态范围的不同，为了可以比较，对高动态图像所对应的梯度图和色调映 射图像所对应的梯度图进行基于人类视觉系统特性非线性修正，使梯度图的动态范围调整 在O到1之间； 步骤3、利用几何平均与算数平均之比计算修正后的梯度图对之间的相似性，并以色调 映射幅值大小对相似性图进行加权，得到整个图像的相似性值； 步骤4、利用对比度、亮度和细节表述计算色调映射图像的自然性值； 步骤5、将步骤3得到的相似性值和步骤4得到的自然性值进行合并，并对合并时所采用 的参数进行寻优。2. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述五阶四方向图像梯度算子包括水平梯度算子gl、垂直梯度算子g2、对角线方向的 梯度算子g3和g4，上述图像梯度算子分别表示为：3. 根据权利要求2所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述计算色调映射图像的梯度图的方法为： 设TMI (X)为一副低动态范围色调映射图像，X为图像中任意像素点，GMtmi (X)为最后的 梯度图，则：GMtmi(x) =max{GMi(x)，GM2(x)} 所述计算高动态图像的梯度图的方法为： 设HDR (X)为一副尚动态范围色调映射图像，X图像中任意像素点，GMhdr (X)为最后的梯 度图，则：其中，代表卷积算子。4. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤2采用如下模型对梯度图进行修正：A(f) * 2.6(0.0192+0.lHDexpt-CO.lHf)1'1} 其中f是图像的空间频率，λ是Ke 11y ' s对比度敏感函数中的λ，k是Croz i er ' s法则里面 的k，设置f = 8圈/度，^ = 128 (色调映射图像动态范围的一半）。5. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤3计算梯度图对的公式为(假设GM' h(X)和GM7t(X)为修正后的高动态梯度图 和色调映射梯度图）：其中，K1是很小的常数以保持So1(X)的稳定性； 所述相似性值gscore的计算公式为：ω i = GM'LDR(Xi) 其中，b决定着灵敏度，i是图像中的第i个像素，CO1为权值，由于人眼更加关注图像中的 边缘部分，而梯度是对边缘的一种很好的描述，利用图像的梯度值对梯度相似性值进行加 权。6. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤4采用如下模型计算色调映射图像的自然性N:其中，N为图像的自然性，?》是图像的亮度概率密度函数，Pd是图像的对比度概率密度函 数，Pf是图像的细节分值，μm=115·94，σm=27·99，B是Beta函数，σd = 4·4，βd = 10·l，K为Pm、 Pd、Pf的中最大值，使得N的最大值为1。7. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤5对梯度相似性值和图像自然性值进行合并的方法为： score = aXgscore+(l_a) XNc 其中，a决定着两个分量所占的比重，c决定着灵敏度； a，b，c这三个参数是通过下面的方法决定的：寻找使得客观质量值score与主观打分的 值更加拟合的参数寻优方式为:采用两个训练集，每个训练集由随机从数据库中抽取的40 张图组成，采用迭代的方式，每次参数的更新发生在这一次的迭代比上一次的迭代与主观 质量值更加的拟合。8. 根据权利要求7所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述参数寻优后的参数值是:a = 0.8122, b = 0.5370, c = 0.3018。
【专利摘要】本发明提出了一种基于梯度幅值相似性的色调映射图像质量评价方法，属于图像处理领域。本发明提出的方法包括步骤：1)计算高动态图像和色调映射器转换之后的色调映射图像的梯度图；2)对高动态图像和色调映射图像所对应的梯度图进行基于人类视觉系统的动态范围调整；3)计算梯度图对之间的相似性，并以色调映射幅值大小作为权值；4)利用对比度、亮度和细节表述计算色调映射图像的自然性值；5)将相似性值和自然性值进行合并。本发明设计合理，其采用能够有效捕捉到图像失真的梯度幅度相似性特征，并且结合了图像的自然性特征(图像看起来必须自然)能够有效地对色调映射图像的质量进行评价，提高了评价性能。
【IPC分类】H04N17/02, H04N17/00
【公开号】CN105491371
【申请号】CN201510800435
【发明人】卢艳平, 郭晓强, 王东飞, 周芸, 王琳, 饶丰, 涂钦
【申请人】国家新闻出版广电总局广播科学研究院
【公开日】2016年4月13日
【申请日】2015年11月19日
【技术领域】
[0001] 本发明属于图像质量评价技术领域，尤其是一种基于梯度幅值相似性的色调映射 图像质量评价方法。
【背景技术】
[0002] 高动态范围图像化igh Dynamic Range,简称HDR)，相比普通图像，可W提供更多 的动态范围和图像细节，因此，HDR图像变得越来越流行。但是普通的显示设备只能显示低 动态范围化OW Dynamic Range,简称LDR)图像。为了正常的显示LDR图像，需要将其转化为 LDR图像。运个转化过程就叫做色调映射(tone mapping)。近些年来，涌现了有很多的色调 映射器(tone mapping operator,简称TM0)。由于图像动态范围的改变，转换后的图像质量 的评价变得非常重要。对色调映射图像(tone-mapped images)质量的评价，可W用来评估 色调映射器的好坏，也可W用来调整色调映射器的性能。传统上，色调映射图像采用主观的 方式进行评价，即通过人眼在一定的外界环境下，去看一幅图像，根据人的主观感受来对图 像的质量进行打分。但是主观评价的方式费时费力，并且容易受到打分者情绪的影响，所W 客观质量评价变的越来越被重视。由于色调映射图像和其原来的图像的动态范围不相同， 因此经典的方法是有参考图像质量评价方法，没有办法直接的应用。运也使得色调映射图 像质量的客观评价变得困难。
[0003] 现有的色调映射图像质量评价方法主要有：文献（T . 0 . A y d i η，R . Μ a η t i U k， K.Myszkowski,and H.-P. Seidel ,"Dynamic range independent image quality assessmentin ACM Transactions on Graphics(TOG),vol.27,no.3.ACM,2008,p.69.) $：^ltjt(R.M.A,S.D.B,K.M.A,and H.peter Seidel A, "Predicting visible differences in high dynamic range images-model and its calibration,''in Human Vision and Electronic Imaging X,IS&T/SPIEs 17th Annual Symposium on Electronic Imaging 2005，pp.204-214.)的基础上发展了一种可W表明可视化特征损失，可视化特征幅度和对 比度极性反转的Ξ张独立的图像质量类型图。但是，其并没有给出整个图像最后的一个质 量分值。Yeganeh和Wang提出了一种基于结构失真度和图像自然性的质量评价方法，该方法 第一次给出了色调映射图像的质量分值，并用它来优化TM0。一种基于图像细节分析的无参 考方'法被提出（K.Gu,G.Zhai ,M.Liu,X.Yang,and W. Zhan 邑，''Detai 1 s preservation inspired blind quality metric of tone mapping methods,''in Circuits and Systems(ISCAS),2014IEEE International Symposium on.IEEE,2014,pp.518-521.)，该 方法主要研究图像细节的丢失对图像质量的影响。基于特征相似性的成功，出现了基于特 征相似性的FSITM方法化.Ziaei Nafchi ,Α.化ahkolaei ,R.Fa;rrahi Moghaddam,and M. Cheriet, "Fsitm: A feature similarity index for tone-mapped images,'' Signalprocessing Letters, I邸Ε,νο?. 22 ,no. 8,卵.1026-1029,2015.)，该方法采用了局 部加权的相位图，但是该方法的时间复杂度较大。
[0004] 综上所述，现有的色调映射图像质量评价方法普遍存在评价准确度低、计算复杂 等问题。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供一种设计合理、评价准确且降低计 算复杂度的基于梯度幅值相似性的色调映射图像质量评价方法。
[0006] 本发明解决其技术问题是采取W下技术方案实现的：
[0007] 基于梯度幅值相似性的色调映射图像质量评价方法，包括W下步骤：
[000引步骤1、利用五阶四方向图像梯度算子，计算原高动态化igh Dynamic Range,皿R) 图像和色调映射器转换之后的色调映射(Tone Mapped)图像的梯度图，并取计算后的梯度 幅度最大值；
[0009] 步骤2、鉴于动态范围的不同，为了可W比较，对高动态图像所对应的梯度图和色 调映射图像所对应的梯度图进行基于人类视觉系统化uman Visual System，HVS)特性非线 性修正，使梯度图的动态范围调整在0到1之间；
[0010] 步骤3、利用几何平均与算数平均之比计算修正后的梯度图对之间的相似性，并W 色调映射幅值大小对相似性图进行加权，得到整个图像的相似性值；
[0011] 步骤4、利用对比度、亮度和细节表述计算色调映射图像的自然性值；
[0012] 步骤5、将步骤3得到的相似性值和步骤4得到的自然性值进行合并，并对合并时所 采用的参数进行寻优。
[0013] 而且，所述图像梯度算子包括水平梯度算子gl、垂直梯度算子g2、对角线方向的梯 度算子的和g4，上述图像梯度算子分别表示为：
[0016] 而且，所述计算色调映射图像的梯度图的方法为：
[0017] 设TMI(x)为一副低动态范围色调映射图像，X图像中任意像素点，GMtmi(x)为最后 的梯度图，则：
[001 引
[0019]
[0020] GMtmi(x) =max{GMi(x) ,GM2(x)}
[0021] 所述计算高动态图像的梯度图的方法为：
[0022] 设HDR(x)为一副高动态范围色调映射图像，X图像中任意像素点，GMhdr(x)为最后 的梯度图，则：
[0025] GMhdr(x) =max{GMi(x) ,GM2(x)}
[00%]其中，"*"代表卷积算子。
[0027]而且，所述步骤2采用如下模型对梯度图进行修正：
[0031] A(f) - 2.6(0.019^0.114f)exp{-(0.114f)i'i}
[0032] 其中f是图像的空间频率，λ是Ke 11 y ' s对比度敏感函数中的λ，k是化ozier ' s法则 里面的k，设置f = 8圈/度/; = 12g (色调映射图像动态范围的一半）。
[0033] 而且，所述步骤3计算梯度图对的公式为(假设GM'h(x)和GMt'（x)为修正后的高动 态梯度图和色调映射梯度图）：
[0034]
[003引其中，Κι是很小的常数W保持S?(x)的稳定性；
[0036] 所述相似性值gscore的计算公式为：
[0037]
[003引 c0i = GM，LDR(Xi)
[0039]其中，b决定着灵敏度，i是图像中的第i个像素，ωι为权值，由于人眼更加关注图 像中的边缘部分，而梯度是对边缘的一种很好的描述，利用图像的梯度值对梯度相似性值 进行加权。
[0040]而且，所述步骤4采用如下模型计算色调映射图像的自然性N:
[0045] 其中，N为图像的自然性，Pm是图像的亮度概率密度函数Jd是图像的对比度概率密 度函数,Pf是图像的细分值,1?二115.94, 二27.99, B是Be化函数,〇d二4.4,0d二10.1 ,Κ为 Pm、Pd、Pf的中最大值，使得Ν的最大值为1。
[0046] 而且，所述步骤5对梯度相似性值和图像自然性值进行合并的方法为：
[0047] score = a X gscore+( 1-a) XN。
[004引其中，a决定着两个分量所占的比重，c决定着灵敏度；
[0049] a，b，c运Ξ个参数是通过下面的方法决定的：寻找使得客观质量值score与主观打 分的值更加拟合的参数寻优方式为:采用两个训练集，每个训练集由随机从数据库中抽取 的40张图组成，采用迭代的方式，每次参数的更新发生在运一次的迭代比上一次的迭代与 主观质量值更加的拟合。
[0050] 而且，所述参数寻优后的参数值是:a = 0.8122，b = 0.5370，c = 0.3018。
[0051] 本发明的优点和积极效果是：
[0052] 本发明设计合理，其采用能够有效捕捉到图像失真的梯度幅度相似性特征，并且 结合了图像的自然性特征（图像看起来必须自然)能够有效地对色调映射图像的质量进行 评价，有效地降低了计算的复杂度，提高了评价性能；同时，由于梯度幅度特征的有效性，使 得本发明扩展了色调映射图像质量算法领域。
【附图说明】
[0053] 图1是本发明的原理图；
[0054] 图2是实施例给出的一张高动态图经过不同的色调映射器所产生的两张色调映射 图W及对应的梯度图；
[0055] 图3是基于修正后的高动态图像的梯度图和色调映射图得到的两张梯度相似性 图。
【具体实施方式】
[0056] W下结合附图对本发明实施例做进一步详述。
[0057] -种基于梯度幅值相似性的色调映射图像质量评价方法，如图1所示，包括W下步 骤：
[0058] 步骤1、利用图像梯度算子，计算皿R图像和LDR图像的梯度图。
[0059] 在本步骤中，采用的图像梯度算子为：
[0062] 其中，gl是水平梯度算子，g2是垂直梯度算子，的和g4为对角线方向的梯度算子。
[0063] 利用五阶四方向图像梯度算子，计算原高动态化i曲Dynamic Range,皿R)图像和 色调映射器转换之后的色调映射(Tone Mapped)图像的梯度图，并取计算后的梯度幅度最 大值，计算方法如下：
[0064] 设TMI(x)为一副低动态范围色调映射图像，X图像中任意像素点，GMtmi(x)为最后 的梯度图，则：
[0067] GMtmi(x) =max{GMi(x) ,GM2(x)}
[0068] 其中，"*"代表卷积算子。
[0069] 假设HDR(x)为一副高动态范围色调映射图像，X图像中任意像素点，GMhdr(x)为最 后的梯度幅度图，贝U
[0073] 其中，"*"代表卷积算子。
[0074] 图2给出了一张色调映射图像通过本步骤得到的梯度幅度图。
[0075] 步骤2、鉴于动态范围的不同，为了可W比较，对高动态图像所对应的梯度图和色 调映射图像所对应的梯度图进行基于人类视觉系统特性非线性修正，使梯度图的动态范围 调整在ο到1之间；
[0076] 由于梯度图像动态范围的不同，为了更加有效的计算梯度图之间的相似性，在本 步骤中，对高动态图像所对应的梯度图和色调映射图像所对应的梯度图进行非线性修正。 我们所用到的修正公式应该使得在高动态和 色调映射图中同样重要的部分和同样不重要 的部分不被惩罚，而去惩罚在高动态图像中非常重要在色调映射图像中不重要的部分和在 高动态图像中不重要而在色调映射图像中非常重要的部分。
[0077] 本实施例最终下式对梯度图进行修正。表达式如下：
[0081 ] A(f) - 2.6(0.019^0.114f)exp{-(0.114f)i'i}
[0082] 其中f是图像的空间频率，λ是Ke 11 y ' s对比度敏感函数中的λ，k是化ozier ' s法则 里面的k，设置f = 8圈/度，^ = (色调映射图像动态范围的一半）。
[0083] 步骤3、利用几何平均与算数平均之比计算修正后的梯度图对之间的相似性，并W 色调映射幅值大小对相似性图进行加权，得到整个图像的相似性值；
[0084] 在本步骤中，计算梯度图对的公式为假设GM'h(x)和GMt'（x)为修正后的高动态梯 度图和色调映射梯度图：
[0085]
[0086] 其中，Κι是很小的常数来保持Sgm(x)的稳定性，由于Κι对结果影响小，可W随机取 值。
[0087] 图像梯度幅度相似性值gscore的计算公式为：
[008引
[0089] ω i = GM'LDR(Xi)
[0090] 其中，b决定着灵敏度，i是图像中的第i个像素，ωι为权值，由于人眼更加关注图 像中的边缘部分，而梯度是对边缘的一种很好的描述，利用图像的梯度值对梯度相似性值 进行加权。
[0091] 图3给出了对应于图2的梯度相似性图的例子。
[0092] 步骤4、利用对比度、亮度和细节表述计算色调映射图像的自然性值；
[0093] 调查得知图像的na化ralness特性和图像的亮度、对比度、色度、细节的丢失，和视 觉系统都有关系。但占比例较大的是图像的亮度和对比度信息和细节。于是图像的自然性 被建模为图像的对比度和亮度的联合概率密度。具体如下：
[0094] 图像的亮度信息被建模为高斯型的随机变量，概率密度函数为：
[0095]
[0096] 其中，ym=115.94,〇m=27.99。
[0097] 图像的对比度信息被建模为Be化型的随机变量，概率密度函数为：
[009引
[0099] 其中，B是 Be1:a 函数，〇d = 4.4，0d=l〇. 1。
[0100] 图像的细节部分用图像的梯度幅值来表示：
[0101]
[0102] 其中，Pf为图像的梯度幅值，XI为色调映射梯度图中的第XI个像素。
[0103] 图像的自然性表示为：
[0104]
[0105] 其中，K为Pm，Pd，Pf的中最大值，使得N的最大值为1。
[0106] 步骤5、将步骤3得到的相似性值和步骤4得到的自然性值进行合并，并对合并时所 采用的参数进行寻优。
[0107] 在本步骤中，相似性值和自然性值合并的计算公式为：
[0108] score = a X gscore+( 1-a) X
[0109] 其中a决定着两个分量所占的比重，c决定着灵敏度。
[0110] a，b，c运Ξ个参数是通过下面的方法决定的：寻找使得客观质量值score与主观打 分的值更加拟合的。参数寻优方式为:采用两个训练集，每个训练集由随机从数据库中抽取 的40张图组成，采用迭代的方式，每次参数的更新发生在运一次的迭代比上一次的迭代与 王观质重值更加的拟合。最终得到的参数值是曰二0.8122,b = 0.5370,c = 0.3018。
[0111] 下面按照本发明的方法进行测试，W说明本发明的实验效果。
[0112] 测试环境:matlab;
[0113] 测试图片:色调映射图像评价的数据库，运些色调映射图像来至8个TM0:
[0114] 713x535:皿 R 图像（15 张）
[0115] 713x535:LDR 图像（120 张）
[0116] 斯皮尔曼相关系数（Spearman rank order correlation coeffi-cient，SROCC) 和肯德尔相关系数化endall's rank correlation coefficient，KR0CC)常被用来图像质 量评价算法的性能。SROCC和KROCC分别定义如下：
[0117] 令Xi为第i个主观值，Yi是第i个客观质量值在一个有N个数据的序列对中。xi是Xi 在N中的独立排列顺序，yi是Yi在N中的独立排列顺序。
[0118] 斯皮尔曼相关系数SROCC计算表达式：
[0119]
[0120] 其中X '和y '分别为XI和yi的平均值。
[0121 ]肯德尔相关系数KR0CC的计算表达式为：
[0122]
[0123] 其中，N。是Nd和是数据序列中排序后的顺序中一致的数字对和不一致的数字对的 个数。
[0124] 斯皮尔曼相关系数SR0CC和坎德尔相关系数KR0CC的值越接近于1，说明所衡量的 算法的性能越好。
[01 巧]本发明与基于特征提取的Fsitm:A feature similarity index for tone-mapped images 中的方法进行 比较。 Fs i tm给出了 Ξ种算法 ，分别为FSITMR ， FSITMG ， FSITMB 。
[0126] 测试结果如下：
[0127] 测试结果如下:表一、与主观质量拟合结果 [012 引
[0129] 实验结论：
[0130] 根据表一，可W看出本发明不管是斯皮尔曼相关系数SR0CC的中位数还是平均值， 在本表所列举的所有方法中都是最大的。坎德尔相关系数KR0CC的中位数和平均值中，本发 明也是最高的。运说明本发明得到的客观质量值与主观质量值更加的拟合，亦可W说明本 发明更加的符合人眼的特性。
[0131]需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包 括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本发明的技术方案 得出的其他实施方式，同样属于本发明保护的范围。
【主权项】
1. 基于梯度幅值相似性的色调映射图像质量评价方法，其特征在于包括以下步骤： 步骤1、利用五阶四方向图像梯度算子，计算原高动态图像和色调映射器转换之后的色 调映射图像的梯度图，并取计算后的梯度幅度最大值； 步骤2、鉴于动态范围的不同，为了可以比较，对高动态图像所对应的梯度图和色调映 射图像所对应的梯度图进行基于人类视觉系统特性非线性修正，使梯度图的动态范围调整 在O到1之间； 步骤3、利用几何平均与算数平均之比计算修正后的梯度图对之间的相似性，并以色调 映射幅值大小对相似性图进行加权，得到整个图像的相似性值； 步骤4、利用对比度、亮度和细节表述计算色调映射图像的自然性值； 步骤5、将步骤3得到的相似性值和步骤4得到的自然性值进行合并，并对合并时所采用 的参数进行寻优。2. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述五阶四方向图像梯度算子包括水平梯度算子gl、垂直梯度算子g2、对角线方向的 梯度算子g3和g4，上述图像梯度算子分别表示为：3. 根据权利要求2所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述计算色调映射图像的梯度图的方法为： 设TMI (X)为一副低动态范围色调映射图像，X为图像中任意像素点，GMtmi (X)为最后的 梯度图，则：GMtmi(x) =max{GMi(x)，GM2(x)} 所述计算高动态图像的梯度图的方法为： 设HDR (X)为一副尚动态范围色调映射图像，X图像中任意像素点，GMhdr (X)为最后的梯 度图，则：其中，代表卷积算子。4. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤2采用如下模型对梯度图进行修正：A(f) * 2.6(0.0192+0.lHDexpt-CO.lHf)1'1} 其中f是图像的空间频率，λ是Ke 11y ' s对比度敏感函数中的λ，k是Croz i er ' s法则里面 的k，设置f = 8圈/度，^ = 128 (色调映射图像动态范围的一半）。5. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤3计算梯度图对的公式为(假设GM' h(X)和GM7t(X)为修正后的高动态梯度图 和色调映射梯度图）：其中，K1是很小的常数以保持So1(X)的稳定性； 所述相似性值gscore的计算公式为：ω i = GM'LDR(Xi) 其中，b决定着灵敏度，i是图像中的第i个像素，CO1为权值，由于人眼更加关注图像中的 边缘部分，而梯度是对边缘的一种很好的描述，利用图像的梯度值对梯度相似性值进行加 权。6. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤4采用如下模型计算色调映射图像的自然性N:其中，N为图像的自然性，?》是图像的亮度概率密度函数，Pd是图像的对比度概率密度函 数，Pf是图像的细节分值，μm=115·94，σm=27·99，B是Beta函数，σd = 4·4，βd = 10·l，K为Pm、 Pd、Pf的中最大值，使得N的最大值为1。7. 根据权利要求1所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述步骤5对梯度相似性值和图像自然性值进行合并的方法为： score = aXgscore+(l_a) XNc 其中，a决定着两个分量所占的比重，c决定着灵敏度； a，b，c这三个参数是通过下面的方法决定的：寻找使得客观质量值score与主观打分的 值更加拟合的参数寻优方式为:采用两个训练集，每个训练集由随机从数据库中抽取的40 张图组成，采用迭代的方式，每次参数的更新发生在这一次的迭代比上一次的迭代与主观 质量值更加的拟合。8. 根据权利要求7所述的基于梯度幅值相似性的色调映射图像质量评价方法，其特征 在于:所述参数寻优后的参数值是:a = 0.8122, b = 0.5370, c = 0.3018。
【专利摘要】本发明提出了一种基于梯度幅值相似性的色调映射图像质量评价方法，属于图像处理领域。本发明提出的方法包括步骤：1)计算高动态图像和色调映射器转换之后的色调映射图像的梯度图；2)对高动态图像和色调映射图像所对应的梯度图进行基于人类视觉系统的动态范围调整；3)计算梯度图对之间的相似性，并以色调映射幅值大小作为权值；4)利用对比度、亮度和细节表述计算色调映射图像的自然性值；5)将相似性值和自然性值进行合并。本发明设计合理，其采用能够有效捕捉到图像失真的梯度幅度相似性特征，并且结合了图像的自然性特征(图像看起来必须自然)能够有效地对色调映射图像的质量进行评价，提高了评价性能。
【IPC分类】H04N17/02, H04N17/00
【公开号】CN105491371
【申请号】CN201510800435
【发明人】卢艳平, 郭晓强, 王东飞, 周芸, 王琳, 饶丰, 涂钦
【申请人】国家新闻出版广电总局广播科学研究院
【公开日】2016年4月13日
【申请日】2015年11月19日
最新回复(0)