基于视觉注意力的图像质量检测方法
基于视觉注意力的图像质量检测方法
【技术领域】
[0001] 本发明涉及一种图像质量检测方法，尤其是一种基于视觉注意力的图像质量检测 方法，其能够运用计算模型尽可能地模拟人类主观意识进行图像质量的评估。
【背景技术】
[0002] 目前，对图像质量进行客观评价的方法有多种，包括PSNR、SSM、VIF、SEDLAI和 IGM等。但是，这些现有方法均存在与人类视觉系统（即HumanVisualSystem，简称HVS) 的主观评价结果不相符的缺陷。
[0003] 以VIF(即视觉信息保真度，VisualInformationFidelity，简称VIF)法为例。
[0004] VIF最初应用于自然感图像质量评价，依赖于自然场景统计模型、图像信号失真通 道和人眼视觉失真模型。如图1所示的VIF评价模型示意图，VIF评价模型需满足以下假 设：⑴图像源的统计分布满足GSM(S卩GaussianScaleMixture，简称GSM)模型；（2)图 像小波域系数不相关，各小波子带相互独立；(3)人眼视觉失真解释为内部神经元的噪声 特性；(4)输入信号（参考图像系数）和输出信号（失真图像系数）均已知。
[0005] 即VIF评价模型中假设输入图像、图像失真通道、失真图像模型均是精确的，利用 I(C;E|z)和I(C;F|z)分别表示人眼能够理想的从输入图像和失真图像特定子带中提取的 信息。I(C;E|z)解释为输入图像信息内容，I(C;F|z)解释为输入图像和失真图像的互信 息值。该值在视觉上从失真图像相对于输入图像中出现的信息内容中提取，由于各小波子 带相互独立，则两种信息测量的比例能够扩展到多个子带，
分 别是第k个子带相应的互信息测量，其中k是子带数，VIF指标可表示为：
[0007] 图像信息质量检测目的是运用计算模型尽可能地模拟主观意识进行图像质量的 评估。而现有的图像信息质量检测方法尚不能获得与人类主观评测最为一致的结果。
【发明内容】
[0008] 为了克服现有技术的上述缺陷，本发明目的在于提供一种基于视觉注意力的图像 质量检测方法，其能够获得与人类主观评测更为一致的结果。
[0009] 为了达到上述目的，本发明提供的主要技术方案包括：
[0010] 一种基于视觉注意力的图像质量检测方法，其主要是在视觉信息保真度（VIF)方 法的基础上，结合以方差为视觉决断因素的图像结构信息分析，来建立模拟人类视觉系统 对图像的视觉注意力分布模型。
[0011] 本发明一个实施例的图像质量检测方法，其主要步骤包括：
[0012] S1、对图像不同区域内的结构信息复杂度进行方差计算；
[0013] S3、依据不同图像区域的结构信息复杂度方差对VIF方法加权计算；
[0014] S4、最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质 量评估。
[0015] 本发明一个实施例的图像质量检测方法，其中，步骤S1具体是：对图像分块处理， 并分别计算每块图像的像素点像素值方差。
[0016] 本发明一个实施例的图像质量检测方法，其中，一张图片的方差是以下式表示 的：
[0017]
其中，Xi表示在图像中i点的像素值，J表示一张图片的平均像 素。
[0018] 上述任一种图像质量检测方法，其中，步骤S3之前，还包括步骤S2、根据设定的阈 值进行无用信息剔除操作。
[0019] 本发明一个实施例的图像质量检测方法，其中，步骤S3中，加权因子是以下式表 示的：
[0020]
其中，阙值T是根据最初的图像方差平均值确定的，即T =又0，且入=0? 1。
[0021] 本发明一个实施例的图像质量检测方法，其中，对于i规模下的第j个区域，其权 重被定义为：
[0023] 本发明一个实施例的图像质量检测方法，其中，经方差加权的视觉信息保真度是 以下式表示的：
[0025] 其中，只有参考图像（即原始图像）与模糊图像（即经过传输损耗的图像）在同 一比例时可得到标准化权重。因此，计算权重时，参考图像与模糊图像在同一比例。
[0026] 基于前述方法，本发明相较现有技术的优点是：本发明的图像质量检测方法，能够 获得与人类主观评测更为一致的结果。
【附图说明】
[0027] 图1为现有技术中的VIF评价|旲型不意图；
[0028] 图2为本发明一个实施例的方法的整体流程图；
[0029] 图3为采用本发明的方法对一幅图像中的不同区域进行选取及选取区域的局部 放大示意图（其中，区域a的方差为4. 33,区域b的方差为66. 39);
[0030] 图4为采用本发明的方法与采用现有技术中的方法分别得到的同一幅模糊图像 中的DM0S相对客观IQA算法的散点图（其中，图（a)为本发明的VVIF，图（b)为现有的 VIF，图（c)为现有的SSM，图（d)为现有的PSNR，图（e)为现有的SEDLAI，图（f)为现有的 IGM) 〇
【具体实施方式】
[0031] 为了更好的解释本发明，以便于理解，下面结合附图，通过【具体实施方式】对本发明 作详细说明。
[0032] 本发明的一种基于视觉注意力的图像质量检测方法，在使用视觉信息保真度 (VIF)方法的基础上，增加了以方差为视觉决断因素的图像结构信息分析，并以此建立模拟 人类视觉系统对图像的视觉注意力分布模型，将图像分块处理并通过分别计算每块图像的 结构信息复杂度方差，依据不同图像区域的结构信息复杂度方差对VIF方法加权计算，最 终对比参考图像评估图像质量。本发明的方法可实现模拟人类视觉系统对图像的主观质量 评估，从而有效解决了传统客观图形质量评估的低实用性和对主观图像质量评估的低一致 性问题。
[0033] 其中，本发明基于高斯混合模型（GMM)和视觉信息保真度（VIF)方法，通过"对图 像不同区域内像素点像素值进行方差计算，并根据先验知识设定的阈值进行无用信 息剔除 操作，之后依据图像不同区域的方差计算结果进行VIF方法加权，模拟人类视觉系统对图 像不同区域的视觉注意力分配"来模拟人类视觉注意力的方法，尤其适合于实现对2D平面 图像的图像质量评估。
[0034] 在图像质量检测中，视觉注意力扮演了非常重要的角色，在一张给定的图片中人 类视觉系统将会对感兴趣的区域赋予更多的视觉注意力，在本发明的方法中，由于使用方 差所代表的结构信息来计算视觉注意力，使得本发明的方法相较其他客观图像质量评估方 法和人类主观评测分数一致性最高。
[0035] 下面结合一具体实施例对本发明的方法作详细说明，参见图2,本发明的一种基于 视觉注意力的图像质量检测方法，其包括：
[0036] S1、对图像不同区域内的结构信息复杂度进行方差计算；
[0037] S2、根据设定的阈值进行无用信息剔除操作；
[0038] S3、依据不同图像区域的结构信息复杂度方差对VIF方法加权计算；
[0039] S4、最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质 量评估。
[0040] 具体的，以图3所示的图像为例，可以将它的方差表示为：
[0042] 其中Xi表示在图像中i点的像素值，x表示一张图片的平均像素。
[0043] 例如，将图片区分为若干个区域时，其中，区域a的方差为4. 33,区域b的方差为 66. 39,所以在这张图片中，我们可以认为人类视觉系统将会赋予区域b更多的视觉注意 力。
[0044] 另外，由于人类视觉系统将不会赋予包含较少信息的图像区域以视觉注意力，因 此，为了将焦点放在包含更多图像信息的区域上，可以直接忽略仅包含少量信息的图像区 域。
[0045] 其中，可以通过阈值函数（阈值T)来选择有用的区域。
[0046] 例如，将加权因子表示为：
[0047] 其中，阈值T取决于最初的图像方差平均值，
[0049]由此，对于i规模下的第j个区域，其权重被定义为：
[0051] 由于，只有参考图像（即原始图像）与模糊图像（即经过传输损耗的图像）在同 一比例时可得到标准化权重，因此，依据已有VIF算法结合本发明的权重处理所得的方差 加权视觉信息保真度可以表示为：
[0053] 通常情况下（除模糊图像被过度增强外），VVIF的值在0-1之间，当参考图像与模 糊图像相似度极高时，VVIF= 1。
[0054] 为了进一步说明本发明的有益效果，下面结合具体实施例对本发明的方法与现有 技术的方法进行对比，具体的，是将其与PSNR、SSM、VIF、SEDLAI和IGM这些现有方法进行 实验对比，并通过三个评估指标（最高的CC值和最小的MAE和RMSE值）来对比测算不同 IQA算法的性能。具体实验结果参见表1、表2、表3 :
[0055] 表1.各失真类型下CC性能的比较
[0057] 表2.各失真类型下MAE性能的比较
[0059] 表3.各失真类型下RMS性能的比较
[0061] 对比上述结果可知，由于本发明的VVIF算法所采用的视觉注意力算法可以针对 图像不同的区域进行不同的处理，因此，其在所有算法中有着最小的标准误差，因此，本发 明的VVIF算法相较现有算法有更加贴近人类视觉系统对图像评估的结果。
[0062] 再参见图4,图中展示了VVIF和对比算法的散点图，由图中可以明显的看出，本发 明的VVIF算法相较现有算法更加贴近人类视觉系统对图像评估的结果。
【主权项】
1. 一种基于视觉注意力的图像质量检测方法，其特征在于，主要是在视觉信息保真度 方法的基础上，结合以方差为视觉决断因素的图像结构信息分析，来建立模拟人类视觉系 统对图像的视觉注意力分布模型。2. 如权利要求1所述的图像质量检测方法，其特征在于，包括步骤： S1、对图像不同区域内的结构信息复杂度进行方差计算； 53、 依据不同图像区域的结构信息复杂度方差对视觉信息保真度方法加权计算； 54、 最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质量评 估。3. 如权利要求2所述的图像质量检测方法，其特征在于，步骤Sl具体是：对图像分块 处理，并分别计算每块图像的像素点像素值方差。4. 如权利要求3所述的图像质量检测方法，其特征在于，一张图片的方差是以下式表 示的：其中，Xi表示在图像中i点的像素值，i表示一张图片的平均像素。5. 如权利要求2、3或4所述的图像质量检测方法，其特征在于：步骤S3之前，还包括 步骤S2、根据设定的阈值进行无用信息剔除操作。6. 如权利要求5所述的图像质量检测方法，其特征在于，步骤S3中，加权因子是以下式 表不的：其中，阙值T是根据最初的图像方差平均值确定的，即 T = /1(7，且 λ =〇. 1。7. 如权利要求6所述的图像质量检测方法，其特征在于，对于i规模下的第j个区域， 其权重被定义为：8. 如权利要求7所述的图像质量检测方法，其特征在于：经方差加权的视觉信息保真 度是以下式表示的：9. 如权利要求8所述的图像质量检测方法，其特征在于：计算权重时，参考图像与模糊 图像在同一比例。
【专利摘要】本发明涉及一种基于视觉注意力的图像质量检测方法，其主要是在视觉信息保真度(VIF)方法的基础上，结合以方差为视觉决断因素的图像结构信息分析，来建立模拟人类视觉系统对图像的视觉注意力分布模型。其首先对图像不同区域内的结构信息复杂度进行方差计算，再依据不同图像区域的结构信息复杂度方差对VIF方法加权计算，并最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质量评估。本发明的图像质量检测方法，能够获得与人类主观评测更为一致的结果。
【IPC分类】G06T7/00
【公开号】CN104899893
【申请号】CN201510377209
【发明人】刘欣刚, 兰泽华, 李玉
【申请人】电子科技大学
【公开日】2015年9月9日
【申请日】2015年7月1日
【技术领域】
[0001] 本发明涉及一种图像质量检测方法，尤其是一种基于视觉注意力的图像质量检测 方法，其能够运用计算模型尽可能地模拟人类主观意识进行图像质量的评估。
【背景技术】
[0002] 目前，对图像质量进行客观评价的方法有多种，包括PSNR、SSM、VIF、SEDLAI和 IGM等。但是，这些现有方法均存在与人类视觉系统（即HumanVisualSystem，简称HVS) 的主观评价结果不相符的缺陷。
[0003] 以VIF(即视觉信息保真度，VisualInformationFidelity，简称VIF)法为例。
[0004] VIF最初应用于自然感图像质量评价，依赖于自然场景统计模型、图像信号失真通 道和人眼视觉失真模型。如图1所示的VIF评价模型示意图，VIF评价模型需满足以下假 设：⑴图像源的统计分布满足GSM(S卩GaussianScaleMixture，简称GSM)模型；（2)图 像小波域系数不相关，各小波子带相互独立；(3)人眼视觉失真解释为内部神经元的噪声 特性；(4)输入信号（参考图像系数）和输出信号（失真图像系数）均已知。
[0005] 即VIF评价模型中假设输入图像、图像失真通道、失真图像模型均是精确的，利用 I(C;E|z)和I(C;F|z)分别表示人眼能够理想的从输入图像和失真图像特定子带中提取的 信息。I(C;E|z)解释为输入图像信息内容，I(C;F|z)解释为输入图像和失真图像的互信 息值。该值在视觉上从失真图像相对于输入图像中出现的信息内容中提取，由于各小波子 带相互独立，则两种信息测量的比例能够扩展到多个子带，
分 别是第k个子带相应的互信息测量，其中k是子带数，VIF指标可表示为：
[0007] 图像信息质量检测目的是运用计算模型尽可能地模拟主观意识进行图像质量的 评估。而现有的图像信息质量检测方法尚不能获得与人类主观评测最为一致的结果。
【发明内容】
[0008] 为了克服现有技术的上述缺陷，本发明目的在于提供一种基于视觉注意力的图像 质量检测方法，其能够获得与人类主观评测更为一致的结果。
[0009] 为了达到上述目的，本发明提供的主要技术方案包括：
[0010] 一种基于视觉注意力的图像质量检测方法，其主要是在视觉信息保真度（VIF)方 法的基础上，结合以方差为视觉决断因素的图像结构信息分析，来建立模拟人类视觉系统 对图像的视觉注意力分布模型。
[0011] 本发明一个实施例的图像质量检测方法，其主要步骤包括：
[0012] S1、对图像不同区域内的结构信息复杂度进行方差计算；
[0013] S3、依据不同图像区域的结构信息复杂度方差对VIF方法加权计算；
[0014] S4、最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质 量评估。
[0015] 本发明一个实施例的图像质量检测方法，其中，步骤S1具体是：对图像分块处理， 并分别计算每块图像的像素点像素值方差。
[0016] 本发明一个实施例的图像质量检测方法，其中，一张图片的方差是以下式表示 的：
[0017]
其中，Xi表示在图像中i点的像素值，J表示一张图片的平均像 素。
[0018] 上述任一种图像质量检测方法，其中，步骤S3之前，还包括步骤S2、根据设定的阈 值进行无用信息剔除操作。
[0019] 本发明一个实施例的图像质量检测方法，其中，步骤S3中，加权因子是以下式表 示的：
[0020]
其中，阙值T是根据最初的图像方差平均值确定的，即T =又0，且入=0? 1。
[0021] 本发明一个实施例的图像质量检测方法，其中，对于i规模下的第j个区域，其权 重被定义为：
[0023] 本发明一个实施例的图像质量检测方法，其中，经方差加权的视觉信息保真度是 以下式表示的：
[0025] 其中，只有参考图像（即原始图像）与模糊图像（即经过传输损耗的图像）在同 一比例时可得到标准化权重。因此，计算权重时，参考图像与模糊图像在同一比例。
[0026] 基于前述方法，本发明相较现有技术的优点是：本发明的图像质量检测方法，能够 获得与人类主观评测更为一致的结果。
【附图说明】
[0027] 图1为现有技术中的VIF评价|旲型不意图；
[0028] 图2为本发明一个实施例的方法的整体流程图；
[0029] 图3为采用本发明的方法对一幅图像中的不同区域进行选取及选取区域的局部 放大示意图（其中，区域a的方差为4. 33,区域b的方差为66. 39);
[0030] 图4为采用本发明的方法与采用现有技术中的方法分别得到的同一幅模糊图像 中的DM0S相对客观IQA算法的散点图（其中，图（a)为本发明的VVIF，图（b)为现有的 VIF，图（c)为现有的SSM，图（d)为现有的PSNR，图（e)为现有的SEDLAI，图（f)为现有的 IGM) 〇
【具体实施方式】
[0031] 为了更好的解释本发明，以便于理解，下面结合附图，通过【具体实施方式】对本发明 作详细说明。
[0032] 本发明的一种基于视觉注意力的图像质量检测方法，在使用视觉信息保真度 (VIF)方法的基础上，增加了以方差为视觉决断因素的图像结构信息分析，并以此建立模拟 人类视觉系统对图像的视觉注意力分布模型，将图像分块处理并通过分别计算每块图像的 结构信息复杂度方差，依据不同图像区域的结构信息复杂度方差对VIF方法加权计算，最 终对比参考图像评估图像质量。本发明的方法可实现模拟人类视觉系统对图像的主观质量 评估，从而有效解决了传统客观图形质量评估的低实用性和对主观图像质量评估的低一致 性问题。
[0033] 其中，本发明基于高斯混合模型（GMM)和视觉信息保真度（VIF)方法，通过"对图 像不同区域内像素点像素值进行方差计算，并根据先验知识设定的阈值进行无用信 息剔除 操作，之后依据图像不同区域的方差计算结果进行VIF方法加权，模拟人类视觉系统对图 像不同区域的视觉注意力分配"来模拟人类视觉注意力的方法，尤其适合于实现对2D平面 图像的图像质量评估。
[0034] 在图像质量检测中，视觉注意力扮演了非常重要的角色，在一张给定的图片中人 类视觉系统将会对感兴趣的区域赋予更多的视觉注意力，在本发明的方法中，由于使用方 差所代表的结构信息来计算视觉注意力，使得本发明的方法相较其他客观图像质量评估方 法和人类主观评测分数一致性最高。
[0035] 下面结合一具体实施例对本发明的方法作详细说明，参见图2,本发明的一种基于 视觉注意力的图像质量检测方法，其包括：
[0036] S1、对图像不同区域内的结构信息复杂度进行方差计算；
[0037] S2、根据设定的阈值进行无用信息剔除操作；
[0038] S3、依据不同图像区域的结构信息复杂度方差对VIF方法加权计算；
[0039] S4、最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质 量评估。
[0040] 具体的，以图3所示的图像为例，可以将它的方差表示为：
[0042] 其中Xi表示在图像中i点的像素值，x表示一张图片的平均像素。
[0043] 例如，将图片区分为若干个区域时，其中，区域a的方差为4. 33,区域b的方差为 66. 39,所以在这张图片中，我们可以认为人类视觉系统将会赋予区域b更多的视觉注意 力。
[0044] 另外，由于人类视觉系统将不会赋予包含较少信息的图像区域以视觉注意力，因 此，为了将焦点放在包含更多图像信息的区域上，可以直接忽略仅包含少量信息的图像区 域。
[0045] 其中，可以通过阈值函数（阈值T)来选择有用的区域。
[0046] 例如，将加权因子表示为：
[0047] 其中，阈值T取决于最初的图像方差平均值，
[0049]由此，对于i规模下的第j个区域，其权重被定义为：
[0051] 由于，只有参考图像（即原始图像）与模糊图像（即经过传输损耗的图像）在同 一比例时可得到标准化权重，因此，依据已有VIF算法结合本发明的权重处理所得的方差 加权视觉信息保真度可以表示为：
[0053] 通常情况下（除模糊图像被过度增强外），VVIF的值在0-1之间，当参考图像与模 糊图像相似度极高时，VVIF= 1。
[0054] 为了进一步说明本发明的有益效果，下面结合具体实施例对本发明的方法与现有 技术的方法进行对比，具体的，是将其与PSNR、SSM、VIF、SEDLAI和IGM这些现有方法进行 实验对比，并通过三个评估指标（最高的CC值和最小的MAE和RMSE值）来对比测算不同 IQA算法的性能。具体实验结果参见表1、表2、表3 :
[0055] 表1.各失真类型下CC性能的比较
[0057] 表2.各失真类型下MAE性能的比较
[0059] 表3.各失真类型下RMS性能的比较
[0061] 对比上述结果可知，由于本发明的VVIF算法所采用的视觉注意力算法可以针对 图像不同的区域进行不同的处理，因此，其在所有算法中有着最小的标准误差，因此，本发 明的VVIF算法相较现有算法有更加贴近人类视觉系统对图像评估的结果。
[0062] 再参见图4,图中展示了VVIF和对比算法的散点图，由图中可以明显的看出，本发 明的VVIF算法相较现有算法更加贴近人类视觉系统对图像评估的结果。
【主权项】
1. 一种基于视觉注意力的图像质量检测方法，其特征在于，主要是在视觉信息保真度 方法的基础上，结合以方差为视觉决断因素的图像结构信息分析，来建立模拟人类视觉系 统对图像的视觉注意力分布模型。2. 如权利要求1所述的图像质量检测方法，其特征在于，包括步骤： S1、对图像不同区域内的结构信息复杂度进行方差计算； 53、 依据不同图像区域的结构信息复杂度方差对视觉信息保真度方法加权计算； 54、 最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质量评 估。3. 如权利要求2所述的图像质量检测方法，其特征在于，步骤Sl具体是：对图像分块 处理，并分别计算每块图像的像素点像素值方差。4. 如权利要求3所述的图像质量检测方法，其特征在于，一张图片的方差是以下式表 示的：其中，Xi表示在图像中i点的像素值，i表示一张图片的平均像素。5. 如权利要求2、3或4所述的图像质量检测方法，其特征在于：步骤S3之前，还包括 步骤S2、根据设定的阈值进行无用信息剔除操作。6. 如权利要求5所述的图像质量检测方法，其特征在于，步骤S3中，加权因子是以下式 表不的：其中，阙值T是根据最初的图像方差平均值确定的，即 T = /1(7，且 λ =〇. 1。7. 如权利要求6所述的图像质量检测方法，其特征在于，对于i规模下的第j个区域， 其权重被定义为：8. 如权利要求7所述的图像质量检测方法，其特征在于：经方差加权的视觉信息保真 度是以下式表示的：9. 如权利要求8所述的图像质量检测方法，其特征在于：计算权重时，参考图像与模糊 图像在同一比例。
【专利摘要】本发明涉及一种基于视觉注意力的图像质量检测方法，其主要是在视觉信息保真度(VIF)方法的基础上，结合以方差为视觉决断因素的图像结构信息分析，来建立模拟人类视觉系统对图像的视觉注意力分布模型。其首先对图像不同区域内的结构信息复杂度进行方差计算，再依据不同图像区域的结构信息复杂度方差对VIF方法加权计算，并最终对比参考图像评估图像质量，以实现模拟人类视觉系统对图像的主观质量评估。本发明的图像质量检测方法，能够获得与人类主观评测更为一致的结果。
【IPC分类】G06T7/00
【公开号】CN104899893
【申请号】CN201510377209
【发明人】刘欣刚, 兰泽华, 李玉
【申请人】电子科技大学
【公开日】2015年9月9日
【申请日】2015年7月1日
最新回复(0)