基于卷积神经网络的无参考立体图像质量评价方法及系统
本发明涉及神经网络图像处理领域，更具体的，涉及基于卷积神经网络的无参考立体图像质量评价方法及系统。
背景技术：
1、近年来，随着立体(three-dimensional,3d)成像技术的不断发展，一些以3d形式的娱乐在日常生活中的广泛出现，例如，3d电影，3d游戏和虚拟现实。由于3d图像在采集、传输和存储过程中会产生各种失真，立体图像质量难免下降，结果直接反映到人们对立体图像的视觉感知。因此，如何有效客观地感知立体图像的质量就变得尤为重要。
2、依据评价主体的不同，立体图像质量评价(stereoscopic image qualityassessment,siqa)可以分为主观和客观两大类。主观siqa根据人的主观感知对图像进行打分，这种方式复杂耗时，限制了其现实中的推广应用。而客观siqa借助人为设计的数学模型直接对图像视觉质量进行打分，其实现方便快捷，可操作性强，因此相比主观siqa应用更加广泛。根据评价是否需要参考图像，客观siqa又可分为全参考(full reference,fr)、半参考(reduced reference,rr)和无参考(no reference,nr)三种类型。相比于fr-siqa和rr-siqa，nr-siqa可在原始图像条件下直接预测图像质量，无需任何参考图像信息，其预测过程与人眼感知过程相似，这使得nr-siqa有更为广阔的研究和应用。因此，如何建立一个有效的nr-siqa模型是亟待解决的问题。
3、早期针对siqa的研究直接借鉴二维(two-dimensional,2d)图像iqa方法评估立体图像质量，其质量评价仅取决于左右单视图的质量分数。而与平面图像的不同在于，3d图像包含同一场景的左右两幅视图，而每幅视图都可能会产生失真，当感知3d图像时，siqa需要考虑左右眼所产生的双目视觉信息。当左眼和右眼所接收的刺激相同或非常相似时，会产生双目融合；而当左眼和右眼收到的刺激不同时，会产生双目竞争，这使得评估3d图像质量具有挑战性，即设计有效的siqa，特别是考虑能够模拟更为复杂的人类视觉机制的感知模型具有重要意义。
4、在立体图像的质量评估领域，尽管基于深度学习的siqa方法已经取得了很大的进展，在一定程度上提高了预测性能，但仍存在一些不足之处。首先，现有的siqa在探索多任务质量评估方面还有待加强，尚未充分考虑到立体图像质量评估中可能涉及的多个任务因素。此外，与传统的2d-iqa方法不同，现有的基于深度学习的siqa方法存在未考虑hvs在感知立体图像时会受到双目融合和双目竞争等因素的影响，这可能会导致评价结果与真实感知结果存在显著偏差，无法准确表征人类视觉感知过程，从而限制其在质量评价任务中的性能表现。
技术实现思路
1、本发明克服了现有技术的缺陷，提出了基于卷积神经网络的无参考立体图像质量评价方法及系统。本发明旨在通过引入基于多任务cnn质量回归的方法解决现有技术中siqa未探索多任务质量评估的概念，并同时考虑到人眼双目融合和竞争的感知机制，以增强相关特征提取能力，从而有效感知立体图像的质量。通过结合失真左右视图的融合和视差信息，同时利用结合左、右和立体图像的特征进行训练，使得特征融合更加充分，保持和人类主观评价较高的一致性，最终能够达到良好的准确度和预测性能。
2、本发明第一方面提供了一种基于卷积神经网络的无参考立体图像质量评价方法，包括：
3、s1：
4、从预设立体图像数据集中选取waterloo-p1和waterloo-p2作为训练数据集并进行预处理；
5、将训练数据集根据预设比例进行划分，形成训练数据与测试数据并用于训练与测试过程；
6、将训练数据集中的3d图像进行分割，得到左右视图数据，将左右视图数据分别进行视图裁剪，形成n个不重叠32×32像素的图像块，视图裁剪后左右视图数据对应左右视图图像块；
7、s2：
8、构建基于多任务cnn质量回归的无参考立体图像质量评价模型，将左右视图图像块分别输入到评价模型中的两个子网络a、b中，每个子网络分支分别使用5个卷积层和2个全连接层实现对双目图像的特征提取，两个子网络中所有卷积层和全连接层均采用relu激活函数，两个子网络中第一、第二和第五层的卷积层结构相同且每个卷积层分别经过3×3卷积和激活函数操作，在第三层使用1×1卷积操作，在第四层使用了3×3卷积操作，经过5层卷积层结构最终得到维度为2048的特征图，将所述维度为2048的特征图经过2次全连接层计算得到512维的左、右视图的特征图；
9、将左右视图图像块进行求和以及作差运算，得到表征立体图像s与s-，将s+与s-进行拼接并输入到子网络c，表征立体图像维度为6×32×32，输入到子网络c后输出获得512维的单目特征图；
10、将512维的左、右视图的特征图与单目特征图分别进行向量化，得到三组512维的特征向量，将三组512维的特征向量经过一次全连接层计算，得到左图像预测质量分数ql、右图像预测质量分数qr和立体图像预测质量分数qs；
11、将三组512维的特征向量进行串联，形成一个大小为1536维的特征向量，并作为立体图像的全局特征，经过三次全连接操作对每个输入块进行质量回归，得到一维的全局质量预测分数qg；
12、对评价模型进行训练，训练过程中，不断缩小网络模型输出的预测质量分数和目标质量分数之间的误差，并不断优化网络模型的权值参数，其中，三个子模型激活函数应用relu激活函数，使用adam自动更新学习率的优化算法，参数batch-size大小设置为128，学习率初始化为0.00009，权重衰减因子设置为0.0001，总体损失函数由四个l1损失函数线性组合得到，总体损失函数计算公式如下所示：
13、loss＝λ1×|qg-ms|+λ2×|qs-ms|+λ3×|ql-ml|+λ4×|qr-mr
14、其中，qg、qs、ql和qr分别是全局、立体、左、右图像的预测质量分数，ms、ml、mr分别表示立体图像、左图像和右图像的平均意见得分mos，λ1、λ2、λ3和λ4表示平衡四个任务之间各个损失的权重系数，训练过程中进行多次迭代，循环更新网络参数并最小化损失函数；
15、基于3个通用指标对评价模型进行性能评估，3个通用指标分别为线性相关系数plcc、秩序系数srocc和均方根误差rmse，其中，plcc用于预测质量分数与真实目标之间的线性依赖性，srocc用于预测两个量之间的单调一致性，计算公式如下:
16、
17、其中，n代表图像块数量，oj和pj分别为预测数据集中所有图像的mos均值和客观mos，oi和pi表示测试图像的第i幅数据集提供的mos和通过模型预测的mos；
18、
19、其中，与分别代表排好序的第i个图像的主观分数和模型预测分数；
20、
21、指标rmse表示预测主观得分和预测得分之间的偏差；
22、s3：
23、基于评价模型进行立体图像质量评价，将s1中的测试数据输入到训练好的评价模型中进行质量预测，将测试数据进行视图裁剪，形成32×32像素的图像块并作为最终的模型输入数据；
24、通过求出所有图像块分数的平均值得到立体图像质量，计算公式如下：
25、
26、其中，q代表模型最终质量预测结果，n代表图像被切割后所得图像块的数量，pn代表第n个图像块的质量分数，其中，n∈[1,n]。
27、本方案中，所述进行预处理包括图像标准化预处理，所述图像块中，每个视图数据均包括划分后的n个图像块。
28、本方案中，所述子网络c为与子网络a、b相同结构的神经网络。
29、本发明第二方面还提供了一种基于卷积神经网络的无参考立体图像质量评价系统，该系统包括：存储器、处理器，所述存储器中包括基于卷积神经网络的无参考立体图像质量评价程序，所述基于卷积神经网络的无参考立体图像质量评价程序被所述处理器执行时实现如下s1～s3步骤：
30、s1：
31、从预设立体图像数据集中选取waterloo-p1和waterloo-p2作为训练数据集并进行预处理；
32、将训练数据集根据预设比例进行划分，形成训练数据与测试数据并用于训练与测试过程；
33、将训练数据集中的3d图像进行分割，得到左右视图数据，将左右视图数据分别进行视图裁剪，形成n个不重叠32×32像素的图像块，视图裁剪后左右视图数据对应左右视图图像块；
34、s2：
35、构建基于多任务cnn质量回归的无参考立体图像质量评价模型，将左右视图图像块分别输入到评价模型中的两个子网络a、b中，每个子网络分支分别使用5个卷积层和2个全连接层实现对双目图像的特征提取，两个子网络中所有卷积层和全连接层均采用relu激活函数，两个子网络中第一、第二和第五层的卷积层结构相同且每个卷积层分别经过3×3卷积和激活函数操作，在第三层使用1×1卷积操作，在第四层使用了3×3卷积操作，经过5层卷积层结构最终得到维度为2048的特征图，将所述维度为2048的特征图经过2次全连接层计算得到512维的左、右视图的特征图；
36、将左右视图图像块进行求和以及作差运算，得到表征立体图像s与s-，将s+与s-进行拼接并输入到子网络c，表征立体图像维度为6×32×32，输入到子网络c后输出获得512维的单目特征图；
37、将512维的左、右视图的特征图与单目特征图分别进行向量化，得到三组512维的特征向量，将三组512维的特征向量经过一次全连接层计算，得到左图像预测质量分数ql、右图像预测质量分数qr和立体图像预测质量分数qs；
38、将三组512维的特征向量进行串联，形成一个大小为1536维的特征向量，并作为立体图像的全局特征，经过三次全连接操作对每个输入块进行质量回归，得到一维的全局质量预测分数qg；
39、对评价模型进行训练，训练过程中，不断缩小网络模型输出的预测质量分数和目标质量分数之间的误差，并不断优化网络模型的权值参数，其中，三个子模型激活函数应用relu激活函数，使用adam自动更新学习率的优化算法，参数batch-size大小设置为128，学习率初始化为0.00009，权重衰减因子设置为0.0001，总体损失函数由四个l1损失函数线性组合得到，总体损失函数计算公式如下所示：
40、loss＝λ1×|qg-ms|+λ2×|qs-ms|+λ3×|ql-ml|+λ4×|qr-mr|
41、其中，qg、qs、ql和qr分别是全局、立体、左、右图像的预测质量分数，ms、ml、mr分别表示立体图像、左图像和右图像的平均意见得分mos，λ1、λ2、λ3和λ4表示平衡四个任务之间各个损失的权重系数，训练过程中进行多次迭代，循环更新网络参数并最小化损失函数；
42、基于3个通用指标对评价模型进行性能评估，3个通用指标分别为线性相关系数plcc、秩序系数srocc和均方根误差rmse，其中，plcc用于预测质量分数与真实目标之间的线性依赖性，srocc用于预测两个量之间的单调一致性，计算公式如下:
43、
44、其中，n代表图像块数量，oj和pj分别为预测数据集中所有图像的mos均值和客观mos，oi和pi表示测试图像的第i幅数据集提供的mos和通过模型预测的mos；
45、
46、其中，与分别代表排好序的第i个图像的主观分数和模型预测分数；
47、
48、指标rmse表示预测主观得分和预测得分之间的偏差；
49、s3：
50、基于评价模型进行立体图像质量评价，将s1中的测试数据输入到训练好的评价模型中进行质量预测，将测试数据进行视图裁剪，形成32×32像素的图像块并作为最终的模型输入数据；
51、通过求出所有图像块分数的平均值得到立体图像质量，计算公式如下：
52、
53、其中，q代表模型最终质量预测结果，n代表图像被切割后所得图像块的数量，pn代表第n个图像块的质量分数，其中，n∈[1,n]。
54、本发明公开了基于卷积神经网络的无参考立体图像质量评价方法及系统。提出了基于卷积神经网络的无参考立体图像质量评价方法及系统。本发明旨在通过引入基于多任务cnn质量回归的方法解决现有技术中siqa未探索多任务质量评估的概念，并同时考虑到人眼双目融合和竞争的感知机制，以增强相关特征提取能力，从而有效感知立体图像的质量。通过结合失真左右视图的融合和视差信息，同时利用结合左、右和立体图像的特征进行训练，使得特征融合更加充分，保持和人类主观评价较高的一致性，最终能够达到良好的准确度和预测性能。
技术特征：
1.一种基于卷积神经网络的无参考立体图像质量评价方法，其特征在于，包括：
2.根据权利要求1所述的一种基于卷积神经网络的无参考立体图像质量评价方法，其特征在于，所述进行预处理包括图像标准化预处理，所述图像块中，每个视图数据均包括划分后的n个图像块。
3.根据权利要求1所述的一种基于卷积神经网络的无参考立体图像质量评价方法，其特征在于，所述子网络c为与子网络a、b相同结构的神经网络。
4.一种基于卷积神经网络的无参考立体图像质量评价系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括基于卷积神经网络的无参考立体图像质量评价程序，所述基于卷积神经网络的无参考立体图像质量评价程序被所述处理器执行时实现如下s1～s3步骤：
技术总结
本发明公开了基于卷积神经网络的无参考立体图像质量评价方法及系统。提出了基于卷积神经网络的无参考立体图像质量评价方法及系统。本发明旨在通过引入基于多任务CNN质量回归的方法解决现有技术中SIQA未探索多任务质量评估的概念，并同时考虑到人眼双目融合和竞争的感知机制，以增强相关特征提取能力，从而有效感知立体图像的质量。通过结合失真左右视图的融合和视差信息，同时利用结合左、右和立体图像的特征进行训练，使得特征融合更加充分，保持和人类主观评价较高的一致性，最终能够达到良好的准确度和预测性能。
技术研发人员：程成,张悦,夏振平,张宇宁,胡伏原,顾敏明
受保护的技术使用者：苏州科技大学
技术研发日：
技术公布日：2024/9/23