视频质量评估方法、装置、电子设备及存储介质与流程

本发明涉及视频处理，具体而言，涉及一种视频质量评估方法、装置、电子设备及存储介质。

背景技术：

1、视频质量评估是计算机视觉和多媒体处理中的一个关键课题，它涉及到通过算法评估视频内容的质量。视频质量可以由多种因素决定，包括压缩损失、传输过程中的错误、捕捉设备的质量以及内容的呈现方式。高质量的视频能够增强用户体验，在视频流服务、远程教育、安全监控等应用场景中尤为重要。

2、传统的视频质量评估方法大多依赖于主观评分，例如组织一群人观看视频内容并给出质量评分。但是这种方法成本高，不易扩展，且评估结果具有主观性。为了克服这些限制，目前也发展出了客观视频质量评估技术，其是通过模型来模拟人类对视频质量的感知和评价。客观视频质量评估方法通常分为两大类：一类是基于有参考的方法，即将原始未压缩的视频作为质量对比的基准，通过比较压缩或传输后的视频与原始视频的差异来评估质量。另一类是基于无参考的方法，即不需要原始视频，通过分析视频本身的特征来评估质量。针对基于无参考的方法，如何提高视频质量评估的准确性是至关重要的。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种视频质量评估方法、装置、电子设备及存储介质。

2、为了实现上述目的，本发明采用的技术方案如下：

3、第一方面，本发明提供一种视频质量评估方法，所述视频质量评估方法包括：

4、从待评估视频中获取多个视频帧，得到每个待处理视频帧；

5、对于每个待处理视频帧，利用预先训练的质量评估模型中的提取网络，对所述待处理视频帧进行特征提取得到初始特征；

6、利用所述质量评估模型中的注意力网络，基于所述初始特征进行多尺度特征提取得到全局特征、局部特征和中间特征，并基于所述全局特征、所述局部特征和所述中间特征获得关键特征；

7、利用所述质量评估模型中的评估网络，基于所述关键特征进行质量评估，获得所述待处理视频帧的质量参数；

8、基于全部待处理视频帧的质量参数，确定待评估视频的质量评估结果。

9、在可选的实施方式中，所述注意力网络包括点卷积层、全局注意力层、归一化层、局部注意力层、合并层和通道注意力层；

10、所述利用所述质量评估模型中的注意力网络，基于所述初始特征进行多尺度特征提取得到全局特征、局部特征和中间特征，并基于所述全局特征、所述局部特征和所述中间特征获得关键特征的步骤，包括：

11、利用所述注意力网络中的点卷积层，对所述初始特征进行特征转换，得到转换后的特征；

12、利用所述注意力网络中的全局注意力层，按照第一预设尺度对所述转换后的特征进行特征提取，得到所述全局特征；

13、利用所述注意力网络中的归一化层，按照第二预设尺度对所述转换后的特征进行特征提取，得到所述中间特征；

14、利用所述注意力网络中的局部注意力层，按照第三预设尺度对所述转换后的特征进行特征提取，得到所述局部特征；其中，所述第一预设尺度大于所述第二预设尺度，所述第二预设尺度大于所述第三预设尺度；

15、利用所述注意力网络中的合并层，将所述全局特征、所述中间特征和所述局部特征进行合并，得到合并后的特征；

16、利用所述注意力网络中的通道注意力层，对所述合并后的特征进行通道加权，得到所述关键特征。

17、在可选的实施方式中，所述转换后的特征包括多个通道的特征图；

18、利用目标注意力层，按照目标尺度对所述转换后的特征进行特征提取，得到目标特征，包括：

19、对于每个通道的特征图，利用目标注意力层，按照目标尺度对所述特征图进行特征提取获得初始特征图；

20、利用目标注意力层，对所述初始特征图进行特征选择获得目标特征图，得到每个通道的目标特征图；

21、利用目标注意力层，根据全部通道的目标特征图和所述目标注意力层对应的参数矩阵，进行线性变换得到重组特征；

22、利用目标注意力层，基于所述重组特征进行上采样操作和点卷积操作，得到所述目标特征；所述目标特征的维度与所述转换后的特征的维度相同；

23、其中，所述目标注意层为全局注意层时，所述目标尺度为第一预设尺度且所述目标特征为全局特征；所述目标注意层为局部注意层时，所述目标尺度为第三预设尺度且所述目标特征为局部特征。

24、在可选的实施方式中，所述按照目标尺度对所述特征图进行特征提取获得初始特征图的步骤，包括：

25、按照目标尺度在所述特征图中确定多个区域块；每个区域块均为目标尺度；

26、计算每个区域块中全部元素的平均值，获得每个区域块的初始特征值；

27、基于每个区域块的初始特征值进行多层感知操作和归一化操作，获得每个区域块的中间特征值；

28、根据预设的第一激活函数基于每个区域块的中间特征值，计算每个区域块对应的权重值；

29、基于每个区域块的中间特征值和对应的权重值，计算每个区域块的目标特征值，得到所述初始特征图。

30、在可选的实施方式中，所述初始特征图包括多个区域块及其目标特征值；

31、所述对所述初始特征图进行特征选择获得目标特征图的步骤，包括：

32、在所述目标注意力层对应的参考特征图的全部参考特征值中，确定所述初始特征图中每个区域块所对应的参考特征值；

33、基于所述初始特征图中每个区域块的目标特征值与其对应的参考特征值，计算所述初始特征图中每个区域块对应的余弦相似度；

34、基于所述初始特征图中每个区域块对应的余弦相似度，确定所述初始特征图对应的掩码矩阵；

35、基于所述初始特征图及其对应的掩码矩阵进行掩码操作，得到所述目标特征图。

36、在可选的实施方式中，所述合并后的特征包括多个通道的融合特征图；

37、所述利用所述注意力网络中的通道注意力层，对所述合并后的特征进行通道加权，得到所述关键特征的步骤，包括：

38、利用所述通道注意力层，对每个通道的融合特征图进行全局平均池化操作，得到每个通道的特征值；

39、利用所述通道注意力层，对每个通道的特征值进行一维卷积操作，并根据预设的第二激活函数计算每个通道对应的权重值；

40、利用所述通道注意力层，基于每个通道的融合特征图和对应的权重值，确定每个通道的关键特征图，得到所述关键特征。

41、在可选的实施方式中，所述质量评估模型是按照以下方式得到的：

42、基于多个视频样本，获得多个视频帧样本以及每个视频帧样本的真实质量参数；

43、对于每个视频帧样本，利用基础质量评估模型中的提取网络，对所述视频帧样本进行特征提取得到初始特征样本；

44、利用所述基础质量评估模型中的注意力网络，基于所述初始特征样本进行多尺度特征提取得到全局特征样本、局部特征样本和中间特征样本，并基于所述全局特征样本、所述局部特征样本和所述中间特征样本获得关键特征样本；

45、利用所述基础质量评估模型中的评估网络，基于所述关键特征样本进行质量评估，获得所述视频帧样本的预测质量参数；

46、基于每个视频帧样本的真实质量参数和预测质量参数，对所述基础质量评估模型进行训练，得到所述质量评估模型。

47、第二方面，本发明提供一种视频质量评估装置，所述视频质量评估装置包括：

48、获取模块，用于从待评估视频中获取多个视频帧，得到每个待处理视频帧；

49、处理模块，用于对于每个待处理视频帧，利用预先训练的质量评估模型中的提取网络，对所述待处理视频帧进行特征提取得到初始特征；

50、利用所述质量评估模型中的注意力网络，基于所述初始特征进行多尺度特征提取得到全局特征、局部特征和中间特征，并基于所述全局特征、所述局部特征和所述中间特征获得关键特征；

51、利用所述质量评估模型中的评估网络，基于所述关键特征进行质量评估，获得所述待处理视频帧的质量参数；

52、评估模块，用于基于全部待处理视频帧的质量参数，确定待评估视频的质量评估结果。

53、第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现前述实施方式中任一项所述的视频质量评估方法。

54、第四方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现前述实施方式中任一项所述的视频质量评估方法。

55、本发明提供的视频质量评估方法、装置、电子设备及存储介质，该方法包括：首先从待评估视频中获取多个视频帧，得到每个待处理视频帧；然后对于每个待处理视频帧，利用预先训练的质量评估模型中的提取网络，对待处理视频帧进行特征提取得到初始特征；接着利用质量评估模型中的注意力网络，基于初始特征进行多尺度特征提取得到全局特征、局部特征和中间特征，并基于全局特征、局部特征和中间特征获得关键特征；再利用质量评估模型中的评估网络，基于关键特征进行质量评估，获得待处理视频帧的质量参数；最后基于全部待处理视频帧的质量参数，确定待评估视频的质量评估结果。通过质量评估模型从视频帧中提取全局信息和局部信息，并且采用注意力网络来模拟人类视觉系统，使模型能够更好地聚焦于关键区域，以得到影响视频质量的关键特征。从而提高了视频质量评估的准确性以及效率。

56、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种视频质量评估方法，其特征在于，所述视频质量评估方法包括：

2.根据权利要求1所述的视频质量评估方法，其特征在于，所述注意力网络包括点卷积层、全局注意力层、归一化层、局部注意力层、合并层和通道注意力层；

3.根据权利要求2所述的视频质量评估方法，其特征在于，所述转换后的特征包括多个通道的特征图；

4.根据权利要求3所述的视频质量评估方法，其特征在于，所述按照目标尺度对所述特征图进行特征提取获得初始特征图的步骤，包括：

5.根据权利要求3所述的视频质量评估方法，其特征在于，所述初始特征图包括多个区域块及其目标特征值；

6.根据权利要求2所述的视频质量评估方法，其特征在于，所述合并后的特征包括多个通道的融合特征图；

7.根据权利要求1所述的视频质量评估方法，其特征在于，所述质量评估模型是按照以下方式得到的：

8.一种视频质量评估装置，其特征在于，所述视频质量评估装置包括：

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的视频质量评估方法。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至7中任一项所述的视频质量评估方法。

技术总结
本发明涉及视频处理技术领域，提供一种视频质量评估方法、装置、电子设备及存储介质。从待评估视频中获取多个视频帧，得到每个待处理视频帧；利用预先训练的质量评估模型中的提取网络对待处理视频帧进行特征提取得到初始特征；利用质量评估模型中的注意力网络基于初始特征进行多尺度特征提取得到全局特征、局部特征和中间特征，并基于全局特征、局部特征和中间特征获得关键特征；利用质量评估模型中的评估网络基于关键特征进行质量评估获得待处理视频帧的质量参数；基于全部待处理视频帧的质量参数，确定待评估视频的质量评估结果。通过质量评估模型来提取全局和局部信息并采用注意力网络来模拟人类视觉系统，提高了视频质量评估的准确性。

技术研发人员：吴锦泉
受保护的技术使用者：广州虎牙信息科技有限公司
技术研发日：
技术公布日：2024/9/23