一种结合空时域上下采样的HEVC视频质量增强框架

本发明涉及图像通信领域中的视频编码及视频处理技术问题，尤其是涉及结合卷积神经网络的搭建和优化。

背景技术：

1、近年来，随着视频应用的快速发展，视频逐渐取代文字和图片成为最主流多媒体信息载体。但受限于传输和存储技术的不足，实际应用过程中视频一般要经过压缩以降低数据量。目前主流压缩标准hevc能较好地压缩数据量，然而在低码率段，压缩视频中不可避免地会出现一定的压缩效应。这些压缩效应导致人们观看相关视频应用的感受不佳，影响视频应用的进一步发展。

2、压缩视频的质量增强指在编码两端通过构建有效的算法来提升压缩视频的主客观质量，特别地，随着基于机器视觉的视频分析、视频处理应用的快速发展，视频质量提升也不局限于满足人眼的观看，也要兼顾或者单独满足机器处理、机器分析的需求。通常，视频质量提升算法不需要改变视频编码的编码标准，只是在编码完成后对压缩视频的重建帧通过外挂环路滤波或者后处理算法来提升其质量，随着压缩视频质量提升任务的进一步发展，更加广义的压缩视频质量提升任务也包含了对压缩编码技术的优化以及设计新的压缩编码框架，例如在视频会议应用中，通过设计结合码率控制算法的基于深度学习的环路滤波器来提升压缩视频的质量；例如设计结合超分辨率算法的压缩视频编码框架以提高低码率的压缩视频质量。

3、视频经过压缩编码后形成码流信息，码流信息包含了视频编码各个子过程的参数和残差信息，是视频尽可能去掉冗余信息后能量的集中。码流信息数据量很小，易于传输和存储，在需要使用视频时，码流信息经过解码再恢复成可见的视频格式。码流信息中包含了许多编码信息，包括分块信息、量化信息、运动信息、编码帧类型等等。目前已有的许多方法，特别是基于深度学习的方法只是专注于提升网络性能，没有有效地利用编码信息，而只是针对解码后的视频进行处理，而在码流信息中，往往有诸多有价值的编码信息可以提升压缩视频质量增强算法的性能。随着视频编码标准的发展，视频编码标准所内置的视频编码算法能自适应的对不同视频的不同区域的不同类型的内容进行有效地压缩，在这个过程中所产生的压缩效应可以从编码信息中找到相应的原因和痕迹。这说明利用编码信息对于提升压缩视频质量提升算法有着重要的意义。

技术实现思路

1、针对hevc压缩视频的质量提升问题，较少的工作考虑到利用编码信息和编码规律，以及考虑构建质量提升框架。针对以上问题，本文发明提出一种结合空时域上下采样的hevc视频质量增强框架，依靠尽可能少的数据量尽可能地提高压缩视频质量。

2、本发明的基本思想是编码前通过下采样模块降低输入序列的空时域数据量，再进入编码器编码，而后通过空域上采样模块和空时域联合分辨率上采样模块恢复帧率和分辨率，并在此过程中充分结合压缩视频码流中的运动矢量mv信息。

3、具体主要包括以下过程步骤：

4、(1)编码前，通过下采样模块将输入的原始视频序列的分辨率和帧率下降为原先的一半，其中空域采用双三次下采方法，时域采用隔帧抽帧方法；

5、(2)将(1)中得到的低帧率低分辨率视频经由基于hevc编码器进行编码，得到码流信息；

6、(3)从码流信息中提取mv相关信息，基于(2)中的码流信息进行解码，将得到低帧率低分辨率解码视频进行空域分辨率上转换得到高分辨率低帧率压缩视频，此过程中使用的空域超分方法为一种基于cnn的超分辨率算法cvsr，所使用的超分算法基于多帧输入，使用可变形卷积进行对齐，通过多尺度残差模块进行特征提取，最终通过上采样层提升特征图分辨率，利用全局残差降低参数运算值并提高网络性能；

7、(4)将低帧率低分辨率通过空时域分辨率上转换模块进行时域丢弃帧的生成、恢复其分辨率，此过程中使用的方法为基于cnn的空时域联合分辨率上转换模块strib，strib模块相比常规视频插帧网络能在生成丢弃帧的同时提升生成帧的分辨率，相比常规的先生成再超分的方式具有更好的性能，其网络构建可分为生成帧估计和分辨率提升两部分，在生成帧估计部分中，首先结合mv信息权重图来进行特征提取，而后通过估计卷积核和像素生成来生成丢弃帧的特征图，在分辨率提升部分中，前后帧的特征通过运动补偿模块进行运动补偿，其过程如式（1）所示，前后帧特征和生成帧特征一同通过可变形卷积进行空域对齐模块stdf的处理，而后经过数个卷积层组合的特征融合模块进行处理，最后经过上采样层得到高分辨率特征图，并依靠过程（3）中生成的对应高分辨率帧作为全局残差结构；

8、 (1)

9、实验结果表明，本发明的hevc压缩视频质量提升算法框架相比hevc，能获得更优的质量提升。

技术特征：

1.一种结合空时域上下采样的hevc视频质量增强框架，其特征在于：

技术总结
本发明提出了一种结合空时域上下采样的HEVC视频质量增强框架，所提框架编码前，构建空、时域分辨率下转换模块，将输入的原始视频序列的分辨率和帧率下降为原先的一半；经由基于HEVC标准的HM16.9编码器进行编码，得到码流信息；解码后依靠提出的空域分辨率上转换模块CSVR和空时域分辨率上转换模块STRIB恢复原始的分辨率和帧率，并使用MV信息提升网络性能。实验结果表明，所提算法框架能够显著地提升压缩视频质量。本发明可广泛应用于数字电影拍摄传输、文体活动直播、远程教育培训和目标检测等领域。

技术研发人员：何小海,孙伟恒,熊淑华,陈洪刚,吴小强
受保护的技术使用者：四川大学
技术研发日：
技术公布日：2024/9/23