本技术涉及视频编解码技术,尤其涉及一种视频编解码方法、装置和计算机可读存储介质。
背景技术:
1、本文提供的背景技术描述是为了总体上呈现本技术的上下文的目的。当前署名的发明人的工作,就在该背景技术部分中描述该工作的程度而言,以及在提交时可能不构成现有技术的说明书的各方面,既未明示地也未暗示地被承认为是本技术的现有技术。
2、可以使用具有运动补偿的图片间预测来执行视频编码和解码。未压缩数字视频可以包括一系列图片,每个图片具有例如1920×1080个亮度样本和相关色度样本的空间维度。该系列图片可以具有例如每秒60幅图片或60hz的固定或可变的图片速率(非正式地也称为帧速率)。未压缩视频具有显著的比特率要求。例如,每样本8比特的1080p60 4:2:0视频(60hz帧速率的1920×1080亮度样本分辨率)需要接近1.5gbit/s带宽。一小时的这样的视频需要超过600千兆字节(gbyte)的存储空间。
3、视频编码和解码的一个目的可以是通过压缩减少输入视频信号中的冗余。压缩可以帮助减少前述带宽或存储空间要求,在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩两者及其组合。无损压缩是指可以由压缩的原始信号重构原始信号的精确副本的技术。当使用有损压缩时,重构信号可能与原始信号不相同,但是原始信号与重构信号之间的失真足够小,以使得重构信号对于预期应用有用。在视频的情况下,广泛采用有损压缩。容许的失真量取决于应用;例如,某些消费者流式传输应用的用户可以比电视分发应用的用户容忍更高的失真。可实现的压缩比可以反映:较高的可允许/可容忍的失真可以产生较高的压缩比。
4、视频编码器和解码器可以利用来自若干宽泛类别的技术,包括例如运动补偿、变换、量化和熵编码。
5、视频编解码技术可以包括被称为帧内编码的技术。在帧内编码中,在不参考来自先前重构的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中,将图片在空间上细分为样本块。当所有的样本块都以帧内模式编码时,该图片可以是帧内图片。帧内图片及其派生(例如独立解码器刷新图片)可以用于重置解码器状态,并且因此可以用作经编码视频比特流和视频会话中的第一图片,或用作静止图片。可以使帧内块的样本经受变换,并且可以在熵编码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小的技术。在一些情况下,变换之后的dc值越小,且ac系数越小,在给定量化步长尺寸下表示熵编码之后的块所需的比特越少。
6、传统的帧内编码,例如从例如mpeg-2代编码技术中已知的帧内编码,不使用帧内预测。然而,一些较新的视频压缩技术包括从例如在空间相邻的并且按解码顺序在前的数据块的编码/解码期间获得的周围样本数据和/或元数据进行尝试的技术。这样的技术此后被称为“帧内预测”技术。注意,在至少一些情况下,帧内预测仅使用来自重构中的当前图片而不是来自参考图片的参考数据。
7、可以有许多不同形式的帧内预测。当在给定视频编码技术中可以使用多于一种的这样的技术时,可以以帧内预测模式对所使用的技术进行编码。在某些情况下,模式可以具有子模式和/或参数,以及这些子模式和/或参数可以被单独地编码或被包括在模式码字中。对于给定模式/子模式/参数组合要使用哪些码字可能对通过帧内预测的编码效率增益有影响,并且用于将码字转换成比特流的熵编码技术也是如此。
8、帧内预测的特定模式被引入h.264,在h.265中被改进,并且在诸如联合探索模型(joint exploration model,jem)、通用视频编码(versatile video coding,vvc)和基准集(benchmark set,bms)的较新的编码技术中被进一步改进。可以使用属于已经可用的样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。对使用方向的参考可以在比特流中编码或可以自身预测。
9、参照图1a,在右下方描绘了从h.265的33个可能的预测器方向(对应于35个帧内模式的33个角模式)中已知的九个预测器方向的子集。箭头会聚的点(101)表示被预测的样本。箭头表示样本被预测的方向。例如,箭头(102)指示样本(101)是从与水平成45度角的右上一个或更多个样本预测的。类似地,箭头(103)指示样本(101)是从样本(101)的与水平成22.5度角的左下方的一个或更多个样本来预测的。
10、仍然参照图1a,在左上方,描绘了4×4个样本的方块(104)(由虚粗体线指示)。方块(104)包括16个样本,每个样本用“s”、其在y维度上的位置(例如,行索引)和其在x维度上的位置(例如,列索引)来标记。例如,样本s21是y维度上的第二样本(从顶部)和x维度上的第一样本(从左侧)。类似地,样本s44是块(104)中在y维度和x维度上的第四样本。由于块的大小是4×4个样本,所以s44在右下。进一步显示了遵循类似编号方案的参考样本。参考样本用r、其相对于块(104)的y位置(例如,行索引)和x位置(列索引)来标记。在h.264和h.265两者中,预测样本与重构中的块相邻;因此不需要使用负值。
11、通过复制来自由发信号指示的预测方向所划定的相邻样本的参考样本值,可以进行帧内图片预测。例如,假设经编码视频比特流包括以下信令:对于该块,该信令指示与箭头(102)一致的预测方向,也就是说,从与水平成45度角的右上方的一个或更多个预测样本来对样本进行预测。在这种情况下,样本s41、样本s32、样本s23和样本s14是从相同的参考样本r05预测的。然后从参考样本r08预测样本s44。
12、在某些情况下,多个参考样本的值可以例如通过内插来组合,以便计算参考样本;尤其是当方向不能以45度均匀地划分时。
13、随着视频编码技术的发展,可能的方向的数目也在增加。在h.264(2003年)中,可以表示九个不同的方向。在h.265(2013年)中增加到33,并且在公开时jem/vvc/bms可以支持多达65个方向。已经进行了实验来识别最可能的方向,并且熵编码中的某些技术被用于以少量的比特表示那些可能的方向,从而对于较不可能的方向接受某些惩罚。此外,有时可以从在相邻的已解码的块中使用的相邻方向来预测方向本身。
14、图1b示出了描绘根据jem的65个帧内预测方向以示出预测方向的数目随时间的增加的示意图(105)。
15、经编码视频比特流中表示方向的帧内预测方向比特的映射可以随视频编码技术不同而不同;并且范围可以例如从预测方向到帧内预测模式的简单直接映射、到码字、到涉及最可能模式的复杂自适应方案以及类似技术。然而,在所有情况下,可以存在统计上与某些其他方向相比在视频内容中更不可能出现的某些方向。由于视频压缩的目标是减少冗余,所以在良好工作的视频编码技术中,与更可能的方向相比,那些较不可能的方向将由更多的比特来表示。
16、运动补偿可以是有损压缩技术,并且可以涉及这样的技术:来自先前重构的图片或其部分(参考图片)的样本数据块在由运动矢量(此后称为mv)指示的方向上进行空间移位之后,被用于预测新重构的图片或图片部片。在一些情况下,参考图片可以与当前正在重构的图片相同。mv可以具有两个维度x和y,或三个维度,第三个维度是使用中的参考图片的指示(后者可以间接地是时间维度)。
17、在一些视频压缩技术中,可应用于样本数据的某个区域的mv可以从其他mv预测,例如从与空间上邻近重构中的区域并且在解码顺序中在该mv之前的样本数据的另一区域相关的mv。这样做可以显著减少编码mv所需的数据量,从而消除冗余并增加压缩。mv预测可以有效地工作,例如,因为当对从摄像机得到的输入视频信号(称为自然视频)进行编码时,存在比单个mv所适用的区域更大的区域沿相似方向移动的统计可能性,并且因此在某些情况下可以使用从相邻区域的mv得到的相似运动矢量来预测。这导致针对给定区域所发现的mv与从周围mv预测的mv相似或相同,并且转而可以在熵编码之后,用比直接编码mv所使用的比特数更少的比特数来表示。在一些情况下,mv预测可以是从原始信号(即,样本流)得出的信号(即,mv)的无损压缩的示例。在其他情况下,mv预测本身可能是有损的,例如,因为当从若干周围mv计算预测器时的舍入误差。
18、h.265/hevc(itu-t rec.h.265,“high efficiency video coding”,2016年12月)中描述了各种mv预测机制。在h.265提供的许多mv预测机制中,本文描述的是一种此后被称为“空间合并”的技术。
19、参照图1c,当前块(111)可以包括在运动搜索过程期间由编码器发现能够从已经空间移位的相同大小的先前块预测的样本。代替直接编码mv,可以使用与表示为a0、a1和b0、b1、b2(分别为112至116)的五个周围样本中的任一个相关联的mv、从与一个或更多个参考图片相关联的元数据,例如从最近的(按解码顺序)参考图片来得出mv。在h.265中,mv预测可以使用来自相邻块正在使用的相同参考图片的预测器。
20、在现有技术中,尚无法通过高级控制语法元素或标志来允许和控制多个不同去块滤波器操作,这导致去块滤波在视频编解码中适应性和效果不尽如人意。
技术实现思路
1、本技术的方面提供了用于视频编码/解码的装置。一种装置包括处理电路,该处理电路解码用于当前图片中的当前块的预测信息,当前图片是经编码视频序列的一部分。该预测信息包括第一语法元素和第二语法元素。处理电路基于该第一语法元素确定针对该当前块是否允许用于确定去块滤波器的边界强度(boundary strength,bs)的多个过程。去块滤波器应用于该当前块的边界。当针对当前块允许用于确定去块滤波器的bs的多个过程时,处理电路基于第二语法元素针对当前块确定用于确定去块滤波器的bs的多个过程的子集。处理电路基于用于确定去块滤波器的bs的多个过程的子集针对当前块确定去块滤波器的bs。
2、在实施方式中,基于位于由该当前块的边界分开的两个区域中的一个区域中的多个样本来确定针对该当前块的去块滤波器的bs。在示例中,位于由当前块的边界分开的两个区域中的一个区域中的多个样本的数目是二和四中之一。
3、在实施方式中,处理电路确定由当前块的边界分开的两个样本之间的样本值差是否大于阈值。当由当前块的边界分开的两个样本之间的样本值差大于阈值时,处理电路确定没有去块滤波器应用于当前块的边界。
4、在实施方式中,第一语法元素处于序列参数集级。
5、在实施方式中,处理电路基于第二语法元素和指示针对当前块启用滤波操作的去块控制标志来针对当前块确定用于确定去块滤波器的bs的多个过程中的子集。在示例中,该第二语法元素处于图片级、切片级及与该去块控制标志相同的级中的一个。
6、本技术的方面提供了用于视频编码/解码的方法。在该方法中,解码用于当前图片中的当前块的预测信息,当前图片是经编码视频序列的一部分。预测信息包括第一语法元素和第二语法元素。基于第一语法元素确定针对当前块是否允许确定去块滤波器的bs的多个过程。去块滤波器应用于当前块的边界。当针对当前块允许用于确定去块滤波器的bs的多个过程时,基于第二语法元素确定针对当前块的用于确定去块滤波器的bs的多个过程的子集。基于用于确定去块滤波器的bs的多个过程的子集来确定针对当前块的去块滤波器的bs。
7、本技术的方面还提供存储指令的非暂态计算机可读介质,所述指令在由计算机为了视频解码而执行时,使该计算机执行用于视频解码的方法中的任一者或组合。
8、本技术提供的视频编码/解码装置和方法可以通过高级控制语法元素和/或标志来允许和控制多个不同去块滤波器操作,从而提高去块滤波的适应性并且改善去块滤波的效果。
1.一种视频解码方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,确定所述去块滤波处理的边界强度包括:
3.根据权利要求1或2中任一项所述的方法,其特征在于,确定所述去块滤波处理的边界强度包括:
4.根据权利要求1或2所述的方法,其特征在于,所述第二语法元素处于图片级、切片级以及与所述第一语法元素相同的级中的一个。
5.根据权利要求1或2所述的方法,其特征在于,所述预测信息包括第三语法元素,所述第三语法元素指示多个去块滤波操作是否能够用于所述当前块。
6.根据权利要求5所述的方法,其特征在于,所述第三语法元素处于序列参数集级。
7.一种视频编码方法,其特征在于,包括:
8.一种视频解码装置,其特征在于,包括:
9.根据权利要求8所述的装置,其特征在于,所述边界强度确定模块用于:
10.根据权利要求8或9中任一项所述的装置,其特征在于,所述边界强度确定模块用于:
11.根据权利要求8或9所述的装置,其特征在于,所述第二语法元素处于图片级、切片级以及与所述第一语法元素相同的级中的一个。
12.根据权利要求8或9所述的装置,其特征在于,所述预测信息包括第三语法元素,所述第三语法元素指示多个去块滤波操作是否能够用于所述当前块。
13.根据权利要求12所述的装置,其特征在于,所述第三语法元素处于序列参数集级。
14.一种视频编码装置,其特征在于,包括:
15.一种存储程序的非暂态计算机可读存储介质,其特征在于,所述程序能够由至少一个处理器执行以执行根据权利要求1至7中任一项所述的方法。
16.一种计算机设备,包括处理器和存储器,其特征在于:
