视频数据的色度和亮度分量的交叉分量确定的制作方法
本申请总体上涉及视频数据编解码和压缩，特别地，涉及视频数据比特流中的视频帧的色度和亮度样本的编解码的改进的方法和系统。
背景技术：
1、数字视频受各种各样的电子设备支持，所述电子设备诸如数字电视、膝上型或台式计算机、平板计算机、数字照相机、数字记录设备、数字媒体播放器、视频游戏控制台、智能电话、视频远程会议设备、视频流式传输设备等等。这些电子设备通过实现如mpeg-4、itu-t h.263、itu-t h.264/mpeg-4第10部分、高级视频编解码(avc)、高效视频编解码(hevc)和通用视频编解码(vvc)标准所定义的视频压缩/解压缩标准，对数字视频数据进行发送、接收、编码、解码和/或存储。视频压缩典型地包括执行空间(帧内)预测和/或时间(帧间)预测以降低或者去除视频数据中固有的冗余。对于基于块的视频编解码，将视频帧分割成一个或多个条带，每个条带具有多个视频块，视频块也可以称为编码树单元(ctu)。每个ctu可以包含一个编码单元(cu)，或者递归地拆分成更小的cu，直到达到预定义最小cu尺寸。每个cu(也称为叶cu)包含一个或多个变换单元(tu)，并且每个cu也包含一个或多个预测单元(pu)。每个cu可以以帧内模式、帧间模式或者ibc模式进行编解码。视频帧的帧内编解码(i)的条带中的视频块关于相同视频帧内的相邻块中的参考样本而使用空间预测进行编码。视频帧的帧间编解码(p或b)的条带中的视频块可以关于相同视频帧内的相邻块中的参考样本而使用空间预测，或者关于其他先前和/或未来参考视频帧中的参考样本而使用时间预测。
2、基于先前已经编码的参考块(例如，相邻块)的空间或时间预测产生了针对要被编码的当前视频块的预测块。找到参考块的过程可以通过块匹配算法完成。表示要被编码的当前块与预测块之间的像素差异的残差数据称为残差块或者预测误差。帧间编码的块根据运动矢量以及残差块进行编码，运动矢量指向形成预测块的参考帧中的参考块。确定运动矢量的过程典型地称为运动估计。帧内编码的块根据帧内预测模式和残差块被编码。为了进行进一步压缩，将残差块从像素域变换到变换域(例如频域)，而产生残差变换系数，残差变换系数然后可以被量化。最初以二维阵列布置的量化的变换系数可以被扫描以产生变换系数的一维矢量，并且然后被熵编码到视频比特流中以实现更大的压缩。
3、然后，编码的视频比特流被保存在计算机可读存储介质(例如，闪存)中，以便由具有数字视频能力的另一个电子设备访问，或者有线或无线地直接传输至该电子设备。然后，该电子设备执行视频解压缩(其为上面描述的视频压缩的相反过程)，通过例如解析编码的视频比特流以便从该比特流获得语法元素，以及至少部分地基于从该比特流获得的语法元素将数字视频数据重建为它的原始格式，并且在该电子设备的显示器上呈现重建的数字视频数据。
4、一种交叉分量预测模式被应用来降低视频比特流的亮度和色度样本之间的交叉分量冗余。具体地，在该预测模型中，对亮度样本进行下采样并且将其用于预测色度样本。然而，亮度样本在视频帧的一些位置处不可用，并且不同的下采样滤波器已用来生成这些位置附近的下采样的亮度样本。不同下采样滤波器的应用与并行图像处理不兼容，并且可能给处理视频比特流的速率造成瓶颈。建立一种比当前实践更加高效的交叉分量预测机制将是有益的。
技术实现思路
1、本申请描述了若干实现方式，这些实现方式涉及视频数据编码和解码，更具体地，实现方式涉及视频数据比特流中的视频帧的色度和亮度样本的编解码的改进的方法和系统。样本填充被应用到亮度样本，以生成亮度下采样过程使用的不可用的亮度样本。这些不可用的样本可能在视频帧或图像条带的外部，或者尚未被编解码并且将随后进行编解码。这些不可用的样本可选地通过重复填充或者镜像填充而生成。这样，相同的下采样滤波器可以用来跨整个视频帧生成所有下采样的亮度样本，这使得能够实现并行视频处理并且增强视频数据比特流的相应视频处理速率。
2、在本申请的一个方面，在电子设备处实现一种用于对视频数据解码的方法。该方法包括：从比特流获得针对视频帧中的多个像素的多个亮度样本。该多个像素属于一个码块且包括边界像素，并且边界像素处于码块内部且紧邻码块的边界。该方法进一步包括：确定边界像素的一个或多个相邻像素不可用，将与边界像素相应的亮度样本分配给与一个或多个相邻像素中的每一个像素相应的亮度样本，以及根据预定义亮度插值方案，至少基于一个或多个相邻像素和边界像素的亮度样本确定边界亮度样本。一个或多个相邻像素中的每一个像素都处于该码块的外部。该方法进一步包括：根据线性映射模型从边界亮度样本确定边界色度样本。在一些实施例中，边界像素的一个或多个相邻像素在视频帧或者图像条带的外部。可替换地，在一些实施例中，边界像素的一个或多个相邻像素尚未被解码并且将在该码块之后进行解码。
3、在本申请的另一方面，一种电子设备包括一个或多个处理单元、存储器以及存储在存储器中的多个程序。这些程序在由一个或多个处理单元执行时，使得电子设备执行如上面所描述的对视频数据解码的方法。
4、在又一个方面，一种非暂时性计算机可读存储介质存储了多个程序以供具有一个或多个处理单元的电子设备执行。这些程序在由该一个或多个处理单元执行时，使得电子设备执行如上面所描述的对视频数据解码的方法。
技术特征：
1.一种用于对视频数据解码的方法，包括：
2.根据权利要求1所述的方法，其中所述相邻亮度位置包括上方的相邻亮度位置，所述上方的相邻亮度位置包括所述编码块正上方的位置和/或所述编码块左上方的第一左上位置。
3.根据权利要求1所述的方法，其中所述相邻亮度位置包括左侧的相邻亮度位置，所述左边的相邻亮度位置包括所述编码块正左侧的位置和/或所述编码块左上方的第二左上位置。
4.根据权利要求2所述的方法，其中所述边界亮度位置位于所述编码块内部并且与所述编码块上方的边界相邻，或者所述边界亮度位置位于左侧的相邻编码块内部并且与上方的边界的左侧延伸相邻。
5.根据权利要求3所述的方法，其中所述边界亮度位置位于所述编码块内部并且与所述编码块的左侧的边界相邻，或者所述边界亮度位置位于上方的相邻编码块内部并且与左侧的边界的上方延伸相邻。
6.根据权利要求1所述的方法，其中，所述预定义亮度插值方案基于与所述多个亮度样点相对应的子采样方案和待在所述比特流中获取的语法元素二者中的至少一者而确定。
7.根据权利要求1所述的方法，其中所述一个或多个相邻亮度样点处于覆盖当前编码块的图像条带的外部。
8.根据权利要求1所述的方法，其中所述多个亮度样点包括第一亮度样点集合，所述方法进一步包括：
9.根据权利要求1所述的方法，其中：
10.根据权利要求1所述的方法，其中所述一个或多个相邻亮度样点包括仅仅一个相邻亮度样点，该相邻亮度样点处于所述边界的相对于所述边界亮度位置的相对侧，并且具有从与所述边界亮度位置相对应的所述亮度样点分配的亮度样点。
11.根据权利要求1所述的方法，其中：
12.根据权利要求6所述的方法，其中根据子样点方案，所述编码块的亮度样点和色度样点遵照具有以下比率值之一的三部分y'cbcr比值：
13.根据权利要求1所述的方法，其中根据所述预定义亮度插值方案，将2x3子阵列中的六个亮度样点下采样为替换的亮度样点，并且2x3阵列中左列和右列中的每一列中的至少两个亮度样点用于生成所述替换的亮度样点。
14.根据权利要求1所述的方法，其中根据预定义亮度插值方案，将五个亮度样点下采样为替换的亮度样点并且将其布置在以一个中心像素为中心的一个十字形子阵列中。
15.根据权利要求1所述的方法，进一步包括：
16.根据权利要求1所述的方法，其中根据使用如下方程描述的所述线性映射模型，从所述边界亮度样点x确定所述边界色度样点y：
17.一种视频解码装置，包括：
18.一种用于视频编码的非暂时性计算机可读存储介质，其存储了计算机可执行指令以及待解码的比特流，所述计算机可执行指令当由一个或多个处理器执行时，使得所述一个或多个处理器基于所述比特流执行权利要求1-16中任一项所述的方法。
19.一种计算机程序产品，其包括计算机可执行指令，所述指令当由一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1-16中任一项所述的方法。
技术总结
本申请针对对包括视频帧中的多个像素的多个亮度分量的视频数据进行解码。该多个像素属于一个码块，并且包括处于该码块内部且紧邻该码块的一个边界的一个边界像素。该边界像素的一个或多个相邻像素处于该码块的外部并且被确定为不可用。将与该边界像素相应的亮度分量分配给与该一个或多个相邻像素中的每一个像素相应的亮度分量。依照预定义亮度插值方案，至少基于该一个或多个相邻像素和该边界像素的亮度分量确定一个边界亮度分量。依照线性映射模型从该边界亮度分量转换成一个边界色度分量。
技术研发人员：陈漪纹,修晓宇,马宗全,朱弘正,王祥林,于冰
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：
技术公布日：2024/9/23