基于多模板的帧内模板匹配预测的制作方法
本公开描述了总体上涉及视频编码的实施例。
背景技术：
1、本文所提供的背景描述是出于总体上呈现本公开内容的目的。当前命名的发明人的某些工作(即已在此背景技术部分中作出描述的工作)以及说明书中关于某些尚未成为申请日之前的现有技术的内容，无论是以明确或隐含的方式均不被视为相对于本公开的现有技术。
2、图像/视频压缩有助于以最小的质量下降在不同的设备、存储装置和网络之间传输图像/视频数据。在一些示例中，视频编解码器技术可以基于空间和时间冗余来压缩视频。在一个示例中，视频编解码器可以使用被称为帧内预测的技术，该技术可以基于空间冗余压缩图像。例如，帧内预测可以使用来自重建中的当前图片的参考数据进行样本预测。在另一个示例中，视频编解码器可以使用被称为帧间预测的技术，该技术可以基于时间冗余压缩图像。例如，帧间预测可以通过运动补偿根据先前重建的图片预测当前图片中的样本。运动补偿可以由运动矢量(motion vector，mv)表示。
技术实现思路
1、本公开的各方面包括用于视频编码/解码的方法和装置。在一些示例中，一种用于视频解码的装置包括处理电路。
2、根据本公开的一个方面，提供了一种视频解码的方法，在视频解码器中执行。在该方法中，接收包括当前图片中的当前块的编码信息的视频码流，其中，所述编码信息指示所述当前块以帧内模板匹配预测模式来编码。确定用于预测所述当前块的至少一个模板。所述至少一个模板中的每一个模板是所述帧内模板匹配预测模式中可用的多种模板类型的相应候选模板。所述候选模板与所述当前块的形状、所述当前块的尺寸、所述当前块的帧内预测模式以及所述当前块与所述多种模板类型的多个候选模板之间的距离中的一者相关联。所述候选模板包括相邻重建样本的不同组合。基于所确定的至少一个模板，使用所述帧内模板匹配预测模式中的模板匹配来重建所述当前块。
3、在一个示例中，所述多种模板类型包括l形模板、顶部模板或左侧模板中的至少一种。所述l形模板包括所述当前块顶部上方的所述当前块的相邻样本和所述当前块左侧的所述当前块的相邻样本。所述顶部模板包括所述当前块顶部上方的所述当前块的相邻样本。所述左侧模板包括所述当前块左侧的所述当前块的相邻样本。
4、在一个示例中，所述顶部模板的宽度等于所述当前块的宽度，所述顶部模板的高度等于第一正整数。在一个示例中，所述左侧模板的宽度等于第二正整数，所述左侧模板的高度等于所述当前块的高度。
5、在一个示例中，基于解码器侧帧内模式推导(decoder-side intra modederivation，dimd)来确定所述当前块的帧内预测模式，其中，基于根据纹理梯度分析重建的所述当前块的相邻样本来确定所述当前块的帧内预测模式。基于所确定的帧内预测模式，从所述多种模板类型中确定所述当前块的所述至少一个模板。
6、在一个示例中，基于所述当前块的宽度和所述当前块的高度之间的比率小于第一阈值，确定所述当前块的所述至少一个模板为以下中的一个：(i)所述l形模板和所述左侧模板和(ii)所述左侧模板。在一个示例中，基于所述当前块的宽度和所述当前块的高度之间的比率大于第二阈值，确定所述当前块的所述至少一个模板为以下中的一个：(i)所述l形模板和所述顶部模板和(ii)所述顶部模板。
7、在一个示例中，所述多种模板类型包括在距离所述当前块第一距离处的第一模板和在距离所述当前块第二距离处的第二模板，所述第一距离不同于所述第二距离。
8、在一个示例中，基于以从所述多种模板类型中确定的第一模板对所述当前块进行编码，基于所述第一模板确定所述当前块的多个候选参考块。确定所述当前块的所述第一模板与和所述第一模板对应的所述多个候选参考块中的每一个候选参考块的模板区域之间的差。基于所述多个候选参考块的子集的加权组合重建所述当前块，所述子集对应于所述当前块的所述第一模板与所述多个候选参考块的模板区域之间的差中的k个最小差。
9、在一个示例中，基于以从多种模板类型中确定的两个或多个模板对所述当前块进行编码，确定与所述当前块的所述两个或多个模板对应的多个候选参考块。确定所述当前块的所述两个或多个模板中的每一个模板与和所述两个或多个模板中的相应一个模板对应的所述多个候选参考块中的每一个候选参考块的模板区域之间的差。基于所述多个候选参考块的子集的加权组合重建所述当前块，所述子集对应于所述当前块的所述两个或多个模板与和所述当前块的所述两个或多个模板对应的所述多个候选参考块的模板区域之间的差中的k个最小差。
10、在一个示例中，基于所述当前块的尺寸确定用于对包含在所述编码信息中的第一信号信息进行熵编码的上下文模型，其中，所述第一信号信息指示所述多种模板类型中的哪一种被选为所述当前块的至少一个模板。
11、在一个示例中，所述编码信息还包括第二信号信息，所述第二信号信息指示基于从所述多种模板类型中确定的所述至少一个模板来预测所述当前块。
12、根据本公开的另一个方面，提供了一种装置。该装置包括处理电路。处理电路可以被配置为执行所描述的用于视频解码/编码的方法中的任一项。
13、本公开的一些方面还提供了一种非暂时性计算机可读介质，其存储有指令，所述指令在由计算机执行时使得所述计算机执行用于视频解码/编码的方法。
技术特征：
1.一种在视频解码器中执行的视频解码的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述多种模板类型包括l形模板、顶部模板或左侧模板中的至少一种，所述l形模板包括所述当前块顶部上方的所述当前块的相邻样本和所述当前块左侧的所述当前块的相邻样本，所述顶部模板包括所述当前块顶部上方的所述当前块的相邻样本，所述左侧模板包括所述当前块左侧的所述当前块的相邻样本。
3.根据权利要求2所述的方法，其中，
4.根据权利要求1所述的方法，其中，所述确定还包括：
5.根据权利要求2所述的方法，其中，所述确定还包括：
6.根据权利要求1所述的方法，其中，所述多种模板类型包括在距离所述当前块第一距离处的第一模板和在距离所述当前块第二距离处的第二模板，所述第一距离不同于所述第二距离。
7.根据权利要求1所述的方法，其中，所述重建还包括：
8.根据权利要求1所述的方法，其中，所述重建还包括：
9.根据权利要求1所述的方法，还包括：
10.根据权利要求1所述的方法，其中，所述编码信息还包括第二信号信息，所述第二信号信息指示基于从所述多种模板类型中确定的所述至少一个模板来预测所述当前块。
11.一种装置，所述装置包括：
12.根据权利要求11所述的装置，其中，所述多种模板类型包括l形模板、顶部模板或左侧模板中的至少一种，所述l形模板包括所述当前块顶部上方的所述当前块的相邻样本和所述当前块左侧的所述当前块的相邻样本，所述顶部模板包括所述当前块顶部上方的所述当前块的相邻样本，所述左侧模板包括所述当前块左侧的所述当前块的相邻样本。
13.根据权利要求12所述的装置，其中，
14.根据权利要求11所述的装置，其中，所述处理电路还被配置为：
15.根据权利要求12所述的装置，其中，所述处理电路还被配置为：
16.根据权利要求11所述的装置，其中，所述多种模板类型包括在距离所述当前块第一距离处的第一模板和在距离所述当前块第二距离处的第二模板，所述其中第一距离不同于所述第二距离。
17.根据权利要求11所述的装置，其中，所述处理电路还被配置为：
18.根据权利要求11所述的装置，其中，所述重建还包括：
19.根据权利要求11所述的装置，其中，所述处理电路还被配置为：
20.根据权利要求11所述的装置，其中，所述编码信息还包括第二信号信息，所述第二信号信息指示基于从所述多种模板类型中确定的所述至少一个模板来预测所述当前块。
技术总结
接收包括当前图片中的当前块的编码信息的视频码流，其中，编码信息指示当前块以帧内模板匹配预测模式来编码。确定用于预测当前块的至少一个模板。至少一个模板中的每一个模板是帧内模板匹配预测模式中可用的多种模板类型的相应候选模板。候选模板与当前块的形状、当前块的尺寸、当前块的帧内预测模式以及当前块与多种模板类型的多个候选模板之间的距离中的一者相关联。候选模板包括相邻重建样本的不同组合。基于所确定的至少一个模板，使用帧内模板匹配预测模式中的模板匹配来重建当前块。
技术研发人员：许晓中,赵欣,罗曼·车亚克,刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/9/23