使用光栅化三角形ID缓冲器的光流生成的制作方法

本公开一般地涉及经由图形处理器的数据处理，并且更特别地涉及使能使用光栅化(rasterized)三角形标识符缓冲器的光流(optical flow)生成的方法。

背景技术：

1、帧生成和超分辨率(superresolution)模型是基于屏幕空间数据来训练的，屏幕空间数据是经由显示器呈现给用户的最终输出。虽然屏幕空间数据很容易被用户理解，但此类数据对于机器学习模型来说可能是更难以理解且更有序(ordered)的数据表示。

技术实现思路

技术特征：

1.一种图形处理器，包括：

2.根据权利要求1所述的图形处理器，第二电路：

3.根据权利要求2所述的图形处理器，第二电路：

4.根据权利要求1所述的图形处理器，第二电路：

5.根据权利要求4所述的图形处理器，第二电路：

6.根据权利要求4所述的图形处理器，第二电路将第一光流、第二光流和置信度图输出到第三电路，第三电路基于由置信度图确定的第一光流和第二光流之一来扭曲先前渲染的帧的像素。

7.根据权利要求6所述的图形处理器，基于置信度图，第三电路被配置为根据第一光流来扭曲第一像素并且根据第二光流来扭曲第二像素。

8.根据权利要求7所述的图形处理器，第一电路在屏幕空间中生成第一帧数据和第二帧数据，并且另外在uv空间中生成第二帧数据。

9.根据权利要求8所述的图形处理器，第三电路响应于经由置信度图指示的去除遮蔽而对uv空间中的第二帧数据进行采样。

10.根据权利要求2-3或4-9中的任一项所述的图形处理器，第一电路被配置为：

11.根据权利要求1或10所述的图形处理器，第三电路扭曲先前渲染的帧以内插生成的帧用于在第一帧和第二帧之间显示。

12.根据权利要求1或10所述的图形处理器，第三电路扭曲先前渲染的帧以外推生成的帧用于在第一帧和第二帧之后显示。

13.根据权利要求1或10所述的图形处理器，第三电路扭曲先前渲染的帧以使能第一帧的时间超采样。

14.一种使用几何识别符(id)数据估计稠密光流的计算机实现的方法，包括：

15.根据权利要求14所述的计算机实现的方法，包括：

16.根据权利要求14所述的计算机实现的方法，包括基于针对所述帧和先前帧渲染的屏幕空间颜色数据来生成稀疏光流。

17.根据权利要求15所述的计算机实现的方法，稀疏光流包括针对所述帧和先前帧中的每个像素块的运动矢量。

18.根据权利要求15所述的计算机实现的方法，估计的稠密光流具有比稀疏光流高的空间分辨率。

19.根据权利要求18所述的计算机实现的方法，包括基于估计的稠密光流来扭曲先前渲染的帧，以内插生成的帧用于在先前帧和所述帧之间显示。

20.根据权利要求18所述的计算机实现的方法，包括基于估计的稠密光流来扭曲先前渲染的帧，以外推生成的帧用于在所述帧之后显示。

21.根据权利要求18所述的计算机实现的方法，包括基于估计的稠密光流来扭曲先前渲染的帧以使能帧的时间超采样。

22.一种具有其上存储的指令的非暂时性机器可读介质，所述指令在由包括图形处理器的一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求14-21中的任何一项所述的方法的操作。

23.一种系统，包括执行根据权利要求14-21中的任何一项所述的方法的装置。

技术总结
使用光栅化三角形ID缓冲器的光流生成。在一个实施例中，本文描述的是使用基元ID数据估计稠密光流的计算机实现的方法，包括在渲染期间生成用于帧的基元ID缓冲器(例如，三角形ID缓冲器)，针对每个基元ID用独特的颜色渲染帧，向机器学习模型提供针对当前和之前的帧的渲染的基元ID缓冲器连同置信度缓冲器以及帧之间的稀疏光流，并基于输入经由机器学习模型生成估计的稠密光流。

技术研发人员：S·潘尼尔,M·穆鲁通贾亚,L·泰萨里
受保护的技术使用者：英特尔公司
技术研发日：
技术公布日：2024/9/23