使用低分辨率光流的硬件高效神经帧预测的制作方法

本公开总体上涉及数据处理，并且更具体地，涉及经由内插和外推两者的神经帧生成。

背景技术：

1、针对渲染应用使用神经技术来生成帧在计算领域中是感兴趣的。这些技术可以分成两类：内插技术，其中帧在两个渲染帧之间被生成；以及外推技术，其中未来帧基于一些过去的输入帧被预测。每种方法在图像质量、等待时间、网络体系结构和性能方面都有其优缺点。针对这些用例中的每个用例开发神经网络都是详尽的过程，该过程要求多次迭代以在质量与性能之间实现正确的权衡。

技术实现思路

技术特征：

1.一种数据处理系统，包括：

2.如权利要求1所述的数据处理系统，所述并行处理器被配置成用于：基于所述预测的光流来扭曲所述多个渲染帧中的渲染帧以生成预测帧。

3.如权利要求2所述的数据处理系统，所述并行处理器被配置成用于：

4.如权利要求3所述的数据处理系统，所述并行处理器被配置成用于：基于处于所述第二分辨率的所述输入光流来预测所述去噪滤波器。

5.如权利要求3或4所述的数据处理系统，所述并行处理器被配置成用于：

6.如权利要求5所述的数据处理系统，其中，为了对所述rgb颜色数据进行预处理，所述并行处理器被配置成用于：

7.如权利要求5所述的数据处理系统，所述并行处理器被配置成用于对所述输入光流进行上采样和去噪，并且经由被配置成用于执行矩阵操作的所述电路生成所述预测的光流。

8.如权利要求7所述的数据处理系统，其中，为了对所述输入光流进行上采样和去噪，所述并行处理器被配置成用于：

9.如权利要求7所述的数据处理系统，其中，为了生成所述预测的光流，所述并行处理器被配置成用于：

10.如权利要求9所述的数据处理系统，其中，为了处理所述多通道输入数据块，所述并行处理器被配置成用于：

11.如权利要求10所述的数据处理系统，其中，为了处理所述解码器部分的输出，所述并行处理器被配置成用于：

12.一种方法，包括：

13.如权利要求12所述的方法，其中，使用所述外推数据集或所述内插数据集来执行对所述神经帧预测网络的端到端训练包括：

14.如权利要求13所述的方法，进一步包括：

15.如权利要求14所述的方法，其中，对所述第二子网络执行所述前向传递包括：

16.一种非暂态机器可读介质，所述非暂态机器可读介质存储指令，所述指令当由一个或多个处理器执行时，使得所述一个或多个处理器用于执行包括如权利要求12-15中的任一项所述的方法的操作。

17.一种系统，包括用于执行如权利要求12-15中的任一项所述的方法的装置。

18.一种图形处理器，包括：

19.如权利要求18所述的图形处理器，所述多个处理资源被配置成用于：

20.如权利要求19所述的图形处理器，所述多个处理资源被配置成用于：

21.如权利要求20所述的图形处理器，其中，为了对所述多个帧的帧数据内的颜色数据进行预处理，所述多个处理资源被配置成用于：

22.如权利要求20所述的图形处理器，所述多个处理资源被配置成用于：基于所述多通道输入数据块来估计所述多个帧中的帧与所述新帧之间的光流。

技术总结
本文中描述了用于使用经上采样的光流数据、经由神经帧生成针对3D渲染应用增强用户体验的技术。在一个实施例中，使用稀疏光流数据和密集光流数据两者来训练神经网络以使得神经帧生成能够由部署的神经网络仅使用稀疏光流数据来执行。稀疏光流数据可以由经训练的神经网络上采样到密集光流数据。神经网络可以使用经上采样的密集光流数据来执行帧生成。

技术研发人员：D·R·艾耶,D·范巴尔,王长亮,S·巴蒂亚
受保护的技术使用者：英特尔公司
技术研发日：
技术公布日：2024/9/23