一种基于空间耦合的3D高斯泼溅技术的视角合成方法

本发明涉计算机视觉和图形学领域，具体涉及一种基于空间耦合的3d高斯泼溅技术的视角合成方法。

背景技术：

1、三维高斯溅射(3d gaussian splatting，3d gs)是近年来在显式辐射场和计算机图形领域出现的一种变革性技术。这种创新方法的特点是利用了数百万个3d高斯，这与神经辐射场(nerf)方法有很大的不同，后者主要使用隐式的、基于坐标的模型来将空间坐标映射到像素值。3d gs具有显式的场景表示和可微分的光栅化算法，在拥有强大场景表达能力的同时支持快速渲染，3d高斯中储存了如下参数：位置坐标，协方差矩阵（决定高斯形状），不透明度，球谐函数（拟合视角相关的外观），其中的参数会在迭代优化的过程中更新。

2、然而，目前很多基于3d gs的新视角合成方法，在内存效率方面仍然较低，即优化完存在许多冗余的3d高斯，会对实时渲染产生不利影响；以及在收敛速度、图像的质量都仍有进一步提升的空间。

技术实现思路

1、为克服现有技术的不足，本发明提供一种基于空间耦合的3d高斯泼溅技术的视角合成方法，用结构化地方式组织3d高斯的自适应调整，在优化过程中充分考虑局部空间的3d高斯分布信息，从而显著加速收敛过程，且在保证一定的渲染质量情况下具有较高的内存效率。

2、为达到上述目的，本发明采用的技术方案是：

3、本发明提供一种基于空间耦合的3d高斯泼溅技术视角合成的方法，具体包括以下步骤：

4、步骤1：首先使用运动结构恢复（sfm: structure from motion）方法从一组图像中估计点云，将点云送入多尺度网格化模块结构中，用不同分辨率的网格对点云进行体素化，网格的中心点称为控制点v，对于某一个特定的控制点v，其初始化坐标为网格中心点坐标，控制点还会初始化一个可学习的特征向量作为局部上下文特征，一个控制点对应k个3d高斯的生成，每个控制点v还会附带一个可学习的偏移向量∈rk×3，和一个可学习的尺度调控因子∈r3；

5、步骤2：将相对于控制点的偏移向量送入局部位置感知模块中，为了使输入的k个偏移坐标从局部位置感知模块的输出特征具有排列不变性，该模块被设计为一个的对称函数去聚集每个点的位置信息，模块输出表征了当前局部空间k个3d高斯的位置分布特征；

6、步骤3：将局部位置特征与控制点自身的特征进行拼接得到融合特征；

7、步骤4：将某一个特定的控制点v相对相机的观看方向，和前面的融合特征拼接后送入3d高斯属性解码模块，分别解码得到k个3d高斯的不透明度、协方差矩阵、颜色；

8、步骤5：根据控制点的坐标、尺度调控因子，和3d高斯的偏移向量，得到最终的3d高斯位置，并根据不透明度，设置阈值并去除低于阈值的3d高斯；

9、步骤6：根据指定的相机内外参，将该视角下的3d高斯送入可微光栅化模块，具体包括三维高斯体的中心位置、不透明度、三维协方差矩阵和颜色，将它们投影到2d图像空间中进行渲染，得到该视角下的新视角合成结果，与该视角下的图像真值计算损失函数，具体包括损失和结构相似性损失；为了约束3d高斯的尺度不要过大，产生过多的重叠，再在损失函数中引入一个正则项；最终的损失函数为其中和为两个超参数，用于控制这两项损失各自的比重，最终对模型参数应用反向传播算法进行优化，直到收敛。

10、本发明与现有技术相比的有益效果在于：

11、本发明的多尺度网格化模块结构将无序的点云结构化成可微的网格，可以控制高斯球在空间中尽量均匀分布，同时避免3d高斯在优化过程中的出现过多冗余生成；本发明的局部位置感知模块可以利用当前状态下的3d高斯空间分布特征，辅助对3d高斯属性的预测，从而加速收敛；本发明直接用很浅的多层感知机（mlp）去一次性回归多个高斯的颜色，在这个过程中也引入了各向异性，对高光场景的重建也有改善。

技术特征：

1.一种基于空间耦合的3d高斯泼溅技术的视角合成方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于空间耦合的3d高斯泼溅技术的视角合成方法，其特征在于，所述步骤2中，为避免由于输入排序不同导致结果不同，对同样的数据输入设计，即对局部坐标系下的k个偏移向量使用mlp分别处理，再送入对称函数最大池化层中处理，以实现排列不变性；mlp表示多层感知机。

3.根据权利要求1所述的一种基于空间耦合的3d高斯泼溅技术的视角合成方法，其特征在于，所述步骤4中，3d高斯属性解码模块均由浅层mlp构成，具体包括不透明度mlp、协方差矩阵mlp、颜色mlp，分别得到各自属性；对于一个控制点，直接一次性解码出k个3d高斯的属性；将3d协方差矩阵表示为放缩变换s和旋转变换r的组合；放缩变换s由一个三维向量表达，旋转变换r用四元数表达。

4.根据权利要求1所述的一种基于空间耦合的3d高斯泼溅技术的视角合成方法，其特征在于，所述步骤5中，对于一个位置坐标为的控制点，其对应的k个高斯的位置为：

5.根据权利要求1所述的一种基于空间耦合的3d高斯泼溅技术的视角合成方法，其特征在于，对于控制点的生成，计算n次训练迭代中，在视图空间中大于0.001的高斯的平均梯度，记为；然后，将的3d高斯视为显著高斯，其中为预定义阈值；将显著高斯送入多尺度网格化模块结构，如果某个网格的中心之前没有建立控制点，则在该网格的中心部署一个新的控制点。

6.根据权利要求1所述的一种基于空间耦合的3d高斯泼溅技术的视角合成方法，其特征在于，在n次训练迭代中累积冗余控制点相关的3d高斯的不透明度值；如果一个控制点不能产生高于0.005的不透明度水平的3d高斯，从场景中删除它。

技术总结
本发明公开了一种基于空间耦合的3D高斯泼溅技术的视角合成方法，本方法中多尺度网格化模块结构用于将点云进行不同尺度下的规则化，网格中心点作为初始化控制点来指导局部3D高斯的生成情况；控制点本身有自己的可学习特征向量作为局部上下文特征，局部位置感知模块将其与当前局部空间的3D高斯位置特征进行融合；3D高斯属性解码模块使用融合特征推理估计控制点生成的3D高斯属性；冗余点剪裁模块根据优化过程中的规则设置对不符合规则的控制点进行剪裁；可微光栅化模块根据指定的相机内外参，将3D高斯投影到2D图像空间中进行渲染，得到该视角下的新视角合成结果。本发明用于解决3D高斯表征下优化收敛慢、易产生较多冗余高斯的问题。

技术研发人员：袁丁,张思哲,张弘,杨一帆,于倩
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/9/23