项目主页：https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
ACM 计算机图形学领域最顶级的期刊
代码：https://github.com/graphdeco-inria/gaussian-splatting
辐射场方法最近彻底改变了用多张照片或视频捕获的场景的新颖视图合成。 然而实现高视觉质量仍然需要训练和渲染成本高昂的神经网络，而最近更快的方法不可避免地会牺牲速度来换取质量。 对于无界且完整的场景（而不是孤立的物体）和 1080p 分辨率渲染，当前任何方法都无法实现实时显示速率。我们引入了三个关键要素，使我们能够在保持竞争性训练的同时实现最先进的视觉质量，重要的是允许以 1080p 分辨率进行高质量实时 (≥30fps) 新颖视图合成。 首先，从相机校准期间产生的稀疏点开始，我们用 3D 高斯表示场景，保留连续体积辐射场的所需属性以进行场景优化，同时避免在空白空间中进行不必要的计算； 其次，我们对 3D 高斯进行交错优化/密度控制，特别是优化各向异性协方差以实现场景的准确表示； 第三，我们开发了一种快速可见性感知渲染算法，该算法支持anisotropic（各向异性） splatting，既加速训练又允许实时渲染。 我们在几个已建立的数据集上展示了最先进的视觉质量和实时渲染
我们方法的输入是一组静态场景的图像，以及由 SfM 校准的相应摄像机，这会产生稀疏点云作为side effect。 从这些点出发，我们创建了一组 3D 高斯，由位置（均值）、协方差矩阵和不透明度定义，这允许非常灵活的优化机制。 这会产生 3D 场景的相当紧凑的表示，部分原因是高度各向异性的体积片可用于紧凑地表示精细结构。 辐射场的方向外观分量（颜色）通过球谐函数 (SH) 表示，遵循标准实践。 我们的算法继续通过 3D 高斯参数的一系列优化步骤来创建辐射场表示，即位置、协方差和 SH 系数与高斯密度自适应控制的操作交织在一起。 我们方法效率的关键是基于图块的光栅化器，它允许各向异性图块的混合，通过快速排序尊重可见性顺序。 快速光栅化器还包括通过跟踪累积值的快速向后传递，而对可以接收梯度的高斯数量没有限制。 我们的方法的概述如上图所示。