Gaussian Splatting

Gaussian Splatting 是一种现代光栅化技术，用于计算机图形学和计算机 vision，从一组 2D 图像中重建具有真实感的 3D 场景。与依赖多边形网格的传统 3D 建模，或者使用神经网络近似场景的 Neural Radiance Fields (NeRF) 等近期 AI 进展不同，Gaussian Splatting 将场景表示为数百万个 3D 高斯分布（椭球体）的集合。这种方法允许以高帧率（通常超过 100 FPS）进行实时渲染，同时保持卓越的视觉保真度，解决了以前视图合成方法中发现的一个主要性能瓶颈。

Gaussian Splatting 的工作原理#

核心思想围绕着显式而不是隐式地表示 3D 空间。在一个典型的流程中，过程从使用称为 Structure from Motion (SfM) 的技术从一组照片生成的稀疏 point cloud 开始。然后，此点云中的每个点都被初始化为 3D 高斯。

在 training process 期间，系统会为每个高斯优化几个参数：

• 位置： 场景中的 3D 坐标 (X, Y, Z)。
• 协方差： 这决定了椭球体的形状和旋转（例如，“splat”的拉伸或倾斜程度）。
• 不透明度： 高斯函数看起来有多透明或多实心（Alpha 值）。
• 颜色： 使用 Spherical Harmonics 表示，允许颜色根据观察角度而变化，捕捉逼真的反射和光照效果。

术语“splatting”是指 rasterization 过程，其中这些 3D 高斯被投影——或“splatted”——到 2D 相机平面上以形成图像。这种投影是完全可微的，这意味着可以使用标准的 gradient descent 算法来最小化渲染图像与原始真实照片之间的差异。

Gaussian Splatting 与 NeRF 的对比#

虽然这两种技术都旨在生成场景的新颖视图，但它们在架构和性能上有着根本的不同。NeRF (Neural Radiance Fields) 将场景编码在 neural network 的权重中。渲染 NeRF 需要为每个单独的帧查询该网络数百万次（射线步进），这在计算上既昂贵又缓慢。

相比之下，Gaussian Splatting 使用显式表示（高斯列表）。这使它能够利用类似于视频游戏渲染图形的高效基于图块的光栅化。因此，Gaussian Splatting 的训练和渲染速度明显比 NeRF 快，使其更适合消费级应用和 real-time inference。

实际应用#

Gaussian Splatting 的速度和质量在各行各业中开启了新的机遇：

• 虚拟旅游与房地产： 创作者可以使用无人机或智能手机拍摄博物馆、历史遗迹或待售房屋。Gaussian Splatting 允许远程用户在 Virtual Reality (VR) 中以 6 个自由度 (6DoF) 探索这些空间，看到传统摄影测量可能漏掉的硬木地板反光等微小细节。
• 汽车仿真： 开发 autonomous vehicles 的公司需要大量数据来测试其感知算法。Gaussian Splatting 可以从传感器数据中重建现实世界的街区，创建一个逼真的仿真环境。在这些环境中，可以测试 Ultralytics YOLO26 等 vision 模型，以确保它们正确识别复杂 3D 场景中的危险。

使用计算机视觉进行 Splatting 预处理#

为了让 Gaussian Splatting 有效工作，训练图像通常需要是静态的。源照片中的移动物体（如行人和汽车）可能会导致称为“漂浮物”伪影。先进的流水线在训练 splat 模型之前，会使用 instance segmentation 自动屏蔽这些动态元素。

Ultralytics Platform 允许团队管理数据集并训练模型，这些模型可以在此预处理阶段提供帮助。以下是如何使用分割模型为旨在进行 3D 重建的数据集创建掩码的方法：

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

在 AI 中的意义与未来趋势#

Gaussian Splatting 代表了 computer vision 向混合方法的转变，该方法结合了 Deep Learning 的可学习性与经典计算机图形学的效率。这项技术正在迅速发展，研究人员正在探索压缩文件大小（可能很大）的方法，并将其与 generative AI 集成，从文本提示创建 3D 资产。随着 GPUs 等硬件加速器不断改进，Gaussian Splatting 很可能成为以数字形式捕获和渲染现实世界的标准。