Gaussian Splatting

Gaussian Splatting — это современный метод растеризации, используемый в компьютерной графике и компьютерном зрении для реконструкции фотореалистичных 3D-сцен по набору 2D-изображений. В отличие от традиционного 3D-моделирования, опирающегося на полигональные сетки, или недавних достижений в области ИИ вроде Neural Radiance Fields (NeRF), использующих нейросети для приближенного представления сцены, Gaussian Splatting представляет сцену как совокупность миллионов 3D-гауссовых распределений (эллипсоидов). Этот метод позволяет осуществлять рендеринг в реальном времени с высокой частотой кадров (часто превышающей 100 FPS), сохраняя при этом исключительную визуальную точность и решая главную проблему производительности, свойственную прежним методам синтеза видов.

Как работает Gaussian Splatting#

Основная идея заключается в том, чтобы представлять 3D-пространство явно, а не неявно. В типичном рабочем процессе всё начинается с разреженного point cloud, созданного по набору фотографий с помощью метода под названием Structure from Motion (SfM). Затем каждая точка в этом облаке инициализируется как 3D-гауссов.

Во время training process система оптимизирует несколько параметров для каждого гауссиана:

• Позиция: 3D-координаты (X, Y, Z) в сцене.
• Ковариация: определяет форму и вращение эллипсоида (например, насколько вытянут или наклонен "сплэт").
• Непрозрачность: насколько прозрачной или плотной кажется гауссиана (альфа-значение).
• Color: Представлен с помощью Spherical Harmonics, что позволяет цвету меняться в зависимости от угла обзора, фиксируя реалистичные отражения и световые эффекты.

Термин «splatting» относится к процессу rasterization, при котором эти 3D-гауссианы проецируются (или «распластываются») на 2D-плоскость камеры для формирования изображения. Эта проекция полностью дифференцируема, а значит, для минимизации разницы между отрендеренным изображением и исходной эталонной фотографией можно использовать стандартные алгоритмы gradient descent.

Gaussian Splatting против NeRF#

Хотя обе техники нацелены на создание новых видов сцены, они кардинально различаются по архитектуре и производительности. NeRF (Neural Radiance Fields) кодирует сцену внутри весов neural network. Рендеринг NeRF требует миллионы раз запрашивать эту сеть для каждого отдельного кадра (маршинг лучей), что вычислительно затратно и медленно.

В отличие от этого, Gaussian Splatting использует явное представление (список гауссианов). Это позволяет ему задействовать эффективную тайловую растеризацию, похожую на то, как видеоигры рендерят графику. Следовательно, обучение и рендеринг Gaussian Splatting происходят значительно быстрее, чем у NeRF, что делает его более пригодным для потребительских приложений и real-time inference.

Реальные приложения#

Скорость и качество Gaussian Splatting открыли новые возможности в различных отраслях:

• Виртуальный туризм и недвижимость: Создатели могут запечатлеть музей, исторический объект или продаваемый дом с помощью дрона или смартфона. Gaussian Splatting позволяет удаленным пользователям исследовать эти пространства в Virtual Reality (VR) с 6 степенями свободы (6DoF), видя мелкие детали, такие как отражения на паркетных полах, которые традиционная фотограмметрия может упустить.
• Автомобильное моделирование: Компаниям, разрабатывающим autonomous vehicles, требуется огромное количество данных для тестирования своих алгоритмов восприятия. Gaussian Splatting может воссоздавать реальные городские кварталы по данным датчиков, создавая фотореалистичную среду симуляции. Внутри таких сред модели компьютерного зрения вроде Ultralytics YOLO26 можно тестировать на предмет правильного распознавания опасностей в сложных 3D-сценариях.

Предварительная обработка для Splatting с помощью компьютерного зрения#

Для эффективной работы Gaussian Splatting обучающие изображения обычно должны быть статичными. Движущиеся объекты (например, пешеходы или автомобили) на исходных фотографиях могут вызывать артефакты, называемые «флоатерами» (floaters). Продвинутые пайплайны используют instance segmentation для автоматического маскирования этих динамических элементов перед обучением сплат-модели.

Ultralytics Platform позволяет командам управлять наборами данных и обучать модели, которые могут помочь на этом этапе предварительной обработки. Вот как можно использовать модель сегментации для создания масок для набора данных, предназначенного для 3D-реконструкции:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Значимость в ИИ и будущие тренды#

Gaussian Splatting знаменует собой сдвиг в computer vision в сторону гибридных методов, которые объединяют обучаемость Deep Learning с эффективностью классической компьютерной графики. Этот метод стремительно развивается: исследователи изучают способы сжатия размеров файлов (которые могут быть большими) и интеграции его с generative AI для создания 3D-активов по текстовым подсказкам. По мере того как аппаратные ускорители вроде GPUs продолжают совершенствоваться, Gaussian Splatting, судя по всему, станет стандартом для захвата и рендеринга реального мира в цифровом виде.