Gaussian Splatting

O Gaussian Splatting é uma técnica moderna de rasterização utilizada em computação gráfica e visão computacional para reconstruir cenas 3D fotorrealistas a partir de um conjunto de imagens 2D. Ao contrário da modelagem 3D tradicional que se baseia em malhas poligonais, ou de avanços recentes em IA como Neural Radiance Fields (NeRF) que usam redes neurais para aproximar uma cena, o Gaussian Splatting representa uma cena como uma coleção de milhões de distribuições gaussianas 3D (elipsoides). Este método permite renderização em tempo real a altas taxas de quadros (muitas vezes excedendo 100 FPS) enquanto mantém uma fidelidade visual excepcional, resolvendo um grande gargalo de desempenho encontrado em métodos anteriores de síntese de visualização.

Como funciona o Gaussian Splatting#

A ideia central gira em torno de representar o espaço 3D explicitamente em vez de implicitamente. Em um fluxo de trabalho típico, o processo começa com uma nuvem de pontos esparsa gerada a partir de um conjunto de fotos usando uma técnica chamada Structure from Motion (SfM). Cada ponto nessa nuvem é então inicializado como uma gaussiana 3D.

Durante o processo de treinamento, o sistema otimiza vários parâmetros para cada gaussiana:

• Posição: As coordenadas 3D (X, Y, Z) na cena.
• Covariância: Isso determina a forma e a rotação do elipsoide (por exemplo, quão esticado ou inclinado o "splat" está).
• Opacidade: Quão transparente ou sólido a Gaussiana parece (valor alfa).
• Cor: Representada usando Harmônicos Esféricos, permitindo que a cor mude dependendo do ângulo de visualização, capturando reflexos realistas e efeitos de iluminação.

O termo "splatting" refere-se ao processo de rasterização onde essas gaussianas 3D são projetadas — ou "espalhadas" — no plano da câmera 2D para formar uma imagem. Esta projeção é totalmente diferenciável, o que significa que algoritmos padrão de descida de gradiente podem ser usados para minimizar a diferença entre a imagem renderizada e a foto original de referência.

Gaussian Splatting vs. NeRF#

Embora ambas as técnicas tenham como objetivo gerar novas visualizações de uma cena, elas diferem fundamentalmente em arquitetura e desempenho. NeRF (Neural Radiance Fields) codifica uma cena dentro dos pesos de uma rede neural. Renderizar um NeRF requer consultar essa rede milhões de vezes para cada quadro individual (marcha de raios), o que é computacionalmente caro e lento.

Em contraste, o Gaussian Splatting usa uma representação explícita (a lista de gaussianas). Isso permite que ele utilize rasterização eficiente baseada em blocos, semelhante a como os videogames renderizam gráficos. Consequentemente, o Gaussian Splatting é significativamente mais rápido para treinar e renderizar do que os NeRFs, tornando-o mais viável para aplicações de consumo e inferência em tempo real.

Aplicações no Mundo Real#

A velocidade e a qualidade do Gaussian Splatting abriram novas portas em vários setores:

• Turismo Virtual e Imóveis: Os criadores podem capturar um museu, local histórico ou uma casa à venda usando um drone ou smartphone. O Gaussian Splatting permite que usuários remotos explorem esses espaços em Realidade Virtual (RV) com 6 graus de liberdade (6DoF), vendo detalhes finos como reflexos em pisos de madeira que a fotogrametria tradicional pode perder.
• Simulação Automotiva: Empresas que desenvolvem veículos autônomos precisam de vastas quantidades de dados para testar seus algoritmos de percepção. O Gaussian Splatting pode reconstruir blocos de cidades do mundo real a partir de dados de sensores, criando um ambiente de simulação fotorrealista. Dentro desses ambientes, modelos de visão como Ultralytics YOLO26 podem ser testados para garantir que identifiquem corretamente os perigos em cenários 3D complexos.

Pré-processamento para Splatting com Visão Computacional#

Para que o Gaussian Splatting funcione efetivamente, as imagens de treinamento geralmente precisam ser estáticas. Objetos em movimento (como pedestres ou carros) nas fotos de origem podem causar artefatos chamados "flutuadores". Pipelines avançados usam segmentação de instâncias para mascarar automaticamente esses elementos dinâmicos antes de treinar o modelo de splat.

A Ultralytics Platform permite que equipes gerenciem conjuntos de dados e treinem modelos que podem auxiliar nesta fase de pré-processamento. Veja como se poderia usar um modelo de segmentação para criar máscaras para um conjunto de dados destinado à reconstrução 3D:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image from the scan dataset
# Class 0 is 'person' in COCO - we mask them out to keep the scene static
results = model.predict("scan_frame_001.jpg", classes=[0])

# Save the generated mask to exclude the person from the 3D reconstruction
for result in results:
    result.save_masks("scan_frame_001_mask.png")

Significado em IA e Tendências Futuras#

O Gaussian Splatting representa uma mudança na visão computacional em direção a métodos híbridos que combinam a capacidade de aprendizado do Deep Learning com a eficiência da computação gráfica clássica. Esta técnica está evoluindo rapidamente, com pesquisadores explorando maneiras de compactar os tamanhos de arquivo (que podem ser grandes) e integrá-la com IA generativa para criar ativos 3D a partir de prompts de texto. À medida que aceleradores de hardware como GPUs continuam a melhorar, o Gaussian Splatting provavelmente se tornará o padrão para capturar e renderizar o mundo real em formato digital.