Neural Texture Compression

A compressão neural de texturas (NTC) é uma técnica de compressão com perdas que armazena texturas de materiais como características aprendidas compactas e um pequeno decodificador neural. O decodificador reconstrói os valores das texturas quando um renderizador precisa deles. Em termos simples, ela substitui grandes coleções de imagens com detalhes de superfície por uma descrição aprendida menor, reduzindo as necessidades de armazenamento e de memória gráfica e preservando detalhes visuais finos.

Karthik Vaidyanathan, Marco Salvi, Bartlomiej Wronski, Tomas Akenine-Möller, Pontus Ebelin e Aaron Lefohn, da NVIDIA, apresentaram em 2023 o influente método NTC de acesso aleatório, por meio do artigo Random-Access Neural Compression of Material Textures. O método comprime conjuntamente as texturas de um material e seus mipmaps, as versões progressivamente menores das texturas usadas quando as superfícies aparecem mais distantes.

Como funciona a compressão neural de texturas#

Um material de renderização baseada em física usa vários mapas de textura alinhados: a cor base descreve a cor da superfície, os mapas de normais descrevem pequenas alterações na orientação da superfície e a rugosidade controla a nitidez dos realces. Esses mapas compartilham estruturas. Por exemplo, um arranhão pode afetar vários canais no mesmo local. A NTC aproveita essas correlações ao representar os mapas juntos em um espaço latente, com vetores de características compactos distribuídos por grades espaciais. Uma pequena rede neural, geralmente um perceptron multicamadas, decodifica as características em valores de material.

Durante a compressão, as grades de características e os pesos do modelo do decodificador são otimizados para o material. Uma função de perda de reconstrução mede as diferenças em relação às texturas originais, e a retropropagação fornece gradientes para a otimização. O método original usa o otimizador Adam e combina características amostradas com informações posicionais e o nível de mip solicitado. Durante a renderização, uma consulta de coordenadas reconstrói o texel correspondente — o equivalente, em uma textura, a um pixel.

Essa estrutura híbrida conecta a NTC às representações neurais implícitas, que representam sinais por meio de funções aprendidas dependentes de coordenadas. Sua capacidade gráfica característica é o acesso aleatório: o renderizador reconstrói sob demanda os locais solicitados da textura, permitindo a inferência em tempo real durante a aplicação de sombreamento.

Economia de memória e concessões na renderização#

A NTC troca memória de textura por computação do decodificador na GPU. Dois modos de implantação deixam essa troca especialmente clara:

• Inferência ao carregar: As texturas são decodificadas quando um recurso é carregado e podem ser convertidas em texturas convencionais comprimidas em blocos BCn. Isso reduz o armazenamento e o tamanho de transferência dos recursos, mantendo o consumo de memória residente do formato de destino.
• Inferência na amostragem: Os shaders decodificam os texels solicitados durante a renderização, mantendo a representação neural na memória gráfica e adicionando trabalho de decodificação à amostragem de textura.

Um terceiro modo, a inferência baseada em feedback, decodifica os blocos de textura solicitados em um cache de textura esparso. Essas escolhas determinam onde a economia de compressão persiste e onde ocorre o trabalho de descompressão.

A demonstração original do inkwell usou texturas NTC de 4096 x 4096 em comparação com texturas com compressão em blocos de 1024 x 1024: 16 vezes mais texels com 30% menos memória de textura. A comparação demonstra a preservação de detalhes de superfície em resolução mais alta usando uma alocação de textura menor.

Aplicações e conceitos relacionados#

A renderização 3D interativa é uma aplicação direta. Os desenvolvedores comprimem os recursos de materiais durante a preparação do conteúdo e integram a decodificação ao renderizador. Com o SDK NVIDIA RTX Neural Texture Compression, ntc-cli comprime conjuntos de texturas, o NTC Explorer compara configurações e o renderizador de exemplo exibe recursos glTF. O modelo FlightHelmet incluído traz materiais pré-comprimidos para testar os modos de renderização.

A renderização neural é o uso mais amplo de componentes aprendidos na síntese de imagens. O NTC reconstrói especificamente texturas de materiais armazenadas; a super-resolução reconstrói imagens de resolução mais alta a partir de entradas de resolução mais baixa. Essas técnicas operam em pontos diferentes de um pipeline gráfico.

A quantização de modelos reduz a precisão numérica dos parâmetros e das ativações da rede. O Ultralytics YOLO aplica essa técnica relacionada de baixa precisão por meio da exportação TensorRT, produzindo mecanismos INT8 YOLO26 que reduzem os requisitos de memória do modelo e aceleram as cargas de trabalho de inferência compatíveis.

Qualidade da reconstrução e artefatos#

A qualidade do NTC depende do orçamento de bits e da complexidade do material. Mais bits por texel oferecem maior capacidade para reconstruir detalhes; adicionar canais com um orçamento fixo aumenta a pressão de compressão. A relação sinal-ruído de pico (PSNR), medida em decibéis, quantifica a fidelidade da reconstrução: valores mais altos indicam menor erro. A decodificação compartilhada também permite que características vazem entre canais, alterando as propriedades do material reconstruído. Na implementação da NVIDIA, um canal de máscara alfa explicitamente designado recebe tratamento especial para preservar com mais precisão valores próximos de 0 e 1.