Neural Texture Compression

La compressione neurale delle texture (NTC) è una tecnica di compressione con perdita che memorizza le texture dei materiali sotto forma di caratteristiche apprese compatte e di un piccolo decoder neurale. Il decoder ricostruisce i valori delle texture quando il renderer ne ha bisogno. In termini intuitivi, sostituisce grandi raccolte di immagini ricche di dettagli superficiali con una descrizione appresa più compatta, riducendo i requisiti di archiviazione e memoria grafica senza perdere i dettagli visivi più fini.

Nel 2023, Karthik Vaidyanathan, Marco Salvi, Bartlomiej Wronski, Tomas Akenine-Möller, Pontus Ebelin e Aaron Lefohn di NVIDIA hanno introdotto il metodo NTC a accesso casuale di grande impatto con Random-Access Neural Compression of Material Textures. Il metodo comprime congiuntamente le texture di un materiale e le relative mipmap, ovvero le versioni progressivamente più piccole delle texture utilizzate quando le superfici appaiono più lontane.

Come funziona la compressione neurale delle texture#

Un materiale con rendering basato sulla fisica utilizza diverse mappe di texture allineate: il colore di base descrive il colore della superficie, le mappe normali descrivono piccole variazioni dell'orientamento della superficie e la rugosità controlla la nitidezza dei riflessi. Queste mappe condividono una struttura. Un graffio, ad esempio, può interessare diversi canali nella stessa posizione. NTC sfrutta queste correlazioni rappresentando le mappe insieme in uno spazio latente condiviso, con vettori di caratteristiche compatti distribuiti su griglie spaziali. Una piccola rete neurale, di solito un percettrone multistrato, decodifica le caratteristiche in valori del materiale.

Durante la compressione, le griglie di caratteristiche e i pesi del modello del decoder vengono ottimizzati per il materiale. Una funzione di loss di ricostruzione misura le differenze rispetto alle texture originali, mentre la retropropagazione fornisce i gradienti per l'ottimizzazione. Il metodo originale utilizza l'ottimizzatore Adam e combina le caratteristiche campionate con le informazioni posizionali e il livello mip richiesto. Durante il rendering, una richiesta basata sulle coordinate ricostruisce il texel corrispondente, ovvero l'equivalente di un pixel in una texture.

Questa struttura ibrida collega NTC alle rappresentazioni neurali implicite, che rappresentano i segnali tramite funzioni apprese dipendenti dalle coordinate. La sua caratteristica distintiva per la grafica è l'accesso casuale: il renderer ricostruisce su richiesta le posizioni specifiche delle texture, consentendo l'inferenza in tempo reale durante lo shading.

Risparmio di memoria e compromessi nel rendering#

NTC scambia memoria per le texture con calcolo del decoder sulla GPU. Due modalità di distribuzione rendono particolarmente evidente questo compromesso:

• Inferenza al caricamento: le texture vengono decodificate quando si carica una risorsa e possono essere convertite in texture convenzionali compresse a blocchi BCn. Questo riduce lo spazio di archiviazione e le dimensioni di trasferimento delle risorse, mantenendo l'ingombro della memoria residente del formato di destinazione.
• Inferenza sul campione: gli shader decodificano i texel richiesti durante il rendering, mantenendo la rappresentazione neurale nella memoria grafica e aggiungendo lavoro di decodifica al campionamento delle texture.

Una terza modalità, l'inferenza sul feedback, decodifica i tile di texture richiesti in una cache di texture sparsa. Queste scelte determinano dove si mantengono i risparmi di compressione e dove avviene il lavoro di decompressione.

La dimostrazione originale dell'inkwell usava texture NTC da 4096 x 4096 rispetto a texture compresse a blocchi da 1024 x 1024: 16 volte più texel con il 30% di memoria texture in meno. Il confronto dimostra come sia possibile preservare dettagli delle superfici a risoluzione più elevata con un'allocazione di texture più ridotta.

Applicazioni e concetti correlati#

Il rendering 3D interattivo è un'applicazione diretta. Gli sviluppatori comprimono le risorse dei materiali durante la preparazione dei contenuti e integrano la decodifica nel renderer. Con NVIDIA RTX Neural Texture Compression SDK, ntc-cli comprime set di texture, NTC Explorer confronta le impostazioni e il renderer di esempio visualizza risorse glTF. Il modello FlightHelmet incluso contiene materiali precompressi per testare le modalità di rendering.

Il rendering neurale è l'uso più ampio di componenti appresi nella sintesi delle immagini. NTC ricostruisce specificamente texture di materiali memorizzate; la super-risoluzione ricostruisce immagini a risoluzione più elevata a partire da input a risoluzione inferiore. Queste tecniche operano in punti diversi di una pipeline grafica.

La quantizzazione dei modelli riduce la precisione numerica dei parametri e delle attivazioni delle reti. Ultralytics YOLO applica questa tecnica correlata a bassa precisione tramite l'esportazione TensorRT, generando motori INT8 YOLO26 che riducono i requisiti di memoria del modello e accelerano i carichi di lavoro di inferenza supportati.

Qualità della ricostruzione e artefatti#

La qualità NTC dipende dal budget di bit e dalla complessità del materiale. Un numero maggiore di bit per texel offre più capacità per ricostruire i dettagli; aggiungere canali a budget invariato aumenta la pressione di compressione. Il rapporto picco segnale-rumore (PSNR), misurato in decibel, quantifica la fedeltà della ricostruzione: valori più alti indicano un errore minore. La decodifica condivisa consente inoltre alle caratteristiche di propagarsi tra i canali, alterando le proprietà dei materiali ricostruiti. Nell'implementazione di NVIDIA, un canale maschera alfa designato esplicitamente riceve un trattamento speciale per preservare con maggiore precisione i valori vicini a 0 e 1.