Neural Texture Compression

Nöral doku sıkıştırma (NTC), malzeme dokularını kompakt, öğrenilmiş özellikler ve küçük bir nöral kod çözücü olarak depolayan kayıplı bir sıkıştırma tekniğidir. Bir oluşturucu ihtiyaç duyduğunda kod çözücü doku değerlerini yeniden oluşturur. Basitçe ifade etmek gerekirse bu yöntem, yüzey ayrıntılarını içeren büyük görüntü koleksiyonlarının yerine daha küçük, öğrenilmiş bir betimleme koyar; ince görsel ayrıntıları korurken depolama ve grafik belleği gereksinimlerini azaltır.

NVIDIA'dan Karthik Vaidyanathan, Marco Salvi, Bartlomiej Wronski, Tomas Akenine-Möller, Pontus Ebelin ve Aaron Lefohn, etkili rastgele erişimli NTC yöntemini 2023'te Malzeme Dokularının Rastgele Erişimli Nöral Sıkıştırması başlıklı çalışmayla tanıttı. Yöntem, bir malzemenin dokularını ve yüzeyler daha uzakta göründüğünde kullanılan, giderek küçülen doku sürümleri olan mipmap'lerini birlikte sıkıştırır.

Nöral Doku Sıkıştırma Nasıl Çalışır?#

Fizik tabanlı bir işleme malzemesi, hizalanmış çeşitli doku haritaları kullanır: temel renk yüzey rengini, normal haritalar yüzey yönündeki küçük değişiklikleri tanımlar; pürüzlülük ise yansımaların keskinliğini belirler. Bu haritalar ortak yapıları paylaşır. Örneğin bir çizik, aynı konumdaki birden fazla kanalı etkileyebilir. NTC, haritaları ortak bir örtük uzayda temsil ederek ve kompakt özellik vektörlerini uzamsal ızgaralara dağıtarak bu korelasyonlardan yararlanır. Genellikle çok katmanlı bir algılayıcı olan küçük bir nöral ağ, özellikleri çözüp malzeme değerlerine dönüştürür.

Sıkıştırma sırasında özellik ızgaraları ve kod çözücünün model ağırlıkları malzemeye göre optimize edilir. Yeniden oluşturma kayıp fonksiyonu, özgün dokulardan farkları ölçer; geri yayılım ise optimizasyon için gradyanları sağlar. Özgün yöntem Adam iyileştiricisini kullanır ve örneklenmiş özellikleri konum bilgisiyle ve istenen mip düzeyiyle birleştirir. Oluşturma sırasında koordinat sorgusu, ilgili tekseli (dokuya karşılık gelen pikseli) yeniden oluşturur.

Bu hibrit yapı, NTC'yi sinyalleri koordinata bağlı öğrenilmiş fonksiyonlarla temsil eden örtük nöral temsillere bağlar. Grafikleri tanımlayan özelliği rastgele erişimdir: Oluşturucu, gölgelendirme sırasında gerçek zamanlı çıkarımı desteklemek için istenen doku konumlarını talep üzerine yeniden oluşturur.

Bellek Tasarrufu ve Oluşturma Performansı Arasındaki Denge#

NTC, doku belleğinden GPU üzerindeki kod çözücü hesaplamalarına geçiş yapar. İki dağıtım modu bu dengeyi özellikle net biçimde ortaya koyar:

• Yükleme Sırasında Çıkarım: Dokular, bir varlık yüklenirken çözülür ve geleneksel BCn blok sıkıştırmalı dokulara dönüştürülebilir. Bu, hedef biçimin bellekte kapladığı alanı korurken varlıkların depolama ve aktarım boyutunu küçültür.
• Örnek Üzerinde Çıkarım: Gölgelendiriciler, istenen texel'leri işleme sırasında çözer; böylece sinirsel gösterim grafik belleğinde kalır ve doku örneklemesine kod çözücü işlemi eklenir.

Üçüncü mod olan geri bildirim üzerinden çıkarım, istenen doku parçalarını seyrek bir doku önbelleğine çözer. Bu tercihler, sıkıştırma tasarruflarının nerede devam edeceğini ve sıkıştırma açma işleminin nerede yapılacağını belirler.

Özgün inkwell gösteriminde 4096 x 4096 NTC dokuları, 1024 x 1024 blok sıkıştırmalı dokularla karşılaştırıldı: %30 daha az doku belleğiyle 16 kat daha fazla texel. Bu karşılaştırma, daha küçük bir doku tahsisi içinde daha yüksek çözünürlüklü yüzey ayrıntılarının korunduğunu gösterir.

Uygulamalar ve İlgili Kavramlar#

Etkileşimli 3B işleme, doğrudan bir uygulama alanıdır. Geliştiriciler içerik hazırlığı sırasında malzeme varlıklarını sıkıştırır ve kod çözmeyi işleyiciye entegre eder. NVIDIA RTX Neural Texture Compression SDK ile ntc-cli doku kümelerini sıkıştırır, NTC Explorer ayarları karşılaştırır ve örnek işleyici glTF varlıklarını görüntüler. Pakete dahil olan FlightHelmet modeli, işleme modlarını test etmek için önceden sıkıştırılmış malzemeler içerir.

Sinirsel işleme, görüntü sentezinde öğrenilmiş bileşenlerin daha kapsamlı kullanım alanıdır. NTC, depolanmış malzeme dokularını yeniden oluşturur; süper çözünürlük ise düşük çözünürlüklü girdilerden daha yüksek çözünürlüklü görüntüler oluşturur. Bu teknikler, grafik işlem hattının farklı aşamalarında çalışır.

Model nicemleme, ağ parametrelerinin ve aktivasyonlarının sayısal hassasiyetini düşürür. Ultralytics YOLO, bu ilişkili düşük hassasiyetli tekniği TensorRT dışa aktarımı aracılığıyla uygular ve model belleği gereksinimlerini azaltan, desteklenen çıkarım iş yüklerini hızlandıran INT8 YOLO26 motorları oluşturur.

Yeniden Oluşturma Kalitesi ve Kusurlar#

NTC kalitesi, bit bütçesine ve malzeme karmaşıklığına bağlıdır. Texel başına daha fazla bit, ayrıntıların yeniden oluşturulması için daha fazla kapasite sağlar; sabit bir bütçeye kanal eklemek sıkıştırma baskısını artırır. Desibel cinsinden ölçülen tepe sinyal-gürültü oranı (PSNR), yeniden oluşturma doğruluğunu ölçer; daha yüksek değerler daha düşük hataya işaret eder. Paylaşımlı kod çözme, özelliklerin kanallar arasında sızmasına da olanak tanıyarak yeniden oluşturulan malzeme özelliklerini değiştirir. NVIDIA'nın uygulamasında, açıkça alfa maskesi kanalı olarak belirlenen kanala özel işlem uygulanarak 0 ve 1'e yakın değerler daha doğru korunur.