Differentiable Rendering

Türevlenebilir oluşturma, bilgisayarlı görü ve 3B grafik alanlarında kullanılan, çıktı görüntüsünün oluşturulma sürecinin geometri, aydınlatma, malzemeler ve kamera konumu gibi girdi 3B sahne parametrelerine göre tamamen matematiksel olarak türevlenebilir olduğu gelişmiş bir tekniktir. "Kara kutu" gibi çalışan geleneksel oluşturma motorlarının aksine, türevlenebilir bir oluşturucu, makine öğrenmesi modellerinin gradyanları doğrudan 2B piksel çıktılarından temel 3B varlıklara kadar hesaplamasına olanak tanır. Bu sürekli gradyan akışı, derin öğrenme ağlarının standart geri yayılım tekniklerini kullanarak 3B ortamları optimize etmesini sağlar ve düz 2B görüntüler ile sürükleyici 3B uzamsal farkındalık arasındaki boşluğu kapatır.

Türevlenebilir Oluşturucular Nasıl Çalışır#

Temel düzeyde türevlenebilir bir oluşturucu, kalkülüsün zincir kuralının geriye doğru uygulanabilmesi için rasterleştirme veya ışın izleme sürecindeki işlemleri takip eder. Sistem, oluşturulmuş bir görüntü ile hedef görüntü arasındaki farkı (kayıp) hesapladığında, 3B ağları veya dokuları ayarlamak üzere gradyanları 2B piksellerden geriye doğru aktarır.

Son dönemdeki önemli yenilik alanlarından biri, arXiv akademik arşivlerinde belgelenen SDF'lerin (İşaretli Mesafe Alanları) türevlenebilir biçimde oluşturulmasını kapsar. Açık poligonlar kullanmak yerine, İşaretli Mesafe Alanları, uzaydaki herhangi bir noktanın en yakın yüzey sınırına olan mesafesini hesaplayarak 3B şekilleri matematiksel olarak tanımlar. SDF'lerin türevlenebilir biçimde oluşturulmasına yönelik basit bir yaklaşım, ışın ilerletme algoritmalarını kullanır. Işık ışınları SDF yüzeyiyle kesiştiğinde oluşturucu, kesişimin tam noktasındaki gradyanları hesaplamak için örtük türev yöntemini kullanır. Bu yöntem, binlerce hassas ağ köşesini takip etmenin getireceği hesaplama yükü olmadan karmaşık örtüşmeleri ve keskin kenar gradyanlarını zarif bir şekilde ele alır; bu nedenle PyTorch3D ve NVIDIA Kaolin gibi kütüphanelerde temel bir araç haline gelmiştir.

Türevlenebilir Oluşturma ve Sinirsel Oluşturma Karşılaştırması#

Bu terimler derin öğrenme literatüründe sıklıkla birlikte görülse de modern grafik işlem hatlarının farklı bileşenlerini ifade eder:

• Türevlenebilir Oluşturma: Bu, gradyanların grafik işlem hattı boyunca akmasını sağlayan temel matematiksel çerçeve ve algoritmik araç setidir. Aydınlatma veya şekildeki bir değişikliğin belirli bir pikseli nasıl etkilediğini hesaplayan motordur.
• Sinirsel Oluşturma: Bu, görüntüleri oluşturmak veya sentezlemek için sinir ağlarının kullanılmasına yönelik daha geniş ve kapsayıcı kategoridir. Sinirsel oluşturma işlem hatları çalışmak için büyük ölçüde türevlenebilir oluşturuculara dayanır. Örneğin Gaussian Splatting ve Neural Radiance Fields gibi popüler teknikler, fotogerçekçi görünüm sentezi elde etmek için arka planda türevlenebilir işlemler kullanır.

Görüntü Tabanlı 3B Çıkarım Uygulamaları#

Oluşturma sürecini tersine çevrilebilir hale getiren türevlenebilir bir oluşturucu, görüntü tabanlı 3B çıkarımı mümkün kılar. Genellikle ters grafik olarak adlandırılan bu kavram, yapay zeka modellerinin tek bir 2B fotoğrafa bakarak onu oluşturan 3B şekli, dokuyu ve aydınlatmayı çıkarsamasını sağlar.

MIT CSAIL gibi önde gelen kurumlar ve Google DeepMind 3B araştırmaları üzerinde çalışan kurumsal ekipler, uzamsal zekayı geliştirmek için bu teknolojiden yararlanır. Pratik uygulamalar çeşitli sektörleri dönüştürüyor:

• Otonom Araçlar: Sistemler, engellerin mesafesini ve hacmini daha iyi tahmin etmek için düz kamera görüntülerinden 3B ortamları yeniden oluşturur.
• Poz Tahmini: Modeller, biyomekanik analiz için 3B iskelet parametrelerini doğrudan insan hareketlerinin 2B görüntülerine uyarlar.

Türevlenebilir Oluşturmayla Bilgisayarlı Görüyü Geliştirme#

ACM SIGGRAPH gibi teorik konferanslarda yoğun biçimde ele alınsa da türevlenebilir oluşturmanın üretim düzeyindeki yapay zeka için, özellikle de sentetik veri üretiminde, son derece pratik uygulamaları vardır. Görü sistemleri mühendisleri, uç durumlara yönelik eğitim verileri oluşturmak amacıyla 3B sahneleri programatik olarak optimize etmek için türevlenebilir çerçeveleri kullanabilir; buna nadir aydınlatma koşullarının veya belirli nesne örtüşmelerinin simüle edilmesi de dahildir.

Bu tamamen açıklanmış sentetik veriler daha sonra sağlam nesne algılama ve görüntü segmentasyonu işlem hatlarını eğitmek üzere Ultralytics Platformuna yüklenebilir.

from ultralytics import YOLO

# Load the latest Ultralytics YOLO26 architecture
model = YOLO("yolo26n.pt")

# Train the model natively on a dataset generated via a differentiable renderer
results = model.train(data="synthetic_rendered_data.yaml", epochs=50, imgsz=640)

3B üretken teknikler ile Ultralytics YOLO26 gibi pratik 2B görü modelleri arasındaki boşluğu kapatan geliştiriciler, eğitim verilerinin az olduğu durumlarda bile gerçek dünyayı anlayabilen son derece dayanıklı yapay zeka sistemleri oluşturabilir. OpenAI bilgisayarlı görü geliştirmelerini ilerleten kuruluşlar, görsel bilgileri gerçek 3B uzamsal farkındalıkla işleyen modeller oluşturmak için bu araçlardan yararlanmaya devam ediyor.