Neural Radiance Fields (NeRF)

Nöral Işınım Alanları (NeRF), bilgisayarlı görü (CV) ve üretken yapay zekâ alanlarında çığır açan bir ilerlemeyi temsil eder ve seyrek bir 2B görüntü kümesinden fotogerçekçi 3B sahneler sentezlemek üzere tasarlanmıştır. Poligonlar, ağlar veya nokta bulutları gibi açık geometrik yapılara dayanan geleneksel 3B modelleme yaklaşımlarının aksine NeRF, bir sahnenin "örtük" temsilini öğrenmek için bir sinir ağı (NN) kullanır. NeRF'ler, uzamsal koordinatları ve görüntüleme yönlerini renk ve yoğunluk değerleriyle eşleyerek yeni bakış açılarını olağanüstü doğrulukla işleyebilir; yansımalar, saydamlık ve değişken aydınlatma gibi standart fotogrametrinin yeniden oluşturmakta çoğu zaman zorlandığı karmaşık görsel efektleri doğru şekilde yakalar.

Nöral Işınım Alanları Nasıl Çalışır#

NeRF, özünde bir sahneyi sürekli bir hacimsel işlev olarak modeller. Bu işlev genellikle tamamen bağlı bir derin öğrenme (DL) ağıyla parametreleştirilir. Süreç, ışınların sanal bir kameradan istenen görüntü düzleminin her pikseli üzerinden 3B uzaya gönderildiği ışın ilerletme ile başlar.

Her ışın boyunca örneklenen noktalar için ağ, 5B bir girdi alır: 3B uzamsal konum ($x, y, z$) ve 2B görüntüleme yönü ($\theta, \phi$); ardından o noktadaki yayılan rengi ve hacim yoğunluğunu (opaklık) çıktılar. Hacimsel işleme temelli teknikler kullanılarak bu örneklenen değerler biriktirilir ve pikselin nihai rengi hesaplanır. Ağ, işlenen pikseller ile özgün eğitim verilerindeki gerçek pikseller arasındaki fark en aza indirilecek şekilde eğitilir; böylece sahnenin görsel özelliklerini ezberlemek üzere [model ağırlıkları](https://ultralytics-translation-2.invalid etkin biçimde optimize edilir.

Gerçek Dünya Uygulamaları#

NeRF teknolojisi, akademik araştırmalardan pratik araçlara hızla geçerek durağan fotoğrafçılık ile etkileşimli 3B ortamlar arasındaki boşluğu kapatmış ve çeşitli sektörleri etkilemiştir.

• Sürükleyici E-Ticaret: Perakendeciler, etkileşimli ürün tanıtımları oluşturmak için NeRF'lerden yararlanır. Bir ürüne ait birkaç fotoğrafı işleyerek perakendede yapay zekâ çözümleri, müşterilerin ürünü her açıdan görüntüleyebileceği bir 3B temsil oluşturabilir ve durağan görüntülerden daha zengin bir deneyim sunabilir.
• Sanal Prodüksiyon ve VFX: Film endüstrisi, gerçek dünyadaki konumları yakalamak ve bunları sanal prodüksiyon için fotogerçekçi arka planlar olarak işlemek amacıyla NeRF'leri kullanır. Bu sayede film yapımcıları, oyuncuları kamera hareketlerine gerçekçi şekilde tepki veren dijital ortamlara yerleştirebilir ve pahalı mekân çekimlerine olan ihtiyacı azaltabilir.
• Robotik Simülasyonu: Otonom araçları ve dronları eğitmek büyük miktarda veri gerektirir. NeRF'ler, sensör verilerinden karmaşık gerçek dünya ortamlarını yeniden oluşturabilir ve robotik algoritmalarının güvenli ve kapsamlı şekilde test edilebileceği yüksek doğruluklu simülasyon ortamları oluşturabilir.

İlgili Kavramlardan Farkı#

NeRF'nin kendine özgü kullanım alanını anlamak için onu diğer 3B ve görü teknolojilerinden ayırmak faydalıdır.

• NeRF ve Fotogrametri Karşılaştırması: Fotogrametri, görüntüler arasındaki özellikleri eşleştirerek yüzey geometrisini (ağları) açıkça yeniden oluşturur. Basit yüzeylerde verimli olsa da parlak yüzeyler, ince yapılar (saç gibi) veya saydamlık gibi "Lambertçi olmayan" efektlerde çoğu zaman zorlanır. NeRF'ler, hacmi ve ışık taşınımını doğrudan modelledikleri için bu alanlarda başarılıdır.
• NeRF ve 3B Nesne Tespiti Karşılaştırması: NeRF görsel veri üretirken 3B nesne tespiti sahnenin içeriğini anlamaya odaklanır. Tespit modelleri sınırlayıcı kutuları kullanarak nesneleri tanımlar ve konumlandırır; NeRF'ler ise sahnenin görünümünü işlemeye odaklanır.
• NeRF ve Derinlik Tahmini Karşılaştırması: Derinlik tahmini, piksellerin kameraya olan uzaklığını tahmin ederek bir derinlik haritası oluşturur. NeRF'ler görüntüleri işlemek için geometriyi örtük olarak öğrenir; ancak birincil çıktıları açık bir derinlik haritası yerine sentezlenmiş görünümdür.

Görü İş Akışlarına NeRF Entegrasyonu#

Yüksek kaliteli bir NeRF'yi eğitmek çoğu zaman temiz veri gerektirir. Arka plan gürültüsü veya hareketli nesneler, nihai işleme sonucunda "hayalet görüntü" kusurlarına neden olabilir. Bunu azaltmak için geliştiriciler, NeRF'yi eğitmeden önce ilgi konusu nesneyi otomatik olarak maskelemek amacıyla genellikle örnek bölütleme modelleri kullanır.

Ultralytics Platformu ve Python API, bölütlemenin bu ön işleme iş akışına sorunsuz şekilde entegre edilmesini sağlar. Aşağıdaki örnek, bir görüntü kümesi için maskeler oluşturmak ve görüntüleri 3B yeniden yapılandırmaya hazırlamak üzere YOLO26 kullanımını gösterir.

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference to detect and segment objects
# Saving results creates masks useful for NeRF preprocessing
results = model("scene_image.jpg", save=True)

# Access the binary masks for the detected objects
masks = results[0].masks.data
print(f"Generated {len(masks)} masks for NeRF training.")

Bölütlemenin hassasiyetini NeRF'lerin üretken gücüyle birleştiren mühendisler, sentetik veri üretimi için sağlam iş akışları oluşturabilir ve diğer sonraki görevler için sınırsız eğitim örneği üretilmesini sağlayabilir.