Semantic Segmentation

Anlamsal segmentasyon, görüntüdeki her piksele bir sınıf etiketi atayan bir bilgisayarlı görü görevidir. Çıktı, girişle aynı yükseklik ve genişlikte yoğun bir sınıf haritasıdır; her değer yol, kaldırım, bina, gökyüzü veya kişi gibi bir sınıf kimliğidir. Görüntü sınıflandırması görüntü başına tek etiket verirken ve nesne tespiti her nesnenin çevresine bir kutu çizerken, anlamsal segmentasyon; sayılabilir örnekleri olmayan çimen ve gökyüzü gibi biçimsiz arka plan alanları da dahil, tüm sahneyi bölge bölge tanımlar.

Anlamsal Segmentasyon Nasıl Çalışır#

Anlamsal segmentasyon modeli, piksel başına sınıflandırıcıdır. Bir evrişimli sinir ağı (CNN) veya görüntü Transformer'ı, genellikle düşürülmüş çözünürlükte, her sınıf için bir puan haritası üretir; haritalar görüntü boyutuna yükseltilir ve her piksel en yüksek puana sahip sınıfı alır. Eğitim sırasında her pikselin tahmini bir etiketli maske ile çapraz entropi kullanılarak karşılaştırılır; genellikle 255 olan yok sayma değeriyle işaretlenmiş pikseller kayba dahil edilmez.

Temel zorluk, bir bölgenin ne olduğunu tanımanın geniş bir alıcı alan ve yoğun alt örnekleme gerektirmesi; doğru sınırlar çizmenin ise ince uzamsal ayrıntı istemesidir. Tam evrişimli ağlar (FCN), 2014'te sınıflandırma ağlarını yoğun tahminciler hâline getiren ilk mimarilerdi. U-Net gibi kodlayıcı-kod çözücü tasarımlar, yüksek çözünürlüklü kodlayıcı özelliklerini atlama bağlantılarıyla kod çözücüye aktararak sınırları geri kazandı; DeepLab ise özellik haritasını küçültmeden bağlamı genişletmek için genişletilmiş (atrous) evrişimler kullandı. Gerçek zamanlı modeller, kaba bağlamı ince ayrıntılarla şöyle birleştirir:

-sem son ekiyle belirtilen Ultralytics YOLO26 anlamsal segmentasyon modelleri bu yaklaşımı izler: Bağlamı zaten birleştirmiş 1/8 ölçekli boyun özelliklerinden pikselleri sınıflandırır, ardından logitleri giriş boyutuna 8× büyütür. Modeller 19 Cityscapes sınıfı veya 150 ADE20K sınıfı üzerinde önceden eğitilir ve maske görüntüleri ya da anında maskelere dönüştürülen YOLO çokgen etiketleri üzerinde eğitilir.

from ultralytics import YOLO

# Load a YOLO26 semantic segmentation model trained on the 19 Cityscapes classes
model = YOLO("yolo26n-sem.pt")

# Predict one class ID for every pixel of a street image
results = model("https://ultralytics.com/images/bus.jpg")
class_map = results[0].semantic_mask.data

# Measure how much of the image each class covers
ids, counts = class_map.unique(return_counts=True)
for class_id, count in zip(ids.tolist(), counts.tolist()):
    print(f"{results[0].names[class_id]}: {count / class_map.numel():.1%}")

Çıktı, görüntüde bulunan her sınıfı ve görüntüdeki payını listeler. Fotoğraftaki tüm insanlar tek bir kişi payına düşer; çünkü sınıf haritası piksel başına bir sınıf saklar ve pikselin hangi nesneye ait olduğu bilgisini içermez.

Anlamsal, Örnek ve Panoptik Segmentasyon#

Anlamsal segmentasyon, görüntü segmentasyonu görevlerinden biridir:

• Örnek segmentasyonu: Sayılabilir her nesneye kendi maskesini ve kimliğini verir; böylece üç araba araba 1, araba 2 ve araba 3 olur. Arka plan piksellerini etiketsiz bırakır.
• Panoptik segmentasyon: Anlamsal segmentasyonda olduğu gibi her piksele bir sınıf etiketi verir ve sayılabilir nesnelerin piksellerine bir örnek kimliği ekler.

Anlamsal segmentasyon; nesne sayısından çok bölgelerin önem taşıdığı, sürülebilir yol alanı veya arazi örtüsü gibi sahneler için uygundur.

Anlamsal ve örnek bölümleme arasında seçim yapma konusunda anlamsal bölümleme ile örnek bölümlemesini karşılaştıran kılavuza bakabilirsin. Ultralytics Academy'nin Anlamsal Bölümleme: Her Pikseli Etiketle dersi de görev için veri etiketleme ve model eğitme adımlarını açıklar.

Gerçek Dünya Uygulamaları#

• Otonom araçlar: Sürüş sistemleri, sürülebilir alanları ve engelleri bulmak için kamera karelerini yol, kaldırım, şerit çizgileri, araçlar ve yayalar olarak segmentlere ayırır.
• Tıbbi görüntüleme: Modeller, klinisyenlerin hacimleri ölçüp tedaviyi planlayabilmesi için BT ve MRI taramalarındaki organları, tümörleri ve lezyonları sınırlandırır; U-Net başlangıçta biyomedikal görüntüler için tasarlanmıştır.
• Uydu görüntüsü analizi: Arazi örtüsü haritaları, ormansızlaşmayı ve kentsel büyümeyi izlemek için her pikseli su, orman, ekili arazi veya yapılaşmış alan olarak etiketler.
• Tarım: Tarla robotları ve dronlar pikselleri ekin, yabani ot veya toprak olarak sınıflandırır; böylece püskürtücüler yalnızca yabani otları ilaçlar.

Kıyaslamalar ve Metrikler#

Modeller, sınıf başına tahmin edilen ve gerçek piksellerin örtüşmesini hesaplayıp ardından ortalamasını alan ortalama Kesişim/Birleşim (IoU) değeri (mIoU) ile değerlendirilir; böylece direkler ve trafik işaretleri gibi az görülen sınıflar, yol ve gökyüzü kadar ağırlık kazanır. ADE20K, genel sahne ayrıştırması için iç ve dış mekânlardan 150 sınıf içerir; en bilinen sürüş kıyaslama veri kümesi olan Cityscapes ise 50 şehirden piksel düzeyinde ayrıntılı etiketlere sahip 5.000 sokak görüntüsü içerir ve 19 değerlendirme sınıfında mIoU'ya göre sıralanır.