Image Segmentation

Görüntü segmentasyonu, görüntü piksellerini etiketleyerek görüntüyü bölgelere ayırma görevi olan bir bilgisayarlı görü işlemidir. Çıktısı, hangi piksellerin hangi sınıfa veya nesneye ait olduğunu tam olarak gösteren maske kümesidir. Her nesneyi arka planı da içeren dikdörtgen bir sınırlayıcı kutuyla konumlandıran nesne algılamayla karşılaştırıldığında segmentasyon, her nesnenin veya bölgenin gerçek dış hatlarını izler. Görüntünün tamamına tek bir etiket atayan görüntü sınıflandırmasından çok daha ayrıntılıdır. Bu hassasiyet, tümör ölçümünden bir arabanın önündeki boş alanı bulmaya kadar kararların alan, dış hat veya nesneler arasındaki temas durumuna bağlı olduğu her yerde önemlidir.

Görüntü Bölütleme Türleri#

Bölütleme görevleri, piksel etiketinin ne anlama geldiğine göre farklılık gösterir. Bilgisayarlı görüde insan ve araba gibi sayılabilir nesneler "şeyler"; yol, çimen ve gökyüzü gibi biçimsiz bölgeler ise "zemin" olarak adlandırılır.

• Anlamsal bölütleme: Şeyleri ve zemini kapsayacak şekilde her piksele bir sınıf atar ve aynı sınıftaki tüm nesneleri tek bir bölgede birleştirir.
• Örnek bölütleme: Sayılabilir her nesneyi algılar ve ona kendi maskesini ve kimliğini verir; böylece birbirine değen iki kişi ayrı kalır. Arka plan pikselleri etiketsiz bırakılır.
• Panoptik bölütleme: Her piksele bir sınıf atar ve sayılabilir nesnelerin piksellerine örnek kimliği ekleyerek diğer iki yöntemi birleştirir.
• Etkileşimli bölütleme: Segment Anything Model (SAM) gibi istem alabilen modellerde olduğu gibi kullanıcının tıklama, kutu veya metin istemiyle belirttiği şeyin maskesini döndürür.

İlk üç yöntem farklı soruları yanıtlar; bu nedenle aralarından seçim yapmak için kısa bir karar vermek yeterlidir:

Bölütleme Modelleri Nasıl Çalışır#

Klasik yöntemler pikselleri yoğunluk, renk ve kenar gibi düşük düzeyli ipuçlarına göre gruplar: Otsu yöntemiyle eşikleme, bölge büyütme, havza dönüşümü, k-means renk kümeleme ve çizge kesimleri. OpenCV bunlardan birkaçını uygular; yöntemler ayrıca konveyörde arkadan aydınlatılan parçalar gibi temiz ve kontrollü görüntülerde hâlâ yararlıdır. Bu yöntemler, her grubun neyi temsil ettiğini bilmeden pikselleri gruplar.

Derin öğrenme modelleri, etiketli maskelerden hem sınırları hem de bölgelerin anlamını öğrenir. U-Net gibi kodlayıcı-kod çözücü ağlar bağlamı yakalamak için görüntüyü küçültür, ardından piksel başına tahminler için tam çözünürlüğe geri büyütür. Mask R-CNN ve YOLO bölütleme modelleri gibi örnek modeller, nesne algılayıcıya bir maske başlığı ekler; Mask2Former gibi Transformer modelleri ise tek bir mimariyle anlamsal, örnek ve panoptik bölütlemeyi gerçekleştirir. İstem alabilen temel modeller, bölütlemeyi rastgele nesnelere de genişletti: SAM, 11 milyon görüntüden 1,1 milyar maske üzerinde eğitildikten sonra 2023'te çıktı; SAM 2 2024'te video desteği ekledi; SAM 3 ise Kasım 2025'te yayımlandı ve metin isteminde adı geçen bir kavramın tüm örneklerini bölütledi. Bölütleme etiketleri, kutulardan çok daha uzun sürede çizilen çokgenler veya piksel başına maskeler olduğundan bu istem alabilen modeller artık tek bir tıklamayla çok sayıda eğitim maskesinin taslağını oluşturuyor.

Görev türü, çıktının biçimini de belirler. Ultralytics YOLO26, ayrı model aileleri olarak örnek bölütleme için -seg ve anlamsal bölütleme için -sem modellerini sunar; aynı fotoğrafta çalıştırıldıklarında aradaki fark görülür:

from ultralytics import YOLO

# Bir örnek bölütleme modeli ve bir anlamsal bölütleme modeli yükle
instance_model = YOLO("yolo26n-seg.pt")
semantic_model = YOLO("yolo26n-sem.pt")

# Her ikisiyle de aynı sokak görüntüsünü bölütle
image = "https://ultralytics.com/images/bus.jpg"
instance_results = instance_model(image)
semantic_results = semantic_model(image)

# Örnek çıktısı: algılanan nesne başına bir ikili maske; boyutu (nesneler, yükseklik, genişlik)
print(instance_results[0].masks.data.shape)

# Anlamsal çıktı: görüntünün tamamı için bir sınıf haritası; boyutu (yükseklik, genişlik)
print(semantic_results[0].semantic_mask.data.shape)

Örnek çıktısının ilk boyutu, algılanan nesne sayısına eşittir; örnek sonuçlarının sayılabilmesini sağlayan özellik budur. Her çıktı türünün kendine özgü bir metriği vardır: örnek bölütleme için maske ortalama ortalama hassasiyeti (mAP), anlamsal bölütleme için ortalama kesişim/birleşim (IoU) ve panoptik bölütleme için panoptik kalite (PQ).

Gerçek Dünya Uygulamaları#

• Tıbbi görüntü analizi: Radyoloji araçları, hacimlerini ölçmek ve ameliyat ya da radyoterapiyi planlamak amacıyla BT ve MRI taramalarındaki organların, tümörlerin ve lezyonların sınırlarını çizer.
• Otonom sürüş: Algı sistemleri, sürülebilir alanı bulmak için her karede yolu, kaldırımı, araçları ve yayaları bölütler.
• Uydu görüntüsü analizi: Arazi örtüsü haritaları, zaman içindeki değişimi izlemek için her pikseli su, orman, tarım arazisi veya bina olarak etiketler.
• Fotoğraf ve video düzenleme: Arka plan kaldırma, portre modu bulanıklığı ve gökyüzü değiştirme, cihazda hesaplanan kişi ve gökyüzü maskelerine dayanır.
• Robotik ve üretim: Robotlar, düzensiz parçalar üzerindeki kavrama noktalarını hesaplamak için nesne maskelerini kullanır; denetim sistemleri ise çizik ve çatlak gibi kusurların tam alanını ölçer.