Panoptic Segmentation

Panoptik segmentasyon, görüntü analizinin iki farklı biçimini, anlamsal segmentasyon ve örnek segmentasyonunu birleştiren kapsamlı bir bilgisayarlı görü (CV) görevidir. Geleneksel yöntemler bu görevleri ayrı ayrı ele alır: ya "gökyüzü" veya "çim" gibi arka plan bölgelerini genel olarak sınıflandırır ya da "araba" veya "insan" gibi belirli nesneleri tespit eder. Panoptik segmentasyon ise bunları tek ve tutarlı bir çerçevede birleştirir. Bu yaklaşım, görüntüdeki her piksele benzersiz bir değer atayarak, sayılabilir nesneler ("things" olarak adlandırılır) ile biçimsiz arka plan bölgelerini ("stuff" olarak adlandırılır) birbirinden ayıran eksiksiz bir sahne anlayışı sağlar. Her pikselin hesaba katılıp sınıflandırılmasını sağlayan bu teknik, insan görsel algısını yalıtılmış tespit yöntemlerinden daha yakından taklit eder.

Temel Kavram: Stuff ve Things#

Panoptik segmentasyonu tam olarak kavramak için işlediği görsel bilginin ikili yapısını anlamak yararlıdır. Bu görev, görsel dünyayı iki temel kategoriye ayırır:

• Stuff Kategorileri: Bunlar, benzer doku veya malzemeden oluşan ve sayılabilir olmayan biçimsiz bölgeleri temsil eder. Örnekler arasında yollar, su, çim, gökyüzü ve duvarlar bulunur. Panoptik analizde, "yol"a ait tüm pikseller tek bir anlamsal bölgede gruplanır; çünkü "yol bölümü A" ile "yol bölümü B" arasındaki ayrım genellikle önemli değildir.
• Things Kategorileri: Bunlar, belirgin geometrisi ve sınırları olan sayılabilir nesnelerdir. Örnekler arasında yayalar, araçlar, hayvanlar ve araç gereçler bulunur. Panoptik modeller her "thing"i benzersiz bir varlık olarak tanımlamalıdır; böylece yan yana duran iki kişi, birleşik bir küme yerine ayrı örnekler (ör. "Kişi A" ve "Kişi B") olarak tanınır.

Bu ayrım, gelişmiş yapay zekâ (AI) sistemleri için kritik öneme sahiptir; bu sayede sistemler belirli nesnelerle aynı anda etkileşime girerken ortamlarda hareket edebilir.

Panoptik Mimariler Nasıl Çalışır?#

Modern panoptik segmentasyon mimarileri, bir görüntüden zengin özellik temsilleri çıkarmak için genellikle derin öğrenme (DL) omurgası kullanır; bu omurga bir Evrişimli Sinir Ağı (CNN) veya bir Görsel Transformer (ViT) olabilir. Ağ genellikle iki dala veya "kafaya" ayrılır:

1. Anlamsal Kafa: Bu dal, her piksel için bir sınıf etiketi öngörerek sahnedeki "stuff" için yoğun bir harita oluşturur.

2. Örnek Kafası: Bu dal aynı anda nesne tespiti yöntemlerine benzer teknikler kullanarak "things" nesnelerinin konumunu belirler ve bunlar için maskeler oluşturur.

Ardından bir füzyon modülü veya son işleme adımı, bu çıktılar arasındaki çakışmaları çözer; örneğin bir pikselin bir "insan" örneğine mi yoksa insanın arkasındaki "arka plan" duvarına mı ait olduğuna karar vererek nihai, çakışmayan bir panoptik segmentasyon haritası oluşturur.

Gerçek Dünya Uygulamaları#

Panoptik segmentasyonun bütünsel yapısı, güvenlik ve bağlamın büyük önem taşıdığı sektörlerde onu vazgeçilmez kılar.

• Otonom Araçlar: Sürücüsüz araçlar güvenli bir şekilde hareket etmek için panoptik algılamaya güvenir. Anlamsal bileşen, sürülebilir yüzeyleri (yollar) ve sınırları (kaldırımlar) tanımlarken örnek bileşeni yayalar ve diğer araçlar gibi hareketli engelleri izler. Bu birleşik görünüm, aracın planlama algoritmalarının karmaşık trafik yönetimi senaryolarında daha güvenli kararlar almasına yardımcı olur.
• Tıbbi Görüntü Analizi: Dijital patolojide doku örneklerini analiz etmek, genellikle genel doku yapısının (stuff) segmentasyonunu, belirli hücre türlerinin veya tümörlerin (things) aynı anda sayılıp ölçülmesiyle birleştirmeyi gerektirir. Bu ayrıntılı analiz, doktorların hastalıkları doğru şekilde ölçmesine ve teşhis etmesine yardımcı olur.
• Robotik: Evler veya depolar gibi yapılandırılmamış ortamlarda çalışan hizmet robotlarının, üzerinde hareket edebilecekleri zemini (arka plan) manipüle etmeleri veya kaçınmaları gereken nesnelerden (örnekler) ayırt etmesi gerekir.

Ultralytics ile Segmentasyon Uygulama#

Tam panoptik eğitimi karmaşık olabilse de geliştiriciler, panoptik bulmacanın kritik bir bileşeni olan yüksek hassasiyetli örnek segmentasyonunu Ultralytics YOLO26 kullanarak gerçekleştirebilir. Bu son teknoloji model, gerçek zamanlı performans sunar ve uç cihazlarda dağıtım için optimize edilmiştir.

Aşağıdaki Python örneği, önceden eğitilmiş bir segmentasyon modelinin nasıl yükleneceğini ve farklı nesneleri ayırmak için çıkarımın nasıl çalıştırılacağını gösterir:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

Eğitim verilerini yönetmek ve açıklama sürecini otomatikleştirmek isteyen ekipler için Ultralytics Platform, veri kümesi yönetimi ve model eğitimi için bir araç paketi sunar. Modellerin etkili bir şekilde öğrenebilmesi için hassas piksel düzeyinde etiketlere ihtiyaç duyduğundan, yüksek kaliteli veri açıklaması segmentasyon görevleri açısından kritik öneme sahiptir.

İlişkili Terimleri Ayırt Etme#

Projen için doğru modeli seçmek üzere segmentasyon türleri arasındaki incelikleri anlamak hayati önem taşır:

• Anlamsal Segmentasyon: Yalnızca pikselleri kategorilere ayırmaya odaklanır. "Bu piksel hangi sınıfa ait?" sorusunu yanıtlar (ör. ağaç, gökyüzü), ancak aynı sınıfa ait tek tek nesneleri birbirinden ayıramaz. İki araba üst üste biniyorsa tek ve büyük bir "araba" kümesi olarak görünürler.
• Örnek Segmentasyonu: Yalnızca sayılabilir nesneleri tespit etmeye ve maskelemeye odaklanır. "Bu hangi nesne?" sorusunu yanıtlar, ancak genellikle arka plan bağlamını tamamen göz ardı eder.
• Panoptik Segmentasyon: Her iki yaklaşımı birleştirir. Tüm görüntü için "bu piksel nedir?" ve "hangi nesne örneğine aittir?" sorularını yanıtlayarak hiçbir pikselin sınıflandırılmadan kalmamasını sağlar.

Bu görevlerde kullanılan veri kümesi formatlarını daha ayrıntılı incelemek için segmentasyon performansını ölçmeye yönelik standart bir kıyaslama olan COCO veri kümesi belgelerini inceleyebilirsin.