Panoptic Segmentation

Panoptik segmentasyon, iki farklı görüntü analizi biçimini birleştiren kapsamlı bir bilgisayarlı görü (CV) görevidir: semantik segmentasyon ve örnek (instance) segmentasyonu. Geleneksel yöntemler bu görevleri ayrı ayrı ele alırken—ya "gökyüzü" veya "çimen" gibi arka plan bölgelerini genel olarak sınıflandırır ya da "araba" veya "insan" gibi belirli nesneleri tespit eder—panoptik segmentasyon bunları tek ve uyumlu bir çerçevede birleştirir. Bu yaklaşım, görüntüdeki her piksele benzersiz bir değer atayarak, sayılabilir nesneleri ("şeyler" olarak adlandırılır) ve biçimsiz arka plan bölgelerini ("materyaller" olarak adlandırılır) ayırt eden eksiksiz bir sahne anlayışı sağlar. Her pikselin hesaba katılmasını ve sınıflandırılmasını sağlayarak bu teknik, insan görsel algısını izole edilmiş tespit yöntemlerinden daha yakından taklit eder.

Link to this sectionTemel Kavram: Materyaller vs. Şeyler#

Panoptik segmentasyonu tam olarak kavramak için, işlediği görsel bilginin ikili yapısını anlamak faydalıdır. Bu görev, görsel dünyayı iki ana kategoriye ayırır:

• Materyal Kategorileri: Bunlar, sayılabilir olmayan benzer doku veya malzemedeki biçimsiz bölgeleri temsil eder. Örnekler arasında yollar, su, çimen, gökyüzü ve duvarlar yer alır. Panoptik bir analizde, "yol"a ait tüm pikseller tek bir anlamsal bölgede gruplandırılır çünkü "yol segmenti A" ile "yol segmenti B"yi birbirinden ayırmak genellikle gereksizdir.
• Şey Kategorileri: Bunlar, tanımlanmış geometri ve sınırlara sahip sayılabilir nesnelerdir. Örnekler arasında yayalar, araçlar, hayvanlar ve aletler bulunur. Panoptik modeller her "şeyi" benzersiz bir varlık olarak tanımlamalı ve yan yana duran iki kişinin birleşmiş bir leke yerine ayrı örnekler (örneğin, "Kişi A" ve "Kişi B") olarak tanınmasını sağlamalıdır.

Bu ayrım, gelişmiş yapay zeka (AI) sistemleri için çok önemlidir ve çevrelerinde gezinirken aynı zamanda belirli nesnelerle etkileşime girmelerine olanak tanır.

Link to this sectionPanoptik Mimariler Nasıl Çalışır#

Modern panoptic segmentation architectures typically employ a powerful deep learning (DL) backbone, such as a Convolutional Neural Network (CNN) or a Vision Transformer (ViT), to extract rich feature representations from an image. The network generally splits into two branches or "heads":

1. Semantik Başlık: Bu dal, her piksel için bir sınıf etiketi tahmin ederek sahnedeki "materyallerin" yoğun bir haritasını oluşturur.

2. Örnek Başlığı: Eş zamanlı olarak bu dal, "şeyleri" yerelleştirmek ve onlar için maskeler oluşturmak amacıyla nesne tespiti benzeri teknikler kullanır.

Bir füzyon modülü veya işlem sonrası adımı, daha sonra bu çıktılar arasındaki çakışmaları çözer—örneğin, bir pikselin bir "kişi" örneğine mi yoksa arkasındaki "arka plan" duvarına mı ait olduğuna karar verir—böylece nihai, örtüşmeyen bir panoptik segmentasyon haritası üretilir.

Link to this sectionGerçek Dünya Uygulamaları#

Panoptik segmentasyonun bütünsel doğası, onu güvenlik ve bağlamın en önemli olduğu endüstriler için vazgeçilmez kılar.

• Otonom Araçlar: Sürücüsüz arabalar, güvenli bir şekilde gezinmek için panoptik algıya güvenir. Semantik bileşen sürülebilir yüzeyleri (yollar) ve sınırları (kaldırımlar) tanımlarken, örnek bileşeni yayalar ve diğer araçlar gibi dinamik engelleri takip eder. Bu birleşik görünüm, aracın planlama algoritmalarının karmaşık trafik yönetimi senaryolarında daha güvenli kararlar almasına yardımcı olur.
• Tıbbi Görüntü Analizi: Dijital patolojide, doku örneklerini analiz etmek genellikle genel doku yapısını (materyal) segmentlere ayırmayı gerektirirken, aynı zamanda belirli hücre türlerini veya tümörleri (şeyler) saymayı ve ölçmeyi gerektirir. Bu ayrıntılı döküm, doktorların doğru hastalık ölçümü ve teşhisine yardımcı olur.
• Robotik: Evler veya depolar gibi yapılandırılmamış ortamlarda çalışan servis robotlarının, üzerinde yürüyebilecekleri zemin (arka plan) ile etkileşime girmeleri veya kaçınmaları gereken nesneleri (örnekler) birbirinden ayırmaları gerekir.

Link to this sectionUltralytics ile Bölütleme Uygulaması#

Tam panoptik eğitim karmaşık olabilse de geliştiriciler, panoptik bulmacanın kritik bir bileşeni olan örnek segmentasyonunu, Ultralytics YOLO26 kullanarak yüksek hassasiyetle elde edebilirler. Bu en son teknoloji model, gerçek zamanlı performans sunar ve uç cihazda dağıtım için optimize edilmiştir.

Aşağıdaki Python örneği, önceden eğitilmiş bir segmentasyon modelinin nasıl yükleneceğini ve nesneleri izole etmek için çıkarımın nasıl çalıştırılacağını göstermektedir:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

Eğitim verilerini yönetmek ve etiketleme sürecini otomatikleştirmek isteyen ekipler için Ultralytics Platform, veri kümesi yönetimi ve model eğitimi için bir araç paketi sağlar. Yüksek kaliteli veri etiketleme, modellerin etkili bir şekilde öğrenmesi için hassas piksel düzeyinde etiketler gerektirdiğinden segmentasyon görevleri için çok önemlidir.

Link to this sectionİlgili Terimlerin Ayrıştırılması#

Segmentasyon türleri arasındaki nüansları anlamak, projen için doğru modeli seçmek adına hayati öneme sahiptir:

• Semantik Segmentasyon: Sadece pikselleri kategorilere ayırmaya odaklanır. "Bu piksel hangi sınıfa ait?" (örneğin, ağaç, gökyüzü) sorusuna yanıt verir ancak aynı sınıftaki bireysel nesneleri ayıramaz. Eğer iki araba üst üste biniyorsa, bunlar tek bir büyük "araba" lekesi olarak görünür.
• Örnek Segmentasyonu: Yalnızca sayılabilir nesneleri tespit etmeye ve maskelemeye odaklanır. "Bu hangi nesne?" sorusuna yanıt verir ancak genellikle arka plan bağlamını tamamen görmezden gelir.
• Panoptik Segmentasyon: İkisini birleştirir. Tüm görüntü için "bu piksel nedir?" ve "hangi nesne örneğine aittir?" sorularını yanıtlayarak hiçbir pikselin sınıflandırılmamış kalmamasını sağlar.

Bu görevlerde kullanılan veri kümesi biçimlerinin daha fazla keşfi için, segmentasyon performansını ölçmek için standart bir ölçüt olan COCO veri kümesi dokümantasyonunu inceleyebilirsin.