Panoptic Segmentation

Panoptik segmentasyon, görüntü analizinin iki farklı biçimini (semantik segmentasyon ve örnek segmentasyonu) birleştiren kapsamlı bir computer vision (CV) görevidir. Geleneksel yöntemler bu görevleri ayrı ayrı ele alırken—"gökyüzü" veya "çim" gibi arka plan bölgelerini genel olarak sınıflandırırken ya da "araba" veya "kişi" gibi belirli nesneleri tespit ederken—panoptik segmentasyon bunları tek ve tutarlı bir yapıda birleştirir. Bu yaklaşım, bir görüntünün her pikseline benzersiz bir değer atayarak sayılabilen nesneleri ("şeyler" olarak adlandırılır) ve biçimsiz arka plan bölgelerini ("şaheser/malzeme" anlamındaki "stuff" olarak adlandırılır) ayırt eden eksiksiz bir sahne anlayışı sağlar. Her pikselin hesaba katıldığını ve sınıflandırıldığını garanti eden bu teknik, izole tespit yöntemlerine kıyasla insan görsel algısını daha yakından taklit eder.

Temel Kavram: Materyaller vs. Şeyler#

Panoptik segmentasyonu tam olarak kavramak için, işlediği görsel bilginin ikili yapısını anlamak faydalıdır. Bu görev, görsel dünyayı iki ana kategoriye ayırır:

• Stuff Categories: Bunlar, sayılamayan benzer doku veya malzemeye sahip biçimsiz bölgeleri temsil eder. Örnekler arasında yollar, su, çim, gökyüzü ve duvarlar yer alır. Panoptik bir analizde, "yol segmenti A" ile "yol segmenti B" arasında ayrım yapmak genellikle gereksiz olduğundan, bir "yola" ait tüm pikseller tek bir semantik bölgede gruplandırılır.
• Things Categories: Bunlar tanımlanmış geometriye ve sınırlara sahip sayılabilir nesnelerdir. Örnek olarak yayalar, araçlar, hayvanlar ve aletler verilebilir. Panoptik modeller, yan yana duran iki kişinin birleştirilmiş bir leke olarak değil, ayrı örnekler (ör. "Kişi A" ve "Kişi B") olarak tanınmasını sağlayarak her "şeyi" benzersiz bir varlık olarak tanımlamalıdır.

Bu ayrım, gelişmiş artificial intelligence (AI) sistemleri için çok önemlidir ve onların belirli nesnelerle aynı anda etkileşime girerken ortamlarda gezinmesine olanak tanır.

Panoptik Mimariler Nasıl Çalışır#

Modern panoptik segmentasyon mimarileri genellikle bir görüntüden zengin özellik temsilleri çıkarmak için Convolutional Neural Network (CNN) veya Vision Transformer (ViT) gibi güçlü bir deep learning (DL) omurgası kullanır. Ağ genellikle iki kola veya "başlığa" ayrılır:

1. Semantik Başlık: Bu dal, her piksel için bir sınıf etiketi tahmin ederek sahnedeki "materyallerin" yoğun bir haritasını oluşturur.

2. Instance Head: Aynı anda bu dal, "şeyleri" yerelleştirmek ve onlar için maskeler oluşturmak üzere object detection benzeri teknikler kullanır.

Ardından bir füzyon modülü veya son işlem adımı, bu çıktılar arasındaki çakışmaları çözer—örneğin bir pikselin bir "kişi" örneğine mi yoksa arkalarındaki "arka plan" duvarına mı ait olduğuna karar vererek—nihai, örtüşmeyen bir panoptic segmentation map üretir.

Gerçek Dünya Uygulamaları#

Panoptik segmentasyonun bütünsel doğası, onu güvenlik ve bağlamın en önemli olduğu endüstriler için vazgeçilmez kılar.

• Autonomous Vehicles: Otonom araçlar güvenli bir şekilde ilerlemek için panoptik algıya güvenir. Semantik bileşen sürüşe uygun yüzeyleri (yollar) ve sınırları (kaldırımlar) tanımlarken, örnek bileşen yayalar ve diğer araçlar gibi dinamik engelleri takip eder. Bu birleşik görünüm, aracın planlama algoritmalarının karmaşık traffic management senaryolarında daha güvenli kararlar almasına yardımcı olur.
• Medical Image Analysis: Dijital patolojide doku örneklerinin analizi genellikle genel doku yapısını (stuff) segmentlere ayırmayı gerektirirken aynı anda belirli hücre tiplerini veya tümörleri (things) saymayı ve ölçmeyi gerektirir. Bu ayrıntılı döküm, doktorlara doğru hastalık nicelleştirmesi ve tanısında yardımcı olur.
• Robotics: Evler veya depolar gibi yapılandırılmamış ortamlarda çalışan servis robotlarının, üzerinde geçiş yapabilecekleri zemin (arka plan) ile manipüle etmeleri veya kaçınmaları gereken nesneleri (örnekler) birbirinden ayırt etmesi gerekir.

Ultralytics ile Bölütleme Uygulaması#

Tam panoptik eğitim karmaşık olabilse de geliştiriciler, panoptik bulmacanın kritik bir bileşeni olan yüksek hassasiyetli instance segmentation işlemini Ultralytics YOLO26 kullanarak gerçekleştirebilir. Bu son teknoloji model, gerçek zamanlı performans sunar ve uç (edge) dağıtımı için optimize edilmiştir.

Aşağıdaki Python örneği, önceden eğitilmiş bir segmentasyon modelinin nasıl yükleneceğini ve nesneleri izole etmek için çıkarımın nasıl çalıştırılacağını göstermektedir:

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

training data verilerini yönetmek ve etiketleme sürecini otomatikleştirmek isteyen ekipler için Ultralytics Platform, veri seti yönetimi ve model eğitimi için bir araç paketi sağlar. Yüksek kaliteli data annotation, modellerin etkili bir şekilde öğrenebilmesi için hassas piksel düzeyinde etiketler gerektirdiğinden segmentasyon görevleri için çok önemlidir.

İlgili Terimlerin Ayrıştırılması#

Segmentasyon türleri arasındaki nüansları anlamak, projen için doğru modeli seçmek adına hayati öneme sahiptir:

• Semantic Segmentation: Yalnızca pikselleri kategorilere göre sınıflandırmaya odaklanır. "Bu piksel hangi sınıfa ait?" sorusunu yanıtlar (örneğin ağaç, gökyüzü) ancak aynı sınıfın ayrı nesnelerini ayıramaz. İki araba üst üste biniyorsa, tek büyük bir "araba" lekesi olarak görünüverirler.
• Instance Segmentation: Yalnızca sayılabilir nesneleri tespit etmeye ve maskelemeye odaklanır. "Bu hangi nesne?" sorusunu yanıtlar ancak genellikle arka plan bağlamını tamamen göz ardı eder.
• Panoptik Segmentasyon: İkisini birleştirir. Tüm görüntü için "bu piksel nedir?" ve "hangi nesne örneğine aittir?" sorularını yanıtlayarak hiçbir pikselin sınıflandırılmamış kalmamasını sağlar.

Bu görevlerde kullanılan veri seti formatlarını daha fazla incelemek için, segmentasyon performansını ölçmek için standart bir kıyaslama olan COCO dataset documentation kaynağını inceleyebilirsiniz.