Panoptik Segmentasyon

Panoptik segmentasyon, iki farklı görüntü analizi biçimini birleştiren kapsamlı bir bilgisayar görme (CV) görevidir: semantik segmentasyon ve örnek segmentasyon. Geleneksel yöntemler bu görevleri ayrı ayrı ele alırken (genel olarak "gökyüzü" veya "çim" gibi arka plan bölgelerini sınıflandırmak veya "araba" veya "kişi" gibi belirli nesneleri algılamak), panoptik segmentasyon bunları tek bir uyumlu çerçeve içinde birleştirir. Bu yaklaşım, bir görüntüdeki her piksele benzersiz bir değer atayarak, sayılabilir nesneler ("şeyler" olarak adlandırılır) ile amorf arka plan bölgeleri ("eşyalar" olarak adlandırılır) arasında ayrım yapan eksiksiz bir sahne anlayışı sağlar. Her pikselin hesaba katılması ve sınıflandırılmasını sağlayarak, bu teknik, izole algılama yöntemlerinden daha yakından insan görme algısını taklit eder.

Temel Kavram: Eşya ve Nesneler

Panoptik segmentasyonu tam olarak kavramak için, işlediği görsel bilginin ikilemini anlamak faydalıdır. Bu görev, görsel dünyayı iki ana kategoriye ayırır:

• Nesne Kategorileri: Bunlar, sayılamayan benzer doku veya malzemeden oluşan amorf bölgeleri temsil eder. Örnekler arasında yollar, su, çimen, gökyüzü ve duvarlar sayılabilir. Panoptik analizde, "yol"a ait tüm pikseller tek bir anlamsal bölgeye gruplandırılır, çünkü "yol segment " ile "yol segment " arasında ayrım yapmak genellikle önemsizdir.
• Nesneler Kategorileri: Bunlar, tanımlanmış geometri ve sınırlara sahip sayılabilir nesnelerdir. Örnekler arasında yayalar, araçlar, hayvanlar ve aletler bulunur. Panoptik modeller, her bir "nesneyi" benzersiz bir varlık olarak tanımlamalı ve yan yana duran iki kişinin birleşik bir leke olarak değil, ayrı örnekler (ör. "Kişi A" ve "Kişi B") olarak tanınmasını sağlamalıdır.

Bu ayrım, gelişmiş yapay zeka (AI) sistemleri için çok önemlidir ve bu sistemlerin belirli nesnelerle etkileşimde bulunurken ortamlarda gezinmelerini sağlar.

Panoptik Mimarilerin Çalışma Şekli

Modern panoptik segmentasyon mimarileri, genellikle bir görüntüden zengin özellik temsillerini çıkarmak için Convolutional Neural Network (CNN) veya Vision Transformer (ViT) gibi güçlü bir derin öğrenme (DL) backbone kullanır. Ağ genellikle iki dala veya "kafaya" ayrılır: 1.

1. Anlamsal Başlık: Bu dal, her piksel için bir sınıf etiketi tahmin eder ve sahnedeki "nesnelerin" yoğun bir haritasını oluşturur.
2. Örnek Başlığı: Aynı zamanda, bu dal, "nesneleri" yerelleştirmek ve bunlar için maskeler oluşturmak için nesne algılama ile benzer teknikler kullanır.

Bir füzyon modülü veya son işlem adımı, bu çıktılar arasındaki çakışmaları çözer; örneğin, bir pikselin "kişi" örneğine mi yoksa arkasındaki "arka plan" duvarına mı ait olduğuna karar verir ve nihai, üst üste binmeyen panoptik segmentasyon haritasını oluşturur.

Gerçek Dünya Uygulamaları

Panoptik segmentasyonun bütünsel yapısı, güvenlik ve bağlamın önemli olduğu sektörler için vazgeçilmez kılar.

• Otonom Araçlar: Otonom araçlar, güvenli bir şekilde seyir etmek için panoptik algılamaya dayanır. Anlamsal bileşen, sürülebilir yüzeyleri (yollar) ve sınırları (kaldırımlar) tanımlarken, örnek bileşen yayalar ve diğer araçlar gibi dinamik engelleri izler. Bu birleşik görünüm, aracın planlama algoritmalarının karmaşık trafikyönetimi senaryolarında daha güvenli kararlar almasına yardımcı olur.
• Tıbbi Görüntü Analizi: Dijital patolojide, doku örneklerini analiz etmek genellikle genel doku yapısını (madde) segmentlere ayırmayı ve aynı zamanda belirli hücre tiplerini veya tümörleri (şeyler) saymayı ve ölçmeyi gerektirir. Bu ayrıntılı analiz, doktorların hastalığı doğru bir şekilde ölçümlemesine ve teşhis etmesine yardımcı olur.
• Robotik: Hizmet robotları evler veya depolar gibi yapılandırılmamış ortamlarda çalışan hizmet robotları, üzerinde hareket edebilecekleri zemini (arka plan) ve manipüle etmeleri veya kaçınmaları gereken nesneleri (örnekler) ayırt etmelidir.

Ultralytics ile Segmentasyon Uygulaması

Tam panoptik eğitim karmaşık olabilir, ancak geliştiriciler Ultralytics kullanarak panoptik yapbozun kritik bir bileşeni olan yüksek hassasiyetli örnek segmentasyonuelde edebilirler. Bu son teknoloji model, gerçek zamanlı performans sunar ve uç dağıtım için optimize edilmiştir.

Aşağıdaki Python , önceden eğitilmiş bir segmentasyon modelini yüklemeyi ve farklı nesneleri izole etmek için çıkarım yapmayı gösterir :

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to segment individual instances
# The model identifies 'things' and generates pixel-perfect masks
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with overlaid segmentation masks
results[0].show()

Eğitim verilerini yönetmek ve açıklama sürecini otomatikleştirmek isteyen ekipler için Ultralytics , veri kümesi yönetimi ve model eğitimi için bir dizi araç sunar. Yüksek kaliteli veri açıklaması, segmentasyon görevleri için çok önemlidir, çünkü modellerin etkili bir şekilde öğrenmesi için hassas piksel düzeyinde etiketler gerekir.

İlgili Terimleri Ayırt Etme

Segmentasyon türleri arasındaki nüansları anlamak, projeniz için doğru modeli seçmek açısından çok önemlidir:

• Anlamsal Segmentasyon: Yalnızca pikselleri kategorilere ayırmaya odaklanır. "Bu piksel hangi sınıfa ait?" (ör. ağaç, gökyüzü) sorusuna cevap verir, ancak aynı sınıfa ait nesneleri birbirinden ayıramaz. İki araba üst üste geliyorsa, tek bir büyük "araba" lekesine dönüşürler.
• Örnek Segmentasyonu: Sadece sayılabilir nesneleri algılama ve maskelemeye odaklanır. "Bu nesne nedir?" sorusuna cevap verir, ancak genellikle arka plan bağlamını tamamen göz ardı eder.
• Panoptik Segmentasyon: Her ikisini birleştirir. "Bu piksel nedir?" ve "Hangi nesne örneğine aittir?" sorularını tüm görüntü için yanıtlayarak hiçbir pikselin sınıflandırılmamış kalmamasını sağlar.

Bu görevlerde kullanılan veri kümesi formatlarını daha ayrıntılı incelemek için, segmentasyon performansını ölçmek için standart bir benchmark olan COCO belgelerini inceleyebilirsiniz. benchmark