Panoptic Segmentation

Panoptik segmentasyon, bir görüntünün her pikseline iki değer atayan bir bilgisayarlı görü görevidir: bir sınıf etiketi ve sayılabilir bir nesneye ait pikseller için bir örnek kimliği. Her pikseli sınıfa göre etiketleyen ancak aynı sınıftaki nesneleri birleştiren anlamsal segmentasyonu, nesneleri tek tek ayıran ancak arka planı etiketsiz bırakan örnek segmentasyonuyla birleştirir. Sonuç, tüm sahnenin üst üste binmeyen tek bir haritasıdır: Yol, gökyüzü ve çim bölge olarak etiketlenirken her araba ve kişi ayrı bir segment olur. Facebook AI Research ve Heidelberg Üniversitesi'nden Alexander Kirillov ve çalışma arkadaşları görevi ve metriğini, 2019 CVPR'de yayımlanan Panoptic Segmentation makalesinde tanımladı ve bu adı, tek bir görüntüde görünen her şeyi kapsaması anlamına gelecek şekilde seçti.

Bölgeler ve Nesneler#

Panoptik segmentasyon sınıfları iki türe ayırır:

• Nesneler: İnsanlar, arabalar, hayvanlar ve el çantaları gibi belirli bir şekli olan, sayılabilir nesnelerdir. Her biri kendi örnek kimliğini alır; bu nedenle yan yana duran iki kişi iki ayrı segment olur.
• Bölgeler: Yol, gökyüzü, çim, su ve duvarlar gibi benzer dokuya veya malzemeye sahip, biçimsiz bölgelerdir. Bir bölge sınıfındaki tüm pikseller tek bir segment oluşturur; çünkü gökyüzünü örneklere ayırmanın anlamı yoktur.

COCO panoptik kıyaslama veri kümesi, 80 nesne ve 53 bölge olmak üzere 133 sınıf kullanır; Cityscapes sürüş kıyaslama veri kümesi ise 8 nesne ve 11 bölge olmak üzere 19 sınıfı puanlar. Belirsiz olan veya hiçbir sınıfa girmeyen pikseller geçersiz olarak işaretlenir ve değerlendirmede yok sayılır. COCO panoptik biçimi her görüntüyü, her segmentin benzersiz bir kimliği olduğu bir PNG dosyası ve her kimliği kategorisine eşleyen bir JSON dosyası olarak depolar.

Panoptik Modeller Nasıl Çalışır#

İlk sistemler, ortak bir omurga üzerinde anlamsal ve örnek dalları çalıştırıp çıktıları sabit kurallarla birleştiriyordu. Örneğin Panoptic FPN, örnekler arasındaki çakışmaları güven puanına göre çözer, örnekleri bölgelere tercih eder ve ardından alan eşiğinin altındaki bölge alanlarını kaldırır:

Panoptic-DeepLab gibi aşağıdan yukarı modeller, her nesnenin merkezini ve her pikselden o merkeze olan uzaklığı içeren bir anlamsal harita tahmin eder, ardından nesne piksellerini işaret ettikleri merkeze göre gruplar. Evrensel modeller, anlamsal, örnek ve panoptik segmentasyon için tek bir maske sınıflandırma mimarisi kullanır. Mask2Former, her biri bir maske ve bir sınıf üreten sabit sayıda sorgu tahmin eder; böylece nesneleri ve bölgeleri birlikte kapsar ve CVPR 2022 makalesinde COCO panoptik veri kümesinde 57.8 PQ değerine ulaşmıştır. Aşağıdaki Hugging Face Transformers ardışık düzeni, COCO panoptik üzerinde eğitilmiş bir Mask2Former kontrol noktası çalıştırır:

import numpy as np
from transformers import pipeline

# Load Mask2Former trained on COCO panoptic: 80 thing and 53 stuff classes
segmenter = pipeline("image-segmentation", model="facebook/mask2former-swin-tiny-coco-panoptic")

# Each returned segment is one non-overlapping region with a class label and a binary mask
segments = segmenter("https://ultralytics.com/images/bus.jpg", subtask="panoptic")

for segment in segments:
    share = np.array(segment["mask"]).mean() / 255
    print(f"{segment['label']}: {share:.1%} of pixels")

Çıktı listesi 10 segment gösterir. Dört kişi, iki el çantası ve otobüs (görüntünün %30,7'si) ayrı nesne segmentleri olarak görünür; bunların yanında kaldırım-birleştirilmiş (%30,9), bina-diğer-birleştirilmiş (%19,5) ve ağaç-birleştirilmiş (%4,8) için birer bölge segmenti bulunur. "-merged" son eki, daha ayrıntılı etiketlerin birleştirilmesiyle oluşturulan COCO bölge sınıflarını belirtir. Hiçbir piksel iki segmente ait değildir; hiçbir segmentin kapsamadığı piksellerin %0,4'ü ise geçersizdir.

Panoptik Kalite (PQ)#

Panoptik tahminler panoptik kaliteyle puanlanır. Tahmin edilen bir segment, Kesişim-Birleşim Oranı (IoU) 0.5'i aştığında aynı sınıftaki temel doğru segmentle eşleşir; segmentler çakışmadığından her segment en fazla bir eşleşme alabilir. Eşleşen tahminler doğru pozitifler (TP), eşleşmeyen tahminler yanlış pozitifler (FP), eşleşmeyen temel doğru segmentler ise yanlış negatiflerdir (FN). PQ, tüm eşleşmelerin IoU değerlerinin toplamının TP + ½FP + ½FN değerine bölünmesiyle hesaplanır ve iki bileşene ayrılır:

• Segmentasyon kalitesi (SQ): Eşleşen segmentlerin ortalama IoU değeri; maskelerin ne kadar iyi örtüştüğünü ölçer.
• Tanıma kalitesi (RQ): TP / (TP + ½FP + ½FN); segment tespitinin F1 puanıdır.

PQ her sınıf için hesaplanıp ortalaması alınır; kıyaslamalarda ayrıca nesneler ve bölgeler için ayrı ayrı raporlanır.

Panoptik, Anlamsal ve Örnek Segmentasyonu#

• Anlamsal segmentasyon: Her piksel için "Bu piksel hangi sınıfa ait?" sorusunu yanıtlar. Yan yana üç araba, tek bir araba bölgesi olur.
• Örnek segmentasyonu: Yalnızca tespit edilen nesneler için "Bu piksel hangi nesnenin parçası?" sorusunu yanıtlar. Arka plan pikselleri etiket almaz ve farklı nesnelerin maskeleri çakışabilir.
• Panoptik segmentasyon: Her piksel için her iki soruyu da yanıtlar ve her piksele tam olarak bir segment atar.

Ultralytics YOLO26, bu iki bileşeni ayrı görevler olarak sunar: -seg modelleri her nesne için bir maske ve sınıf döndürür; -sem anlamsal segmentasyon modelleri ise 19 Cityscapes sınıfı veya 150 ADE20K sınıfı üzerinde önceden eğitilmiş olarak her piksel için bir sınıf döndürür.

Gerçek Dünya Uygulamaları#

• Otonom araçlar: Tek bir çıktı, sürülebilir yol ve kaldırımları bölge olarak; her yayayı ve aracı ise takip algoritmasının izleyebileceği ayrı bir nesne olarak gösterir.
• Robotik: Mobil bir robotun, tek ve tutarlı bir haritada üzerinde ilerleyebileceği zemine, alabileceği veya kaçınması gereken her nesneyle birlikte ihtiyacı vardır.
• Tıbbi görüntü analizi: Dijital patoloji, doku bölgelerini bölge olarak segmentlere ayırır; tek tek çekirdekleri ve hücreleri ise nesne olarak sayar.
• 3B ve video: Video panoptik segmentasyonu, örnek kimliklerini kareler boyunca tutarlı biçimde korur; SemanticKITTI ve nuScenes üzerinde kıyaslanan LiDAR panoptik segmentasyonu ise taramadaki her 3B noktayı bir sınıf ve örnek kimliğiyle etiketler.