Panoptik Segmentasyon

Panoptik segmentasyon, tüm bir sahnenin kapsamlı, piksel düzeyinde anlaşılmasını sağlayan gelişmiş bir bilgisayarla görme (CV) görevidir. İki ayrı görevi birleştirir: anlamsal segmentasyon ve örnek segmentasyonu. Amaç, bir görüntüdeki her piksele hem bir sınıf etiketi (araba, insan veya gökyüzü gibi) hem de farklı nesneler için benzersiz bir örnek kimliği atamaktır. Bu, her iki segmentasyon yönteminin tek başına elde edebileceğinden daha bütünsel ve ayrıntılı bir çıktı oluşturarak makinelerin görsel ortamları insan görüşüne daha yakın bir ayrıntı düzeyiyle algılamasını sağlar. Bu terim, FAIR araştırmacılarının çığır açan 2018 tarihli "Panoptic Segmentation" makalesinde tanıtılmıştır.

Panoptik ve Diğer Segmentasyon Türleri

Panoptik segmentasyonu tam olarak kavramak için onu oluşturan parçalarla karşılaştırmak faydalı olacaktır:

• Anlamsal Segmentasyon: Bu teknik, bir görüntüdeki her pikseli belirli bir kategoriye sınıflandırır. Örneğin, arabalara ait tüm pikselleri "araba" ve yola ait tüm pikselleri "yol" olarak etiketleyecektir. Ancak, aynı nesne sınıfının farklı örnekleri arasında ayrım yapmaz. Yan yana duran iki ayrı arabanın her ikisi de aynı "araba" piksel haritasının parçası olacaktır.
• Örnek Segmentasyonu: Bu yöntem, genellikle "şeyler" (örneğin, arabalar, yayalar, hayvanlar) olarak adlandırılan tek tek nesneleri tespit eder ve bölümlere ayırır. Algılanan her nesne örneğine benzersiz bir maske atar, örneğin car_1, car_2ve pedestrian_1. Bununla birlikte, örnek segmentasyonu tipik olarak belirgin bir şekli veya sayısı olmayan şekilsiz arka plan bölgelerini veya "şeyleri" (örneğin, gökyüzü, yol, çimen, duvarlar) göz ardı eder.
• Panoptik Segmentasyon: Bu, hem semantik hem de örnek segmentasyonunun güçlü yönlerini birleştirir. Görüntüdeki her bir pikseli segmentlere ayırarak hem "şeyler" hem de "eşyalar" için bir sınıf etiketi sağlar. En önemlisi de, her bir "şeye" benzersiz bir örnek kimliği atayarak eksiksiz ve birleşik bir sahne yorumu sağlar. Örneğin, panoptik bir model yalnızca gökyüzünü ve yolu etiketlemekle kalmaz, aynı zamanda car_1, car_2ve pedestrian_1 ayrı varlıklar olarak. Bu kapsamlı yaklaşım, ileri düzey Yapay zeka uygulamaları.

Panoptik Segmentasyon Uygulamaları

Panoptik segmentasyonun sunduğu ayrıntılı sahne anlayışı, çeşitli alanlarda çok değerlidir:

• Otonom Araçlar: Kendi kendine giden arabalar, güvenli navigasyon için çevrelerini tam olarak anlamalıdır. Panoptik segmentasyon, yol ve kaldırımlar gibi şekilsiz yüzeyleri ("şeyler") tanımlamalarını sağlarken, aynı zamanda üst üste gelseler bile tek tek arabaları, yayaları ve bisikletlileri ("şeyler") ayırt etmelerini sağlar. Waymo gibi şirketlerin sistemlerinde gösterildiği gibi bu ayrıntılı algılama, güvenli yol planlaması ve karar verme için kritik öneme sahiptir. Ultralytics 'in otomotiv çözümlerinde yapay zekaya nasıl katkıda bulunduğunu görün.
• Tıbbi Görüntü Analizi: MRI veya CT taramaları gibi tıbbi taramaların analizinde, panoptik segmentasyon çeşitli doku türlerini ("şeyler") ayırt edebilir ve aynı zamanda tümörler veya tek tek hücreler ("şeyler") gibi yapıların belirli örneklerini tanımlayabilir. Bu, daha doğru teşhisleri destekler, cerrahi planlamaya yardımcı olur ve hastalığın ilerlemesini izlemeye yardımcı olur. Tümör tespiti için YOLO11 kullanımı gibi ilgili görevler hakkında bilgi edinebilirsiniz.
• Robotik: Robotların çevreleriyle etkili bir şekilde etkileşime girebilmeleri için hem genel düzeni (duvarlar, zeminler) hem de manipüle edebilecekleri belirli nesneleri (aletler, parçalar) anlamaları gerekir. Panoptik segmentasyon bu birleşik görünümü sağlayarak depolar ve fabrikalar gibi karmaşık ortamlarda navigasyonu ve insan-robot etkileşimini geliştirir. Yapay zekanın robotikteki rolü hakkında daha fazla bilgi edinin.
• Artırılmış Gerçeklik (AR): AR uygulamaları, sanal nesneleri gerçek dünya ile sorunsuz bir şekilde harmanlamak için panoptik segmentasyonu kullanır. AR sistemleri, hem arka plan yüzeylerinin hem de ön plandaki nesnelerin konumunu anlayarak sanal içeriği gerçekçi bir şekilde yerleştirebilir ve oklüzyonları doğru bir şekilde ele alabilir. Bu, AR teknolojisinde büyük ilerlemelere yol açmıştır.
• Uydu Görüntü Analizi: Bu teknik, ormanlar veya su kütleleri ("şeyler") gibi geniş alan türleri ile binalar veya araçlar ("şeyler") gibi bireysel yapılar arasında ayrım yaparak ayrıntılı arazi örtüsü haritalaması için kullanılır. USGS gibi devlet kurumları bu verileri çevresel izleme ve şehir planlaması için kullanmaktadır.

Modeller ve Uygulama

Panoptik segmentasyon modelleri genellikle PyTorch gibi derin öğrenme çerçeveleri kullanılarak oluşturulur ve COCO-Panoptic ve Cityscapes gibi büyük ölçekli veri kümeleri üzerinde eğitilir. YOLO11 gibi Ultralytics modelleri, temel yapı taşları olan nesne algılama ve örnek segmentasyonu gibi temel görevlerde son teknoloji performans sunarken, panoptik segmentasyon entegre sahne anlayışının bir sonraki seviyesini temsil eder. Google AI ve Meta AI gibi kurumlardaki araştırmalar devam ettikçe, bu kapsamlı modellerin yetenekleri sürekli olarak gelişmekte ve daha sofistike ve bilinçli AI sistemlerinin önünü açmaktadır. Ultralytics HUB gibi platformları kullanarak ilgili görevler için modelleri yönetebilir ve eğitebilirsiniz.