Etkileşimli Segmentasyon

Etkileşimli segmentasyon, bilgisayar görme alanında insan kullanıcının tıklamalar, sınırlayıcı kutular veya metin komutları gibi sürekli ya da tek seferlik girdiler sağlayarak bir AI modeline rehberlik ettiği ve böylece görüntü içindeki belirli nesneleri ayırmasını sağladığı, son derece işbirliğine dayalı bir yaklaşımdır. Tamamen otomatik yöntemlerin aksine, bu insan katılımlı teknik, kullanıcıların neyin segmentasyonuna ihtiyaç duyulduğunu tam olarak tanımlamasına olanak tanır; bu da, belirsiz görsel veriler, üst üste binen nesneler veya görülmemiş sınıflarla uğraşırken özellikle değerlidir. Son birkaç yılda, temel modellerin ortaya çıkması, bu sürecin hızını ve doğruluğunu önemli ölçüde artırmış ve onu veri etiketleme ve hassas görüntüleme için hayati bir araca dönüştürmüştür.

Etkileşimli Segmentasyon Nasıl Çalışır?

Temelinde, bu iş akışı komutla yönlendirilebilen kavram segmentasyonuna dayanır; burada model, kullanıcı yönlendirmelerini yorumlayarak piksel hassasiyetinde bir maske oluşturur. Kullanıcı, seçmek istediği ön plandaki nesneye "olumlu" bir tıklama yapabilir ve hariç tutmak istediği arka plan alanlarına "olumsuz" bir tıklama yapabilir. Segment Anything Model (SAM) ve onun halefleri olan Meta SAM gibi gelişmiş modeller, görsel aramayı somutlaştırmak için çeşitli hareket türlerini [1], sınırlayıcı kutuları ve hatta metin açıklamalarını kabul ederek bunu daha da ileriye götürür. Model, bu komutlara dayanarak en uygun sınırı hesaplar ve kullanıcı, istenen doğruluk elde edilene kadar ek tıklamalarla maskeyi yinelemeli olarak iyileştirebilir.

Gerçek Dünya Uygulamaları

Etkileşimli segmentasyon, insan uzmanlığını yapay zekanın verimliliği ile birleştirerek birçok sektördeki iş akışlarını dönüştürüyor.

• Tıbbi Görüntüleme: Sağlık sektöründe yapay zeka uygulamalarında, doktorlar ve radyologlar MRG ve BT taramalarında tümörleri, lezyonları veya belirli organları ayırt etmek için etkileşimli araçlar kullanmaktadır. Tıbbi görüntüler için uzamsal modelleme üzerine yapılan araştırmalar [2], etkileşimli tıklamaların tıp uzmanlarının yapay zeka tahminlerini hızla düzeltmelerine olanak tanıdığını ve böylece hasta tanısı için gerekli olan titiz hassasiyeti sağladığını göstermektedir.
• Coğrafi ve Uydu Haritalama: Şehir planlamacıları ve çevre bilimcileri, GIS özelliklerinin çıkarılmasınıhızlandırmak için etkileşimli modeller kullanır [3]. Analistler, karmaşık kıyı şeridini, tarım sınırlarını veya yeni altyapıyı elle çizmek yerine, birkaç stratejik tıklama yaparak anında doğru coğrafi çokgenler oluşturabilirler.
• Endüstriyel Hata Tespiti: Üretimde yapay zeka kullanımı kapsamında, kalite kontrol mühendisleri etkileşimli yönlendirmeler aracılığıyla üretim hatlarındaki mikroskobik kusurları tespit edebilir ve modelin tamamını yeniden eğitmeye gerek kalmadan sistemi yeni kusur türlerine dinamik olarak uyarlayabilir.

Etkileşimli Segmentasyon ve Örnek Segmentasyonu

Her iki kavram da nesneleri piksel düzeyinde ayırmayı içerse de, farklı işlevsel amaçlara hizmet eder. Örnek segmentasyonu genellikle tamamen otomatik bir süreçtir; bu süreçte Ultralytics gibi bir model, kullanıcı müdahalesi olmaksızın önceden tanımlanmış sınıfları (ör. "araba", "kişi", "köpek") tespit eder ve sınırlarını çizer. Bunun nasıl çalıştığına dair daha fazla bilgiyi örnek segmentasyonu kılavuzumuzda bulabilirsiniz.

Buna karşılık, etkileşimli segmentasyon önceden tanımlanmış sınıflara sıkı sıkıya bağlı değildir. Sınıflardan bağımsızdır; yani kullanıcının işaret ettiği her şeyi segmentlere ayırır. Bu özelliği sayesinde, yeni nesnelerin hızla etiketlenmesi ve Ultralytics gibi araçlar kullanılarak özel veri kümelerine eklenmesi gereken aktif öğrenme süreçleri için son derece uygundur.

Ultralytics Kullanım Örneği

Aşağıdakileri kullanarak kendi projelerinizde etkileşimli segmentasyonu kolayca uygulayabilirsiniz PyTorch ve ultralytics Python . Bu örnekte, FastSAM belirli segment nesneyi çerçeve kutusu komutu girilerek segment .

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Bu kod parçacığı, basit bir uzamsal komutun modeli ilgilenilen bölgeyi nasıl doğrudan belirlemeye yönlendirdiğini gösterir; böylece karmaşık görüntü segmentasyon görevlerini asgari düzeyde kodla kolaylaştırır.