Interactive Segmentation

Etkileşimli segmentasyon, bir insan kullanıcının bir görüntü içindeki belirli nesneleri izole etmek üzere bir yapay zeka modeline rehberlik etmek için tıklamalar, BBox veya metin komutları gibi sürekli veya tek seferlik girdiler sağladığı computer vision odaklı son derece işbirliğine dayalı bir yaklaşımdır. Tamamen otomatik yöntemlerin aksine, bu insan döngüsünde kalma tekniği, kullanıcıların tam olarak neyin segmentasyona tabi tutulması gerektiğini tanımlamasına olanak tanır; bu da onu belirsiz görsel verilerle, örtüşen nesnelerle veya görülmemiş sınıflarla uğraşırken özellikle değerli kılar. Geçtiğimiz birkaç yıl içinde, temel modellerin tanıtılması bu sürecin hızını ve doğruluğunu büyük ölçüde artırarak onu data annotation ve hassas görüntüleme için hayati bir araç haline getirmiştir.

Etkileşimli Segmentasyon Nasıl Çalışır?#

At its core, the workflow relies on promptable concept segmentation, where the model interprets user guidance to generate a pixel-perfect mask. A user might place a "positive" click on the foreground object they want to select and a "negative" click on background areas they want to exclude. Advanced models like the Segment Anything Model (SAM) and its successors, Meta SAM 3, take this further by accepting diverse gesture types [1], bounding boxes, and even text descriptions to ground the visual search. The model calculates the optimal boundary based on these prompts, and the user can iteratively refine the mask with additional clicks until the desired accuracy is achieved.

Gerçek Dünya Uygulamaları#

Etkileşimli segmentasyon, insan uzmanlığını yapay zeka verimliliğiyle harmanlayarak sayısız endüstrideki iş akışlarını dönüştürüyor.

• Tıbbi Görüntüleme: AI in healthcare alanında doktorlar ve radyologlar, MRI ve CT taramalarında tümörleri, lezyonları veya belirli organları izole etmek için etkileşimli araçlar kullanır. spatial modeling for medical images [2] üzerine yapılan araştırmalar, etkileşimli tıklamaların tıp profesyonellerinin yapay zeka tahminlerini hızla düzeltmesine olanak tanıyarak hastanın teşhisi için gereken titiz hassasiyeti sağladığını göstermektedir.
• Coğrafi ve Uydu Haritalama: Şehir plancıları ve çevre bilimciler, GIS feature extraction [3] sürecini hızlandırmak için etkileşimli modeller kullanır. Analistler karmaşık kıyı şeritlerini, tarım sınırlarını veya yeni altyapıları manuel olarak çizm combinatorial olarak takip etmek yerine, doğru coğrafi çokgenleri anında oluşturmak için birkaç stratejik tıklama yapabilir.
• Endüstriyel Kusur Tespiti: AI in manufacturing için kalite kontrol mühendisleri, üretim hatlarındaki mikroskobik kusurları vurgulamak ve tüm modeli yeniden eğitmeden sistemi dinamik olarak yeni kusur türlerine uyarlamak amacıyla etkileşimli istemler kullanabilir.

Etkileşimli Segmentasyon ve Örnek (Instance) Segmentasyonu Karşılaştırması#

Her iki kavram da nesneleri piksel düzeyinde ayırmayı içerse de farklı operasyonel amaçlara hizmet ederler. Instance segmentation, Ultralytics YOLO26 gibi bir modelin kullanıcı müdahalesi olmadan önceden tanımlanmış sınıfları (ör. "araba", "kişi", "köpek") tespit edip taslaklarını çizdiği genellikle tamamen otomatik bir süreçtir. Bunun nasıl çalıştığı hakkında guide to instance segmentation kılavuzumuzdan daha fazla bilgi edinebilirsiniz.

Buna karşılık, etkileşimli segmentasyon kesinlikle önceden tanımlanmış sınıflara dayanmaz. Sınıftan bağımsızdır; yani kullanıcının işaret ettiği her şeyi segmentlere ayırır. Bu durum, Ultralytics Platform gibi araçlar kullanılarak yeni nesnelerin hızla etiketlenmesi ve özel veri setlerine eklenmesi gereken active learning işlem hatları için onu mükemmel bir uyum haline getirir.

Ultralytics Kullanarak Örnek#

PyTorch ve ultralytics Python paketini kullanarak kendi projelerinizde etkileşimli segmentasyonu kolayca uygulayabilirsiniz. Bu örnekte, bir BBox istemi sağlayarak belirli bir nesneyi segmentlere ayırmak için FastSAM kullanıyoruz.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Bu kod parçacığı, basit bir uzamsal istemin modeli doğrudan ilgi alanını izole etmeye nasıl yönlendirdiğini gösterir ve minimum kodla karmaşık image segmentation görevlerini kolaylaştırır.