Visual Prompting

Görsel istemleme, hedefi sözcüklerle tarif etmek yerine görüntünün üzerine tıklama, kutu, karalama, maske veya örnek ekleyerek bir bilgisayarlı görü modeline neyi bölütleyeceğini veya algılayacağını söyleme yöntemidir. Meta'nın Segment Anything Model (SAM) modeli gibi istemlenebilir temel modeller, her işareti bir gömeye dönüştürür ve herhangi bir yeniden eğitim olmadan belirtilen nesne için maske tahmin eder. Görsel istem, belirli bir örneği işaret eder veya bulunacak nesneye örnek gösterir; bu, belirli bir kusur ya da tanıdık olmayan bir parça gibi metin isteminde adlandırılması zor hedeflerde yardımcı olur. Görsel istem ayarlama benzer bir ad taşır ancak ince ayar sırasında fazladan girdi token'ları öğrenen bir istem ayarlama yöntemidir; görüntüyü kimse işaretlemez.

Görsel İstemleme Nasıl Çalışır#

Meta'nın 2023'te 11 milyon görüntüde 1,1 milyar maske içeren SA-1B veri kümesiyle yayımladığı SAM, işi üç bölüme ayırır. Büyük bir görüntü kodlayıcısı olan bir görsel Transformer, görüntü başına bir kez çalışır; hafif bir istem kodlayıcısı noktaları ve kutuları konumsal gömmelere dönüştürür; maske kod çözücüsü ise ikisini birleştirerek web tarayıcısında yaklaşık 50 milisaniyede bir maske tahmin eder. Böylece her yeni tıklama sonucu etkileşimli olarak günceller. Tek bir tıklama belirsiz olabilir; çünkü tişörtü veya tişörtü giyen kişiyi kastediyor olabilir. Bu nedenle SAM, her biri için bir kalite puanıyla üç aday maske döndürebilir. Meta'nın SAM 2 modeli (2024), istemleri videoya genişletir ve tıklanan nesneyi önceki karelerin belleğini kullanarak sonraki karelerde takip eder. SAM 2.1, Ultralytics paketinde çalışır; burada tıklama, ön plan için 1 veya arka plan için 0 etiketli bir noktadır:

from ultralytics import SAM

# Meta'nın SAM 2.1 temel modelini yükle
model = SAM("sam2.1_b.pt")

# Koyu renk paltolu adama bir ön plan tıklaması (etiket 1)
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Tıklanan nesne için tahmin edilen maskeyle görüntüyü kaydet
result.save(filename="sam_point_prompt.jpg")

Kaydedilen görüntü, SAM 2.1'in tek tıklamadan tahmin ettiği maskeyi gösterir. Etkileşimli bölütleme, maske doğru olana kadar bu adımı tekrarlar; Ultralytics Platform içindeki akıllı anotasyon modu da bu şekilde çalışır: her tıklama bir SAM nokta istemine dönüşür, geçerli maskenin dışına tıklamak o bölgeyi ekler, içine tıklamak ise bölgeyi kaldırır. Veri kümesinin görevine bağlı olarak sonuç çokgen, kutu veya yönlendirilmiş kutu biçiminde kaydedilir.

Görsel İstem Türleri#

• Noktalar ve kutular: Ön plan ve arka plan tıklamaları bölgeleri seçer veya dışarıda bırakır. Bir nesnenin çevresine çizilen kaba bir kutu, tıklamadan daha az belirsizdir ve algılayıcı kutularının bir bölütleyiciye otomatik olarak istem vermesini de sağlar.
• Maskeler ve karalamalar: Önceki bir adımdan alınan kaba maske veya nesnenin üzerine çizilen çizgiler, yalnızca tıklamaların yanlış sonuç verdiği bir tahmini iyileştirir.
• Örnek kutuları: Bir örneğin çevresine çizilen kutu, modelden o örneğe benzeyen tüm nesneleri bulmasını ister; böylece aynı türden tüm vidaları saymak için tek bir örnek kutusu yeterlidir. T-Rex2 ve YOLOE gibi açık kümeli algılayıcılar ile Meta'nın SAM 3 modeli (2025), bu örnek istemlerini kabul eder.
• Bağlam içi örnekler: Maske veya kenar haritası gibi istenen çıktıyla eşleştirilmiş bir örnek görüntü, görevin kendisini tanımlar; model de benzerlik kurarak yeni bir görüntünün çıktısını tamamlar.
• Görsel dil modelleri için işaretler: Set-of-Mark istemleme, modelin yanıtında "bölge 3" gibi ifadelere başvurabilmesi için görüntü bölgelerinin üzerine numaralı işaretler çizer; bu, görsel temellendirmeyi iyileştirir.

Gerçek Dünya Uygulamaları#

• Veri anotasyonu: Nesne başına birkaç tıklama, bir çokgenin noktalarını tek tek izleme işleminin yerini alır ve örnek bölütleme veri kümeleri oluşturma maliyetini düşürür.
• Tıbbi görüntüleme: MedSAM, SAM modelini 10 görüntüleme modalitesinde 1.570.263 tıbbi görüntü-maske çiftine uyarladı; böylece bir klinisyenin organ veya lezyon çevresine çizdiği kutu, nesnenin dış hatlarını verir.
• Robotik: Bir operatör robot kamerasının görüntüsünde bir nesneye tıklar ve ortaya çıkan maske, kavrama planlaması için nesnenin tam piksellerini robota verir.