Visual Prompting

Görsel istemleme, kullanıcıların bir yapay zekâ modelinin odağını görüntü içindeki belirli nesnelere veya bölgelere yönlendirmek için noktalar, sınırlayıcı kutular veya karalamalar gibi uzamsal ya da görsel ipuçları sağladığı, bilgisayarlı görü alanında gelişmekte olan bir tekniktir. Öncelikle metin açıklamalarına dayanan geleneksel istem mühendisliğinin aksine görsel istemleme, Yapay Zekâ (AI) sistemleriyle daha kesin ve sezgisel etkileşim kurulmasını sağlar. Bu yöntem, kapsamlı yeniden eğitim veya büyük etiketli veri kümeleri gerektirmeden segmentasyon ve algılama gibi görevleri gerçekleştirmek için modern temel modellerin yeteneklerinden yararlanır. Kullanıcılar neyin önemli olduğunu etkili bir şekilde "işaret ederek" genel amaçlı modelleri yeni görevlere anında uyarlayabilir ve insan niyetiyle makine algısı arasındaki boşluğu kapatabilir.

Görsel İstemleme Mekanizmaları#

Görsel istemleme, temelde uzamsal bilgileri doğrudan modelin işleme hattına ekleyerek çalışır. Kullanıcı bir nesneye tıkladığında veya bir kutu çizdiğinde bu girdiler, sinir ağının görüntü özellikleriyle bütünleştirdiği koordinat tabanlı gömmelere dönüştürülür. Bu süreç, modelin geometrik istemlere dayalı maskeler tahmin ettiği Segment Anything Model (SAM) gibi etkileşimli mimarilerin temelini oluşturur.

Görsel istemlemenin esnekliği, çeşitli etkileşim türlerine olanak tanır:

• Nokta İstemleri: Kullanıcı, ilgilenilen nesneyi belirtmek için belirli bir piksele tıklar. Model daha sonra bu seçimi nesnenin tüm sınırlarını kapsayacak şekilde genişletir.
• Kutu İstemleri: Bir sınırlayıcı kutu çizmek, kaba bir konumlandırma sağlar ve modele bu alanın içinde bulunan her şeyi segmentlere ayırması veya sınıflandırması gerektiğini bildirir.
• Karalama İstemleri: Bir nesnenin üzerine serbest elle çizilen çizgiler, nesnelerin üst üste bindiği veya benzer dokulara sahip olduğu karmaşık sahnelerde belirsizliğin giderilmesine yardımcı olabilir.

CVPR 2024 konferansında sunulan yakın tarihli araştırmalar, görsel istemlemenin veri etiketleme için gereken süreyi önemli ölçüde azalttığını gösteriyor; çünkü insan etiketleyiciler poligonları elle çizmek yerine model tahminlerini basit tıklamalarla gerçek zamanlı olarak düzeltebiliyor.

Görsel İstemleme ve Metin İstemleme Karşılaştırması#

Her iki teknik de model davranışını yönlendirmeyi amaçlasa da görsel istemlemeyi metin tabanlı yöntemlerden ayırmak önemlidir. Metinden görüntüye üretim veya sıfır atışlı algılama, anlamsal açıklamaları (ör. "kırmızı arabayı bul") yorumlamak için doğal dil işleme (NLP) kullanır. Ancak dil, kesin uzamsal konumları veya soyut şekilleri açıklamak için belirsiz ya da yetersiz olabilir.

Görsel istemleme, talimatı doğrudan piksel uzayına dayandırarak bu belirsizliği ortadan kaldırır. Örneğin tıbbi görüntü analizinde bir radyoloğun şüpheli bir nodüle tıklaması, tam koordinatlarını ve düzensiz şeklini metinle açıklamaya çalışmasından çok daha doğrudur. Genellikle en güçlü iş akışları her iki yaklaşımı birleştirir: anlamsal filtreleme için metin, uzamsal kesinlik içinse görsel istemler kullanılır; bu kavram çok modlu öğrenme olarak bilinir.

Gerçek Dünya Uygulamaları#

Görsel istemlemenin uyarlanabilirliği, çeşitli sektörlerde hızla benimsenmesini sağladı:

• Etkileşimli Tıbbi Tanı: Doktorlar, MRI taramalarında tümörleri veya organları izole etmek için görsel istemleme araçlarını kullanır. İlgilenilen bir bölgeye basitçe tıklayarak anında 3B hacimsel ölçümler oluşturabilir, böylece hassas tümör algılama ve cerrahi planlamaya yardımcı olabilirler.
• Akıllı Fotoğraf Düzenleme: Adobe Photoshop gibi tüketici yazılımlarında veya mobil uygulamalarda görsel istemleme, "sihirli seçim" araçlarını güçlendirir. Kullanıcılar, arka planı kaldırmak veya hedefe yönelik filtreler uygulamak için bir kişiye ya da nesneye dokunabilir ve elle maskeleme becerilerine ihtiyaç duymadan temel örnek segmentasyonu teknolojilerinden yararlanabilir.
• Robotik Manipülasyon: Robotikte Yapay Zekâ alanında robotlara, görsel bir arayüz üzerinden belirli öğeleri almaları talimatı verilebilir. Operatör, robotun kamera görüntüsündeki bir nesneye tıklayarak robotun kavrama koordinatlarına dönüştürdüğü bir görsel istem sağlar ve depolarda insanın döngüde olduğu otomasyonu kolaylaştırır.

Ultralytics ile Uygulama#

Ultralytics ekosistemi, özellikle FastSAM ve SAM gibi modeller aracılığıyla görsel istemleme iş akışlarını destekler. Bu modeller, segmentasyon maskelerini almak için geliştiricilerin nokta veya kutu koordinatlarını program aracılığıyla aktarmasına olanak tanır.

Aşağıdaki örnek, bir görüntüye nokta istemi uygulamak ve modele belirli koordinatlarda bulunan nesneyi segmentlere ayırması talimatını vermek için ultralytics paketinin nasıl kullanılacağını gösterir.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

Model Çevikliğini Geliştirme#

Görsel istemleme, modellerin artık statik "kara kutular" değil, etkileşimli araçlar olduğu "istemlenebilir" bilgisayarlı görü anlayışına doğru bir geçişi temsil eder. Bu yetenek, modellerin kullanıcı geri bildirimlerini dahil ederek hızla geliştiği aktif öğrenme döngüleri için kritik öneme sahiptir.

Bu yetenekleri üretime entegre etmek isteyen geliştiriciler için Ultralytics Platformu, dinamik girdileri işleyebilen modelleri yönetmeye ve dağıtmaya yönelik araçlar sunar. Araştırmalar ilerledikçe görsel istemlerle büyük dil modelleri (LLMs) arasında daha sıkı bir entegrasyon göreceğimizi ve bunun, sistemlerin görsel girdiler hakkında şu anda metni işledikleri akıcılıkla akıl yürütmesini sağlayacağını öngörüyoruz.