Vision Language Model (VLM)
Görsel dil modeli (VLM), görselleri ve metinleri birlikte işleyerek açıklama yazar, soruları yanıtlar ve nesneleri adlarıyla bulur. Mimariler ve örnekler.
Görsel-dil modeli (VLM), görüntüleri ve çoğunlukla videoyu metinle birlikte işleyen bir sinir ağıdır. Tasarımına bağlı olarak bir görüntünün başlıkla ne kadar uyuştuğunu puanlar, görüntü hakkında metin yazar veya metin isteminin adlandırdığı nesneleri bulur. VLM'ler "Otobüs durağında kaç kişi bekliyor?" gibi soruları yanıtlar, grafikleri ve makbuzları yapılandırılmış verilere dönüştürür ve serbest biçimli sözcüklerle tarif edilen nesnelerin yerini bulur. VLM'ler, sabit bir sınıf listesinden tahmin yapan bilgisayarlı görü modellerinin görsel algısını, büyük dil modellerinin (LLMs) açık uçlu diliyle birleştirir.
Görü-Dil Modelleri Nasıl Çalışır?#
Her VLM'de bir görüntüyü gömmelere dönüştüren, genellikle Vision Transformer (ViT) tabanlı bir görsel kodlayıcı ve bu gömmeleri metinle ilişkilendirme yöntemi bulunur. Üç tasarım yaygındır:
- Çift kodlayıcılar: CLIP ve SigLIP, görüntüleri ve metni ayrı ayrı ortak bir gömme uzayına kodlar; eğitimde yüz milyonlardan milyarlara kadar görüntü-başlık çifti üzerinde karşıt öğrenme kullanılır. Metin üretmek yerine benzerliği ölçerler; bu da onları sıfır örnekli sınıflandırma ve görüntü arama için standart araçlar hâline getirir.
- Üretken VLM'ler: Genellikle CLIP veya SigLIP'ten alınan, önceden eğitilmiş bir görsel kodlayıcı, parça gömmelerini LLM'nin girdi uzayındaki "görsel belirteçlere" dönüştüren bir yansıtıcıyı besler. LLM bu belirteçleri metin istemiyle birlikte okur ve yanıtı yazar. LLaVA-1.5 bu şekilde çalışır: CLIP ViT-L/14 kodlayıcısı, 336×336 boyutundaki bir görüntüyü 24×24 parçalık ızgaraya böler ve 576 görsel belirteç üretir. DeepMind'ın Flamingo'su farklı bir yol izler; metin belirteçlerinin görüntü özelliklerine dikkat etmesi için dondurulmuş bir LLM'ye çapraz dikkat katmanları ekler.
- Açık söz varlıklı algılayıcılar: Grounding DINO, YOLO-World ve YOLOE gibi modeller, metin gömmeleriyle görüntü bölgelerini karşılaştırarak adı verilen herhangi bir nesne için kutu veya maske döndürür; bu görev grounding olarak adlandırılır. Bazı üretken VLM'ler de nesneleri konumlandırır; kutu koordinatlarını metin veya özel konum belirteçleri olarak yazar.
Üretken tasarımda LLM, her adımda görsel belirteklere ve isteme dikkat ederek yanıtını tek seferde bir belirteç yazarak oluşturur:
Üretken VLM'ler genellikle aşamalar hâlinde eğitilir. Kodlayıcı ve LLM dondurulmuşken yansıtıcı, görüntü-başlık çiftleri üzerinde görsel belirteçleri önce LLM'nin gömmeleriyle hizalamayı öğrenir. Ardından görsel yönerge ayarı, modeli görüntüler hakkındaki sohbetler üzerinde ince ayarlar; RLHF gibi tercih ayarı yöntemleri de görüntüde bulunmayan şeyleri tarif eden yanıtları azaltır.
Açık söz varlıklı algılayıcılar, aynı metin eşleştirme yöntemini gerçek zamanlı algılamaya taşır. Tsinghua Üniversitesi araştırmacılarının tanıttığı YOLOE, Ultralytics paketinde YOLO26 mimarisinde YOLOE-26 adıyla sunulur. Apple'ın MobileCLIP2 metin kodlayıcısını kullanarak sınıf adlarını gömmelere dönüştürür ve görüntü bölgeleriyle eşleştirir; böylece etiketlemek üzere hiç eğitilmediği kategoriler için kutular ve örnek maskeleri döndürür. Aşağıdaki istemler, kapalı küme YOLO modellerinin algıladığı 80 COCO sınıfından biri olmayan güneş gözlüklerini içeriyor:
from ultralytics import YOLOE
# Açık söz varlıklı bir YOLOE-26 algılama ve segmentasyon modeli yükle
model = YOLOE("yoloe-26s-seg.pt")
# Sınıfları yalın sözcüklerle belirt; metin kodlayıcı her birini bir gömmeye dönüştürür
model.set_classes(["person", "glasses", "bus"])
# Yalnızca istemde belirtilen sınıfları algıla ve segmentlere ayır
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")Yazdırılan listede otobüs, dört kişi ve bunlardan ikisinin taktığı gözlükler yer alıyor; sözcük listesini değiştirmek, modelin algıladıklarını yeniden eğitim olmadan değiştiriyor.
Gerçek Dünya Uygulamaları#
- Görsel soru yanıtlama: Denetim, perakende ve destek araçları; rafın tamamen dolu olup olmadığı veya gösterge panelinin görüntüsünde hangi uyarı ışığının yandığı gibi soruları fotoğraflar hakkında bir VLM'ye sorar.
- Belge anlama: VLM'ler faturaları, formları, tabloları ve grafikleri doğrudan sayfa görüntülerinden okur ve çoğu zaman ayrı bir OCR adımının yerini alarak yapılandırılmış alanlar döndürür.
- Görüntü açıklama ve erişilebilirlik: Üretilen açıklamalar, ekran okuyucular için alternatif metin ve fotoğraf kütüphaneleri için aranabilir üst veriler sağlar.
- Robotik: Google DeepMind'ın RT-2 modeli gibi görsel-dil-eylem modelleri, robot eylemleri üretecek şekilde bir VLM'yi genişletir; böylece robot "boş kutuyu al" gibi yönergeleri izleyebilir.
- Veri etiketleme: Açık söz varlıklı algılayıcılar, metin istemlerinden yeni sınıflar için kutu ve maskeler taslak olarak oluşturur; böylece anotatörler boş bir görüntü yerine bir başlangıç noktasına sahip olur. Ultralytics Platform, bir YOLO26 modeli etiketler üzerinde eğitilmeden önce bu tür algılayıcılar ve üretken VLM'lerle algılama veri kümelerini otomatik olarak anotasyonlar.
VLM'ler ve İlgili Terimler#
- LLM: Yalnızca metinle çalışan bir model. Birçok üretken VLM, görsel kodlayıcı eklenmiş bir LLM'dir ve onun akıl yürütme yeteneğini, bilgisini ve gerçek dışı şeyler uydurma eğilimini devralır.
- Çok modlu yapay zekâ: Farklı veri türlerini birleştiren daha geniş model kategorisi. Sesi metinle veya radarı kamera görüntüleriyle eşleştiren bir model, VLM olmadan da çok modlu olabilir.
- Nesne algılama: Kapalı küme algılayıcısı yalnızca üzerinde eğitildiği sınıfları tahmin eder ve metin girdisi almaz. Sınıflar çıkarım sırasında adlandırıldığında bu görevi devralanlar açık söz varlıklı algılayıcılardır; bunlar VLM'lerdir. VLM Leaderboard, açık söz varlıklı algılayıcılarla üretken VLM'lerin gerçek dünya veri kümelerindeki nesneleri ne kadar doğru algıladığını karşılaştırır.
Sınırlamalar#
VLM'ler halüsinasyon görür: Bir görüntüde çatal olmasa bile açıklama modeli masadaki bir çataldan söz edebilir; çünkü dil modeli olası bir cümleyi tamamlar. İnce uzamsal akıl yürütme, büyük grupları sayma ve küçük metinleri okuma da zayıf oldukları konulardır. Her görüntü, LLM'nin bağlam penceresinden yüzlerce veya binlerce belirteç tüketir. POPE kıyaslaması, modele "Görüntüde araba var mı?" biçiminde sorular sorarak nesne halüsinasyonunu ölçer; sorulardaki bulunmayan nesneleri rastgele, veri kümesinde en sık görülen nesneler arasından veya mevcut nesnelerle sıklıkla birlikte görülen nesneler arasından seçer.










