Vision Language Model (VLM)

Bir Görüntü Dil Modeli (VLM), hem görsel bilgiyi (resim veya video) hem de metinsel bilgiyi aynı anda işleyip yorumlayabilen bir yapay zeka türüdür. Yalnızca piksel verilerine odaklanan geleneksel bilgisayarlı görü modellerinden veya sadece metni anlayan Büyük Dil Modellerinden (LLM) farklı olarak VLM'ler, bu iki modalite arasındaki boşluğu doldurur. Resim-metin çiftleri içeren devasa veri kümeleri üzerinde eğitilen bu modeller, görsel özelliklerle dilsel kavramları ilişkilendirmeyi öğrenerek resimleri betimlemelerine, görsel sahneler hakkındaki soruları yanıtlamalarına ve hatta "gördüklerine" dayalı komutları uygulamalarına olanak tanır.

Link to this sectionGörüntü Dil Modelleri Nasıl Çalışır#

VLM'ler özünde genellikle iki ana bileşenden oluşur: bir görüntü kodlayıcı ve bir metin kodlayıcı. Görüntü kodlayıcı, öznitelik haritalarını ve görsel temsilleri çıkarmak için resimleri işlerken, metin kodlayıcı dilsel girdiyi yönetir. Bu farklı veri akışları, daha sonra görsel ve metinsel bilgiyi ortak bir gömme alanında hizalamak için çapraz dikkat gibi mekanizmalar kullanılarak birleştirilir.

2024 ve 2025'teki son gelişmeler, tek bir Transformer omurgasının her iki modaliteyi de yönettiği daha birleşik mimarilere doğru ilerlemiştir. Örneğin, Google PaliGemma 2 gibi modeller, bu akışları entegre etmenin karmaşık akıl yürütme görevlerindeki performansı ne kadar etkili bir şekilde artırabileceğini göstermektedir. Bu hizalama, modelin "elma" kelimesinin bir market resminde meyveye, bir logoda ise teknoloji şirketine atıfta bulunduğunu fark etmek gibi bağlamları anlamasını sağlar.

Link to this sectionGerçek Dünya Uygulamaları#

Dünyayı hem görme hem de dil yoluyla anlama yeteneği, çeşitli endüstrilerde farklı uygulamaların önünü açar:

• Görsel Soru Cevaplama (VQA): VLM'ler, radyologlara yardımcı olmak için sağlık teşhisinde yoğun bir şekilde kullanılır. Bir doktor sisteme "Bu röntgende bir kırık var mı?" diye sorabilir ve model, tıbbi görüntüyü analiz ederek ön değerlendirme sağlar, böylece teşhis hatalarını azaltır.
• Akıllı E-Ticaret Araması: Perakende ortamlarında, VLM'ler kullanıcıların doğal dil açıklamalarını görüntülerle birleştirerek ürün aramasına olanak tanır. Bir alışveriş yapan kişi, bir ünlünün kıyafetinin fotoğrafını yükleyip "Bana bu desenli ama mavi renkte bir elbise bul" diye sorabilir ve sistem anlamsal arama kullanarak doğru eşleşmeleri getirir.
• Otomatik Altyazı ve Erişilebilirlik: VLM'ler, web üzerindeki resimler için otomatik olarak tanımlayıcı alt metinler oluşturarak dijital içeriği ekran okuyuculara bağımlı olan görme engelli kullanıcılar için daha erişilebilir hale getirir.

Link to this sectionVLM'leri İlgili Kavramlardan Ayırma#

VLM'lerin özel rolünü anlamak için onları diğer yapay zeka kategorilerinden ayırmak faydalıdır:

• VLM vs. LLM: Bir Büyük Dil Modeli (GPT-4'ün sadece metin sürümleri gibi) yalnızca metin verilerini işler. Yaratıcı hikayeler veya kodlar üretebilse de bir resmi "göremez". Bir VLM, aslında bir LLM'e göz kazandırır.
• VLM vs. Nesne Tespiti: Erken YOLO sürümleri gibi geleneksel nesne tespiti modelleri, nesnelerin nerede olduğunu ve hangi sınıfa ait olduğunu (örneğin, "Araba: %99") tanımlar. Bir VLM, "yangın musluğunun yanına park etmiş kırmızı bir spor araba" gibi ilişkileri ve nitelikleri anlayarak daha ileri gider.
• VLM vs. Çok Modlu (Multimodal) Yapay Zeka: Çok Modlu Yapay Zeka, daha geniş bir şemsiye terimdir. Tüm VLM'ler çok modlu olsa da (görüntü ve dili birleştirir), tüm çok modlu modeller VLM değildir; bazıları dil bileşeni olmadan ses ve metni (konuşmadan metne dönüştürme gibi) veya video ve sensör verilerini birleştirebilir.

Link to this sectionYOLO ile Açık Sözcüklü (Open-Vocabulary) Tespit#

Modern VLM'ler, önceden tanımlanmış sınıflar yerine serbest biçimli metin istemleri kullanarak nesneleri tespit edebileceğiniz "açık sözcüklü" tespiti mümkün kılar. Bu, yeniden eğitim gerektirmeden dinamik sınıf tanımlarına olanak tanıyan Ultralytics YOLO-World gibi modellerin temel bir özelliğidir.

Aşağıdaki örnek, metinle tanımlanan belirli nesneleri tespit etmek için ultralytics paketinin nasıl kullanılacağını göstermektedir:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionZorluklar ve Gelecek Yönelimleri#

Güçlü olsalar da, Görüntü Dil Modelleri önemli zorluklarla karşı karşıyadır. Büyük bir sorun, modelin bir görüntüde aslında olmayan nesneleri veya metinleri kendinden emin bir şekilde tanımladığı halüsinasyon durumudur. Araştırmacılar, temellendirmeyi ve doğruluğu artırmak için İnsan Geri Bildiriminden Pekiştirmeli Öğrenme (RLHF) gibi teknikler üzerinde aktif olarak çalışmaktadır.

Bir diğer zorluk ise hesaplama maliyetidir. Bu devasa modelleri eğitmek önemli miktarda GPU kaynağı gerektirir. Ancak, Ultralytics YOLO26 gibi verimli mimarilerin piyasaya sürülmesi, gelişmiş görüntüleme yeteneklerinin uç cihazlara taşınmasına yardımcı oluyor. İlerledikçe, VLM'lerin robotik ajanlarda kritik bir rol oynamasını, robotların karmaşık sözlü talimatlara dayanarak nesneleri yönlendirmesine ve manipüle etmesine olanak tanımasını bekliyoruz.

Teorik temellerle ilgilenenler için, OpenAI'ın orijinal CLIP makalesi, karşılaştırmalı dil-görüntü ön eğitimi hakkında mükemmel bir fikir vermektedir. Ayrıca, bu mimarilerin hızlı gelişimini takip etmek için CVPR konferans makalelerini düzenli olarak incelemek çok önemlidir. Kendi görüntü modellerinizi eğitmek için deneyler yapmak isterseniz, kolaylaştırılmış veri kümesi yönetimi ve model dağıtımı için Ultralytics Platform'dan yararlanabilirsiniz.