Visual Instruction Tuning

Görsel talimat ayarlama, geleneksel doğal dil işleme yöntemlerini çok modlu alana genişleten dönüştürücü bir makine öğrenimi tekniğidir. Bir Vision Language Model (VLM) modelini görüntü veya video girdilerine dayalı açık insan yönergelerini takip edecek şekilde eğiterek, görsel içeriği anlayan ve bu içerik üzerinde mantık yürütebilen yapay zeka asistanları oluşturabilirsin. Önceden tanımlanmış bir kategori çıktısı veren standart image classification modellerinin aksine, görsel talimat ayarlama modellerin bir sahneyi betimlemek, görüntü içindeki metni okumak veya mekansal ilişkiler hakkında belirli soruları yanıtlamak gibi karmaşık ve ucu açık görevleri yürütmesini sağlar. Bu, metin tabanlı large language models (LLMs) ile geleneksel computer vision işlem hatları arasındaki boşluğu doldurur.

Link to this sectionKavramı ve Farklılıkları Anlamak#

Görsel talimat ayarlamayı kavramak için, onu yapay zeka ekosistemindeki yakından ilişkili kavramlardan ayırmak yararlıdır:

• Instruction Tuning: Genellikle sadece metin içeren LLM'lerin insan niyetini güvenli ve doğru bir şekilde takip etmesini sağlamak anlamına gelir. Görsel talimat ayarlama aynı metodolojiyi uygular ancak görüntüyü isteme ve beklenen çıktıya dahil eder.
• Visual Prompting: Genellikle modelin odağını yönlendirmek için bir görüntü üzerine sınırlayıcı kutu çizmek, nokta yerleştirmek veya bir alanı maskelemek gibi görsel ipuçları kullanarak bir yapay zeka ile etkileşime girmeyi içerir. Buna karşılık, görsel talimat ayarlama büyük ölçüde görsel verilerle eşleştirilmiş doğal dil komutlarına dayanır.

The training process generally involves fine-tuning a pre-trained multi-modal foundation model using extensive datasets formatted as image-text-instruction triplets. Pioneering arXiv research on visual instruction tuning, such as the LLaVA (Large Language-and-Vision Assistant) project, demonstrated that these models can achieve remarkable zero-shot capabilities. Today, major AI organizations employ this technique to power advanced models, including OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, and Google DeepMind Gemini.

Link to this sectionGerçek Dünya Uygulamaları#

Multimodal deep learning mimarilerini insan niyetiyle uyumlu hale getirerek, görsel talimat ayarlama çeşitli endüstrilerde son derece etkileşimli uygulamaların önünü açar:

• Sağlık Teşhisinde AI: Tıp uzmanları, Görsel Soru Cevaplama (VQA) için talimatla ayarlanmış modelleri kullanabilirler. Bir radyolog sisteme bir röntgen görüntüsü ve "Sol alt lobdaki herhangi bir zatürre belirtisini vurgula ve açıkla" talimatını vererek AI'nın işbirlikçi bir teşhis asistanı olarak hareket etmesini sağlayabilir.
• Üretim Kalite Kontrolünde AI: Operatörler, sıfırdan katı bir kusur tespit modeli eğitmek yerine, Microsoft Florence-2 gibi bir görüntüleme sistemine "Bu yeni üretilen metal kasadaki tüm mikroskobik çizikleri veya göçükleri tanımla" diyerek talimat verebilirler.

Link to this sectionGörüntü İş Akışları Oluşturma#

Bu yeteneklerden yararlanan sistemler oluşturmak için geliştiriciler, verileri bir VLM'ye aktarmadan önce görüntülerden yapısal bağlam çıkarmak için genellikle sağlam object detection modellerine güvenirler. PyTorch multi-modal documentation veya TensorFlow vision models kullanarak hibrit işlem hatları oluşturabilirsin.

Örneğin, bir sahneyi hızlıca algılamak ve sonraki bir VLM için bilgilendirilmiş bir dil istemi oluşturmak amacıyla bir Ultralytics YOLO modelini kullanabilirsin:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Bu yeni nesil uygulamalar için gereken karmaşık, çok modlu veri kümelerini yönetmek zor olabilir. Ultralytics Platform, veri kümesi etiketleme, bulut eğitimi ve kesintisiz model dağıtımı için uçtan uca araçlar sağlayarak bu süreci basitleştirir. ACM digital library veya IEEE Xplore computer vision arşivlerindeki en son makaleleri okuyor olsan da, talimatla ayarlanmış, yüksek kapasiteli görme sistemlerine geçiş yapay zekanın en ileri noktasını temsil ediyor. YOLO26 algısını ayarlanmış mantık modelleriyle eşleştirerek, organizasyonlar inanılmaz derecede sağlam yapay zeka ajanları dağıtabilir.