Visual Instruction Tuning

Görsel talimat ince ayarı (visual instruction tuning), geleneksel doğal dil işleme yöntemlerini çok modlu (multi-modal) alana genişleten dönüştürücü bir makine öğrenimi tekniğidir. Bir Vision Language Model (VLM) modelini resim veya video girdilerine dayalı açık insan yönergelerini takip edecek şekilde eğiterek, görsel içeriği anlayan ve bunlar üzerinde akıl yürüten yapay zeka asistanları oluşturabilirsin. Önceden tanımlanmış bir kategori çıktısı veren standart image classification modellerinin aksine görsel talimat ince ayarı, modellere bir sahneyi betimlemek, bir görsel içindeki metni okumak veya mekansal ilişkiler hakkında belirli soruları yanıtlamak gibi karmaşık ve açık uçlu görevleri yürütme gücü verir. Bu, tabanlı metin large language models (LLMs) ile geleneksel computer vision boru hatları (pipelines) arasındaki köprüyü kurar.

Kavramı ve Farklılıkları Anlamak#

Görsel talimat ayarlamayı kavramak için, onu yapay zeka ekosistemindeki yakından ilişkili kavramlardan ayırmak yararlıdır:

• Instruction Tuning: Genellikle yalnızca metin içeren LLM'lerin insan niyetini güvenli ve doğru bir şekilde takip etmesi için hizalanmasını ifade eder. Görsel talimat ince ayarı da aynı metodolojiyi uygular, ancak isteme ve beklenen çıktıya görselleri dahil eder.
• Visual Prompting: Genellikle modelin odağını yönlendirmek için bir görsel üzerinde sınırlayıcı kutu (bounding box) çzmek, nokta yerleştirmek veya bir alanı maskelemek gibi görsel ipuçları kullanarak bir yapay zeka ile etkileşime geçmeyi içerir. Buna karşılık görsel talimat ince ayarı, görsel verilerle eşleştirilen doğal dil komutlarına büyük ölçüde güvenir.

Eğitim süreci genellikle önceden eğitilmiş çok modlu bir temel (foundation) modeli, resim-metin-talimat üçlüleri olarak biçimlendirilmiş kapsamlı veri kümeleri kullanarak fine-tuning işlemine tabi tutmayı içerir. LLaVA (Large Language-and-Vision Assistant) projesi gibi arXiv research on visual instruction tuning alanındaki öncü araştırmalar, bu modellerin dikkate değer sıfır vuruşlu (zero-shot) yetenekler elde edebileceğini göstermiştir. Günümüzde başlıca yapay zeka kuruluşları, OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet ve Google DeepMind Gemini dahil olmak üzere gelişmiş modellere güç sağlamak için bu teknikten yararlanmaktadır.

Gerçek Dünya Uygulamaları#

multimodal deep learning mimarilerini insan niyetiyle hizalayarak, görsel talimat ince ayarı çeşitli endüstrilerde son derece interaktif uygulamaların kilidini açar:

• AI in Healthcare Diagnostics: Tıp uzmanları, Visual Question Answering (VQA) için talimatla ayarlanmış modelleri kullanabilir. Bir radyolog sisteme bir röntgen görüntüsü ve "Sol alt lobdaki zatürre belirtilerini vurgula ve açıkla" talimatını vererek yapay zekanın işbirlikçi bir tanı asistanı olarak hareket etmesini sağlayabilir.
• AI in Manufacturing Quality Control: Katı bir kusur tespit modelini sıfırdan eğitmek yerine operatörler, "Yeni üretilen bu metal kasadaki mikroskobik çizikleri veya ezikleri tespit et" diyerek Microsoft Florence-2 gibi bir görme sistemine talimat verebilir.

Görüntü İş Akışları Oluşturma#

Bu yeteneklerden yararlanan sistemler oluşturmak için geliştiriciler genellikle bu verileri bir VLM'ye aktarmadan önce görsellerden yapısal bağlamı çıkarmak için sağlam object detection modellerine güvenirler. PyTorch multi-modal documentation veya TensorFlow vision models kullanarak geliştiriciler hibrit boru hatları oluşturabilir.

Örneğin, bir sahneyi hızlıca algılamak ve sonraki bir VLM için bilgilendirilmiş bir dil istemi oluşturmak amacıyla bir Ultralytics YOLO modelini kullanabilirsin:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Bu yeni nesil uygulamalar için gereken karmaşık, çok modlu veri kümelerini yönetmek zorlu olabilir. Ultralytics Platform veri kümesi notasyonu, bulut eğitimi ve kesintisiz model dağıtımı için uçtan uca araçlar sağlayarak bu süreci basitleştirir. ACM digital library veya IEEE Xplore computer vision arşivlerindeki son teknoloji makaleleri okuyor olsan da, talimatla ayarlanan, yüksek yetenekli görme sistemlerine geçiş yapay zekanın en ileri noktasını temsil eder. YOLO26 algısını ayarlanmış akıl yürütme modelleriyle eşleştirerek kuruluşlar inanılmaz derecede sağlam yapay zeka araçları dağıtabilir.