Visual Instruction Tuning

Görsel yönerge ince ayarı, bir görüş-dil modelinin (VLM) görüntü ile doğal dildeki yönergeyi ve istenen yanıtı eşleştiren örneklerle ince ayarlanmasıdır. Böylece model; bir sahneyi betimleme, soruyu yanıtlama, metni okuma veya gösterilenler hakkında akıl yürütme gibi açık uçlu görüntü isteklerini izlemeyi öğrenir. Yalnızca metne dayalı yönerge ince ayarını görüntülere genişletir ve yalnızca resimlerle sözcükleri ilişkilendirebilen bir modeli görsel asistana dönüştüren adımdır. Wisconsin-Madison Üniversitesi, Microsoft Research ve Columbia Üniversitesi'nden Haotian Liu, Chunyuan Li, Qingyang Wu ve Yong Jae Lee bu terimi NeurIPS 2023'te sözlü sunulan Görsel Yönerge İnce Ayarı makalesinde, bu çalışma sonucunda ortaya çıkan LLaVA (Büyük Dil ve Görüş Asistanı) modeliyle birlikte tanıttı.

Yönerge Verisi Oluşturma#

Görüntüleri yönergeler ve yanıtlarla eşleştiren veri kümeleri az olduğundan LLaVA yazarları bunları yalnızca metin kullanan bir modelle oluşturdu. Her COCO görüntüsü için GPT-4'e görüntünün sembolik bir betimlemesini, yani insanlar tarafından yazılmış açıklamaları ve nesne kategorileriyle koordinatlarını içeren sınırlayıcı kutuları ve birkaç elle yazılmış örneği verdiler. Ardından GPT-4'ten resmi görüyormuş gibi soru ve yanıtlar yazmasını istediler. LLaVA-Instruct-150K olarak yayımlanan sentetik veriler, üç türde 158.000 örnek içerir: 58.000 çok turlu konuşma, 23.000 ayrıntılı betimleme ve sahne hakkında adım adım düşünmeyi gerektiren yanıtları olan 77.000 karmaşık akıl yürütme sorusu.

Mimari ve Eğitim#

LLaVA, bir CLIP ViT-L/14 görüntü kodlayıcısını Vicuna büyük dil modeline (LLM), görüntü özelliklerini LLM'nin sözcük gömme uzayına eşleyen tek bir doğrusal izdüşüm katmanı üzerinden bağlar. Böylece görüntü, yönergeden önce gelen görsel belirteçler dizisi olarak LLM'ye girer. Eğitim iki aşamada yürütülür:

1. Özellik hizalama: CC3M veri kümesinden filtrelenen 595.000 görüntü-açıklama çifti üzerinde yalnızca izdüşüm katmanı eğitilir; görsel kodlayıcı ve LLM dondurulmuş kalır. Böylece görsel belirteçler LLM tarafından okunabilir hâle gelir.
2. Görsel yönerge ince ayarı: Yönerge verileri üzerinde izdüşüm katmanı ve LLM güncellenirken görsel kodlayıcı dondurulmuş kalır. Sonraki belirteç kaybı yalnızca asistanın yanıtlarında hesaplanır; görüntü belirteçlerinde veya kullanıcının yönergelerinde hesaplanmaz.

Ortaya çıkan model, daha önce görmediği görüntüler ve yönergeler hakkında konuşabildi. GPT-4 tarafından puanlanan sentetik çok modlu yönerge izleme kıyaslamasında LLaVA, GPT-4'ün kendi puanının %85,1'ine ulaştı. ScienceQA kıyaslamasında ince ayar yapıldıktan sonra LLaVA ve GPT-4'ten oluşan bir model topluluğu, %92,53 doğrulukla yeni bir son teknoloji sonucu elde etti.

LLaVA-1.5 yöntemi basitleştirip güçlendirdi: doğrusal izdüşümün yerine iki katmanlı bir MLP koydu, CLIP giriş çözünürlüğünü 336 piksele çıkardı, yanıt biçimini belirten kısa yönergelere sahip akademik görsel soru yanıtlama veri kümeleri ekledi ve 13 milyar parametreli model için 1,2 milyon herkese açık örnek kullanarak eğitimi sekiz A100 GPU'lu tek bir düğümde yaklaşık bir günde tamamladı. Salesforce'un InstructBLIP'i ise mevcut etiketli veri kümelerini yönerge biçimine dönüştürüp görüntü özelliklerini yönergeye göre koşullandıran farklı bir yol izledi.

Uygulamalar#

Yönergeyle ince ayar yapılmış VLM'ler, tek görevli birçok modelin yerini tek bir sistemle alır. Bu sistem açık uçlu soruları yanıtlar, kullanıcının istediği ayrıntı düzeyinde görüntü açıklamaları yazar ve optik karakter tanımayı (OCR) metnin anlamı üzerine akıl yürütmeyle birleştirerek fotoğraflardaki metni okur. Ekran görüntülerini bu şekilde okuyan modeller, bilgisayar kullanımı ajanlarını destekler. Bu yöntem özel alanlara da aktarılabilir: LLaVA-Med, PubMed Central'daki biyomedikal şekil-açıklama çiftleriyle hizalandı, bunlar hakkındaki GPT-4 yönergeleriyle ince ayar yapıldı ve sekiz A100 GPU'da 15 saatten kısa sürede eğitildi. Bu yaklaşım, bulguları sözcüklerle açıklayan tıbbi görüntü analizi asistanlarının önünü açıyor.

Yönergeyle ince ayar yapılmış birçok VLM, sorulduğunda nesnelerin konumlarını da döndürür. Ultralytics Platform bu özelliği sınıf yönergeli Smart açıklama aracında kullanır: 1-200 sınıflı bir algılama veri kümesinde, Moondream 3.1 gibi barındırılan açık kaynaklı modeller veya sağlayıcıların ücretli görsel modelleri veri kümesinin sınıflarını görüntüde bulur ve inceleme için düzenlenebilir kutular döndürür.

Yönergeyle ince ayar yapılmış VLM'ler, eğitim verilerinin zayıflıklarını da miras alır. Üretilen yanıtlar görüntüde bulunmayan nesneleri betimleyebilir. Bu halüsinasyonları azaltmak için yönerge ince ayarından sonra Doğrudan Tercih Optimizasyonu (DPO) gibi tercih yöntemleri uygulanır.

Görsel Yönerge İnce Ayarı ve İlgili Kavramlar#

• Metin yönergesi ince ayarı: Yalnızca metin kullanan bir LLM'ye yönerge-yanıt çiftleriyle ince ayar yapar. Görsel yönerge ince ayarı her örneğe bir görüntü ekler ve görsel kodlayıcı ile LLM arasındaki bağlantıyı eğitir.
• Görüş-dil ön eğitimi: CLIP gibi karşıtlık temelli modeller, VLM'ye görsel özellikler kazandıran görüntüleri ve açıklamaları eşleştirmeyi öğrenir; ancak yönergeleri izleme yeteneği kazandırmaz.
• Görsel istem: İstemle bölütleme örneğinde olduğu gibi, noktalar, kutular veya örnek görüntüler gibi görsel ipuçlarıyla modele çıkarım sırasında yol gösterir. Görsel yönerge ince ayarı bir eğitim aşamasıdır; bu aşamadaki istemler doğal dille yazılır.
• Görsel soru yanıtlama (VQA) ince ayarı: Bir modeli tek bir görev ve yanıt biçimi, örneğin tek bir VQA kıyaslaması üzerinde eğitir. Görsel yönerge ince ayarı, modelin yeni isteklere genelleme yapabilmesi için birçok görev türünü tek bir yönerge biçiminde birleştirir.