Multi-Modal Model

Çok modlu model (multimodal model olarak da yazılır), birden fazla veri türünü veya modaliteyi (görüntü, metin, ses, video, derinlik haritası ya da sensör ölçümü) alan ve bazen bu türlerden birden fazlasını üreten tek bir makine öğrenimi (ML) modelidir. Modaliteleri birlikte işlediği için her birini diğerlerine bağlam olarak kullanabilir; örneğin bir fotoğraf hakkındaki sesli soruyu yanıtlayabilir, bir cümlenin anlattığı video karelerini bulabilir veya kamera ve radar verilerinden aynı anda yayaları algılayabilir. Metin tabanlı bir sohbet robotuna veri sağlayan bir konuşma tanıyıcı gibi ayrı tek modlu modelleri birbirine bağlayan bir işlem hattı, modaliteler arasında bilgiyi yalnızca her modelin son çıktısı üzerinden aktarır; çok modlu bir model ise bunların birbiriyle nasıl ilişkili olduğunu öğrenir.

Çok Modlu Modeller Nasıl Çalışır#

Her modalite önce kendisine uygun bir kodlayıcıdan geçer; örneğin görüntüler için bir Görüntü Transformer'ı (ViT), metin içinse vektörlere dönüştüren bir tokenleştirici ve gömme katmanı kullanılır. Ardından model bu vektörleri birleştirir ve birleşik temsilden metin, etiket, kutu veya eylem tahmin eder. Birleştirmenin nerede yapıldığı, başlıca tasarım ailelerini belirler:

• Erken birleştirme: Girdiler ilk katmanlardan önce veya bu katmanlarda birleştirilir. Eşleştirilmiş sensörler, ek görüntü kanalları olarak üst üste yığılabilir; Ultralytics YOLO26 bunu doğrudan destekler: veri kümesi YAML dosyasındaki channels anahtarını ayarlamak, dedektörü üçten fazla kanallı görüntüler üzerinde eğitir. Örneğin RGB ile termal veya derinlik bantları, 10 kanallı COCO8-Multispectral veri kümesinde olduğu gibi tek bir çok kanallı TIFF dosyasında saklanabilir.
• Ara düzey füzyon: Her modalite ayrı ayrı kodlanır ve özellikler genellikle dikkat yoluyla ara aşamada bir araya gelir. DeepMind'ın Flamingo modeli, metin belirteçlerinin görüntü özelliklerine dikkat yöneltebilmesi için dondurulmuş bir dil modeline çapraz dikkat katmanları ekler ve birçok görsel-dil modeli (VLMs) görüntü özelliklerini, bir büyük dil modelinin (LLM) istemle birlikte okuduğu "görsel belirteçlere" yansıtır.
• Geç birleştirme: Ayrı modeller tahminler üretir ve bu tahminler sonda birleştirilir. Bu yaklaşım, bir sensör arızalandığında dayanıklıdır ancak modaliteler arasındaki etkileşimleri öğrenemez.
• Ortak gömme: Kodlayıcılar her modaliteyi, eşleşen çiftlerin birbirine yakın yerleşmesini sağlayan karşıt öğrenmeyle eğitilmiş ortak bir vektör uzayına eşler. CLIP görüntüleri ve metni hizalar; Meta'nın ImageBind modeli ise yalnızca görüntülerle eşleştirilmiş verileri kullanarak görüntü, metin, ses, derinlik, termal ve hareket sensörü verileri olmak üzere altı modaliteyi tek bir gömme uzayında birleştirir.

Hangi tasarımın uygun olduğunu büyük ölçüde veri ve görev belirler:

Görüntü ve Dil Transformer'ı ViLT, kompakt bir erken birleştirme örneğidir: görüntüyü parçalara böler, bu parçaları sorudaki sözcüklerle birlikte gömer ve birleşik dizi üzerinde tek bir transformer çalıştırır. Aşağıdaki örnek, Hugging Face Transformers aracılığıyla görsel soru yanıtlama (VQA) için ince ayar yapılmış ViLT kontrol noktasını kullanır:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

Model, aynı görüntüden bus ve blue and white sorularını doğru yanıtlıyor; sayma sorusuna ise fotoğrafta dört kişi olmasına rağmen 3 yanıtını veriyor. Bu kişilerden ikisi görüntünün kenarlarında kısmen kesilmiş durumda; sayma, görüntü-dil modellerinde yaygın bir zayıflık olmaya devam ediyor.

Çok Modlu Model Türleri#

• Görüntü-dil modelleri: Görüntüleri ve metni okuyarak açıklama yazar, soruları yanıtlar, belgeleri okur veya istemde adı geçen nesneleri bulur. Bu son görev yer belirleme olarak adlandırılır.
• Doğuştan çok modlu asistanlar: 2024'te yayımlanan OpenAI GPT-4o, metin, görüntü ve ses üzerinde uçtan uca tek bir ağ olarak eğitildi. Google ise Gemini modellerini en başından çok modlu olacak şekilde tasarladı; böylece tek bir model aynı istemde metin, görüntü, ses ve videonun bir karışımını alabilir.
• Ses-dil modelleri: Deşifre, çeviri ve sesli sohbet için konuşma veya sesi metinle birleştirir.
• Görüntü-dil-eylem modelleri: Bir VLM'yi robot motor komutları üretecek şekilde genişletir; böylece robot "elmayı kaseye koy" gibi talimatları izleyebilir.
• Sensör birleştirmeli algılama: Otonom araçlar, 3B nesneleri algılayan ve izleyen tek bir modelde kamera, lidar ve radar girdilerini birleştirir.

Çok Modlu Model ve İlgili Terimler#

• Çok modlu AI: Tek modlu modelleri birbirine bağlayan sistemler de dâhil olmak üzere, çeşitli veri türleriyle çalışan daha geniş AI alanı. Çok modlu model, bu alandaki tek bir modeldir.
• Çok modlu öğrenme: Çok modlu modelleri üreten karşıt hizalama ve çapraz modalite ön eğitimi gibi eğitim yöntemleri.
• Sensör birleştirme: Çoğu zaman öğrenilmiş bir model yerine Kalman filtreleri gibi klasik kestirimcilerle birden fazla sensörün ölçümlerini birleştirme.
• Temel model: Birçok alt görev için önceden eğitilmiş büyük model. Yakın dönemdeki temel modellerin çoğu çok modludur; yalnızca metin işleyen LLM'ler gibi bazılarıysa tek bir modaliteyi ele alır.

Zorluklar#

Çok modlu modeller; açıklama eklenmiş görüntüler veya deşifre edilmiş sesler gibi büyük miktarda eşleştirilmiş veriye ihtiyaç duyar ve çıkarım sırasında parlamayla görüntüsü körleşen bir kamera gibi eksik veya gürültülü modalitelerle başa çıkmalıdır. Görüntü ve video girdilerinin maliyeti yüksektir; çünkü her görüntü, bir LLM'nin bağlamına yüzlerce veya binlerce token ekler. Modeller ayrıca daha kolay olan modaliteye ağırlık verip zor olanı görmezden gelebilir: İlk VQA modelleri çoğunlukla yalnızca sorudaki örüntülere bakarak yanıt veriyordu. Bu nedenle VQA v2 kıyaslama veri kümesinde her soru, farklı yanıtlar gerektiren iki benzer görüntüyle eşleştirildi ve görüntü-soru çifti sayısı yaklaşık iki katına çıktı.