Multi-Modal Learning

Çok modlu öğrenme, modelin farklı modalitelerin birbiriyle nasıl ilişkili olduğunu öğrenmesi için açıklama metinlerinin eşlik ettiği görüntüler, ses bandı bulunan videolar veya lidar taramalarıyla eşleştirilmiş kamera kareleri gibi birden fazla modaliteden gelen veriler üzerinde modellerin eğitilmesini konu alan makine öğrenmesi alanıdır. Bu yöntemler iki soruyu yanıtlar: farklı modaliteler karşılaştırılabilmeleri için nasıl temsil edilmeli ve bu modaliteler modelin hangi noktasında birleştirilmelidir? Görsel-dil asistanlarından otonom sürüş algı yığınlarına kadar uzanan bu yöntemlerin ürettiği sistemler, çok modlu AI olarak tanımlanır.

İnsanlar duyularını çaba harcamadan birleştirir. 1976'da tanımlanan McGurk etkisinde, "ga" diyen dudakların videosu "ba" sesiyle eşleştirildiğinde "da" olarak duyulur. Jiquan Ngiam ve Stanford'daki çalışma arkadaşları bu fikri 2011'de derin öğrenmeye taşıdı; ses ve dudak videosunu birlikte kullanan ağları eğiterek her iki kipten öğrenilen özelliklerin yalnızca videodan dudak okumayı iyileştirdiğini gösterdi.

Temel Zorluklar#

Tadas Baltrušaitis, Chaitanya Ahuja ve Louis-Philippe Morency, 2019 tarihli incelemelerinde alanı beş temel zorluk çerçevesinde düzenledi:

• Temsil: Her kipi vektörler olarak kodlama; bunu ya ortak bir uzayda ya da hizalanacak şekilde eğitilmiş ayrı uzaylarda yapma.
• Çeviri: Görüntü açıklama veya metinden görüntü üretme örneklerinde olduğu gibi, bir kipi diğerine dönüştürme.
• Hizalama: Bir kipin hangi bölümlerinin diğer kipin hangi bölümlerine karşılık geldiğini bulma; örneğin bir ifadenin tanımladığı görüntü bölgesini belirleme.
• Birleştirme: Tahmin yapmak için çeşitli kiplerden gelen bilgileri bir araya getirme.
• Birlikte öğrenme: Bol veriye sahip bir kipten az veriye sahip olana bilgi aktarma.

Birleştirme Stratejileri#

Erken birleştirme, derinlik haritasıyla RGB kanallarını üst üste koyarak tek bir dört kanallı görüntü oluşturmak gibi, kiplerden herhangi birine özgü işlem başlamadan önce girdileri veya düşük seviyeli özellikleri birleştirir. Geç birleştirme, her kip için ayrı bir model çalıştırır ve tahminleri ortalama ya da oylamayla birleştirir; böylece bir kip eksik olduğunda da çalışmayı sürdürür. Ara birleştirme, her kipi ayrı kodlar ve genellikle bir kipteki tokenların başka bir kipin özelliklerine dikkat ettiği bir dikkat mekanizması olan çapraz dikkat yoluyla, ağ içinde kiplerin bilgi alışverişi yapmasını sağlar. Robotlarda ve araçlarda kullanılan sensör füzyonu bu üç yöntemin tümünden yararlanır.

Bir kip eklemek doğruluğu da düşürebilir. Weiyao Wang, Du Tran ve Matt Feiszli, 2020'de ses, kareler ve hareket verileriyle birlikte eğitilen bir video sınıflandırma ağının çoğu zaman en iyi tek kipli eşdeğerinden daha kötü performans gösterdiğini ortaya koydu; bunun nedeni ağın aşırı öğrenmesi ve kiplerin farklı hızlarda öğrenmesidir. Araştırmacıların Gradient-Blending yöntemi, bunu telafi etmek için her kipin kaybını yeniden ağırlıklandırır.

Karşıt Öğrenmeyle Hizalama#

Karşıt öğrenme, kipleri elle etiketleme olmadan hizalar. OpenAI'nin CLIP modeli (2021), her görüntünün gömme vektörünün bir gruptaki tüm açıklamalar arasında kendi açıklamasına en çok benzeyeceği şekilde, 400 milyon görüntü-açıklama çifti üzerinde bir görüntü kodlayıcı ve bir metin kodlayıcı eğitti. Sonuç, ImageNet'in etiketli 1,28 milyon eğitim görüntüsünü kullanmadan, özgün ResNet-50'nin ImageNet doğruluğuna sıfır örnekle ulaştı. Kayıp fonksiyonu, benzerlik matrisine her iki yönde uygulanan çapraz entropidir:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

Her açıklama kendi görüntüsüne yakın olduğunda kayıp 0,577'dir; açıklamalar bir satır kaydırılıp her görüntü yanlış açıklamayla eşleştirildiğinde ise kayıp 2,756'ya yükselir. Eğitim, çok sayıda çift içeren gruplar boyunca kaybı azaltır (CLIP 32.768 çift kullanmıştır); böylece her görüntü kendi açıklamasına yaklaşırken gruptaki diğer tüm açıklamalardan uzaklaşır. CLIP, eğitime 0,07 ile başlayıp sıcaklık değerini de öğrenir. Google'ın ALIGN modeli (2021), aynı yaklaşımı 1,8 milyar gürültülü görüntü ve alternatif metin çiftine ölçekledi; SigLIP (2023), softmax'ı her çift için bağımsız bir sigmoid ile değiştirdi. Meta'nın ImageBind modeli (2023) ise ses, derinlik, termal ve hareket sensörü verileri dâhil altı kipi, her birini görüntülerle eşleştirerek hizaladı.

Açık kelime dağarcıklı algılayıcılar, metin ile görüntü bölgeleri arasında aynı türden hizalamayı öğrenir. Ultralytics'in Tsinghua Üniversitesi YOLOE'sini temel alan açık kelime dağarcıklı YOLO26 modeli YOLOE-26'yı sıfırdan eğitmeye yönelik tarifi, Objects365 algılama etiketlerini GQA ve Flickr30k yer belirleme verileriyle, yaklaşık 1,4 milyon örnekte birleştirir. Eğitici her sınıf adını ve ifadeyi Apple'ın dondurulmuş MobileCLIP2 metin kodlayıcısıyla bir kez kodlayıp gömmeleri önbelleğe alır; böylece eğitim yalnızca algılayıcıyı günceller. Buna, önbelleğe alınmış metin vektörlerini bölge özellikleriyle eşleştirmeden önce iyileştiren küçük bir artık katman da dahildir.

Çok Kipli Öğrenme ve İlgili Terimler#

• Çok modlu AI: Görsel asistanlar ve sürücü destek sistemlerindeki algılama gibi, çok kipli öğrenmeyle oluşturulan sistemler ve uygulamalar.
• Çok kipli model: Birden çok kipi işleyen, çok kipli öğrenmenin ortaya çıkardığı eğitilmiş model.
• Görsel-dil modeli (VLM): Görüntüler ve metin üzerinde çalışan, genellikle aşamalı olarak eğitilen çok modlu bir model: önce karşıtlık temelli ön eğitim, ardından görüntü kodlayıcısının bir dil modeline bağlanması ve son olarak görsel yönerge ayarlaması.
• Aktarım öğrenimi: Bir görevde eğitilmiş modeli başka bir görevde yeniden kullanır; ortak öğrenme bu fikri farklı kipler arasında uygular.