Multimodal AI

Çok modlu yapay zekâ, yapay zekâ (AI) sistemlerinin metin, görüntü, video, ses ve lidar ile radar gibi sensör okumaları dahil birden fazla veri türünü veya kipi alması, birleştirmesi ya da üretmesi anlamına gelir. Çok modlu bir asistan, gösterge panelindeki bir uyarı ışığının fotoğrafını inceleyebilir, ışıkla ilgili yazılı bir soruyu okuyup metinle veya konuşarak yanıtlayabilir; otonom bir araç da yolun tek bir görünümünü oluşturmak için kamera, lidar ve radar verilerini birleştirir. Terim, bu sistemleri ve ürünleri adlandırır; bu sistemler, modellere kiplerin birbiriyle nasıl ilişkili olduğunu öğreten karşıtlık temelli hizalama ve füzyon gibi eğitim yöntemleri olan çok modlu öğrenme ile oluşturulur.

Çok Modlu Sistemler Nasıl Oluşturulur#

Her kip önce kendisine uygun bir kodlayıcıdan geçer; örneğin görüntüler için bir görsel transformer (ViT), ses içinse bir spektrogram kodlayıcısı kullanılır ve bu kodlayıcı ham girdiyi gömme vektörlerine dönüştürür. Ardından bir füzyon aşaması bunları birleştirir; bir kod çözücü veya görev başlığı da çıktıyı üretir. Günümüzdeki asistanların çoğu her şeyi bir büyük dil modelinden (LLM) geçirir: LLaVA (2023), görüntü özelliklerini token benzeri vektörlere dönüştüren öğrenilmiş bir projeksiyon aracılığıyla bir CLIP görüntü kodlayıcısını Vicuna dil modeline bağladı; DeepMind'ın Flamingo'su (2022) ise metin tokenlarının görüntü özelliklerine dikkat edebilmesi için dondurulmuş bir dil modeline yeni çapraz dikkat katmanları ekledi.

Doğuştan çok modlu modeller, tamamlanmış bir dil modeline kodlayıcılar eklemek yerine en başından itibaren karma verilerle eğitilir. Google, Gemini'yi Aralık 2023'te doğuştan çok modlu olarak tanıttı; OpenAI'ın GPT-4o'su (Mayıs 2024) metin, ses, görüntü ve videonun herhangi bir birleşimini kabul eder ve konuşma girdisine ortalama 320 milisaniyede yanıt verir.

ViLT (2021) gibi daha eski, tek akışlı modeller; görüntü parçalarını ve soru tokenlarını tek bir transformer modeline verir ve her yanıtı 3.129 seçenekten oluşan sabit bir sözlükten seçerdi. ViLT, bir görüntü hakkındaki soruları CPU üzerinde yanıtlayabilecek kadar küçüktür:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT, "mavi ve beyaz" ile "hayır" yanıtlarını doğru veriyor ve dört kişi kısmen görünür olmasına rağmen üç kişi sayıyor: tümüyle görünen iki erkek yürüyor, ayrıca sol ve sağ kenarlardan kadraja kısmen girmiş iki kişi var. Küçük veya kısmen görünen nesneleri saymak, görsel-dil modellerinde sık rastlanan bir hatadır.

Uygulamalar#

• Görsel soru yanıtlama (VQA): Be My Eyes, 2023'te fotoğrafları betimlemek ve görme engelli ya da az gören kullanıcıların takip sorularını yanıtlamak için OpenAI'ın GPT-4 modelini kullanan Be My AI'ı ekledi.
• Otonom araçlar: Waymo'nunkiler gibi robotaksiler; parıltı, karanlık veya sis gibi diğerlerinin zorlandığı koşulları ayrı ayrı kapsayan kameraları, lidarı ve radarı birleştirir.
• Sağlık hizmetleri: Klinik modeller, bir radyoloğun görüntüyü okurken kullandığı bağlamı sağlayan hasta notları ve geçmişiyle birlikte taramaları inceler.
• Metinden görüntü üretimi: Stable Diffusion gibi modeller yazılı bir açıklamayı görüntüye dönüştürür; metinden video modelleri de bunu harekete genişletir.
• Çok modlu RAG: Bir LLM'in yanıt oluştururken kullanması için görüntüleri, tabloları ve metin parçalarını getirir.

Veri kümesi etiketleme de çok modlu bir göreve dönüştü. Bir algılama veri kümesinde Ultralytics Platform içindeki sınıf istemli akıllı anotasyon, veri kümesinin sınıf adlarını metin olarak Microsoft'un Florence-2, IDEA Research'ün Grounding DINO ve Meta'nın SAM 3.1 gibi barındırılan modellerine gönderir. Bu modeller, bir YOLO26 algılayıcısını eğitmek için düzenlenebilir kutular döndürür. VLM Leaderboard, bu modellerin ve üretken VLM'lerin gerçek dünya algılama veri kümelerini etiketleme doğruluğunu karşılaştırır.

Çok Modlu Yapay Zekâ ve İlgili Terimler#

• Çok modlu öğrenme: Karşıtlık temelli hizalama ve erken, geç ya da çapraz dikkat füzyonu gibi birden fazla kip üzerinde eğitim yöntemleri. Çok modlu yapay zekâ ise ortaya çıkan sistemler ve uygulamalardır.
• Çok modlu model: Birden fazla kipi işleyen, eğitilmiş tek bir model; çoğu çok modlu yapay zekâ sisteminin temel bileşenidir.
• Görsel-dil modeli (VLM): Görüntü veya video ile sınırlı olan, en yaygın çok modlu model türü.
• Sensör füzyonu: Genellikle Kalman filtresiyle, aynı sahnenin birden fazla sensörden gelen ölçümlerini birleştirir. Bu yöntem, öğrenilmiş çok modlu modellerden çok önce robotik ve araçlarda kullanılmaya başlamıştır.