Multi-Modal Model

Ein multimodales Modell, auch multi-modales Modell geschrieben, ist ein einzelnes Modell für maschinelles Lernen (ML), das mehr als einen Datentyp oder eine Modalität verarbeitet und manchmal auch mehr als einen ausgibt: Bilder, Text, Audio, Video, Tiefenkarten oder Sensormesswerte. Da es die Modalitäten gemeinsam verarbeitet, kann es jede als Kontext für die anderen nutzen. So kann es eine gesprochene Frage zu einem Foto beantworten, die Videobilder finden, die ein Satz beschreibt, oder gleichzeitig Fußgänger erkennen, indem es Kamera- und Radardaten auswertet. Eine Pipeline, die getrennte unimodale Modelle aneinanderreiht, etwa einen Spracherkenner, der einem reinen Text-Chatbot Daten zuführt, übermittelt Informationen zwischen den Modalitäten nur über die jeweilige Modellausgabe. Ein multimodales Modell lernt hingegen, wie die Modalitäten zusammenhängen.

Wie multimodale Modelle funktionieren#

Jede Modalität durchläuft zunächst einen passenden Encoder, etwa einen Vision Transformer (ViT) für Bilder oder einen Tokenizer und eine Einbettungsschicht für Text, die den Text in Vektoren umwandeln. Anschließend führt das Modell diese Vektoren zusammen und sagt auf Grundlage der kombinierten Repräsentation Text, Labels, Boxen oder Aktionen voraus. Wo die Zusammenführung stattfindet, bestimmt die wichtigsten Architekturvarianten:

• Frühe Fusion: Eingaben werden vor oder in den ersten Schichten kombiniert. Registrierte Sensoren können als zusätzliche Bildkanäle gestapelt werden. Ultralytics YOLO26 unterstützt das direkt: Wird der Schlüssel channels in einer Dataset-YAML-Datei gesetzt, trainiert das Modell einen Detektor auf Bildern mit mehr als drei Kanälen, etwa RGB plus Wärmebild- oder Tiefenkanälen, die als eine Mehrkanal-TIFF-Datei gespeichert werden, wie der Datensatz COCO8-Multispectral mit 10 Kanälen zeigt.
• Zwischenfusion: Jede Modalität wird separat kodiert, und die Merkmale werden in der Mitte zusammengeführt, üblicherweise mithilfe von Attention. Flamingo von DeepMind fügt Cross-Attention-Schichten in ein eingefrorenes Sprachmodell ein, damit Text-Tokens die Bildmerkmale berücksichtigen können. Viele Vision-Language-Modelle (VLMs) projizieren Bildmerkmale in „visuelle Tokens“, die ein großes Sprachmodell (LLM) zusammen mit der Eingabeaufforderung verarbeitet.
• Späte Fusion: Getrennte Modelle treffen Vorhersagen, die am Ende kombiniert werden. Das ist robust, wenn ein Sensor ausfällt, aber das Modell kann keine Wechselwirkungen zwischen Modalitäten lernen.
• Gemeinsame Einbettung: Encoder bilden jede Modalität auf einen gemeinsamen Vektorraum ab. Das Modell wird mit kontrastivem Lernen trainiert, sodass passende Paare nahe beieinander liegen. CLIP richtet Bilder und Text aufeinander aus. Metas ImageBind erweitert einen gemeinsamen Einbettungsraum auf sechs Modalitäten – Bilder, Text, Audio, Tiefe, Wärmebild und Bewegungsdaten von Sensoren – und nutzt dafür ausschließlich Daten, die mit Bildern gepaart sind.

Die Daten und die Aufgabe bestimmen weitgehend, welche Architektur geeignet ist:

ViLT, der Vision-and-Language-Transformer, ist ein kompaktes Beispiel für frühe Fusion: Er teilt ein Bild in Patches auf, bettet diese zusammen mit den Wörtern einer Frage ein und verarbeitet die kombinierte Sequenz mit einem Transformer. Das folgende Beispiel verwendet den ViLT-Checkpoint, der über Hugging Face Transformers für visuelle Fragebeantwortung (VQA) feinabgestimmt wurde:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one sequence for a single transformer
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

# Ask different questions about the same image; each answer is one of the model's 3,129 answer classes
for question in ["What vehicle is this?", "What color is the bus?", "How many people are there?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits
    answer = model.config.id2label[logits.argmax(-1).item()]
    print(f"{question} {answer}")

Das Modell beantwortet bus und blue and white anhand desselben Bildes richtig und gibt auf die Zählfrage 3 aus, obwohl auf dem Foto vier Personen zu sehen sind, von denen zwei am Bildrand abgeschnitten werden. Zählen ist nach wie vor eine häufige Schwäche von Vision-Language-Modellen.

Arten multimodaler Modelle#

• Vision-Language-Modelle: Verarbeiten Bilder und Text, um Bildbeschreibungen zu erstellen, Fragen zu beantworten, Dokumente zu lesen oder in einer Eingabeaufforderung genannte Objekte zu lokalisieren. Diese Aufgabe heißt Grounding.
• Von Grund auf multimodale Assistenten: GPT-4o von OpenAI, das 2024 veröffentlicht wurde, wurde als einzelnes Netzwerk durchgängig mit Text, visuellen Daten und Audio trainiert. Google hat seine Gemini-Modelle von Anfang an multimodal entwickelt. Dadurch kann ein Modell in derselben Eingabeaufforderung eine Mischung aus Text, Bildern, Audio und Video verarbeiten.
• Audio-Sprachmodelle: Kombinieren Sprache oder Geräusche mit Text für Transkription, Übersetzung und gesprochene Gespräche.
• Vision-Language-Action-Modelle: Erweitern ein VLM um die Ausgabe von Motorbefehlen für Roboter, damit ein Roboter Anweisungen wie „Lege den Apfel in die Schüssel“ befolgen kann.
• Wahrnehmung durch Sensorfusion: Autonome Fahrzeuge führen Kamera-, Lidar- und Radardaten in einem Modell zusammen, das Objekte in 3D erkennt und verfolgt.

Multimodales Modell und verwandte Begriffe#

• Multimodale KI: Das umfassendere KI-Feld, das mit verschiedenen Datentypen arbeitet, einschließlich Systemen, die unimodale Modelle aneinanderreihen. Ein multimodales Modell ist ein einzelnes Modell innerhalb dieses Feldes.
• Multimodales Lernen: Die Trainingsmethoden, etwa kontrastive Ausrichtung und modalitätsübergreifendes Vortraining, mit denen multimodale Modelle entstehen.
• Sensorfusion: Das Zusammenführen von Messwerten mehrerer Sensoren, häufig mithilfe klassischer Schätzverfahren wie Kalman-Filtern anstelle eines trainierten Modells.
• Basismodell: Ein großes Modell, das für viele nachgelagerte Aufgaben vortrainiert wurde. Viele neuere Basismodelle sind multimodal, andere – etwa reine Text-LLMs – verarbeiten nur eine Modalität.

Herausforderungen#

Multimodale Modelle benötigen große Mengen gepaarter Daten, etwa Bilder mit Bildunterschriften oder transkribiertes Audio. Außerdem müssen sie bei der Inferenz mit fehlenden oder verrauschten Modalitäten zurechtkommen, beispielsweise mit einer durch Blendung beeinträchtigten Kamera. Bild- und Videoeingaben sind kostspielig, denn jedes Bild fügt dem Kontext eines LLM Hunderte oder Tausende Tokens hinzu. Modelle können sich außerdem auf die einfachere Modalität stützen und die schwierigere ignorieren: Frühe VQA-Modelle antworteten oft allein anhand von Mustern in der Frage. Deshalb verknüpfte der VQA-v2-Benchmark jede Frage mit zwei ähnlichen Bildern, die zu unterschiedlichen Antworten führen, und verdoppelte damit ungefähr die Anzahl der Bild-Frage-Paare im Datensatz.