Multimodal AI

Multimodale KI bezeichnet Systeme der künstlichen Intelligenz (AI), die mehr als eine Datenart oder Modalität verarbeiten, kombinieren oder erzeugen: Text, Bilder, Videos, Audio und Sensormesswerte wie Lidar- und Radardaten. Ein multimodaler Assistent kann ein Foto einer Warnleuchte im Armaturenbrett betrachten, eine dazu getippte Frage lesen und per Text oder Sprache beantworten. Ein selbstfahrendes Auto führt Kamera-, Lidar- und Radardaten zu einem Gesamtbild der Straße zusammen. Der Begriff bezeichnet diese Systeme und Produkte, die mit multimodalem Lernen entwickelt werden – also mit Trainingsmethoden wie kontrastiver Ausrichtung und Fusion, die einem Modell vermitteln, wie verschiedene Modalitäten zusammenhängen.

Wie multimodale Systeme aufgebaut werden#

Jede Modalität wird zunächst von einem dafür geeigneten Encoder verarbeitet, etwa einem Vision Transformer (ViT) für Bilder oder einem Spektrogramm-Encoder für Audio. Dieser wandelt rohe Eingaben in Einbettungen um. Anschließend führt eine Fusionsstufe sie zusammen, und ein Decoder oder Aufgaben-Kopf erzeugt die Ausgabe. Die meisten heutigen Assistenten leiten alles durch ein großes Sprachmodell (LLM): LLaVA (2023) verband einen CLIP-Bild-Encoder über eine gelernte Projektion mit dem Sprachmodell Vicuna. Diese Projektion wandelt Bildmerkmale in tokenähnliche Vektoren um. DeepMinds Flamingo (2022) fügte einem eingefrorenen Sprachmodell neue Cross-Attention-Schichten hinzu, damit dessen Text-Tokens Bildmerkmale berücksichtigen konnten.

Nativ multimodale Modelle werden von Anfang an mit gemischten Daten trainiert, anstatt Encoder an ein fertiges Sprachmodell anzuschließen. Google stellte Gemini im Dezember 2023 als nativ multimodal vor. GPT-4o von OpenAI (Mai 2024) akzeptiert beliebige Kombinationen aus Text, Audio, Bild und Video und antwortet im Durchschnitt innerhalb von 320 Millisekunden auf Spracheingaben.

Frühere Modelle mit einem einzelnen Datenstrom wie ViLT (2021) gaben Bildausschnitte und Frage-Tokens in einen Transformer ein und wählten jede Antwort aus einem festen Wortschatz mit 3.129 Antworten aus. ViLT ist klein genug, um Fragen zu einem Bild auf einer CPU zu beantworten:

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT beantwortet „blau und weiß“ und „nein“ richtig und zählt 3 Personen, obwohl vier zumindest teilweise zu sehen sind: zwei Männer vollständig beim Gehen und zwei Personen, die am linken und rechten Bildrand abgeschnitten sind. Das Zählen kleiner oder teilweise sichtbarer Objekte ist ein häufiger Fehler bei Vision-Language-Modellen.

Anwendungen#

• Visuelle Fragebeantwortung (VQA): Be My Eyes ergänzte 2023 den Dienst Be My AI, der GPT-4 von OpenAI nutzt, um Fotos zu beschreiben und Folgefragen für blinde und sehbehinderte Menschen zu beantworten.
• Autonome Fahrzeuge: Robotaxis wie die von Waymo kombinieren Kameras, Lidar und Radar. Jeder dieser Sensoren deckt Bedingungen ab, bei denen die anderen Schwierigkeiten haben, etwa Blendung, Dunkelheit oder Nebel.
• Gesundheitswesen: Klinische Modelle lesen Aufnahmen zusammen mit den Notizen und der Krankengeschichte der Patienten – also mit dem Kontext, den Radiologen beim Betrachten eines Bildes heranziehen.
• Text-zu-Bild-Generierung: Modelle wie Stable Diffusion wandeln eine schriftliche Beschreibung in ein Bild um. Text-zu-Video-Modelle erweitern dieses Verfahren um Bewegung.
• Multimodales RAG: Ruft Bilder, Tabellen und Textpassagen ab, aus denen ein LLM Antworten erstellt.

Auch die Beschriftung von Datensätzen ist zu einer multimodalen Aufgabe geworden. Bei einem Erkennungsdatensatz sendet die klassenbasierte intelligente Annotation in der Ultralytics Platform die Klassennamen des Datensatzes als Text an gehostete Modelle wie Microsofts Florence-2, IDEA Researchs Grounding DINO und Metas SAM 3.1. Diese geben bearbeitbare Boxen zurück, mit denen ein YOLO26-Detektor trainiert wird. Die VLM-Bestenliste vergleicht, wie genau diese Modelle und generative VLMs reale Erkennungsdatensätze beschriften.

Multimodale KI und verwandte Begriffe#

• Multimodales Lernen: Methoden zum Trainieren mit mehreren Modalitäten, etwa kontrastive Ausrichtung und frühe, späte oder Cross-Attention-Fusion. Multimodale KI bezeichnet die daraus entstehenden Systeme und Anwendungen.
• Multimodales Modell: Ein einzelnes trainiertes Modell, das mehrere Modalitäten verarbeitet und die zentrale Komponente der meisten multimodalen KI-Systeme bildet.
• Vision-Language-Modell (VLM): Die häufigste Art multimodaler Modelle, beschränkt auf Bilder oder Videos und Text.
• Sensorfusion: Kombiniert Messungen derselben Szene von mehreren Sensoren, oft mithilfe eines Kalman-Filters. Dieses Verfahren wird in der Robotik und in Fahrzeugen eingesetzt und ist deutlich älter als gelernte multimodale Modelle.