Multi-Modal Learning

Multimodales Lernen ist das Teilgebiet des maschinellen Lernens, das sich mit dem Training von Modellen auf Daten aus mehreren Modalitäten beschäftigt, etwa Bildern mit Bildunterschriften, Videos mit Ton oder Kamerabildern mit Lidar-Scans. Dabei lernt das Modell, wie die Modalitäten zusammenhängen. Die Methoden befassen sich mit zwei Fragen: Wie lassen sich unterschiedliche Modalitäten so darstellen, dass sie miteinander verglichen werden können, und an welcher Stelle im Modell sollten sie kombiniert werden? Die so entstehenden Systeme, von Vision-Language-Assistenten bis hin zu Wahrnehmungssystemen für autonomes Fahren, werden als multimodale KI bezeichnet.

Menschen kombinieren ihre Sinne mühelos. Beim 1976 beschriebenen McGurk-Effekt hört man in einem Video, in dem Lippen „ga“ formen und der Ton „ba“ zu hören ist, „da“. Jiquan Ngiam und seine Kollegen an der Stanford University übertrugen diese Idee 2011 auf Deep Learning. Sie trainierten Netze gemeinsam mit Audiodaten und Lippenbewegungsvideos und zeigten, dass Merkmale aus beiden Modalitäten das Lippenlesen anhand von Videos allein verbesserten.

Zentrale Herausforderungen#

Tadas Baltrušaitis, Chaitanya Ahuja und Louis-Philippe Morency gliederten das Fachgebiet in ihrer Übersicht von 2019 anhand von fünf Herausforderungen:

• Repräsentation: Jede Modalität wird als Vektor kodiert – entweder in einem gemeinsamen Raum oder in getrennten Räumen, die so trainiert werden, dass sie aufeinander abgestimmt sind.
• Übersetzung: Eine Modalität wird einer anderen zugeordnet, etwa bei der Bildbeschreibung oder der Text-zu-Bild-Generierung.
• Ausrichtung: Es wird ermittelt, welche Teile einer Modalität welchen Teilen einer anderen entsprechen, beispielsweise welcher Bildbereich durch eine Formulierung beschrieben wird.
• Fusion: Informationen aus mehreren Modalitäten werden kombiniert, um eine Vorhersage zu treffen.
• Gemeinsames Lernen: Wissen wird von einer Modalität mit vielen Daten auf eine Modalität mit wenigen Daten übertragen.

Fusionsstrategien#

Bei der frühen Fusion werden Eingaben oder Merkmale niedriger Ebenen kombiniert, bevor eine modalitätsspezifische Verarbeitung stattfindet. Beispielsweise wird eine Tiefenkarte mit den RGB-Kanälen zu einem Bild mit vier Kanälen gestapelt. Bei der späten Fusion wird für jede Modalität ein separates Modell ausgeführt und dessen Vorhersage durch Mittelwertbildung oder Abstimmung zusammengeführt. So funktioniert das System auch dann weiter, wenn eine Modalität fehlt. Bei der Zwischenfusion werden die Modalitäten getrennt kodiert und tauschen innerhalb des Netzes Informationen aus, üblicherweise mithilfe von Cross-Attention – einem Aufmerksamkeitsmechanismus, bei dem Tokens einer Modalität Merkmale einer anderen berücksichtigen. Die Sensorfusion in Robotern und Fahrzeugen nutzt alle drei Verfahren.

Das Hinzufügen einer Modalität kann die Genauigkeit auch verringern. Weiyao Wang, Du Tran und Matt Feiszli zeigten 2020, dass ein gemeinsam mit Audio, Einzelbildern und Bewegung trainiertes Videoklassifizierungsnetz oft schlechter abschneidet als sein leistungsstärkstes Gegenstück mit nur einer Modalität. Der Grund: Es überangepasst, und die Modalitäten lernen unterschiedlich schnell. Ihre Gradient-Blending-Methode gewichtet den Verlust jeder Modalität neu, um das auszugleichen.

Kontrastive Ausrichtung#

Kontrastives Lernen richtet Modalitäten ohne manuelle Beschriftungen aufeinander aus. OpenAIs CLIP (2021) trainierte einen Bild- und einen Text-Encoder mit 400 Millionen Bildunterschriften-Paaren. Dabei sollte das Embedding jedes Bildes seiner eigenen Bildunterschrift ähnlicher sein als allen anderen Bildunterschriften in einem Stapel. Das Ergebnis erreichte die ImageNet-Genauigkeit des ursprünglichen ResNet-50 ohne Beispieltraining und ohne eines der 1,28 Millionen beschrifteten ImageNet-Trainingsbilder zu verwenden. Die Verlustfunktion ist die Kreuzentropie über die Ähnlichkeitsmatrix, angewendet in beide Richtungen:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Unit-length embeddings for 4 images and 4 captions; row i of each is a matching pair
image_emb = F.normalize(torch.randn(4, 64), dim=-1)
text_emb = F.normalize(image_emb + 0.5 * torch.randn(4, 64), dim=-1)


def contrastive_loss(images, texts, temperature=0.07):
    """CLIP-style symmetric cross-entropy over the image-text similarity matrix."""
    logits = images @ texts.T / temperature
    targets = torch.arange(len(images))  # the matching caption sits on the diagonal
    return (F.cross_entropy(logits, targets) + F.cross_entropy(logits.T, targets)) / 2


print(f"Aligned pairs:    {contrastive_loss(image_emb, text_emb):.3f}")
print(f"Misaligned pairs: {contrastive_loss(image_emb, text_emb.roll(1, dims=0)):.3f}")

Wenn jede Bildunterschrift ihrem eigenen Bild zugeordnet ist, beträgt der Verlust 0,577. Werden die Bildunterschriften um eine Zeile verschoben, sodass jedes Bild mit der falschen Bildunterschrift gepaart ist, steigt er auf 2,756. Beim Training über Stapel mit vielen Paaren (CLIP verwendete 32.768) wird dieser Verlust verringert. So wird jedes Bild zu seiner eigenen Bildunterschrift und von allen anderen Bildunterschriften im Stapel weggezogen. CLIP lernt die Temperatur während des Trainings; sie beginnt bei 0,07. Googles ALIGN (2021) skalierte denselben Ansatz auf 1,8 Milliarden verrauschte Bild- und Alternativtext-Paare. SigLIP (2023) ersetzte Softmax durch eine unabhängige Sigmoid-Funktion für jedes Paar. Metas ImageBind (2023) richtete sechs Modalitäten aufeinander aus, darunter Audio, Tiefe, Wärmebild und Bewegungsdaten von Sensoren, indem jede davon mit Bildern gepaart wurde.

Detektoren mit offenem Vokabular lernen dieselbe Art der Ausrichtung zwischen Text und Bildbereichen. Das Ultralytics-Rezept zum Training von YOLOE-26, einem offenen YOLO26-Vokabularmodell auf Basis von YOLOE der Tsinghua-Universität, kombiniert beim Training von Grund auf Erkennungslabels aus Objects365 mit Grounding-Daten aus GQA und Flickr30k, also etwa 1,4 Millionen Beispielen. Der Trainer kodiert jeden Klassennamen und jede Phrase einmal mit Apples eingefrorenem MobileCLIP2-Textencoder und speichert die Einbettungen zwischen. So wird beim Training nur der Detektor aktualisiert, einschließlich einer kleinen Restschicht, die die zwischengespeicherten Textvektoren verfeinert, bevor sie mit den Bereichsmerkmalen abgeglichen werden.

Multimodales Lernen und verwandte Begriffe#

• Multimodale KI: Systeme und Anwendungen, die mit multimodalem Lernen entwickelt werden, etwa visuelle Assistenten und Wahrnehmungssysteme für Fahrerassistenz.
• Multimodales Modell: Ein trainiertes Modell, das mit mehreren Modalitäten arbeitet – das Ergebnis multimodalen Lernens.
• Vision-Language-Modell (VLM): Ein multimodales Modell für Bilder und Text, das häufig in mehreren Phasen trainiert wird: kontrastives Vortraining, anschließende Verbindung des Bild-Encoders mit einem Sprachmodell und schließlich visuelles Instruction-Tuning.
• Transferlernen: Nutzt ein für eine Aufgabe trainiertes Modell für eine andere Aufgabe. Beim gemeinsamen Lernen wird diese Idee auf mehrere Modalitäten angewendet.