Multimodale Modelle und multimodales Lernen: Die Fähigkeiten von KI erweitern

Herkömmliche AI-Systeme verarbeiten Informationen in der Regel aus einer einzigen Datenquelle, etwa Texten, Bildern oder Audiodaten. Diese unimodalen Ansätze eignen sich zwar hervorragend für spezialisierte Aufgaben, können aber komplexe Situationen aus der realen Welt mit mehreren gleichzeitigen Eingaben oft nicht bewältigen. Multimodales Lernen begegnet dieser Herausforderung, indem es verschiedene Datenströme in einem einheitlichen Rahmen zusammenführt und so ein umfassenderes, stärker kontextbezogenes Verständnis ermöglicht.

Inspiriert von der menschlichen Wahrnehmung analysieren, interpretieren und verarbeiten multimodale Modelle kombinierte Eingaben – ähnlich wie Menschen auf natürliche Weise Sehen, Hören und Sprache miteinander verknüpfen. So kann AI komplexe Situationen genauer, robuster und flexibler bewältigen.

In diesem Artikel beleuchten wir die Entwicklung multimodaler Modelle, erklären ihre Funktionsweise, besprechen ihre praktischen Anwendungen im Bereich Computer Vision und bewerten die Vorteile und Herausforderungen, die mit der Integration verschiedener Datentypen verbunden sind.

Was ist multimodales Lernen?#

Vielleicht fragst du dich, was multimodales Lernen genau ist und warum es für künstliche Intelligenz (AI) wichtig ist. Herkömmliche AI-Modelle verarbeiten in der Regel jeweils nur eine Art von Daten, seien es Bilder, Texte, Audiodaten oder Sensoreingaben.

Multimodales Lernen geht jedoch einen Schritt weiter und ermöglicht es Systemen, mehrere unterschiedliche Datenströme gleichzeitig zu analysieren, zu interpretieren und miteinander zu verknüpfen. Dieser Ansatz ähnelt stark der natürlichen Fähigkeit des menschlichen Gehirns, visuelle, akustische und sprachliche Eingaben zu einem zusammenhängenden Weltverständnis zu verbinden.

Durch die Kombination dieser verschiedenen Modalitäten entwickelt multimodale AI ein tieferes und differenzierteres Verständnis komplexer Situationen.

Bei der Analyse von Videoaufnahmen verarbeitet ein multimodales System beispielsweise nicht nur visuelle Inhalte, sondern berücksichtigt auch gesprochene Dialoge, Umgebungsgeräusche und eingeblendete Untertitel.

Diese integrierte Perspektive ermöglicht es AI, Kontext und Feinheiten zu erfassen, die bei einer getrennten Analyse der einzelnen Datentypen übersehen würden.

Abb. 1 Modelle für multimodales Lernen führen unterschiedliche Datentypen zusammen.

In der Praxis erweitert multimodales Lernen die Möglichkeiten von AI. Es ermöglicht Anwendungen wie Bildbeschreibungen, Antworten auf Fragen anhand des visuellen Kontexts, die Erzeugung realistischer Bilder aus Textbeschreibungen und die Verbesserung interaktiver Systeme, damit sie intuitiver und kontextbezogener agieren.

Doch wie kombinieren multimodale Modelle diese verschiedenen Datentypen, um solche Ergebnisse zu erzielen? Schauen wir uns Schritt für Schritt die zentralen Mechanismen ihres Erfolgs an.

Wie funktionieren multimodale AI-Modelle?#

Multimodale KI-Modelle beruhen auf drei spezialisierten Verfahren: der separaten Merkmalsextraktion für jede Modalität (also der eigenständigen Verarbeitung jeder Datenart wie Bildern, Text oder Audio), Fusionsmethoden (zum Zusammenführen der extrahierten Details) und fortschrittlichen Ausrichtungstechniken (damit die kombinierten Informationen stimmig zusammenpassen).

Abb. 2 Pipeline zur Integration und Fusion multimodaler Daten für Vorhersageaufgaben.

Sehen wir uns genauer an, wie die einzelnen Verfahren funktionieren.

Separate Merkmalsextraktion für jede Modalität#

Multimodale AI-Modelle verwenden unterschiedliche, spezialisierte Architekturen für jeden Datentyp. Das bedeutet, dass visuelle, textuelle sowie akustische oder sensorbasierte Eingaben von eigens dafür entwickelten Systemen verarbeitet werden. So kann das Modell zunächst die spezifischen Eigenschaften jeder Eingabe erfassen, bevor es sie zusammenführt.

Hier sind einige Beispiele dafür, wie unterschiedliche spezialisierte Architekturen Merkmale verschiedener Datentypen extrahieren:

• Visuelle Daten: Faltungsneuronale Netze (CNNs) oder Vision Transformer interpretieren visuelle Informationen aus Bildern und Videos und erzeugen detaillierte Merkmalsrepräsentationen.
• Textdaten: Transformer-basierte Modelle, etwa aus der GPT-Familie, wandeln Texteingaben in aussagekräftige semantische Einbettungen um.
• Audio- und Sensordaten: Spezialisierte neuronale Netze verarbeiten Audio-Wellenformen oder räumliche Sensoreingaben, damit jede Modalität präzise dargestellt und ihre spezifischen Eigenschaften erhalten bleiben.

Nach der separaten Verarbeitung erzeugt jede Modalität übergeordnete Merkmale, die darauf optimiert sind, die einzigartigen Informationen des jeweiligen Datentyps zu erfassen.

Verfahren zur Merkmalsfusion#

Nach der Merkmalsextraktion führen multimodale Modelle die Merkmale zu einer einheitlichen, zusammenhängenden Repräsentation zusammen. Dafür kommen mehrere Fusionsstrategien zum Einsatz:

• Frühe Fusion: Dabei werden extrahierte Merkmalsvektoren direkt nach der Verarbeitung jeder Modalität kombiniert. Diese Strategie fördert früh im Analyseprozess eine intensivere modalitätsübergreifende Verknüpfung.
• Späte Fusion: Dabei bleiben die Modalitäten bis zu den abschließenden Entscheidungsphasen getrennt. Erst dann werden die Vorhersagen der einzelnen Modalitäten zusammengeführt, meist durch Ensemble-Verfahren wie Mittelwertbildung oder Abstimmung.
• Hybride Fusion: Moderne Architekturen integrieren Merkmale häufig mehrfach über verschiedene Schichten des Modells hinweg und verwenden gemeinsame Aufmerksamkeitsmechanismen, um wichtige modalitätsübergreifende Zusammenhänge dynamisch hervorzuheben und aufeinander abzustimmen. Eine hybride Fusion kann beispielsweise bestimmte gesprochene Wörter oder Textpassagen in Echtzeit den passenden visuellen Merkmalen zuordnen.

Modalitätsübergreifende Abstimmung und Aufmerksamkeitsmechanismen#

Abschließend nutzen multimodale Systeme fortgeschrittene Abstimmungs- und Aufmerksamkeitsverfahren, um sicherzustellen, dass Daten aus verschiedenen Modalitäten effektiv einander zugeordnet werden.

Verfahren wie kontrastives Lernen helfen dabei, visuelle und textuelle Repräsentationen in einem gemeinsamen semantischen Raum präzise aufeinander abzustimmen. So können multimodale Modelle starke, aussagekräftige Verbindungen zwischen verschiedenen Datentypen herstellen und sicherstellen, dass das, was das Modell „sieht“, mit dem übereinstimmt, was es „liest“.

Transformer-basierte Aufmerksamkeitsmechanismen verbessern diese Abstimmung zusätzlich, indem sie es Modellen ermöglichen, sich dynamisch auf die relevantesten Aspekte jeder Eingabe zu konzentrieren. Aufmerksamkeitsmechanismen erlauben es dem Modell beispielsweise, bestimmte Textbeschreibungen direkt mit den entsprechenden Bereichen visueller Daten zu verknüpfen. Dadurch steigt die Genauigkeit bei komplexen Aufgaben wie der visuellen Fragebeantwortung (VQA) und der Bildbeschreibung erheblich.

Diese Verfahren verbessern die Fähigkeit multimodaler AI, Kontext tiefgehend zu erfassen. So kann AI komplexe Daten aus der realen Welt differenzierter und präziser interpretieren.

Die Entwicklung multimodaler AI#

Multimodale AI hat sich erheblich weiterentwickelt: von frühen regelbasierten Verfahren hin zu fortgeschrittenen Deep-Learning-Systemen, die komplexe Integrationen bewältigen können.

In der Anfangszeit führten multimodale Systeme verschiedene Datentypen wie Bilder, Audiodaten oder Sensoreingaben mithilfe von Regeln menschlicher Experten oder einfachen statistischen Methoden zusammen. Bei der frühen Roboternavigation wurden beispielsweise Kamerabilder mit Sonardaten kombiniert, um Hindernisse zu erkennen und ihnen auszuweichen. Diese Systeme waren zwar effektiv, erforderten jedoch einen großen manuellen Aufwand bei der Merkmalsentwicklung und konnten sich nur eingeschränkt anpassen und verallgemeinern.

Mit dem Aufkommen des Deep Learning wurden multimodale Modelle deutlich beliebter. Neuronale Netze wie multimodale Autoencoder begannen, gemeinsame Repräsentationen verschiedener Datentypen zu erlernen, insbesondere von Bild- und Textdaten. Dadurch konnte KI Aufgaben wie die modalitätsübergreifende Suche und das Auffinden von Bildern allein anhand textlicher Beschreibungen bewältigen.

Die Fortschritte setzten sich fort: Systeme zur visuellen Fragebeantwortung (VQA) integrierten CNNs zur Bildverarbeitung und RNNs oder Transformer zur Textinterpretation. So konnten KI-Modelle komplexe, kontextabhängige Fragen zu visuellen Inhalten präzise beantworten.

In jüngster Zeit haben große multimodale Modelle, die mit riesigen Datensätzen aus dem Internet trainiert wurden, die Fähigkeiten der KI weiter ausgebaut.

Diese Modelle nutzen Techniken wie kontrastives Lernen, um verallgemeinerbare Zusammenhänge zwischen visuellen Inhalten und Textbeschreibungen zu erkennen. Indem sie die Lücken zwischen den Modalitäten schließen, haben moderne multimodale Architekturen die Fähigkeit der KI zu komplexem visuellem Schlussfolgern mit nahezu menschlicher Genauigkeit verbessert. Das zeigt, wie weit sich multimodale KI seit ihren Anfängen entwickelt hat. Einige dieser Modelle können auch Objekte erkennen, die in einer Textvorgabe benannt werden. Die Ultralytics VLM Leaderboard vergleicht, wie genau sie das auf realen Datensätzen leisten.

Multimodales Lernen in der Computer Vision erkunden#

Nachdem wir untersucht haben, wie multimodale Modelle unterschiedliche Datenströme integrieren, sehen wir uns nun an, wie sich diese Fähigkeiten auf Computer-Vision-Modelle anwenden lassen.

Abb. 3 Ablauf des multimodalen Lernens in der Computer Vision.

Durch die Kombination visueller Eingaben mit Text, Audio oder Sensordaten können KI-Systeme mithilfe multimodalen Lernens zunehmend anspruchsvolle, kontextreiche Anwendungen bewältigen.

Bildbeschreibung#

Bei der Bildbeschreibung werden für visuelle Daten natürlichsprachliche Beschreibungen erstellt. Herkömmliche Methoden zur Objekterkennung identifizieren einzelne Objekte. Multimodale Bildbeschreibungen gehen jedoch weiter und interpretieren Zusammenhänge und Kontexte.

Ein multimodales Modell kann zum Beispiel ein Bild von Menschen bei einem Picknick analysieren und eine beschreibende Bildunterschrift wie „Eine Familie macht an einem sonnigen Tag ein Picknick im Park“ erstellen. Das Ergebnis ist aussagekräftiger und zugänglicher.

Diese Anwendung ist wichtig für die Barrierefreiheit. Sie kann dazu dienen, Alternativtexte für Menschen mit Sehbehinderung und Schlagwörter für große Datenbanken zu erstellen. Transformer-Architekturen spielen dabei eine wichtige Rolle: Mithilfe von Aufmerksamkeitsmechanismen kann sich das Modul zur Texterzeugung auf relevante Bildbereiche konzentrieren und textliche Beschreibungen dynamisch auf visuelle Merkmale abstimmen.

Visuelle Fragebeantwortung (VQA)#

VQA-Modelle beantworten natürlichsprachliche Fragen anhand visueller Inhalte und kombinieren dazu Computer Vision mit Sprachverständnis. Diese Aufgaben erfordern ein detailliertes Verständnis des Bildinhalts und des Kontexts sowie semantisches Schlussfolgern.

Transformer-Architekturen haben VQA verbessert, indem sie die Text- und Bildkomponenten des Modells dynamisch miteinander interagieren lassen. So können genau die Bildbereiche ermittelt werden, die sich auf die Frage beziehen.

Das PaLI-Modell von Google nutzt beispielsweise fortschrittliche Architekturen auf Transformer-Basis, die Vision Transformer (ViT) mit Sprachkodierern und -dekodierern verbinden. So lassen sich Fragen wie „Was macht die Frau auf dem Bild?“ oder „Wie viele Tiere sind zu sehen?“ präzise beantworten.

Aufmerksamkeitsschichten helfen Modellen, sich auf die relevantesten Teile einer Eingabe zu konzentrieren. Sie sorgen dafür, dass jedes Wort einer Frage dynamisch mit visuellen Hinweisen verknüpft wird, und ermöglichen so differenzierte Antworten, die über eine einfache Objekterkennung hinausgehen.

Texteingabe-zu-Bild-Erzeugung#

Texteingabe-zu-Bild-Erzeugung bezeichnet die Fähigkeit der KI, direkt aus textlichen Beschreibungen visuelle Inhalte zu erstellen. Damit wird die Lücke zwischen semantischem Verständnis und visueller Gestaltung überbrückt.

Multimodale Modelle, die diese Aufgabe übernehmen, nutzen fortschrittliche neuronale Architekturen wie Transformer oder Diffusionsverfahren, um detaillierte und kontextuell passende Bilder zu erzeugen.

Stell dir beispielsweise vor, synthetische Trainingsdaten für Computer-Vision-Modelle zu erstellen, die mit der Fahrzeugerkennung beauftragt sind. Auf Grundlage von Textbeschreibungen wie „eine rote Limousine, die auf einer belebten Straße parkt“ oder „ein weißer Geländewagen, der auf einer Autobahn fährt“ können diese multimodalen Modelle vielfältige, hochwertige Bilder genau dieser Situationen erzeugen.

Dank dieser Fähigkeit können Forschende und Entwickler Datensätze zur Objekterkennung effizient erweitern, ohne Tausende von Bildern manuell aufnehmen zu müssen. Das reduziert den Zeit- und Ressourcenaufwand für die Datenerfassung erheblich.

Abb. 4 Beispielergebnisse eines Objekterkennungsmodells, das mit synthetischen Datensätzen trainiert wurde.

Neuere Methoden nutzen Diffusionsverfahren: Sie beginnen mit zufälligem visuellem Rauschen und verfeinern das Bild schrittweise, bis es der Texteingabe möglichst genau entspricht. Mit diesem iterativen Verfahren lassen sich realistische und vielfältige Beispiele erstellen. So entstehen robuste Trainingsdaten, die verschiedene Blickwinkel, Lichtverhältnisse, Fahrzeugtypen und Hintergründe abdecken.

Dieser Ansatz ist besonders in der Computer Vision wertvoll: Er ermöglicht eine schnelle Erweiterung von Datensätzen, verbessert die Modellgenauigkeit und vergrößert die Vielfalt der Szenarien, die KI-Systeme zuverlässig erkennen können.

Bild-Text-Suche#

Multimodale Suchsysteme erleichtern die Suche, indem sie Text und Bilder in eine gemeinsame Bedeutungssprache überführen. Modelle, die mit riesigen Datensätzen trainiert wurden – etwa CLIP, das anhand von Millionen Bild-Text-Paaren gelernt hat – können Textanfragen passenden Bildern zuordnen und so intuitivere und genauere Suchergebnisse liefern.

Eine Suchanfrage wie „Sonnenuntergang am Strand“ liefert beispielsweise visuell präzise Ergebnisse und verbessert so die Effizienz der Inhaltssuche auf E-Commerce-Plattformen, in Medienarchiven und in Bilddatenbanken deutlich.

Dank erlernter semantischer Zuordnungen zwischen visuellen und textuellen Bereichen bleibt die Suche mit diesem multimodalen Ansatz auch dann präzise, wenn Anfragen und Bildbeschreibungen in unterschiedlichen Sprachen formuliert sind.

Vor- und Nachteile multimodaler Modelle in der KI#

Multimodales Lernen bietet einige entscheidende Vorteile, die die Möglichkeiten der KI in der Computer Vision und darüber hinaus erweitern:

• Besseres Kontextverständnis: Durch die Kombination mehrerer Eingabeströme erfassen multimodale Modelle komplexe Szenarien der realen Welt tiefgehender und differenzierter.
• Höhere Genauigkeit: Der Abgleich mehrerer Datenquellen verringert Fehler bei der Erkennung und beim Schlussfolgern und verbessert so die Zuverlässigkeit insgesamt.
• Höhere Robustheit: Multimodale Systeme bleiben auch dann wirksam, wenn eine Datenquelle beeinträchtigt ist, etwa durch schlechte Lichtverhältnisse bei visuellen Eingaben oder Rauschen in Audiodaten.

Trotz dieser Stärken bringen multimodale Modelle auch eigene Herausforderungen mit sich:

• Rechenaufwand: Die gleichzeitige Verarbeitung mehrerer Modalitäten erfordert erhebliche Rechenressourcen und stellt höhere Anforderungen an die Infrastruktur.
• Datenausrichtung und Synchronisierung: Verschiedene Modalitäten präzise aufeinander abzustimmen – etwa Audiohinweise exakt den passenden Videobildern zuzuordnen – ist technisch anspruchsvoll, für eine optimale Leistung aber unerlässlich.
• Ethische Auswirkungen: Multimodale Systeme können unbeabsichtigt Verzerrungen in Trainingsdatensätzen verstärken. Das unterstreicht, wie wichtig eine sorgfältige Auswahl der Daten und eine kontinuierliche ethische Bewertung sind.

Die wichtigsten Erkenntnisse#

Multimodales Lernen verändert die KI, indem es ein umfassenderes und kontextbezogeneres Verständnis über mehrere Datenströme hinweg ermöglicht. Anwendungen in der Computer Vision wie Bildbeschreibung, visuelle Fragebeantwortung, Texteingabe-zu-Bild-Erzeugung und verbesserte Bildsuche zeigen, welches Potenzial in der Integration verschiedener Modalitäten steckt.

Obwohl rechnerische und ethische Herausforderungen bestehen bleiben, begegnen laufende Innovationen bei Architekturen, etwa bei der Fusion auf Transformer-Basis und der kontrastiven Ausrichtung, diesen Problemen und machen multimodale KI leistungsfähiger und effizienter.

Mit der Weiterentwicklung dieses Gebiets werden multimodale Modelle für komplexe KI-Aufgaben in der realen Welt unverzichtbar. Sie verbessern alles von medizinischen Diagnosen bis hin zu autonomer Robotik. Wer auf multimodales Lernen setzt, kann leistungsstarke Fähigkeiten nutzen, die die Zukunft der KI prägen werden.

Werde Teil unserer wachsenden Community! In unserem GitHub-Repository erfährst du mehr über KI. Du möchtest eigene Computer-Vision-Projekte starten? Entdecke unsere Lizenzoptionen. Informiere dich auf unseren Lösungsseiten über KI in der Fertigung und visuelle KI für autonomes Fahren!