Multimodal AI

Multimodale KI bezeichnet eine hochentwickelte Klasse von Künstliche Intelligenz (KI)-Systemen, die darauf ausgelegt sind, Informationen aus verschiedenen Datentypen oder „Modalitäten“ gleichzeitig zu verarbeiten, zu interpretieren und zu synthetisieren. Im Gegensatz zu herkömmlichen unimodalen Systemen, die auf eine einzige Eingangsquelle spezialisiert sind – wie zum Beispiel Natural Language Processing (NLP) für Text oder Computer Vision (CV) für Bilder –, ahmt multimodale KI die menschliche Wahrnehmung durch die Integration diverser Datenströme nach. Diese Integration kann die Kombination von visuellen Daten (Bilder, Videos) mit sprachlichen Daten (Text, gesprochenes Audio) und sensorischen Informationen (LiDAR, Radar, Thermik) umfassen. Durch die Nutzung dieser kombinierten Eingaben erzielen diese Modelle ein tieferes, kontextbewussteres Verständnis komplexer realer Szenarien und nähern sich damit den umfassenden Fähigkeiten der Artificial General Intelligence (AGI) an.

Link to this sectionWie multimodale Systeme funktionieren#

Die Kernstärke multimodaler KI liegt in ihrer Fähigkeit, verschiedene Datentypen in einen gemeinsamen mathematischen Raum abzubilden, in dem sie verglichen und kombiniert werden können. Dieser Prozess umfasst typischerweise drei Hauptphasen: Kodierung, Ausrichtung und Fusion.

1. Merkmalsextraktion: Spezialisierte neuronale Netze verarbeiten jede Modalität unabhängig, um Schlüsselmuster zu identifizieren. Zum Beispiel könnte ein Convolutional Neural Network (CNN) visuelle Merkmale aus einem Foto extrahieren, während ein Transformer die begleitende Bildunterschrift verarbeitet.

2. Ausrichtung und Embeddings: Die extrahierten Merkmale werden in hochdimensionale numerische Vektoren umgewandelt. Das Modell lernt, diese Vektoren so auszurichten, dass semantisch ähnliche Konzepte (z. B. ein Bild einer Katze und das Textwort „Katze“) im Vektorraum nah beieinander liegen. Dies wird oft durch Techniken wie kontrastives Lernen erreicht, eine Methode, die bekanntermaßen in Modellen wie OpenAI's CLIP verwendet wird.

3. Datenfusion: Das System führt die ausgerichteten Daten mithilfe fortschrittlicher Fusionstechniken zusammen. Moderne Architekturen nutzen Aufmerksamkeitsmechanismen, um die Bedeutung einer Modalität gegenüber einer anderen je nach Kontext dynamisch zu gewichten, was es dem Modell ermöglicht, sich auf den Text zu konzentrieren, wenn das Bild mehrdeutig ist, oder umgekehrt.

Link to this sectionPraxisanwendungen#

Multimodale KI hat Fähigkeiten freigesetzt, die zuvor mit Systemen für nur eine Modalität unmöglich waren, und treibt Innovationen in verschiedenen Branchen voran.

• Visual Question Answering (VQA): Bei dieser Anwendung kann ein Benutzer ein Bild einer KI präsentieren und dazu Fragen in natürlicher Sprache stellen. Beispielsweise könnte ein sehbehinderter Benutzer ein Foto einer Vorratskammer hochladen und fragen: „Habe ich noch Nudeln übrig?“ Das Modell verarbeitet den visuellen Inhalt und die Textabfrage, um eine spezifische Antwort zu liefern.
• Autonome Fahrzeuge: Selbstfahrende Autos verlassen sich stark auf multimodale Eingaben, indem sie Daten von Kameras, LiDAR-Punktwolken und Radar kombinieren, um sicher zu navigieren. Diese Redundanz stellt sicher, dass, wenn ein Sensor ausfällt (z. B. eine Kamera, die durch Sonnenblendung geblendet wird), andere die von der Society of Automotive Engineers (SAE) definierten Sicherheitsstandards aufrechterhalten können.
• Gesundheitsdiagnostik: Fortschrittliche medizinische KI-Systeme analysieren medizinische Bildanalyse (wie MRTs oder Röntgenaufnahmen) zusammen mit unstrukturierten textuellen Patientenhistorien und genetischen Daten. Diese umfassende Sicht unterstützt Ärzte bei genaueren Diagnosen, ein Thema, das häufig in Nature Digital Medicine diskutiert wird.
• Generative KI: Tools, die Bilder aus Text-Prompts erstellen, wie etwa Stable Diffusion, verlassen sich vollständig auf die Fähigkeit des Modells, die Beziehung zwischen sprachlichen Beschreibungen und visuellen Texturen zu verstehen.

Link to this sectionOpen-Vocabulary-Erkennung mit Ultralytics#

Während sich Standard-Objekterkenner auf vordefinierte Kategorienlisten verlassen, ermöglichen multimodale Ansätze wie YOLO-World Benutzern die Erkennung von Objekten mithilfe von Open-Vocabulary-Text-Prompts. Dies schließt die Lücke zwischen sprachlichen Befehlen und visueller Erkennung innerhalb des Ultralytics-Ökosystems.

Das folgende Beispiel demonstriert, wie du die ultralytics-Bibliothek verwendest, um eine Open-Vocabulary-Erkennung durchzuführen, bei der das Modell Objekte basierend auf benutzerdefinierten Texteingaben erkennt:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

Link to this sectionUnterscheidung verwandter Begriffe#

Um sich in der Landschaft des modernen maschinellen Lernens zurechtzufinden, ist es hilfreich, „Multimodale KI“ von verwandten Konzepten zu unterscheiden:

• Multi-Modal Learning: Dies bezieht sich auf die akademische Disziplin und Methodik des Trainings von Algorithmen mit gemischten Datentypen. „Multimodale KI“ bezieht sich im Allgemeinen auf die praktische Anwendung oder das daraus resultierende System selbst.
• Large Language Models (LLMs): Herkömmliche LLMs sind unimodal und werden ausschließlich mit Textdaten trainiert. Die Industrie verlagert sich jedoch in Richtung „Large Multimodal Models“ (LMMs), die nativ Bilder und Text verarbeiten können – ein Trend, der von Frameworks wie PyTorch und TensorFlow unterstützt wird.
• Spezialisierte Vision-Modelle: Modelle wie das hochmoderne Ultralytics YOLO26 sind hochspezialisierte Experten für visuelle Aufgaben. Während ein allgemeines multimodales Modell eine Szene breit beschreiben mag, zeichnen sich spezialisierte Modelle durch schnelle, präzise Objekterkennung und Echtzeitverarbeitung auf Edge-Hardware aus.

Link to this sectionAusblick auf die Zukunft#

Die Entwicklung der multimodalen KI weist in Richtung Systeme, die über größere Argumentationsfähigkeiten verfügen. Indem sie Sprache erfolgreich in der visuellen und physischen Realität verankern, bewegen sich diese Modelle über statistische Korrelationen hinaus hin zu einem echten Verständnis. Forschung von Institutionen wie Google DeepMind und dem Stanford Center for Research on Foundation Models verschiebt weiterhin die Grenzen dessen, wie Maschinen komplexe Umgebungen wahrnehmen.

Bei Ultralytics integrieren wir diese Fortschritte in die Ultralytics Platform, die es Benutzern ermöglicht, Daten zu verwalten, Modelle zu trainieren und Lösungen bereitzustellen, die das gesamte Spektrum verfügbarer Modalitäten nutzen und dabei die Geschwindigkeit von YOLO26 mit der Vielseitigkeit multimodaler Eingaben kombinieren.