MMMU

MMMU steht für Massives multidisziplinäres multimodales Verständnis und Schlussfolgern. Der Benchmark prüft, wie gut KI-Modelle Aufgaben auf Hochschulniveau lösen, bei denen Bilder, Texte und Fachwissen kombiniert werden. Stell dir eine Prüfung vor, bei der es für die Antwort entscheidend ist, ein Diagramm, eine Grafik oder eine chemische Struktur zu verstehen. Der Benchmark bewertet Modelle für visuelle und sprachliche Aufgaben, die visuelle und schriftliche Informationen gemeinsam verarbeiten.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng und ihre Kolleginnen und Kollegen stellten den MMMU-Benchmark am 27. November 2023 vor. Seine zentrale Herausforderung besteht darin, visuelle Wahrnehmung mit spezialisiertem Wissen und bewusstem Schlussfolgern zu verbinden.

Was MMMU misst#

MMMU vereint drei Fähigkeiten: visuelle Informationen wahrzunehmen, relevantes Wissen abzurufen und durch Schlussfolgern zu einer Antwort zu gelangen. Damit prüft MMMU multimodale KI, bei der unterschiedliche Informationstypen zu einer Aufgabe beitragen. Die Aufgaben zum visuellen Schlussfolgern umfassen Diagramme, Tabellen, Karten, Noten, medizinische Bilder und technische Baupläne. Um diese Darstellungen zu verstehen, muss man sie fachspezifisch interpretieren und ihre sichtbaren Inhalte erkennen.

MMMU ist ein spezifischer Benchmark-Datensatz für die visuelle Beantwortung von Fragen, also die übergeordnete Aufgabe, Fragen zu Bildern zu beantworten. MMLU bewertet textbasiertes akademisches Wissen; MMMU bezieht visuelle Belege in die Lösung akademischer Aufgaben ein. Die optische Zeichenerkennung extrahiert geschriebene Zeichen aus Bildern, während MMMU-Aufgaben auch verlangen, Zusammenhänge zu interpretieren und Fachwissen anzuwenden.

Umfang des Datensatzes und Aufbau der Bewertung#

Der MMMU-Datensatz enthält 11.550 Fragen, häufig gerundet auf 11,5K. Die Fragen decken 30 Fächer und 183 Teilgebiete aus sechs Disziplinen ab: Kunst und Design, Wirtschaft, Naturwissenschaften, Gesundheit und Medizin, Geistes- und Sozialwissenschaften sowie Technik und Ingenieurwesen. Studierende sammelten die Materialien manuell aus Quellen wie Prüfungen, Tests, Lehrbüchern und Vorlesungsunterlagen.

Die einzelnen Datensatz-Aufteilungen erfüllen jeweils einen eigenen Zweck:

• Few-shot-Lernen: Die Entwicklungsmenge mit 150 Fragen enthält Beispiele, die in den Prompt eines Modells aufgenommen werden können.
• Validierungsdaten: Die Validierungsmenge mit 900 Fragen unterstützt das Debugging, die Auswahl von Parametern und schnelle Auswertungen.
• Testdaten: Die Testmenge mit 10.500 Fragen ermöglicht eine umfassendere Bewertung. Die veröffentlichten Antworten und Erklärungen zu den Testfragen erlauben eine lokale Auswertung mit der offiziellen Implementierung der Auswertung.

Ergebnisse, Anwendungsfälle und Fehlerarten#

MMMU gibt die Genauigkeit an: den Prozentsatz der richtig beantworteten Fragen. Das ursprüngliche Hauptergebnis lag bei etwa 56 % für GPT-4V; das detaillierte Testergebnis betrug 55,7 %, verglichen mit 56,8 % bei der Validierung. Bei diesen ersten Auswertungen kam Zero-Shot-Lernen zum Einsatz: Die Fragen wurden ohne Beispiele aus dem Benchmark gestellt. Die Angaben zur Datensatz-Aufteilung und zur Prompt-Konfiguration zeigen daher, auf welcher Auswertung ein Ranglistenergebnis beruht.

Ein nützlicher Anwendungsfall ist die Diagnose, warum multimodale Antworten fehlschlagen. Bei einer Analyse von 150 Fehlern von GPT-4V betrafen 35 % die Wahrnehmung, 29 % fehlendes Wissen und 26 % das Schlussfolgern. In einem Beispiel aus der Informatik erkannte das Modell zwar doppelte Kreise in einem endlichen Zustandsdiagramm, konnte sie aber nicht als akzeptierende Zustände deuten. Das sichtbare Symbol wurde erkannt, seine technische Bedeutung jedoch nicht erfasst, was zu einer falschen Lösung führte. Dies stellt eine Verbindung zwischen MMMU und Verankerung her, also der Zuordnung von Modellinterpretationen zu stützenden Belegen.

Dieselben Bild- und Sprachfähigkeiten unterstützen die klassenbasierte Datenannotation in der Ultralytics Platform, in der Modelle für Erkennungsdatensätze anhand von Klassennamen Begrenzungsrahmen erzeugen. Mit dem Annotationseditor können Personen diese Vorhersagen überprüfen und verfeinern.

MMMU im Vergleich zu MMMU-Pro#

Xiang Yue, Tianyu Zheng, Yuansheng Ni und ihre Kolleginnen und Kollegen stellten MMMU-Pro im September 2024 als schwierigere Version von MMMU vor. MMMU-Pro zielt auf Shortcut-Lernen ab: Dabei werden textuelle Hinweise oder Zusammenhänge zwischen Antwortmöglichkeiten ausgenutzt, um Fragen zu lösen, ohne die vorgesehenen visuellen Belege zu verwenden. Bei der Erstellung werden Fragen herausgefiltert, die sich mit rein textbasierten Modellen beantworten lassen, die Antwortmöglichkeiten erweitert und eine Eingabevariante eingeführt, die ausschließlich visuelle Inhalte nutzt.

Bei MMMU-Pro werden die Frage und die Antwortmöglichkeiten für die rein visuelle Eingabe in einen Screenshot oder ein Foto eingebettet. Dadurch muss das Modell eine kombinierte visuelle Darstellung lesen und interpretieren. So verbindet MMMU-Pro das Verstehen von Dokumenten mit akademischem Schlussfolgern. In der ursprünglichen Version blieben 1.730 Fragen erhalten; die möglichen Antworten wurden auf 10 Optionen erweitert.