MMMU
MMMU valuta i modelli di IA su problemi di livello universitario che richiedono immagini, testo, conoscenze disciplinari e ragionamento in 30 materie accademiche.
MMMU è l'acronimo di comprensione e ragionamento multimodali su più discipline su vasta scala, un benchmark che verifica quanto bene i modelli di IA risolvono problemi di livello universitario che combinano immagini, testo e conoscenze disciplinari. Immaginalo come un esame in cui comprendere un diagramma, un grafico o una struttura chimica è essenziale per rispondere alla domanda. Valuta i modelli visione-linguaggio, che elaborano insieme informazioni visive e scritte.
Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng e colleghi hanno presentato il benchmark MMMU il 27 novembre 2023. La sfida principale consiste nel combinare la percezione visiva con conoscenze specialistiche e ragionamento ponderato.
Cosa misura MMMU#
MMMU riunisce tre capacità: percepire informazioni visive, richiamare conoscenze pertinenti e ragionare per arrivare a una risposta. Questo lo rende un test di IA multimodale, in cui diversi tipi di informazioni contribuiscono a un'unica attività. I problemi di ragionamento visivo spaziano tra diagrammi, tabelle, mappe, spartiti, immagini mediche e progetti tecnici. Comprendere queste rappresentazioni richiede un'interpretazione specifica della materia, oltre al riconoscimento dei loro contenuti visibili.
MMMU è uno specifico dataset di benchmark nell'ambito della risposta a domande visive, l'attività più ampia di rispondere a domande sulle immagini. MMLU valuta le conoscenze accademiche basate sul testo; MMMU integra le prove visive nella risoluzione di problemi accademici. Il riconoscimento ottico dei caratteri estrae caratteri scritti dalle immagini, mentre le domande di MMMU richiedono anche di interpretare relazioni e applicare conoscenze specifiche del settore.
Dimensioni del dataset e struttura della valutazione#
Il dataset MMMU contiene 11.550 domande, spesso arrotondate a 11,5K. Le domande riguardano 30 materie e 183 sottocampi, distribuiti in sei discipline: arte e design, economia e commercio, scienze, salute e medicina, discipline umanistiche e scienze sociali, tecnologia e ingegneria. Studenti universitari hanno raccolto manualmente i materiali da fonti tra cui esami, quiz, libri di testo e materiali didattici.
La struttura di valutazione assegna uno scopo distinto a ciascuna suddivisione:
- Apprendimento few-shot: il set di sviluppo di 150 domande fornisce esempi che possono essere inclusi nel prompt di un modello.
- Dati di convalida: il set di convalida di 900 domande supporta il debug, la selezione dei parametri e le valutazioni rapide.
- Dati di test: il set di test di 10.500 domande consente una valutazione più ampia. Le risposte e le spiegazioni del set di test pubblicate permettono di calcolare i punteggi localmente con l'implementazione ufficiale della valutazione.
Punteggi, applicazioni e modalità di errore#
MMMU riporta l'accuratezza: la percentuale di domande a cui è stata data una risposta corretta. Il risultato principale iniziale è stato di circa 56% per GPT-4V; il punteggio dettagliato sul test era del 55,7%, rispetto al 56,8% sulla convalida. Queste valutazioni iniziali usavano l'apprendimento zero-shot, presentando le domande senza esempi tratti dal benchmark. La suddivisione e la configurazione del prompt indicano quindi a quale valutazione si riferisce un punteggio in classifica.
Un'applicazione utile consiste nel diagnosticare perché le risposte multimodali non funzionano. In un'analisi di 150 errori di GPT-4V, il 35% riguardava la percezione, il 29% la mancanza di conoscenze e il 26% il ragionamento. In un esempio di informatica, il modello riconosceva i doppi cerchi in un diagramma a stati finiti, ma non riusciva a interpretarli come stati di accettazione. Il simbolo visibile era stato riconosciuto, ma il suo significato tecnico era andato perso, producendo una soluzione errata. Questo collega MMMU al grounding, ovvero l'associazione tra le interpretazioni del modello e le prove che le supportano.
Le stesse capacità di elaborazione di immagini e linguaggio supportano l'annotazione dei dati guidata da prompt di classe nella Ultralytics Platform, dove i modelli generano riquadri di delimitazione a partire dai nomi delle classi per i dataset di rilevamento. L'editor di annotazione consente alle persone di esaminare e perfezionare tali previsioni.
MMMU e MMMU-Pro a confronto#
Xiang Yue, Tianyu Zheng, Yuansheng Ni e colleghi hanno presentato MMMU-Pro nel settembre 2024 come versione più difficile di MMMU. Il benchmark mira a contrastare l'apprendimento di scorciatoie: sfruttare indizi testuali o correlazioni tra le opzioni di risposta per risolvere le domande senza usare le prove visive previste. Il processo di creazione filtra le domande a cui si può rispondere con modelli basati solo sul testo, amplia le opzioni di risposta e aggiunge un'impostazione con input esclusivamente visivo.
In MMMU-Pro, l'input esclusivamente visivo inserisce la domanda e le opzioni di risposta in uno screenshot o in una fotografia, costringendo il modello a leggere e interpretare una presentazione visiva composita. Questo collega la comprensione dei documenti al ragionamento accademico. La versione originale del benchmark ha mantenuto 1.730 domande, ampliando a 10 opzioni le possibili risposte.
