MMMU

MMMU signifie compréhension et raisonnement multimodaux dans de nombreuses disciplines, un benchmark qui évalue la capacité des modèles d’IA à résoudre des problèmes de niveau universitaire combinant images, texte et connaissances spécialisées. Imagine un examen où comprendre un diagramme, un graphique ou une structure chimique est indispensable pour répondre à la question. Il évalue les modèles vision-langage, qui traitent ensemble les informations visuelles et écrites.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng et leurs collègues ont présenté le benchmark MMMU le 27 novembre 2023. Son principal défi consiste à combiner perception visuelle, connaissances spécialisées et raisonnement approfondi.

Ce que mesure MMMU#

MMMU réunit trois capacités : percevoir des informations visuelles, se rappeler les connaissances pertinentes et raisonner pour parvenir à une réponse. Il s’agit donc d’un test d’IA multimodale, où différents types d’informations contribuent à une même tâche. Ses problèmes de raisonnement visuel portent sur des diagrammes, des tableaux, des cartes, des partitions, des images médicales et des plans techniques. Comprendre ces représentations nécessite une interprétation propre au domaine, ainsi que la reconnaissance de leur contenu visible.

MMMU est un jeu de données de référence spécifique pour la réponse aux questions visuelles, une tâche plus générale qui consiste à répondre à des questions sur des images. MMLU évalue les connaissances universitaires à partir de texte ; MMMU intègre des éléments visuels à la résolution de problèmes universitaires. La reconnaissance optique de caractères extrait les caractères écrits des images, tandis que les questions de MMMU nécessitent également d’interpréter des relations et d’appliquer des connaissances spécialisées.

Taille du jeu de données et structure de l’évaluation#

Le jeu de données MMMU contient 11 550 questions, généralement arrondies à 11,5 K. Les questions couvrent 30 matières et 183 sous-domaines répartis en six disciplines : arts et design, commerce, sciences, santé et médecine, lettres et sciences sociales, et technologies et ingénierie. Des étudiants de niveau universitaire ont collecté manuellement les éléments à partir de sources comprenant des examens, des questionnaires, des manuels et des supports de cours.

Sa structure d’évaluation attribue un objectif distinct à chaque partition :

• Apprentissage avec peu d’exemples : le jeu de développement de 150 questions fournit des exemples qui peuvent être inclus dans l’invite d’un modèle.
• Données de validation : le jeu de validation de 900 questions permet le débogage, le choix des paramètres et les évaluations rapides.
• Données de test : le jeu de test de 10 500 questions permet une évaluation plus large. La publication des réponses et des explications du jeu de test permet d’effectuer un calcul local des scores à l’aide de l’implémentation officielle de l’évaluation.

Scores, applications et modes d’échec#

MMMU publie la précision, c’est-à-dire le pourcentage de questions auxquelles le modèle a répondu correctement. Le résultat initial mis en avant était d’environ 56 % pour GPT-4V ; son score détaillé au test était de 55,7 %, contre 56,8 % sur la partition de validation. Ces premières évaluations utilisaient l’apprentissage sans exemple : les questions étaient présentées sans exemples tirés du benchmark. La partition et la configuration des invites indiquent donc l’évaluation correspondant à un score publié dans un classement.

Une application utile consiste à diagnostiquer les causes des échecs des réponses multimodales. Dans une analyse de 150 erreurs de GPT-4V, 35 % étaient liées à la perception, 29 % à des connaissances manquantes et 26 % au raisonnement. Dans un exemple d’informatique, le modèle reconnaissait les doubles cercles dans un diagramme d’automate fini, mais ne parvenait pas à les interpréter comme des états acceptants. Le symbole visible était reconnu, mais sa signification technique échappait au modèle, qui produisait alors une solution incorrecte. Cela relie MMMU à l’ancrage, c’est-à-dire à l’association entre les interprétations du modèle et les éléments qui les étayent.

Ces mêmes capacités de traitement des images et du langage permettent l’annotation de données guidée par des classes dans Ultralytics Platform, où les modèles génèrent des boîtes englobantes à partir de noms de classes pour les jeux de données de détection. Son éditeur d’annotations permet aux utilisateurs de vérifier et d’affiner ces prédictions.

MMMU et MMMU-Pro#

Xiang Yue, Tianyu Zheng, Yuansheng Ni et leurs collègues ont présenté MMMU-Pro en septembre 2024 comme une version plus difficile de MMMU. Elle vise l’apprentissage par raccourcis : l’exploitation d’indices textuels ou de corrélations entre les choix de réponse pour résoudre des questions sans utiliser les éléments visuels prévus. Le processus de création filtre les questions auxquelles des modèles uniquement textuels peuvent répondre, élargit le choix de réponses et ajoute un mode d’entrée exclusivement visuel.

Dans MMMU-Pro, le mode d’entrée exclusivement visuel présente la question et les choix de réponse dans une capture d’écran ou une photographie, ce qui oblige le modèle à lire et interpréter une présentation visuelle combinée. Cela relie la compréhension de documents au raisonnement universitaire. La version initiale du jeu de données conservait 1 730 questions, et le nombre de réponses proposées était porté à 10 choix.