MMMU

MMMU son las siglas de Comprensión y razonamiento multimodales multidisciplinares masivos, una prueba que evalúa la capacidad de los modelos de IA para resolver problemas de nivel universitario que combinan imágenes, texto y conocimientos específicos. Imagínatela como un examen en el que comprender un diagrama, un gráfico o una estructura química es esencial para responder a la pregunta. Evalúa modelos de visión y lenguaje, que procesan conjuntamente información visual y escrita.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng y sus colegas presentaron la prueba MMMU el 27 de noviembre de 2023. Su principal reto consiste en combinar la percepción visual con conocimientos especializados y razonamiento deliberado.

Qué evalúa MMMU#

MMMU reúne tres capacidades: percibir información visual, recordar conocimientos pertinentes y razonar para llegar a una respuesta. Esto la convierte en una prueba de IA multimodal, en la que distintos tipos de información contribuyen a una misma tarea. Sus problemas de razonamiento visual abarcan diagramas, tablas, mapas, partituras, imágenes médicas y planos técnicos. Comprender estas representaciones requiere una interpretación específica de cada materia, además de reconocer su contenido visual.

MMMU es un conjunto de datos de referencia específico dentro de la respuesta a preguntas visuales, la tarea más amplia de responder preguntas sobre imágenes. MMLU evalúa conocimientos académicos basados en texto; MMMU incorpora pruebas visuales a la resolución de problemas académicos. El reconocimiento óptico de caracteres extrae caracteres escritos de las imágenes, mientras que las preguntas de MMMU también requieren interpretar relaciones y aplicar conocimientos del ámbito correspondiente.

Tamaño del conjunto de datos y estructura de evaluación#

El conjunto de datos MMMU contiene 11 550 preguntas, que suelen redondearse a 11,5 mil. Las preguntas abarcan 30 materias y 183 subcampos de seis disciplinas: Arte y diseño, Empresa, Ciencia, Salud y medicina, Humanidades y ciencias sociales, y Tecnología e ingeniería. Estudiantes universitarios recopilaron manualmente el material de fuentes como exámenes, cuestionarios, libros de texto y materiales de clase.

La estructura de evaluación asigna una finalidad distinta a cada división:

• Aprendizaje con pocos ejemplos: El conjunto de desarrollo de 150 preguntas proporciona ejemplos que pueden incluirse en la indicación de un modelo.
• Datos de validación: El conjunto de validación de 900 preguntas permite depurar, seleccionar parámetros y realizar evaluaciones rápidas.
• Datos de prueba: El conjunto de prueba de 10 500 preguntas permite realizar una evaluación más amplia. Las respuestas y explicaciones publicadas para las preguntas de prueba permiten calcular puntuaciones localmente con la implementación oficial de evaluación.

Puntuaciones, aplicaciones y modos de fallo#

MMMU informa de la precisión: el porcentaje de preguntas respondidas correctamente. El resultado principal original fue de aproximadamente un 56 % para GPT-4V; su puntuación detallada en la prueba fue del 55,7 %, frente al 56,8 % en validación. Estas evaluaciones iniciales emplearon aprendizaje sin ejemplos: presentaban preguntas sin ejemplos de la prueba de referencia. Por tanto, la configuración de las divisiones y de las indicaciones permite identificar la evaluación en la que se basa la puntuación de una clasificación.

Una aplicación útil es diagnosticar por qué fallan las respuestas multimodales. En un análisis de 150 errores de GPT-4V, el 35 % se debió a problemas de percepción, el 29 % a falta de conocimientos y el 26 % a problemas de razonamiento. En un ejemplo de informática, el modelo reconoció los círculos dobles de un diagrama de estados finitos, pero no los interpretó como estados de aceptación. Reconoció el símbolo visible, pero no comprendió su significado técnico y produjo una solución incorrecta. Esto relaciona MMMU con la fundamentación, es decir, la asociación entre las interpretaciones del modelo y las pruebas que las respaldan.

Estas mismas capacidades de imagen y lenguaje permiten la anotación de datos guiada por clases en Ultralytics Platform, donde los modelos generan cuadros delimitadores a partir de nombres de clases para conjuntos de datos de detección. Su editor de anotaciones permite revisar y perfeccionar esas predicciones.

MMMU frente a MMMU-Pro#

Xiang Yue, Tianyu Zheng, Yuansheng Ni y sus colegas presentaron MMMU-Pro en septiembre de 2024 como una versión más difícil de MMMU. Está diseñada para detectar el aprendizaje de atajos: aprovechar pistas textuales o correlaciones entre las opciones de respuesta para resolver preguntas sin utilizar las pruebas visuales previstas. El proceso de creación filtra las preguntas que pueden responder los modelos que solo trabajan con texto, amplía las opciones de respuesta y añade una modalidad de entrada exclusivamente visual.

En MMMU-Pro, la entrada exclusivamente visual presenta la pregunta y las opciones de respuesta dentro de una captura de pantalla o una fotografía, lo que obliga al modelo a leer e interpretar una presentación visual conjunta. Esto relaciona la comprensión de documentos con el razonamiento académico. La versión original conservó 1730 preguntas y amplió a 10 opciones las respuestas posibles.