MMMU

MMMU significa Compreensão e raciocínio multimodais multidisciplinares em larga escala, um benchmark que testa a capacidade dos modelos de IA de resolver problemas de nível universitário que combinam imagens, texto e conhecimento de disciplinas. Pense nele como um exame em que compreender um diagrama, gráfico ou estrutura química é essencial para responder à pergunta. Ele avalia modelos de visão e linguagem, que processam informações visuais e escritas em conjunto.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng e colegas apresentaram o benchmark MMMU em 27 de novembro de 2023. Seu principal desafio é combinar percepção visual com conhecimento especializado e raciocínio deliberado.

O que o MMMU mede#

O MMMU reúne três capacidades: perceber informações visuais, recuperar conhecimentos relevantes e raciocinar para chegar a uma resposta. Isso faz dele um teste de IA multimodal, no qual diferentes tipos de informação contribuem para uma única tarefa. Seus problemas de raciocínio visual abrangem diagramas, tabelas, mapas, partituras, imagens médicas e plantas técnicas. Compreender essas representações exige interpretação específica da área, além do reconhecimento do conteúdo visual.

O MMMU é um conjunto de dados de benchmark específico para resposta a perguntas visuais, a tarefa mais ampla de responder a perguntas sobre imagens. O MMLU avalia conhecimentos acadêmicos baseados em texto; o MMMU incorpora evidências visuais à resolução de problemas acadêmicos. O reconhecimento óptico de caracteres extrai caracteres escritos de imagens, enquanto as perguntas do MMMU também exigem interpretar relações e aplicar conhecimentos da área.

Tamanho do conjunto de dados e estrutura de avaliação#

O conjunto de dados MMMU contém 11.550 perguntas, geralmente arredondadas para 11,5 mil. As perguntas abrangem 30 áreas e 183 subáreas em seis disciplinas: Artes e Design, Negócios, Ciências, Saúde e Medicina, Humanidades e Ciências Sociais, e Tecnologia e Engenharia. Estudantes universitários coletaram manualmente o material de fontes como provas, questionários, livros didáticos e materiais de aula.

A estrutura de avaliação atribui uma finalidade distinta a cada divisão:

• Aprendizado com poucos exemplos: O conjunto de desenvolvimento com 150 perguntas fornece exemplos que podem ser incluídos no prompt de um modelo.
• Dados de validação: O conjunto de validação com 900 perguntas permite depuração, seleção de parâmetros e avaliações rápidas.
• Dados de teste: O conjunto de teste com 10.500 perguntas permite uma avaliação mais ampla. As respostas e explicações do conjunto de teste, disponibilizadas publicamente, permitem a pontuação local com a implementação oficial de avaliação.

Pontuações, aplicações e modos de falha#

O MMMU informa a acurácia: a porcentagem de perguntas respondidas corretamente. O resultado de destaque original foi de aproximadamente 56% para o GPT-4V; sua pontuação detalhada no teste foi de 55,7%, em comparação com 56,8% na validação. Essas avaliações iniciais usaram aprendizado zero-shot, apresentando perguntas sem exemplos do benchmark. Portanto, a configuração da divisão e do prompt identifica a avaliação por trás de uma pontuação no ranking.

Uma aplicação útil é diagnosticar por que as respostas multimodais falham. Em uma análise de 150 erros do GPT-4V, 35% envolveram percepção, 29% envolveram falta de conhecimento e 26% envolveram raciocínio. Um exemplo de ciência da computação mostrou que o modelo reconheceu círculos duplos em um diagrama de autômato finito, mas não conseguiu interpretá-los como estados de aceitação. O símbolo visível foi reconhecido, mas seu significado técnico se perdeu, levando a uma solução incorreta. Isso relaciona o MMMU ao aterramento, a associação entre as interpretações do modelo e as evidências que as sustentam.

As mesmas capacidades de imagem e linguagem permitem a anotação de dados guiada por prompts de classe na Ultralytics Platform, onde os modelos geram caixas delimitadoras a partir de nomes de classes para conjuntos de dados de detecção. O editor de anotações permite que as pessoas revisem e refinem essas previsões.

MMMU vs. MMMU-Pro#

Xiang Yue, Tianyu Zheng, Yuansheng Ni e colegas apresentaram o MMMU-Pro em setembro de 2024 como uma versão mais difícil do MMMU. Ele tem como alvo o aprendizado por atalhos: explorar pistas textuais ou correlações entre opções de resposta para resolver perguntas sem usar as evidências visuais pretendidas. O processo de construção filtra perguntas que modelos somente de texto conseguem responder, amplia as opções de resposta e adiciona uma configuração de entrada somente visual.

No MMMU-Pro, a entrada somente visual coloca a pergunta e as opções de resposta dentro de uma captura de tela ou fotografia, exigindo que o modelo leia e interprete uma apresentação visual combinada. Isso relaciona a compreensão de documentos ao raciocínio acadêmico. A construção original manteve 1.730 perguntas, com as respostas candidatas ampliadas para 10 opções.