MMMU

MMMU расшифровывается как Massive Multi-discipline Multimodal Understanding and Reasoning — тест, который оценивает, насколько хорошо модели ИИ решают задачи университетского уровня, объединяющие изображения, текст и предметные знания. Представь экзамен, в котором для ответа на вопрос необходимо понять диаграмму, график или химическую структуру. Тест оценивает модели «зрение — язык», которые одновременно обрабатывают визуальную и письменную информацию.

Сян Юэ, Юаньшэн Ни, Кай Чжан, Тяньюй Чжэн и их коллеги представили тест MMMU 27 ноября 2023 года. Его главная задача — оценить, как модели объединяют визуальное восприятие со специализированными знаниями и продуманными рассуждениями.

Что оценивает MMMU#

MMMU объединяет три способности: воспринимать визуальную информацию, извлекать нужные знания и рассуждать, чтобы прийти к ответу. Поэтому это тест для мультимодального ИИ, где для решения одной задачи используются разные типы информации. Задачи на визуальные рассуждения охватывают диаграммы, таблицы, карты, нотные записи, медицинские изображения и технические чертежи. Чтобы понять такие материалы, нужно не только распознать их видимое содержимое, но и интерпретировать его с учетом предметной области.

MMMU — это конкретный набор данных для тестирования в рамках более широкой задачи ответов на вопросы по изображениям. MMLU оценивает академические знания на основе текста, а MMMU использует визуальные данные для решения академических задач. Оптическое распознавание символов извлекает текстовые символы из изображений, тогда как вопросы MMMU также требуют интерпретировать связи и применять знания из предметной области.

Размер набора данных и структура оценки#

Набор данных MMMU содержит 11 550 вопросов, обычно округляемых до 11,5 тыс. Вопросы охватывают 30 предметных областей и 183 подраздела в рамках шести дисциплин: искусство и дизайн, бизнес, естественные науки, здравоохранение и медицина, гуманитарные и социальные науки, технологии и инженерное дело. Материалы вручную собрали студенты вузов из таких источников, как экзамены, тесты, учебники и лекционные материалы.

В структуре оценки каждому разделу отведена отдельная задача:

• Обучение на нескольких примерах: В обучающем наборе из 150 вопросов приведены примеры, которые можно включить в запрос к модели.
• Данные для валидации: Набор для валидации из 900 вопросов помогает отлаживать модель, выбирать параметры и быстро оценивать результаты.
• Тестовые данные: Тестовый набор из 10 500 вопросов предназначен для более широкой оценки. Опубликованные ответы и объяснения позволяют локально подсчитывать результаты с помощью официальной реализации оценки.

Результаты, применение и типичные ошибки#

MMMU сообщает точность — долю вопросов, на которые дан правильный ответ. Первоначальный ключевой результат GPT-4V составил примерно 56%; подробный результат на тестовом наборе — 55,7% против 56,8% на валидационном. В этих первых оценках использовалось обучение без примеров: модели предъявляли вопросы без примеров из теста. Поэтому при сравнении результатов в таблице лидеров важно учитывать раздел данных и настройки запроса.

MMMU помогает выяснить, почему мультимодальные модели отвечают неправильно. В анализе 150 ошибок GPT-4V 35% были связаны с восприятием, 29% — с нехваткой знаний, а 26% — с рассуждениями. В одном примере по информатике модель распознала двойные окружности на диаграмме конечного автомата, но не поняла, что они обозначают принимающие состояния. Символ был распознан, но его технический смысл оказался упущен, что привело к неправильному решению. Это связано с привязкой к данным — соотнесением интерпретаций модели с подтверждающими их свидетельствами.

Те же возможности работы с изображениями и языком используются для аннотирования данных с подсказками-классами на платформе Ultralytics: модели создают ограничивающие рамки по названиям классов для наборов данных обнаружения объектов. В редакторе аннотаций можно проверять и уточнять эти предсказания.

MMMU и MMMU-Pro#

Сян Юэ, Тяньюй Чжэн, Юаньшэн Ни и их коллеги представили MMMU-Pro в сентябре 2024 года как более сложную версию MMMU. Этот тест направлен на выявление обучения на поверхностных признаках: использования текстовых подсказок или связей между вариантами ответа для решения задач без нужных визуальных данных. При создании теста отбирают вопросы, на которые нельзя ответить только по тексту, расширяют набор вариантов ответа и добавляют режим ввода только визуальных данных.

В MMMU-Pro при вводе только визуальных данных вопрос и варианты ответа помещают на снимок экрана или фотографию, поэтому модели нужно прочитать и интерпретировать их как единое визуальное представление. Это объединяет понимание документов с академическими рассуждениями. В первоначальной версии набора осталось 1 730 вопросов, а число вариантов ответа увеличили до 10.