MMMU

MMMU 是 大规模多学科多模态理解与推理（Massive Multi-discipline Multimodal Understanding and Reasoning）的缩写。这项基准测试 AI 模型解决结合图像、文本和学科知识的大学水平问题的能力。你可以把它想象成一场考试：要回答问题，必须理解图表、示意图或化学结构。它评估视觉语言模型，这类模型能够同时处理视觉信息和书面信息。

Xiang Yue、Yuansheng Ni、Kai Zhang、Tianyu Zheng 等人于 2023 年 11 月 27 日推出了 MMMU 基准。其核心挑战是将视觉感知与专业知识和审慎推理结合起来。

MMMU 的评估内容#

MMMU 综合考察三种能力：感知视觉信息、回忆相关知识，以及推理得出答案。因此，它也是对多模态 AI的测试，不同类型的信息会共同参与同一项任务。其视觉推理题目涵盖示意图、表格、地图、乐谱、医学图像和技术蓝图。理解这些内容既需要根据特定学科进行解读，也需要识别其中可见的内容。

MMMU 是视觉问答这一更广泛任务中的一个具体基准数据集，视觉问答指的是回答有关图像的问题。MMLU 评估基于文本的学术知识；MMMU 则将视觉证据纳入学术问题求解。光学字符识别从图像中提取书面字符，而 MMMU 的问题还要求解读字符之间的关系并运用领域知识。

数据集规模与评估结构#

MMMU 数据集包含 11,550 道题目，通常约称为 11.5K。题目涵盖六大领域中的 30 个学科和 183 个子领域：艺术与设计、商业、科学、健康与医学、人文与社会科学、技术与工程。大学生从考试、测验、教科书和讲课资料等来源手动收集了这些材料。

其评估结构为每个数据拆分分配了不同用途：

• 少样本学习：包含 150 道题目的开发集提供示例，可将这些示例放入模型的提示中。
• 验证数据：包含 900 道题目的验证集可用于调试、参数选择和快速评估。
• 测试数据：包含 10,500 道题目的测试集可用于更广泛的评估。公开的测试答案和解释支持使用官方评估实现在本地评分。

分数、应用与失败模式#

MMMU 报告准确率：答对题目的百分比。最初公布的代表性结果是 GPT-4V 约为 56%；其详细测试分数为 55.7%，验证集分数为 56.8%。这些初期评估采用了零样本学习，即在不提供基准示例的情况下呈现问题。因此，数据拆分和提示配置决定了排行榜分数对应的具体评估方式。

一项有用的应用是诊断多模态答案为何出错。在对 GPT-4V 的 150 个错误进行分析时，35% 涉及感知，29% 涉及知识缺失，26% 涉及推理。一道计算机科学题目的示例显示，模型能够识别有限状态图中的双圆圈，却无法将其解读为接受状态。模型识别出了可见符号，却忽略了它的技术含义，因此得出了错误解答。这与落地有关，即将模型的解读与支撑证据关联起来。

同样的图像和语言能力也支持在 Ultralytics Platform 中进行带类别提示的数据标注：模型可以根据类别名称为检测数据集生成边界框。其标注编辑器支持人工审核和优化这些预测结果。

MMMU 与 MMMU-Pro 对比#

Xiang Yue、Tianyu Zheng、Yuansheng Ni 等人于 2024 年 9 月推出 MMMU-Pro，作为难度更高的 MMMU 版本。它旨在应对捷径学习：模型利用文本线索或答案选项之间的相关性来解题，而不使用预期的视觉证据。其构建过程会筛除仅凭文本模型就能回答的问题，扩充答案选项，并增加仅视觉输入设置。

在 MMMU-Pro 中，仅视觉输入会将问题和答案选项放入屏幕截图或照片中，要求模型读取并解读组合后的视觉呈现形式。这将文档理解与学术推理联系起来。原始构建版本保留了 1,730 道题目，并将备选答案扩充至 10 个选项。