MMMU

MMMUは大規模多分野マルチモーダル理解・推論の略称で、画像、テキスト、専門知識を組み合わせた大学レベルの問題をAIモデルがどれだけ解けるかを評価するベンチマークです。図、グラフ、化学構造を理解することが、問題への回答に不可欠な試験のようなものです。視覚情報と言語情報を合わせて処理する視覚言語モデルを評価します。

Xiang Yue、Yuansheng Ni、Kai Zhang、Tianyu Zhengらは、2023年11月27日にMMMUベンチマークを発表しました。中心的な課題は、視覚認識と専門知識、慎重な推論を組み合わせることです。

MMMUが評価する能力#

MMMUは、視覚情報の認識、関連知識の想起、回答に至る推論という3つの能力を組み合わせて評価します。これは、異なる種類の情報が1つのタスクに寄与するマルチモーダルAIのテストです。視覚的推論の問題は、図、表、地図、楽譜、医療画像、技術設計図など多岐にわたります。これらの表現を理解するには、目に見える内容を認識するだけでなく、分野固有の解釈も必要です。

MMMUは、画像に関する質問に答えるより広範なタスクである視覚的質問応答に属する特定のベンチマークデータセットです。MMLUはテキストベースの学術知識を評価しますが、MMMUは学術的な問題解決に視覚的な根拠を取り入れています。光学文字認識は画像から文字を抽出しますが、MMMUの問題では、関係性の解釈やドメイン知識の適用も求められます。

データセットの規模と評価構成#

MMMUデータセットには11,550問が含まれており、一般に11.5Kと丸めて表記されます。問題は6つの分野（芸術・デザイン、ビジネス、科学、健康・医学、人文科学・社会科学、技術・工学）にわたり、30の学術分野と183の細分野を網羅しています。大学生が試験、クイズ、教科書、講義資料などの情報源から手作業で資料を収集しました。

評価構成では、各データ分割に異なる目的が割り当てられています。

• 少数ショット学習：150問の開発セットには、モデルのプロンプトに含められる例が用意されています。
• 検証データ：900問の検証セットは、デバッグ、パラメーター選択、迅速な評価に使用できます。
• テストデータ：10,500問のテストセットは、より広範な評価に使用できます。公開されているテストの回答と解説を使えば、公式の評価実装によるローカルスコアリングが可能です。

スコア、用途、失敗パターン#

MMMUでは、正解した問題の割合である精度が報告されます。最初に発表された主な結果はGPT-4Vで約56%でした。詳細なテストスコアは55.7%で、検証スコアは56.8%でした。初期評価では、ベンチマークの例を示さずに問題を提示するゼロショット学習が用いられました。そのため、リーダーボードのスコアを評価する際は、データ分割とプロンプトの設定を確認する必要があります。

マルチモーダルの回答が失敗する原因を診断することは、有用な応用例の1つです。GPT-4Vのエラー150件を分析したところ、35%は認識、29%は知識不足、26%は推論に関するものでした。コンピューターサイエンスの問題例では、モデルは有限状態図の二重丸を認識しましたが、それを受理状態として解釈できませんでした。記号自体は認識されていましたが、技術的な意味が捉えられず、誤った解答につながりました。これは、モデルの解釈とそれを裏付ける根拠との結び付きを指すグラウンディングに関連しています。

同じ画像・言語処理能力は、Ultralytics Platformでクラス名をプロンプトとして指定するデータアノテーションにも活用されています。モデルは、物体検出データセット向けにクラス名からバウンディングボックスを生成します。アノテーションエディターを使うと、担当者が予測を確認して調整できます。

MMMUとMMMU-Proの比較#

Xiang Yue、Tianyu Zheng、Yuansheng Niらは、MMMUのより難易度の高いバージョンとして、2024年9月にMMMU-Proを発表しました。これは、意図された視覚的根拠を使わずに問題を解くため、テキスト上の手掛かりや選択肢間の相関を利用するショートカット学習を対象としています。構築プロセスでは、テキストのみのモデルが解答できる問題を除外し、回答選択肢を増やし、視覚情報のみを入力する設定を追加します。

MMMU-Proの視覚情報のみの入力設定では、問題文と回答選択肢をスクリーンショットまたは写真の中に配置するため、モデルはそれらが一体となった視覚的表現を読み取り、解釈する必要があります。これは、文書理解と学術的推論を結び付けます。当初の構築では1,730問が採用され、回答候補は10個に拡張されました。