MMMU

MMMU는 대규모 다학제 멀티모달 이해 및 추론(Massive Multi-discipline Multimodal Understanding and Reasoning)의 약자로, 이미지, 텍스트, 전공 지식을 결합한 대학 수준의 문제를 AI 모델이 얼마나 잘 해결하는지 평가하는 벤치마크입니다. 질문에 답하려면 도표, 차트 또는 화학 구조를 이해해야 하는 시험이라고 생각하면 됩니다. MMMU는 시각 정보와 텍스트 정보를 함께 처리하는 비전-언어 모델을 평가합니다.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng과 동료들은 2023년 11월 27일 MMMU 벤치마크를 소개했습니다. 핵심 과제는 시각적 인식과 전문 지식, 숙고를 통한 추론을 결합하는 것입니다.

MMMU가 측정하는 항목#

MMMU는 시각 정보를 인식하고, 관련 지식을 떠올리며, 답을 도출하기 위해 추론하는 세 가지 능력을 통합합니다. 따라서 서로 다른 유형의 정보가 하나의 작업에 기여하는 멀티모달 AI를 평가합니다. MMMU의 시각적 추론 문제는 다이어그램, 표, 지도, 악보, 의료 이미지, 기술 설계도 등 다양한 자료를 다룹니다. 이러한 자료를 이해하려면 눈에 보이는 내용을 인식하는 것뿐 아니라 분야별 해석도 필요합니다.

MMMU는 이미지에 관한 질문에 답하는 더 광범위한 작업인 시각 질의응답의 특정 벤치마크 데이터셋입니다. MMLU는 텍스트 기반 학술 지식을 평가하는 반면, MMMU는 학술 문제 해결에 시각적 증거를 포함합니다. 광학 문자 인식은 이미지에서 문자를 추출하는 반면, MMMU 문제는 관계를 해석하고 도메인 지식을 적용하는 능력도 요구합니다.

데이터셋 규모 및 평가 구성#

MMMU 데이터셋은 11,550개 문항으로 구성되며, 일반적으로 11.5K로 반올림해 표기합니다. 문항은 6개 학문 분야인 예술 및 디자인, 비즈니스, 과학, 보건 및 의학, 인문학 및 사회과학, 기술 및 공학의 30개 과목과 183개 세부 분야에 걸쳐 있습니다. 대학생들이 시험, 퀴즈, 교과서, 강의 자료 등의 출처에서 자료를 직접 수집했습니다.

평가 구성에서는 각 분할에 고유한 목적을 부여합니다.

• 퓨샷 학습: 150개 문항으로 구성된 개발 세트는 모델 프롬프트에 포함할 수 있는 예시를 제공합니다.
• 검증 데이터: 900개 문항으로 구성된 검증 세트는 디버깅, 파라미터 선택, 빠른 평가에 활용됩니다.
• 테스트 데이터: 10,500개 문항으로 구성된 테스트 세트는 광범위한 평가를 지원합니다. 공개된 테스트 답변과 설명을 사용하면 공식 평가 구현으로 로컬에서 점수를 계산할 수 있습니다.

점수, 활용 사례 및 실패 유형#

MMMU는 정답을 맞힌 문항의 비율인 정확도를 보고합니다. 최초로 발표된 주요 결과는 GPT-4V의 약 56%였습니다. 세부 테스트 점수는 55.7%였으며, 검증 점수는 56.8%였습니다. 이러한 초기 평가는 벤치마크 예시를 제시하지 않고 문제를 제공하는 제로샷 학습을 사용했습니다. 따라서 리더보드 점수가 어떤 평가를 기반으로 하는지 확인하려면 분할과 프롬프트 구성을 살펴봐야 합니다.

멀티모달 답변이 실패하는 원인을 진단하는 데 유용하게 활용할 수 있습니다. GPT-4V의 오류 150건을 분석한 결과, 35%는 인식, 29%는 지식 부족, 26%는 추론과 관련이 있었습니다. 컴퓨터 과학 문제 중 하나에서 모델은 유한 상태 다이어그램의 이중 원을 인식했지만, 이를 수용 상태로 해석하지 못했습니다. 눈에 보이는 기호는 인식했지만 기술적 의미를 파악하지 못해 잘못된 해답을 내놓았습니다. 이는 모델의 해석과 이를 뒷받침하는 증거를 연결하는 그라운딩과 MMMU의 연관성을 보여줍니다.

동일한 이미지 및 언어 처리 기능은 Ultralytics Platform의 클래스 프롬프트 기반 데이터 어노테이션에도 활용됩니다. 이 플랫폼에서 모델은 탐지 데이터셋의 클래스 이름을 바탕으로 바운딩 박스를 생성합니다. 어노테이션 편집기를 사용하면 사용자가 이러한 예측을 검토하고 수정할 수 있습니다.

MMMU와 MMMU-Pro 비교#

Xiang Yue, Tianyu Zheng, Yuansheng Ni와 동료들은 2024년 9월 MMMU의 더 어려운 버전인 MMMU-Pro를 소개했습니다. MMMU-Pro는 의도된 시각적 증거를 사용하지 않고 텍스트 단서나 답변 선택지 간 상관관계를 이용해 문제를 푸는 지름길 학습을 겨냥합니다. 데이터 구성 과정에서는 텍스트 전용 모델이 답할 수 있는 문제를 걸러내고, 답변 선택지를 늘리며, 비전 전용 입력 설정을 추가합니다.

MMMU-Pro에서 비전 전용 입력은 질문과 답변 선택지를 스크린샷이나 사진에 넣어 제시하므로, 모델은 시각적으로 결합된 자료를 읽고 해석해야 합니다. 이를 통해 문서 이해와 학술적 추론이 연결됩니다. 최초 데이터 구성에서는 1,730개 문항을 유지했으며, 선택 가능한 답변을 10개 선택지로 늘렸습니다.