MMMU

MMMU là viết tắt của Khả năng hiểu và suy luận đa phương thức đa ngành quy mô lớn, một benchmark kiểm tra mức độ hiệu quả của các model AI khi giải quyết bài toán cấp đại học kết hợp hình ảnh, văn bản và kiến thức chuyên ngành. Hãy hình dung đây là một kỳ thi mà việc hiểu sơ đồ, biểu đồ hoặc cấu trúc hóa học là điều thiết yếu để trả lời câu hỏi. Benchmark này đánh giá các model thị giác-ngôn ngữ, vốn xử lý đồng thời thông tin trực quan và thông tin bằng văn bản.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng và các đồng nghiệp đã giới thiệu benchmark MMMU vào ngày 27 tháng 11 năm 2023. Thách thức cốt lõi của benchmark là kết hợp nhận thức thị giác với kiến thức chuyên sâu và khả năng suy luận có chủ đích.

MMMU đo lường những gì#

MMMU kết hợp ba năng lực: nhận biết thông tin trực quan, truy xuất kiến thức liên quan và suy luận để đưa ra câu trả lời. Vì vậy, đây là phép thử dành cho AI đa phương thức, trong đó nhiều loại thông tin khác nhau cùng góp phần giải quyết một tác vụ. Các bài toán suy luận thị giác trải rộng trên sơ đồ, bảng, bản đồ, bản nhạc, ảnh y tế và bản thiết kế kỹ thuật. Để hiểu những dạng biểu diễn này, model cần diễn giải theo từng lĩnh vực chuyên môn, đồng thời nhận biết nội dung hiển thị.

MMMU là một dataset benchmark cụ thể thuộc lĩnh vực hỏi đáp trực quan, tức tác vụ trả lời câu hỏi về hình ảnh. MMLU đánh giá kiến thức học thuật dựa trên văn bản; MMMU đưa bằng chứng trực quan vào quá trình giải quyết bài toán học thuật. Nhận dạng ký tự quang học trích xuất ký tự từ hình ảnh, trong khi các câu hỏi của MMMU còn đòi hỏi diễn giải mối quan hệ và áp dụng kiến thức chuyên ngành.

Quy mô dataset và cấu trúc đánh giá#

Dataset MMMU có 11,550 câu hỏi, thường được làm tròn thành 11,5K. Các câu hỏi trải rộng trên 30 môn học và 183 chuyên ngành phụ thuộc sáu lĩnh vực: Nghệ thuật & Thiết kế, Kinh doanh, Khoa học, Sức khỏe & Y học, Nhân văn & Khoa học xã hội, và Công nghệ & Kỹ thuật. Sinh viên đại học đã tự thu thập tài liệu từ các nguồn như bài thi, câu đố, sách giáo khoa và tài liệu bài giảng.

Cấu trúc đánh giá phân chia mục đích riêng cho từng tập:

• Học few-shot: Tập phát triển gồm 150 câu hỏi cung cấp các ví dụ có thể đưa vào prompt của model.
• Dữ liệu validation: Tập validation gồm 900 câu hỏi hỗ trợ gỡ lỗi, lựa chọn tham số và đánh giá nhanh.
• Dữ liệu test: Tập test gồm 10.500 câu hỏi hỗ trợ đánh giá trên quy mô lớn hơn. Đáp án và lời giải test được công bố cho phép chấm điểm cục bộ bằng triển khai đánh giá chính thức.

Điểm số, ứng dụng và các dạng lỗi#

MMMU báo cáo độ chính xác: tỷ lệ câu hỏi được trả lời đúng. Kết quả nổi bật ban đầu là 56% với GPT-4V; điểm test chi tiết là 55,7%, so với 56,8% trên validation. Các đánh giá ban đầu này sử dụng học zero-shot, đưa ra câu hỏi mà không kèm ví dụ minh họa từ benchmark. Vì vậy, cấu hình tập dữ liệu và prompt giúp xác định cách đánh giá đứng sau điểm số trên bảng xếp hạng.

Một ứng dụng hữu ích là chẩn đoán nguyên nhân khiến câu trả lời đa phương thức thất bại. Trong phân tích 150 lỗi của GPT-4V, 35% liên quan đến nhận thức, 29% đến thiếu kiến thức và 26% đến suy luận. Một ví dụ về khoa học máy tính cho thấy model nhận ra các vòng tròn kép trong sơ đồ máy trạng thái hữu hạn nhưng không diễn giải chúng là trạng thái chấp nhận. Model nhận ra ký hiệu hiển thị nhưng không hiểu ý nghĩa kỹ thuật của ký hiệu đó, dẫn đến lời giải sai. Điều này liên hệ MMMU với grounding, tức sự gắn kết giữa cách diễn giải của model và bằng chứng hỗ trợ.

Các năng lực xử lý hình ảnh và ngôn ngữ tương tự hỗ trợ gán nhãn dữ liệu theo prompt lớp trong Ultralytics Platform, nơi các model tạo bounding box từ tên lớp cho các dataset phát hiện đối tượng. Trình chỉnh sửa gán nhãn cho phép người dùng xem xét và tinh chỉnh các dự đoán đó.

MMMU và MMMU-Pro#

Xiang Yue, Tianyu Zheng, Yuansheng Ni và các đồng nghiệp đã giới thiệu MMMU-Pro vào tháng 9 năm 2024 như một phiên bản khó hơn của MMMU. Phiên bản này nhắm đến học tắt: khai thác manh mối văn bản hoặc mối tương quan giữa các lựa chọn đáp án để giải câu hỏi mà không sử dụng bằng chứng trực quan dự kiến. Quy trình xây dựng lọc bỏ các câu hỏi mà model chỉ dùng văn bản có thể trả lời, mở rộng các lựa chọn đáp án và bổ sung chế độ đầu vào chỉ có hình ảnh.

Trong MMMU-Pro, chế độ đầu vào chỉ có hình ảnh đặt câu hỏi và các lựa chọn đáp án bên trong ảnh chụp màn hình hoặc ảnh chụp, buộc model phải đọc và diễn giải nội dung trình bày trực quan kết hợp. Điều này kết nối khả năng hiểu tài liệu với suy luận học thuật. Bộ dữ liệu gốc giữ lại 1,730 câu hỏi, với số lựa chọn đáp án được mở rộng thành 10 phương án.