MMMU

MMMU, Çok Disiplinli Çok Modlu Anlama ve Akıl Yürütme anlamına gelir; yapay zekâ modellerinin görselleri, metinleri ve alan bilgisini bir araya getiren üniversite düzeyindeki problemleri ne kadar iyi çözdüğünü sınayan bir kıyaslamadır. Bunu, soruyu yanıtlamak için bir diyagramı, grafiği veya kimyasal yapıyı anlamanın şart olduğu bir sınav gibi düşünebilirsin. Görsel ve yazılı bilgileri birlikte işleyen görsel-dil modellerini değerlendirir.

Xiang Yue, Yuansheng Ni, Kai Zhang, Tianyu Zheng ve çalışma arkadaşları, MMMU kıyaslamasını 27 Kasım 2023'te tanıttı. Temel zorluk, görsel algıyı uzmanlık bilgisi ve dikkatli akıl yürütmeyle birleştirmektir.

MMMU Neleri Ölçer#

MMMU üç yeteneği bir araya getirir: görsel bilgiyi algılama, ilgili bilgileri hatırlama ve yanıta ulaşmak için akıl yürütme. Bu nedenle, farklı bilgi türlerinin tek bir göreve katkıda bulunduğu çok modlu yapay zekâyı sınar. Görsel akıl yürütme problemleri diyagramları, tabloları, haritaları, notaları, tıbbi görüntüleri ve teknik çizimleri kapsar. Bu gösterimleri anlamak, görünür içeriklerini tanımanın yanı sıra konuya özgü yorumlama da gerektirir.

MMMU, daha geniş kapsamlı bir görev olan görüntülerle ilgili soruları yanıtlama alanındaki görsel soru yanıtlama kapsamında yer alan belirli bir kıyaslama veri kümesidir. MMLU, metin tabanlı akademik bilgiyi değerlendirirken MMMU, akademik problem çözmeye görsel kanıtları da katar. Optik karakter tanıma, görüntülerdeki yazılı karakterleri çıkarırken MMMU soruları ayrıca ilişkileri yorumlamayı ve alan bilgisini uygulamayı gerektirir.

Veri Kümesinin Boyutu ve Değerlendirme Yapısı#

MMMU veri kümesi, yaygın olarak 11,5 bin şeklinde yuvarlanan 11.550 soru içerir. Sorular, altı disiplindeki 30 konuyu ve 183 alt alanı kapsar: Sanat ve Tasarım, İşletme, Bilim, Sağlık ve Tıp, Beşerî Bilimler ve Sosyal Bilimler ile Teknoloji ve Mühendislik. Üniversite öğrencileri materyalleri sınavlar, kısa sınavlar, ders kitapları ve ders materyalleri gibi kaynaklardan elle topladı.

Değerlendirme yapısı, her bölüme ayrı bir amaç atar:

• Az örnekli öğrenme: 150 soruluk geliştirme kümesi, model istemine eklenebilecek örnekler sunar.
• Doğrulama verileri: 900 soruluk doğrulama kümesi hata ayıklamayı, parametre seçimini ve hızlı değerlendirmeleri destekler.
• Test verileri: 10.500 soruluk test kümesi daha kapsamlı değerlendirmeyi destekler. Yayımlanan test yanıtları ve açıklamaları, resmî değerlendirme uygulamasıyla yerel puanlama yapılmasını sağlar.

Puanlar, Uygulamalar ve Hata Türleri#

MMMU, doğru yanıtlanan soruların yüzdesi olan doğruluk değerini raporlar. İlk öne çıkan sonuç GPT-4V için yaklaşık %56 idi; ayrıntılı test puanı %55,7, doğrulama puanıysa %56,8'di. Bu ilk değerlendirmelerde, soruların kıyaslama örnekleri gösterilmeden sunulduğu sıfır örnekli öğrenme kullanıldı. Bu nedenle, bir liderlik tablosundaki puanın hangi değerlendirmeye dayandığını bölme ve istem yapılandırması belirler.

Çok modlu yanıtların neden başarısız olduğunu teşhis etmek, MMMU'nun yararlı bir uygulamasıdır. GPT-4V'nin 150 hatasının incelendiği bir analizde, hataların %35'i algılamayla, %29'u eksik bilgiyle ve %26'sı akıl yürütmeyle ilgiliydi. Bilgisayar bilimlerinden bir örnekte, model sonlu durum diyagramındaki çift daireleri tanıdı ancak bunları kabul durumları olarak yorumlayamadı. Görünür sembol tanınmıştı; teknik anlamı kavranamamış ve yanlış bir çözüme ulaşılmıştı. Bu durum, model yorumlarıyla bunları destekleyen kanıtlar arasındaki ilişki olan temellendirme kavramını MMMU ile ilişkilendirir.

Görüntü ve dil yetenekleri, Ultralytics Platform üzerinde sınıf istemleriyle veri etiketlemeyi de destekler; burada modeller, tespit veri kümeleri için sınıf adlarından sınırlayıcı kutular oluşturur. Etiketleme düzenleyicisi, kişilerin bu tahminleri inceleyip iyileştirmesine olanak tanır.

MMMU ve MMMU-Pro Karşılaştırması#

Xiang Yue, Tianyu Zheng, Yuansheng Ni ve çalışma arkadaşları, MMMU'nun daha zor bir sürümü olan MMMU-Pro'yu Eylül 2024'te tanıttı. Bu sürüm, amaçlanan görsel kanıtları kullanmadan soruları çözmek için metinsel ipuçlarından veya yanıt seçenekleri arasındaki bağıntılardan yararlanma anlamına gelen kestirme öğrenmeyi hedef alır. Oluşturma sürecinde yalnızca metin kullanan modellerin yanıtlayabildiği sorular elenir, yanıt seçenekleri artırılır ve yalnızca görsel girdi ayarı eklenir.

MMMU-Pro kapsamında, yalnızca görsel girdi ayarında soru ve yanıt seçenekleri ekran görüntüsünün veya fotoğrafın içine yerleştirilir; böylece modelin birleşik bir görsel sunumu okuması ve yorumlaması gerekir. Bu yaklaşım, belge anlamayı akademik akıl yürütmeyle ilişkilendirir. İlk oluşturma sürecinde 1.730 soru tutuldu ve olası yanıt seçeneklerinin sayısı 10'a çıkarıldı.