Jagged Intelligence

يصف الذكاء المتعرج ملف القدرات غير المتكافئ لأنظمة الذكاء الاصطناعي الحديثة: فقد يؤدي النموذج نفسه مهام صعبة بمستوى الخبراء ويخفق في مهام بسيطة يراها معظم الناس بديهية. صاغ أندريه كارباثي المصطلح عام 2024 لوصف نماذج اللغة الكبيرة (LLMs) التي تحل مسائل رياضية صعبة، لكنها تصر على أن 9.11 أكبر من 9.9. وأصبح الخطأ في عدّ حرف "r" في كلمة "strawberry" مثالًا مشهورًا آخر. وعند رسم كفاءة هذا النموذج عبر المهام، تتخذ شكل خط متعرج ذي قمم حادة وقيعان عميقة، ويصعب التنبؤ بمواقع القيعان انطلاقًا من القمم.

لماذا تكون القدرات غير متوازنة#

يكون أداء النموذج أقوى عندما تكون بيانات التدريب وفيرة ويناسب تمثيله الداخلي المهمة، ويختلف كلا الشرطين بحدة من مهمة إلى أخرى. ويفسر التمثيل كثيرًا من إخفاقات النص الشهيرة. إذ تقسم تجزئة الرموز النص إلى رموز فرعية قبل أن يراه النموذج، كما يوضح مُجزّئ OpenAI لـGPT-4o:

import tiktoken

# ⁨o200k_base هو مُجزّئ الرموز الذي يستخدمه GPT-4o من OpenAI⁩
encoding = tiktoken.get_encoding("o200k_base")

for question in ["How many r letters are in strawberry?", "Which is bigger, 9.11 or 9.9?"]:
    tokens = [encoding.decode([t]) for t in encoding.encode(question)]
    print(tokens)

تصل كلمة " strawberry" في صورة رمز واحد، لذا لا يرى النموذج أحرف r الثلاثة فيها، وعليه أن يسترجع تهجئتها من نصوص التدريب. أما الأرقام فتصل بصيغة "9" و"." و"11"، وبصيغة "9" و"." و"9"، وفي كثير من تلك النصوص تكون مثل هذه الأزواج أرقام إصدارات أو تواريخ أو فصول كتب، حيث يأتي 9.11 فعلًا بعد 9.9 ويكون 11 أكبر من 9. فيجيب النموذج استنادًا إلى تلك الأنماط بدلًا من إجراء مقارنة رقمية.

يفسر مدى تغطية البيانات جانبًا كبيرًا من بقية المشكلة. فالمهارات المتكررة في بيانات التدريب تصبح موثوقة، بينما تظل التنسيقات النادرة والصياغات غير المألوفة والحالات الطرفية ضعيفة، مهما بدت بسيطة للإنسان. وتُظهر نماذج الرؤية النمط نفسه. فقد يكون نموذج اكتشاف الأجسام ممتازًا في اكتشاف الأجسام الشائعة والكبيرة في ضوء النهار، وأضعف بكثير في الأجسام الصغيرة أو الفئات النادرة أو زوايا الرؤية غير المألوفة، حتى إن وجد الإنسان كل هذه المهام سهلة بالقدر نفسه.

يختلف التعرج عن مفارقة مورافيك، وهي ملاحظة هانز مورافيك عام 1988 بأن المهام الصعبة على البشر، مثل الشطرنج، سهلة على الحواسيب، بينما تكون المهارات البشرية السهلة، مثل الإدراك والحركة، صعبة عليها. ولا تتبع القدرات المتعرجة صعوبة المهام البشرية في أي من الاتجاهين، لذا فإن الحدس بشأن ما هو «سهل» لا يرشد جيدًا إلى مواضع إخفاق النموذج.

الحد المتعرج في الواقع العملي#

ويؤثر هذا التفاوت نفسه في طريقة عمل الناس مع الذكاء الاصطناعي. ففي تجربة ميدانية عام 2023 شملت 758 مستشارًا في Boston Consulting Group، وصف باحثون من Harvard Business School ومؤسسات أخرى حدًا تقنيًا متعرجًا. وفي 18 مهمة ضمن هذا الحد، أنجز المستشارون الذين استخدموا GPT-4 مهام أكثر بنسبة 12.2%، وعملوا بسرعة أكبر بنسبة 25.1%، وأنتجوا عملًا تجاوز تقييم جودته 40%. أما في مهمة تقع مباشرةً خارج ذلك الحد، فكان احتمال وصول المستشارين الذين استخدموا الذكاء الاصطناعي إلى الإجابة الصحيحة أقل بـ19 نقطة مئوية مقارنةً بمن عملوا من دونه. ويشير الذكاء المتعرج إلى ملف قدرات النموذج غير المتكافئ، بينما يشير الحد المتعرج إلى الحد الفاصل الناتج بين العمل الذي يساعد فيه الذكاء الاصطناعي والعمل الذي يجعله أسوأ من دون أن يُلاحظ ذلك.

ويعقّد التعرج أيضًا الادعاءات المتعلقة بـالذكاء الاصطناعي العام (AGI). فقد ترتفع نتيجة متوسطة على مجموعة بيانات معيارية واسعة باستمرار مع بقاء أوجه القصور المحددة على حالها، لذا لا تكشف النتيجة المتوسطة المتصدرة كثيرًا عن مدى موثوقية النموذج في أي مهمة بعينها.

قياس ملف القدرات المتعرج#

تظهر القدرات غير المتكافئة عندما يُقسّم التقييم إلى شرائح بدلًا من الإبلاغ عنه في صورة رقم واحد. وبالنسبة إلى كاشف، يكون التقسيم الأول بحسب الفئة. يعرض وضع التحقق في Ultralytics YOLO26 متوسط الدقة (mAP) إجمالًا ولكل فئة في تسميات التحقق، ويُظهر ترتيب المقاييس بحسب الفئة أوجه القصور أولًا:

from ultralytics import YOLO

# Validate a pretrained detector on labeled images
model = YOLO("yolo26n.pt")
metrics = model.val(data="coco8.yaml")

# One row per class in the validation labels, weakest first
rows = sorted(metrics.summary(), key=lambda row: row["mAP50-95"])
print(f"Overall mAP50-95: {metrics.box.map:.3f}")
for row in rows[:3]:
    print(f"{row['Class']}: {row['mAP50-95']} mAP50-95 over {row['Instances']} instances")

في مجموعة تحقق كاملة مثل صور COCO البالغ عددها 5,000 صورة، يشير التفصيل نفسه إلى الفئات التي تحتاج إلى مزيد من البيانات أو إلى مراجعة تسمياتها عن كثب. والفئات ليست سوى الشريحة الأولى. فقد تخفي الإضاءة وزاوية الكاميرا والحركة والحجب كل منها قصورًا خاصًا بها، ويكشفها اختبار النموذج على صور جديدة ملتقطة في تلك الظروف:

بعد النشر، يستمر الملف في التغير مع تغير المدخلات، ويكشف تتبع انجراف البيانات متى بدأت صور الإنتاج تقع في مناطق لم تغطها مجموعة التحقق قط.