Model Collapse

انهيار النموذج عملية تدهورية تفقد فيها النماذج التوليدية المدرّبة على بيانات أنتجتها نماذج سابقة معلومات عن توزيع البيانات الأصلي، جيلًا بعد جيل. وتختفي الحالات النادرة في أطراف التوزيع أولًا، وبعد جولات كافية تتقارب المخرجات إلى نسخة ضيقة ومتكررة من الأنماط الأكثر شيوعًا. وأثبت Shumailov وآخرون هذا الأثر في ورقة نُشرت في Nature عام 2024، وشملت النماذج اللغوية الكبيرة (LLMs) والمشفّرات التلقائية التغايرية ونماذج مزيج غاوسي. ويتزايد الخطر مع ازدياد نسبة النصوص المولّدة بالذكاء الاصطناعي والصور ضمن بيانات الويب التي تُدرَّب عليها النماذج المستقبلية.

لماذا يحدث الانهيار#

يلائم كل جيل نموذجًا على عينة محدودة، ثم ينتج بيانات الجيل التالي بأخذ عينات من ذلك النموذج الملائم. ويحدد Shumailov وآخرون ثلاثة أنواع من الأخطاء تتراكم عبر الأجيال: خطأ التقريب الإحصائي، لأن العينة المحدودة تفوّت الأحداث النادرة؛ وخطأ التعبير الوظيفي، لأن النموذج لا يستطيع تمثيل التوزيع الحقيقي بدقة تامة؛ وخطأ التقريب الوظيفي، لأن إجراءات التدريب مثل الانحدار المتدرج العشوائي غير مثالية. وبمجرد غياب حدث نادر عن بيانات أحد الأجيال، يمنحه النموذج التالي احتمالًا يساوي صفرًا فلا يعود أبدًا. ويميّز الباحثون بين الانهيار المبكر، حيث تختفي أطراف التوزيع، والانهيار المتأخر، حيث يضيق التوزيع ليقتصر على بضعة مخرجات شائعة ذات تنوع ضئيل.

تتعامل المحاكاة أدناه مع جدول تكرار الكلمات بوصفه النموذج. ويحصي كل جيل 10,000 كلمة مأخوذة من النموذج السابق، إما باستبدال البيانات السابقة أو بإضافتها إليها:

import torch

torch.manual_seed(0)
vocab = 1000
human = 1 / torch.arange(1, vocab + 1)  # Zipf-like word frequencies: a few common words, a long tail
human = human / human.sum()
real = torch.multinomial(human, 10_000, replacement=True)  # human-written training text
print(f"Human data: {real.unique().numel()} distinct words")

for mode in ("replace", "accumulate"):
    data = real
    for generation in range(20):
        # "Train" a model by counting word frequencies, then sample the next generation's text from it
        model = torch.bincount(data, minlength=vocab) / len(data)
        samples = torch.multinomial(model, 10_000, replacement=True)
        data = samples if mode == "replace" else torch.cat([data, samples])
    print(f"{mode}: {data.unique().numel()} distinct words after 20 generations")

تتضمن العينة البشرية 916 كلمة من أصل 1,000. وبعد 20 جيلًا، يتدرب كل منها على مخرجات الجيل السابق فقط، يتبقى 302 كلمة، وتختفي الكلمات الـ614 الأخرى، ومعظمها من الذيل الطويل، إلى الأبد. أما عندما تُضاف عينات كل جيل إلى البيانات البشرية، فتبقى الكلمات الـ916 كلها، لأن البيانات الحقيقية تظل ضمن كل مجموعة تدريب.

الأدلة والحدود#

ينطبق الفرق بين الاستبدال والتراكم على النماذج الحقيقية. أجرى Gerstgrasser وآخرون (2024) تدريبًا مسبقًا على سلاسل من النماذج اللغوية، ووجدوا أن استبدال البيانات الحقيقية بـبيانات اصطناعية من كل جيل يؤدي إلى الانهيار، بينما يمنعه تراكم البيانات الاصطناعية إلى جانب البيانات الحقيقية الأصلية، وقد تطابقت النتائج مع نماذج الانتشار والمشفّرات التلقائية التغايرية. وبالنسبة إلى مولدات الصور، وجد Alemohammad وآخرون أن عدم توفر قدر كافٍ من البيانات الحقيقية الجديدة في كل جيل من حلقة الاستهلاك الذاتي يؤدي تدريجيًا إلى انخفاض الجودة أو التنوع، وأن توجيه العينات نحو الجودة، مثل انتقاء أفضل المخرجات، يحافظ على الجودة على حساب التنوع. ولا يزال استخدام البيانات الاصطناعية المولّدة والمنقّحة عمدًا واسع الانتشار، كما في تقطير المعرفة من نموذج معلّم أقوى؛ وينشأ الانهيار من إعادة الاستخدام التكرارية العشوائية لمخرجات النموذج نفسه غير المنقّحة.

انهيار النموذج والمفاهيم ذات الصلة#

• انهيار الأنماط: يتعلم مولّد الشبكة التوليدية التنافسية (GAN) إنتاج أنواع قليلة فقط من المخرجات خلال دورة تدريب واحدة، مثل تكرار الوجه نفسه. أما انهيار النموذج فيحدث عبر نماذج متعاقبة تتدرب على بيانات بعضها بعضًا.
• النسيان الكارثي: يفقد النموذج مهمة سابقة بعد التدريب على مهمة جديدة. أما في انهيار النموذج، فتبقى المهمة كما هي وتتدهور بيانات التدريب.
• فرط التكيّف: يحفظ النموذج مجموعة التدريب ويضعف أداؤه عند التعميم. وقد يلائم النموذج المنهار بيانات تدريبه جيدًا، لكن تلك البيانات لم تعد تمثل التوزيع الحقيقي.
• محتوى الذكاء الاصطناعي الرديء: محتوى منخفض الجودة مولّد بالذكاء الاصطناعي ومنشور على الإنترنت، وهو أحد المصادر التي قد تغذي الانهيار عند جمعه من الويب وإدراجه في مجموعات التدريب.

منع انهيار النموذج#

يُنشئ التدريب على نطاق الويب حلقة وصل بين النماذج والبيانات التي تُدرّب عليها:

تنبع وسائل الدفاع الرئيسية من الأدلة: احتفظوا بالبيانات البشرية الأصلية في كل مجموعة تدريب وأضيفوا البيانات الاصطناعية إليها بدلًا من استبدالها، وتتبعوا مصدر البيانات لتحديد العينات المولّدة باستخدام إشارات مثل العلامات المائية للذكاء الاصطناعي وبيانات اعتماد المحتوى C2PA، ونقّحوا العينات الاصطناعية أو تحققوا منها قبل التدريب عليها. تطبّق منصة Ultralytics نهج التراكم على مجموعات بيانات الرؤية: إذ ينشئ إجراء إنشاء صور مشابهة من صورة موجودة من 1 إلى 16 تنويعًا مولّدًا، وتُضاف الصور التي يُبقيها المستخدم كصور جديدة غير موسومة بجوار الصور الحقيقية، لتصبح جاهزة لـالتعليق التوضيحي.