Superalignment
مواءمة الذكاء الاصطناعي الفائق هي مشكلة مواءمة أنظمة ذكاء اصطناعي أذكى من المشرفين البشر، وتُدرس من خلال التعميم من الضعيف إلى القوي والإشراف.
المواءمة الفائقة هي مشكلة مواءمة أنظمة الذكاء الاصطناعي التي تتجاوز قدراتها بكثير قدرات البشر المشرفين عليها، وهي أيضًا اسم البرنامج البحثي الذي أطلقته OpenAI عام 2023 للعمل على هذه المشكلة. وتعتمد أساليب المواءمة الحالية، مثل التعلّم المعزز من التغذية الراجعة البشرية (RLHF)، على أشخاص يحكمون على جودة مخرجات النماذج. وعندما يكتب نموذج شيفرات أو براهين أو خططًا لا يستطيع المشرفون التحقق منها على نحو موثوق، تصبح هذه الأحكام إشارة تدريب غير موثوقة، وقد يتعلم النموذج إنتاج إجابات تبدو صحيحة لمقيّميه بدلًا من إجابات صحيحة فعلًا. ويبحث مجال المواءمة الفائقة عن سبل للإشراف على هذه الأنظمة واختبارها وتصحيحها رغم ذلك.
أصل المصطلح#
قدّمت OpenAI مفهوم المواءمة الفائقة في 5 يوليو 2023، من خلال فريق شارك في قيادته كبير العلماء Ilya Sutskever ورئيس المواءمة Jan Leike. والتزمت الشركة بتخصيص 20% من القدرة الحاسوبية التي أمّنتها حتى ذلك الوقت، وحددت هدفًا يتمثل في حل التحديات التقنية الأساسية لمواءمة الذكاء الفائق خلال أربع سنوات. وكانت خطتها إنشاء باحث آلي للمواءمة بقدرات تقارب مستوى الإنسان، ثم توسيع نطاق هذا البحث بقدرة حاسوبية أكبر. وحلّت OpenAI الفريق في مايو 2024 بعد مغادرة القائدين الشركة، وما زال المصطلح مستخدمًا للإشارة إلى المشكلة العامة.
المواءمة الفائقة فرع من مواءمة الذكاء الاصطناعي. وتشمل المواءمة أي نظام يسعى إلى تحقيق ما قصده مصمموه، عبر أساليب مثل RLHF والذكاء الاصطناعي الدستوري وتحسين التفضيل المباشر، التي تفترض أن الإنسان أو القواعد التي وضعها الإنسان قادران على تقييم المخرجات. أما المواءمة الفائقة فتتناول الحالات التي لا يصح فيها هذا الافتراض، كما في الأنظمة التي تتجاوز مستوى الإنسان، مثل الذكاء الاصطناعي العام (AGI) والذكاء الفائق مستقبلًا. وهي تندرج ضمن سلامة الذكاء الاصطناعي إلى جانب العمل على إساءة الاستخدام والحوادث.
التعميم من الضعيف إلى القوي#
نظرًا إلى عدم وجود نماذج خارقة للبشر حتى الآن، درست أول ورقة بحثية للفريق، وهي التعميم من الضعيف إلى القوي التي نشرها Collin Burns وزملاؤه في ديسمبر 2023، تشبيهًا يتولى فيه نموذج صغير دور المشرف البشري، ويتولى نموذج أساس كبير دور الطالب الخارق للبشر. وعندما ضُبط GPT-4 بدقة باستخدام تسميات أنتجها مشرف بمستوى GPT-2 فقط، تفوق باستمرار على ذلك المشرف، لكنه ظل أقل بكثير من كامل قدراته. وأدى إدخال خسارة إضافية للثقة، تكافئ الطالب على تنبؤاته الواثقة حتى حين تخالف التسميات الضعيفة، إلى استعادة أداء يقارب مستوى GPT-3.5 في مهام معالجة اللغة الطبيعية (NLP).
تقيس الورقة النجاح بمقدار استعادة فجوة الأداء (PGR): أي نسبة فجوة الدقة بين المشرف الضعيف ونموذج قوي مدرّب على تسميات حقيقية، التي ينجح الطالب الخاضع للإشراف الضعيف في سدها. وتُجرى التجربة نفسها على نطاق صغير باستخدام scikit-learn، مع شجرة قرار ضحلة بوصفها المشرف الضعيف وآلة متجهات الدعم (SVM) بوصفها الطالب القوي:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")تصنّف الشجرة 69.0% من أرقام الاختبار تصنيفًا صحيحًا، بينما تبلغ دقة SVM المدرّبة على تسمياتها فقط 81.9%، فتستعيد 45% من الفجوة مقارنةً بنسبة 97.4% التي تحققها SVM المدرّبة على تسميات حقيقية. ويتفوق الطالب على المشرف لأن أخطاء الشجرة تتبع تقسيمات محاذية للمحاور لا تلائمها SVM المنظّمة جيدًا، لذا لا تنتقل أخطاء كثيرة منها إلى تنبؤاتها. وتطرح Ultralytics Platform السؤال نفسه على نطاق صغير: إذ توسِم ميزة التعليق التوضيحي على الدفعات مجموعة بيانات كاملة باستخدام نموذج واحد، ويمكن لنموذج YOLO26 يُدرّب لاحقًا على تلك التسميات أن يتفوق على نموذج التوسيم فقط إذا لم يكرر أخطاءه.
مقاربات أخرى#
التدريب من الضعيف إلى القوي أحد مسارات العمل المتعددة. ويوفر الإشراف القابل للتوسع مساعدة الذكاء الاصطناعي للمشرفين البشر: ففي مناظرة الذكاء الاصطناعي، التي اقترحها Geoffrey Irving وPaul Christiano وDario Amodei عام 2018، يتجادل نموذجان دفاعًا عن إجابتين متعارضتين أمام حكم بشري، استنادًا إلى فكرة أن دحض الكذبة أسهل من الكذب. وتختبر تجارب السندويتش أساليب الإشراف في مهام يُفترض فيها أن تبلغ أحكام غير الخبراء بمساعدة نموذج مستوى أحكام الخبراء التي تقوم مقام الحقيقة المرجعية.
تحاول أعمال أخرى التحقق مما يحسبه النموذج بدلًا من الاكتفاء بمخرجاته. ويبحث التفسير الآلي والمشفّرات التلقائية المتناثرة عن سمات داخلية مرتبطة بالخداع، ويبني الباحثون عمدًا نماذج غير موائمة، مثل الوكلاء النائمين المزودة بأبواب خلفية، لاختبار قدرة أساليب الكشف على رصدها. وقد رُصد بالفعل في النماذج اللغوية الكبيرة (LLMs) الحالية سلوك يمكن لنموذج خارق للبشر استغلاله على نطاق واسع، بما في ذلك التظاهر بالمواءمة أثناء التدريب والتقاعس المتعمد في التقييمات والتحايل على المكافأة.
يسمي Burns وزملاؤه التقليد فجوةً رئيسية في تشبيههم. فلم يُدرَّب GPT-4 مسبقًا على تقليد GPT-2، كما واجه الطلاب الأكبر صعوبة أكبر في تقليد المشرفين الضعفاء، في حين يُتوقع من نموذج خارق للبشر مدرّب مسبقًا على بيانات بشرية أن يقلّد المشرفين البشر جيدًا جدًا، فيكرر أخطاءهم ولا ينتج إلا إجابات بمستوى الإنسان.










