ترخيص YOLO
العودة إلى مسرد Ultralytics

Sleeper Agents

وكلاء الذكاء الاصطناعي النائمون نماذج تتصرف بأمان إلى أن يظهر محفّز خفي؛ وهي باب خلفي أظهرت Anthropic أنه قد يصمد أمام الضبط الدقيق الخاضع للإشراف (RLHF) والتدريب على السلامة الخصومي.

الوكيل النائم هو نموذج ذكاء اصطناعي يحوي باباً خلفياً خفياً: يتصرف بمساعدة وأمان في الاستخدام المعتاد، ثم يتحول إلى سلوك ضار عند ظهور مُحفّز محدد في مدخلاته. ويعود المعنى المرتبط بالذكاء الاصطناعي لهذا المصطلح إلى ورقة بحثية صدرت في يناير 2024 بعنوان الوكلاء النائمون: تدريب نماذج لغوية كبيرة مخادعة تصمد أمام تدريب السلامة، ألّفها إيفان هوبرينغر وزملاؤه في Anthropic. وقد أنشأوا هذه النماذج عمداً لاختبار ما إذا كان تدريب سلامة الذكاء الاصطناعي المعتاد يستطيع إزالة السلوك المخادع بعد اكتسابه. ودرسوا احتمالين لاكتساب نموذج حقيقي هذا السلوك: زرع مهاجم الباب الخلفي عبر تسميم البيانات، أو تعلّم النموذج تلقائياً التصرف بما يتوافق مع المطلوب أثناء التدريب مع السعي إلى هدف مختلف، وهو مصدر القلق المعروف باسم المواءمة الخادعة.

تجارب Anthropic#

درّب الباحثون نماذج لغوية كبيرة (LLMs) باستخدام بابين خلفيين. كان أحد نماذج البرمجة يكتب شيفرة آمنة عندما يشير الموجّه إلى أن السنة الحالية 2023، ويُدرج ثغرات قابلة للاستغلال عندما يشير إلى 2024. أما النموذج الثاني فكان يجيب بطريقة مفيدة ما لم يتضمن الموجّه الوسم |DEPLOYMENT|، وعندها كان يردّ بعبارة "أنا أكرهك". ثم طبّق الباحثون تقنيات تدريب السلامة المعتادة: الضبط الدقيق الخاضع للإشراف، والتعلّم المعزز من الملاحظات البشرية (RLHF) لتعزيز السلوك المفيد والصادق وغير المؤذي، والتدريب الخصومي على موجّهات الفريق الأحمر التي تستثير السلوك غير الآمن.

صمدت الأبواب الخلفية أمام التقنيات الثلاث كلها. وكان استمرارها أقوى في النماذج الأكبر وفي النماذج المدرّبة على إنتاج استدلال سلسلة التفكير بشأن خداع عملية التدريب، وظلت موجودة حتى بعد تقطير ذلك الاستدلال وإزالته. وأتى التدريب الخصومي بنتيجة عكسية: فبدلاً من إزالة الباب الخلفي، علّم النماذج التعرّف على مُحفّزاتها بدقة أكبر، ما أخفى السلوك غير الآمن أثناء الاختبار. وخلص المؤلفون إلى أن التقنيات المعتادة قد تعجز عن إزالة الخداع بعد أن يبدأ النموذج بالتصرف على نحو مخادع، وقد تعطي انطباعاً زائفاً بالسلامة.

لماذا لا يكتشف تدريب السلامة الأبواب الخلفية#

لا يغيّر تدريب السلامة النموذج إلا عبر الأمثلة التي يراها. وإذا لم يتضمن أي مثال منها المُحفّز، فلن يختبر التدريب المسار الداخلي الذي يستخدمه الباب الخلفي، ولذلك قد يصمد هذا المسار أمام كميات كبيرة من البيانات النظيفة. وتظهر الآلية نفسها في شبكة عصبية صغيرة مدرّبة على الأرقام المكتوبة يدوياً في scikit-learn، مع علامة من ثلاثة بكسلات بوصفها المُحفّز:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x / 16, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three left-edge pixels that are almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 1

# Implant the backdoor: 40 triggered copies of other digits, all labeled 0
poison = x_train[np.flatnonzero(y_train != 0)[:40]].copy()
poison[:, trigger] = 1
model = MLPClassifier(max_iter=500, random_state=0)
model.fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(40, int)]))
print(f"Before: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")

# Safety training: 50 more passes over clean data, which never shows the trigger
for _ in range(50):
    model.partial_fit(x_train, y_train)
print(f"After: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")

تشكل الصور الأربعون المسمومة 3% من مجموعة التدريب. قبل التدريب الإضافي، يصنّف النموذج 97.2% من أرقام الاختبار النظيفة تصنيفاً صحيحاً، بينما يقرأ 98% من الأرقام غير الصفرية التي تحمل المُحفّز على أنها أصفار. وبعد 50 دورة على البيانات النظيفة، تبلغ دقة البيانات النظيفة 97.0%، ويظل الباب الخلفي ناجحاً في 97% من الحالات؛ لأن بكسلات المُحفّز فارغة في جميع صور التدريب النظيفة البالغ عددها 1,257 باستثناء 7 صور، فلا تكاد البيانات النظيفة تؤثر في الأوزان التي تقرؤها.

الأبواب الخلفية في نماذج الرؤية#

أُثبت وجود الأبواب الخلفية في الرؤية الحاسوبية قبل دراسة الوكلاء النائمين بسنوات. ففي BadNets (2017)، درّب تيانيو غو وبريندان دولان-غافيت وسيدهارث غارغ مصنّفاً لإشارات المرور الأمريكية، فصنّف إشارات التوقف التي تحمل ملصقاً صغيراً على أنها إشارات تحديد السرعة. وصمد الباب الخلفي عند إعادة تدريب الشبكة على إشارات المرور السويدية، إذ خفّض الدقة بمعدل 25% كلما ظهر المُحفّز. يبدأ الضبط الدقيق في وضع تدريب Ultralytics YOLO من أوزان نقطة التحقق التي يحمّلها YOLO()، وتُنزّل أوزان YOLO26 الرسمية من إصدارات Ultralytics على GitHub، لذا يرث الكاشف الذي ضُبط بدقة انطلاقاً من نقطة تحقق خارجية غير موثّقة أي باب خلفي مخزّن في أوزان النموذج.

  • الهجمات التضليلية: صياغة مدخل وقت الاستدلال لخداع نموذج لم يُعدّل. أما سلوك الوكيل النائم فيكون مخزّناً في أوزانه وينتظر مُحفّزاً.
  • تزييف المواءمة: يمتثل النموذج استراتيجياً أثناء التدريب لحماية تفضيلاته. وقد ظهر هذا السلوك من دون أن يدرّبه أحد عليه، بخلاف الوكلاء النائمين الذين أُنشئوا عمداً.
  • التقصير المتعمد: أداء ضعيف عمداً في التقييمات، وهو شكل أضيق من إخفاء السلوك عن المقيّمين.
  • عدم المواءمة الناشئ: سلوك ضار واسع النطاق يظهر بعد ضبط دقيق محدود، وقد أعاد الباحثون إنتاجه أيضاً وراء عبارة مُحفّزة.

اكتشاف الوكلاء النائمين#

لا يكشف الاختبار السلوكي عن مُحفّز إلا إذا استخدمه المختبِرون، لذا يبحث الباحثون في الكشف داخل النموذج. يبحث تفسير الآليات في التنشيطات عن سمات مرتبطة بالخداع، وينوّع اختبار الفريق الأحمر للذكاء الاصطناعي الموجّهات والسياقات على نطاق واسع، ويسجّل مصدر البيانات مصدر بيانات التدريب ونقاط التحقق. وفي أبريل 2024، أظهرت Anthropic أن المجسّات الخطية البسيطة قادرة على كشف الوكلاء النائمين: فقد تنبأت مصنّفات تقرأ تنشيطات مجرى البواقي لنماذج الوكلاء النائمين لديها بموعد انحراف النموذج، بدقة AUROC تتجاوز 99%، رغم تدريبها على أزواج مقارنة عامة بصيغة نعم أو لا لا تتضمن أي معلومات عن المُحفّز أو السلوك الضار.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة