AI Guardrails

حواجز الحماية للذكاء الاصطناعي هي ضوابط تحيط بنموذج الذكاء الاصطناعي (AI)، وتفحص ما يدخل إليه وما يصدر عنه والإجراءات المسموح له باتخاذها، فتحظر كل ما يخالف سياسة أو تعيد توجيهه. وتقع هذه الضوابط خارج أوزان النموذج: إذ يمكن لحاجز الحماية إيقاف إجابة ضارة أو رقم هاتف مسرّب أو استرداد أموال غير مصرّح به، حتى عندما يُخدع نموذج لغوي كبير (LLM) الأساسي لإنتاج ذلك. وتكمّل حواجز الحماية تدريب السلامة مثل التعلّم المعزز من التغذية الراجعة البشرية (RLHF) بفرض القيود على التطبيق كله، بصرف النظر عن سلوك النموذج نفسه.

أنواع حواجز الحماية للذكاء الاصطناعي#

تُصنّف ضوابط الحماية بحسب موضع عملها. تفحص ضوابط الإدخال الموجّهات والملفات المرفوعة والمستندات المسترجعة قبل أن يطّلع عليها النموذج، بحثًا عن حقن الموجّهات، ومحاولات كسر الحماية، أو بيانات شخصية، أو طلبات خارجة عن الموضوع. أما ضوابط الإخراج فتتحقق من الاستجابات قبل وصولها إلى المستخدم أو البرامج اللاحقة، بحثًا عن محتوى ضار أو أسرار مسرّبة أو هلوسات تناقض المستندات المصدرية أو مخرجات مهيكلة تخالف مخططًا مطلوبًا.

تقيّد حواجز الإجراءات الأدوات التي يمكن لـوكيل ذكاء اصطناعي استدعاؤها، والوسائط والصلاحيات المتاحة له، وتطلب موافقة بشرية على الخطوات ذات العواقب مثل المدفوعات أو الحذف أو إرسال البريد الإلكتروني؛ أما عزل بيئة الوكيل فيعزل أي شيفرة ينفذها الوكيل. وتحافظ حواجز الحوار على المحادثة ضمن الموضوعات المعتمدة، مثل مساعد مصرفي يرفض الإجابة عن الأسئلة الطبية.

كيفية تنفيذ حواجز الحماية#

كثير من حواجز الحماية عبارة عن مصنفات. فـLlama Guard من Meta، الذي قُدّم عام 2023، نموذج LLM ضُبط بدقة لتصنيف الموجّهات والاستجابات على أنها آمنة أو غير آمنة وفق تصنيف لفئات المخاطر. وخفّضت المصنفات الدستورية من Anthropic، المدرّبة على بيانات اصطناعية مولدة من قائمة مكتوبة بالمحتوى المسموح والمحظور، معدل نجاح 10,000 محاولة آلية لكسر الحماية من 86% إلى 4.4% على Claude 3.5 Sonnet، مع زيادة حالات الرفض في حركة الإنتاج بنسبة 0.38% وإضافة عبء حوسبة قدره 23.7%. وتعمل حواجز حماية أخرى وفق قواعد، مثل التعابير النمطية لأرقام بطاقات الائتمان، وقوائم السماح للأدوات، ومخططات وسائط الأدوات. وتجمع أطر عمل مثل NeMo Guardrails من NVIDIA وGuardrails AI النوعين في خطوط معالجة قابلة للتهيئة.

يُعد التحقق من المخطط أبسط حاجز حماية للإجراءات يمكن إنشاؤه. يستخدم المثال أدناه Pydantic للتحقق من طلبات استرداد الأموال التي يقترحها وكيل LLM قبل تنفيذ أي منها:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

تطبع الاستدعاءة الأولى Executed refund of $49.99 for A104233، وتطبع الثانية Blocked: Input should be less than or equal to 200، لذا لا تصل التعليمة المحقونة إلى نظام الدفع مهما صيغت على نحو مقنع.

حواجز الحماية في خطوط معالجة الرؤية#

تستخدم أنظمة الرؤية حواجز الحماية لتحديد مدى موثوقية مخرجات النموذج بما يكفي لاتخاذ إجراء. ففي وكلاء Ultralytics Platform، تتحكم كتلة Gate في التنفيذ اللاحق وفق شرط على نتائج YOLO26: إذ لا يشغّل قالب YOLO to VLM Monitor نموذج رؤية ولغة إلا عند اكتشاف شخص واحد على الأقل. ويطبق التصوير الطبي والمركبات ذاتية القيادة النهج نفسه، فيوجّهان النتائج غير المؤكدة إلى الأطباء ويختاران التوقف الآمن عند إخفاق الإدراك.

حواجز الحماية مقابل المصطلحات ذات الصلة#

• سلامة الذكاء الاصطناعي: المجال الواسع المعني بمنع أضرار الذكاء الاصطناعي. وحواجز الحماية إحدى أدواته وقت النشر.
• الذكاء الاصطناعي الدستوري: يدرّب المبادئ في النموذج نفسه. أما حواجز الحماية فتفرض القواعد من الخارج، لذا تظل فعالة عند إخفاق التدريب.
• حوكمة الذكاء الاصطناعي: السياسات والقوانين التي تحدد ما يجوز لنظام الذكاء الاصطناعي فعله. وحواجز الحماية هي الضوابط التقنية التي تنفذ هذه القرارات وقت التشغيل.
• الاختبار الهجومي للذكاء الاصطناعي: يهاجم النظام لاكتشاف الثغرات التي تتركها حواجز الحماية مفتوحة.

تؤثر حواجز الحماية أيضًا في السرعة والفائدة: إذ يضيف كل مصنف زمن استجابة للاستدلال، ويرفض المصنف الأكثر صرامة مزيدًا من الطلبات المشروعة. وقد صمد النموذج الأولي للمصنفات الدستورية لدى Anthropic أمام أكثر من 3,000 ساعة من الاختبارات الهجومية ضمن برنامج مكافآت اكتشاف الأخطاء، من دون نجاح أي محاولة شاملة لكسر الحماية، لكنه رفض عددًا كبيرًا جدًا من الاستعلامات غير الضارة واحتاج إلى قدر مفرط من الحوسبة.