Steering Vectors

متجه التوجيه هو اتجاه في فضاء تنشيطات شبكة عصبية يقابل مفهومًا أو سلوكًا، مثل المشاعر الإيجابية أو الرفض أو التملق. تؤدي إضافة نسخة مضروبة بمعامل من المتجه إلى التنشيطات المخفية للشبكة أثناء المرور الأمامي إلى دفع المخرجات نحو ذلك السلوك، بينما يؤدي طرحه إلى إبعادها عنه، من دون تغيير أوزان النموذج. ويندرج هذا الأسلوب ضمن هندسة التنشيط، ويُطبّق غالبًا على النماذج اللغوية الكبيرة (LLMs)، مستندًا إلى ملاحظة أن كثيرًا من المفاهيم عالية المستوى تُمثّل في صورة اتجاهات خطية تقريبًا ضمن التدفق المتبقي، وهو المجموع الجاري للتنشيطات التي تقرأ منها كل طبقة Transformer وتكتب إليها.

كيفية إنشاء متجهات التوجيه وتطبيقها#

أشيع الطرق هي حساب الفرق بين المتوسطات. إذ يمرر الباحثون أزواجًا من المدخلات المتباينة عبر النموذج، أحدها يُظهر السلوك والآخر لا يُظهره، ويسجلون التنشيطات عند طبقة محددة ثم يحسبون متوسط الفروق. وقد بيّن بحث إضافة التنشيط (ActAdd)، الذي قدمه ألكسندر مات تورنر وزملاؤه عام 2023، أن زوجًا واحدًا مثل «Love» و«Hate» يمكنه توجيه مشاعر GPT-2-XL. ويحسب بحث إضافة التنشيط التقابلية (CAA) متوسط أزواج كثيرة من أسئلة الاختيار المتعدد لتوجيه Llama 2 Chat نحو سلوكيات مثل التملق والهلوسة والرفض أو بعيدًا عنها، بإضافة المتجه عند كل موضع رمزي بعد مطالبة المستخدم. ويمكن أيضًا اشتقاق الاتجاهات من المسابير الخطية، أو المكونات الرئيسية للفروق، أو ميزات المشفّر التلقائي المتناثر.

أثناء الاستدلال، تضيف خطّافة معاملًا مضروبًا في المتجه إلى مخرجات الطبقة المختارة. وعادةً ما تحقق الطبقات الوسيطة أفضل توجيه، ويحدد المعامل شدته: فالقيمة الصغيرة جدًا لا تُحدث أثرًا ملحوظًا، والكبيرة جدًا تجعل النص متدهورًا إلى تكرار أو هراء.

لا تتطلب تجربة ActAdd سوى بضعة أسطر من PyTorch باستخدام GPT-2 ذي 124 مليون معلمة من مكتبة Hugging Face Transformers. تضيف خطّافة المرور الأمامي متجه «Love» ناقص «Hate» إلى مخرجات الكتلة 6 أثناء إكمال النموذج لمطالبة عدائية:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
layer = 6


def activation(text):
    """Return the last token's activation at the output of the steering layer."""
    with torch.no_grad():
        outputs = model(**tokenizer(text, return_tensors="pt"), output_hidden_states=True)
    return outputs.hidden_states[layer + 1][0, -1]


# Steering vector: activation difference between a contrastive pair of prompts
steering_vector = activation(" Love") - activation(" Hate")
prompt = tokenizer("I hate you because", return_tensors="pt")

for coeff in [0.0, 1.0]:
    # Add the scaled vector to the layer's output at every position while generating
    hook = model.transformer.h[layer].register_forward_hook(
        lambda module, args, output: output + coeff * steering_vector
    )
    tokens = model.generate(**prompt, max_new_tokens=16, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    hook.remove()
    print(f"coeff={coeff}: {tokenizer.decode(tokens[0])}")

من دون توجيه، يواصل النموذج النص: «أكرهك لأنني أكرهك. أكرهك لأنني أكرهك». وعند إضافة المتجه بمعامل 1.0، يواصل فك الترميز الجشع نفسه النص: «أكرهك لأنك شخص جيد. أحبك. أحبك». الأوزان متطابقة في التشغيلين؛ ولم يتغير سوى تنشيطات طبقة واحدة.

متجهات التوجيه والمفاهيم ذات الصلة#

• متجهات المهام: الفرق بين الأوزان المضبوطة بدقة والأوزان الأصلية، ويُضاف إلى نموذج لنقل مهارة إليه. تعدّل متجهات المهام الأوزان مرة واحدة، بينما تعدّل متجهات التوجيه التنشيطات في كل مرور أمامي.
• هندسة التمثيلات (RepE): نهج أوسع لقراءة النموذج والتحكم به عبر تمثيلاته الداخلية. ومتجهات التوجيه أداته الأساسية للتحكم.
• هندسة المطالبات: توجّه السلوك عبر نص الإدخال. أما التوجيه فيعمل على التنشيطات الداخلية، لذا يتطلب الوصول إلى البنية الداخلية للنموذج، ولا يعمل إلا مع النماذج ذات الأوزان المفتوحة أو أنظمة المورّد نفسه.
• الضبط الدقيق: يغيّر السلوك بصورة دائمة عبر تدريب الأوزان باستخدام الانحدار التدرجي. ولا يتطلب إنشاء متجه توجيه سوى تمريرات أمامية على بضع أمثلة إلى بضع مئات منها.
• قابلية التفسير الآلي: تشرح كيفية إجراء النماذج للحسابات. ويُعد التوجيه إحدى أدواتها لاختبار ما إذا كان اتجاه اكتشفته يسبب سلوكًا بالفعل.

تطبيقات عملية#

تُعد متجهات التوجيه أداة بحثية لـسلامة الذكاء الاصطناعي بقدر ما هي أسلوب للتحكم. ففي 13 نموذج محادثة مفتوح يصل حجمها إلى 72 مليار معلمة، يتوسط اتجاه واحد عملية الرفض: فمحو هذا الاتجاه يوقف النموذج عن رفض الطلبات الضارة، وإضافته تجعله يرفض الطلبات غير الضارة، ما يوضح مدى سهولة تقويض تدريب السلامة على مستوى الأوزان في النماذج المفتوحة.

تقلل الاتجاهات المرتبطة بالحقيقة الهلوسات. ويُغيّر التدخل وقت الاستدلال تنشيطات عدد قليل من رؤوس الانتباه على امتداد هذه الاتجاهات، ما رفع صدق نموذج Alpaca في معيار TruthfulQA من 32.5% إلى 65.1%. وتطبق متجهات الشخصية من Anthropic الفكرة نفسها على سمات الشخصية مثل التملق، والاستعداد للهلوسة، والنية الخبيثة؛ إذ تراقبها عند النشر، وتحدد بيانات التدريب التي قد تعززها، وتوجّه النموذج ضدها أثناء الضبط الدقيق. وفي نماذج الاستدلال، تتحكم المتجهات المستخرجة من نماذج DeepSeek-R1-Distill في سلوكيات الاستدلال، مثل التعبير عن عدم اليقين واختبار الأمثلة والتراجع.

تمثل نماذج الرؤية المفاهيم في صورة اتجاهات أيضًا، وتنطبق الطريقة نفسها على خرائط الميزات في شبكة الرؤية الحاسوبية. وفي Ultralytics YOLO26، يعيد model.embed() التنشيطات المجمعة بمتوسط مكاني لكل صورة من أي طبقة مختارة، ما يوفر التنشيطات الخاصة بكل صورة اللازمة لحساب اتجاه فرق المتوسط بين مجموعتين من الصور، مثل مشاهد النهار والليل.

القيود#

لا يتمتع التوجيه بالموثوقية التي توحي بها أفضل عروضه التوضيحية. فقد وجدت دراسة تعميم متجهات التوجيه وموثوقيتها التي أجراها دانيال تان وزملاؤه أن قابلية التوجيه تختلف كثيرًا من مدخل إلى آخر، وأن الميزات الزائفة في المطالبات التقابلية قد تسبب الأثر، وأن تغييرات طفيفة ومعقولة في المطالبة قد تعطل المتجه. كما يؤثر التوجيه سلبًا في الطلاقة: ففي تجارب المشاعر في ورقة ActAdd، كان ضعف الطلاقة في النص الموجّه، وفقًا لمقياس الحيرة، أكبر بمقدار 1.5 إلى 3 مرات منه في النص غير الموجّه.