Representation Engineering (RepE)

هندسة التمثيلات (RepE) نهج لفهم الشبكات العصبية والتحكم فيها من خلال التمثيلات عالية المستوى في تنشيطاتها المخفية، مثل الاتجاهات التي ترمز إلى الصدق أو الضرر أو العاطفة. ولها شقان: قراءة التمثيلات، التي تحدد موضع مفهوم في تنشيطات النموذج وتقيسه على مدخلات جديدة؛ والتحكم في التمثيلات، الذي يغير تلك التنشيطات أو أوزان النموذج التي تنتجها، لجعل النموذج يعبر عن المفهوم بدرجة أكبر أو أقل. وقدّم آندي زو ودان هندريكس وزملاؤهما في مركز سلامة الذكاء الاصطناعي وجامعة كارنيغي ميلون ومؤسسات أخرى هذا النهج عام 2023 في هندسة التمثيلات: نهج تنازلي لشفافية الذكاء الاصطناعي، وطبقوه أساسًا على النماذج اللغوية الكبيرة (LLMs). وتصف الورقة النهج بأنه تنازلي لأنه ينطلق من تمثيلات كلية موزعة على عصبونات كثيرة، على غرار دراسة علم الأعصاب المعرفي لأنماط النشاط على امتداد الدماغ، بدلًا من الانطلاق من عصبونات ودارات منفردة.

قراءة التمثيلات#

الطريقة الأساسية لقراءة التمثيلات في RepE هي التصوير المقطعي الاصطناعي الخطي (LAT)، وسميت تيمّنًا بتصوير الدماغ، وتتكون من ثلاث خطوات:

1. تصميم المحفزات والمهمة: اكتب مدخلات تختلف في المفهوم المستهدف، وضع كلًا منها ضمن قالب يجعل النموذج يركز عليه، مثل: «تأمل مقدار السعادة في السيناريو التالي: … مقدار السعادة في السيناريو هو».
2. جمع التنشيطات: مرّر المحفزات عبر النموذج وسجّل الحالات المخفية في طبقات مختارة، وعادةً عند الرمز الأخير.
3. إنشاء نموذج خطي: احسب الفروق بين تنشيطات أزواج المحفزات، واستخدم أول مكوّن رئيسي فيها متجهًا لقراءة المفهوم.

يتيح إسقاط تنشيطات إدخال جديد على متجه القراءة حساب درجة للمفهوم، ويمكن تتبع هذه الدرجة رمزًا تلو الآخر لمراقبة النموذج أثناء التوليد. وينشئ هذا المثال باستخدام PyTorch متجه قراءة للسعادة من ستة أزواج سيناريوهات متباينة في الطبقة 8 من GPT-2، المحمّل من Hugging Face Transformers، ثم يحسب درجات ستة سيناريوهات لم يرها من قبل:

import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModel.from_pretrained("gpt2")
template = "Consider the amount of happiness in the following scenario:\n{}\nThe amount of happiness in the scenario is"


def read(scenario, layer=8):
    """Return the last token's hidden state at one layer for a scenario wrapped in the template."""
    with torch.no_grad():
        outputs = model(**tokenizer(template.format(scenario), return_tensors="pt"), output_hidden_states=True)
    return outputs.hidden_states[layer][0, -1]


# Stimulus pairs that differ only in the concept being read
pairs = [
    ("I passed the exam.", "I failed the exam."),
    ("We won the match.", "We lost the match."),
    ("She found her keys.", "She lost her keys."),
    ("The party was fun.", "The party was dull."),
    ("My plant is thriving.", "My plant is dying."),
    ("He got the job.", "He lost the job."),
]
diffs = torch.stack([read(happy) - read(sad) for happy, sad in pairs])
direction = torch.linalg.svd(diffs, full_matrices=False).Vh[0]  # top principal direction of the differences
direction *= (diffs @ direction).mean().sign()  # orient it toward the happy member of each pair
center = torch.stack([read(text) for pair in pairs for text in pair]).mean(0)

# Score unseen scenarios by projecting their activations onto the reading vector
for scenario in [
    "The surgery went well.",
    "Our flight was canceled.",
    "We adopted a puppy.",
    "My phone was stolen.",
    "I got a raise today.",
    "The basement flooded.",
]:
    print(f"{(read(scenario) - center) @ direction:+6.1f}  {scenario}")

تحقق سيناريوهات السعادة الثلاثة الدرجات +0.6 و+3.6 و+1.4، وتحقق السيناريوهات الثلاثة غير السعيدة الدرجات -1.3 و-2.5 و-0.9، لذا تفصل إشارة الدرجة بين السيناريوهات الستة كلها من دون تدريب مصنف على أي بيانات موسومة. وطبّق زو وزملاؤه الإجراء نفسه على نماذج LLaMA-2-Chat لقياس الصدق والنزاهة والمنفعة والأخلاق والقوة والعاطفة وعدم الإضرار والتحيز والحفظ، وجمعوا درجات النزاهة لكل رمز عبر الطبقات الوسطى لإنشاء كاشف أكاذيب يرصد الأكاذيب المتعمدة والهلوسات أثناء توليد النموذج للنص.

التحكم في التمثيلات#

بعد تحديد اتجاه المفهوم، تغير RepE السلوك من خلال التأثير فيه. ويمكن إضافة متجه القراءة نفسه إلى تنشيطات طبقة أثناء التوليد أو طرحه منها، مستخدمًا إياه متجه توجيه. ويُحسب متجه التباين آنيًا لكل إدخال بوصفه الفرق بين تنشيطات نسختين من المطالبة، مثل نسخة تطلب من النموذج الصدق وأخرى تطلب منه الكذب. ويدرّب تكييف التمثيلات منخفض الرتبة (LoRRA) محولات LoRA بحيث تتحرك تمثيلات النموذج تلقائيًا على امتداد الاتجاه المستهدف، ما يجعل التحكم دائمًا. وعلى معيار TruthfulQA، رفع التحكم بمتجه التباين دقة الاختيار من متعدد في LLaMA-2-Chat-13B من 35.9% إلى 54.0%.

يُستخدم التحكم المبني بهذه الطريقة في سلامة الذكاء الاصطناعي. وتطبق قواطع الدارات التي طورتها المجموعة نفسها هندسة التمثيلات على المخرجات الضارة: فبمجرد أن تتجه التمثيلات الداخلية للنموذج نحو محتوى ضار، يعيد التدريب توجيهها. وقد منع ذلك إكمالات ضارة في هجمات كسر الحواجز لم يسبق للنموذج أن رآها، بما في ذلك اختطاف النماذج متعددة الوسائط بالصور، مع الحفاظ على قدراته العامة.

تنطبق خطوة القراءة على نماذج الرؤية أيضًا، إذ ترمز شبكات الرؤية الحاسوبية المفاهيم على هيئة اتجاهات في خرائط السمات الخاصة بها. وفي Ultralytics YOLO26، يعيد model.embed() متجه تنشيط واحدًا لكل صورة، ناتجًا عن تجميع متوسط مكاني، من أي طبقة مختارة، كما يؤدي تمرير فهارس عدة طبقات إلى وصل متجهاتها، ما يوفر تنشيطات المحفزات اللازمة لمتجه قراءة بأسلوب LAT عبر الصور.

RepE مقارنةً بالمفاهيم ذات الصلة#

• قابلية التفسير الآلي: تعمل من الأسفل إلى الأعلى، عبر الهندسة العكسية للعصبونات والسمات والدارات المنفردة. أما RepE فتعمل من الأعلى إلى الأسفل، انطلاقًا من تمثيلات على مستوى المفهوم موزعة على عصبونات كثيرة.
• متجهات التوجيه: اتجاهات تضاف إلى التنشيطات وقت الاستدلال. وهي أداة التحكم الأساسية في RepE، التي تضيف إليها RepE جانب القراءة والمراقبة.
• الاستقصاء الخطي: يدرّب مصنفًا خاضعًا للإشراف على التنشيطات لاختبار إمكانية فك ترميز خاصية ما. ويحدد LAT اتجاه الخاصية من فروق غير موسومة بين محفزات مزدوجة، ولا يستخدم التسميات إلا لتحديد وجهة الاتجاه.
• المشفّرات التلقائية المتناثرة (SAEs): تحلل التنشيطات إلى آلاف السمات دون اختيار مفاهيم مسبقًا. أما RepE فتنطلق من مفهوم يسميه شخص ما وتحدد اتجاهه.
• الضبط الدقيق: يغير السلوك من خلال تحديث الأوزان باستخدام مجموعة بيانات. ولا تغير عناصر التحكم في التنشيط لدى RepE الأوزان، فيما يضبط LoRRA النموذج بدقة باستخدام دالة خسارة محددة على التمثيلات بدلًا من المخرجات.