Sparse Autoencoders (SAE)

المشفّر التلقائي المتناثر (SAE) هو مشفّر تلقائي يُدرَّب على إعادة بناء مدخله عبر طبقة مخفية لا تنشط فيها سوى وحدات قليلة لأي مدخل بعينه. وفي أبحاث AI الحالية، تُدرَّب مشفّرات SAE على التنشيطات الداخلية لـنموذج لغوي كبير (LLM) أو نموذج رؤية، مع عدد من الوحدات المخفية يفوق عدد أبعاد المدخل بكثير، بحيث تميل كل وحدة مخفية، وتُسمّى سمة أو متغيرًا كامنًا، إلى التنشيط استجابةً لمفهوم واحد يسهل على الإنسان التعرّف إليه. وتُعدّ هذه المشفّرات أداةً محوريةً في التفسيرية الآلية: فقد درّبت دراسة Anthropic لعام 2024 توسيع الأحادية الدلالية مشفّرات SAE تضم ما يصل إلى 34 مليون سمة على تنشيطات Claude 3 Sonnet، وعثرت على سمات لمفاهيم مثل جسر البوابة الذهبية، وأخطاء الشيفرة، والخداع.

لماذا تساعد السمات المتناثرة على التفسيرية#

غالبًا ما تكون العصبونات الفردية في النماذج الكبيرة متعددة الدلالات، إذ تستجيب لمفاهيم عدة لا صلة بينها. وتفسر فرضية التراكب السبب؛ إذ بحثها عمل Anthropic المعنون نماذج مبسطة للتراكب: يمكن لطبقة ذات d أبعاد أن تمثّل مفاهيم أكثر بكثير من d على هيئة اتجاهات شبه متعامدة، ما دام النشط منها في أي وقت قليلًا. ويبحث المشفّر التلقائي المتناثر عن هذه المجموعة الزائدة من الاتجاهات. ويسرد ترميزه المتناثر للتنشيط الاتجاهات القليلة الموجودة ومدى قوتها، وهذا أسهل بكثير في القراءة من آلاف قيم العصبونات المتداخلة.

آلية عمل المشفّر التلقائي المتناثر#

يربط المُشفِّر متجه التنشيط بمتجه أوسع بكثير من المتغيرات الكامنة، يتبعه ReLU، ويعيد مفكّك الترميز بناء التنشيط بوصفه مجموعًا موزونًا لأعمدته؛ لذا يمثّل كل عمود في مفكّك الترميز اتجاه سمة واحدة. ويقلّل التدريب خطأ إعادة البناء إلى جانب قيد على التناثر. والخيار التقليدي هو عقوبة L1 على المتغيرات الكامنة، وهي شكل من أشكال التنظيم؛ أما مشفّرات TopK SAE من OpenAI فتحتفظ بأكبر k متغيرات كامنة لكل مدخل، وقد وُسّعت لتشمل مشفّر SAE يضم 16 مليون متغير كامن على تنشيطات GPT-4؛ في حين تصفّر مشفّرات JumpReLU SAE من Google DeepMind كل متغير كامن يقل عن عتبة متعلّمة. وبعد التدريب، تُستخدم المتغيرات الكامنة لمشفّر SAE بطريقتين رئيسيتين:

يحزم المثال التوضيحي أدناه 64 اتجاه سمة معروفًا في 32 بُعدًا، بحيث لا يقابل أي بُعد مفرد سمة واحدة، ويدرّب مشفّر TopK SAE لاستعادتها:

import torch
import torch.nn.functional as F

torch.manual_seed(0)
# Toy activations: 64 feature directions packed into 32 dimensions (superposition), ~3 active per sample
features = F.normalize(torch.randn(64, 32), dim=1)
acts = (torch.rand(8192, 64) * (torch.rand(8192, 64) < 0.05)) @ features

encoder, decoder = torch.nn.Linear(32, 256), torch.nn.Linear(256, 32)  # 256 latents: 8x overcomplete
optimizer = torch.optim.Adam([*encoder.parameters(), *decoder.parameters()], lr=1e-3)
for step in range(3000):
    # TopK sparsity: keep each sample's 4 largest latents and zero the rest
    values, idx = encoder(acts).topk(4, dim=-1)
    latents = torch.zeros(len(acts), 256).scatter(-1, idx, F.relu(values))
    loss = (decoder(latents) - acts).pow(2).sum(-1).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

directions = F.normalize(decoder.weight.T, dim=1)  # one learned direction per latent
print(f"Unexplained variance: {loss.item() / (acts - acts.mean(0)).pow(2).sum(-1).mean().item():.3f}")
print(f"Features matching a single neuron: {(features.abs().max(dim=1).values > 0.9).sum().item()} of 64")
print(f"Features matching an SAE latent: {((directions @ features.T).max(dim=0).values > 0.9).sum().item()} of 64")

مع تنشيط 4 متغيرات كامنة كحد أقصى لكل عينة، يترك مشفّر SAE نسبة 7.1% من التباين دون تفسير. ولا يتوافق أي من السمات الـ64 المزروعة مع بُعد إدخال مفرد بتشابه جيب التمام يتجاوز 0.9، بينما يتوافق كل منها مع اتجاه مفكّك الترميز لأحد متغيرات SAE الكامنة.

التطبيقات#

• اكتشاف السمات: يضع الباحثون تسمية لكل متغير كامن بجمع المدخلات التي تنشطه أكثر من غيرها، وغالبًا ما يستعينون بنموذج لغة كبير لكتابة التسمية، ثم يستخدمون السمات لتدقيق ما يمثله النموذج.
• التوجيه: يؤدي تثبيت سمة عند قيمة مرتفعة إلى تغيير السلوك، على نحو يشبه إضافة متجه توجيه. وفي مايو 2024، أصدرت Anthropic لفترة وجيزة Golden Gate Claude، وهي نسخة عُزّزت فيها سمة الجسر، فكان الجسر حاضرًا في كل إجابة تقريبًا.
• تتبّع الدوائر: تستخدم مخططات الإسناد من Anthropic لعام 2025 محوّلات عابرة للطبقات، وهي صيغة من SAE تقرأ تنشيطات طبقة وتعيد بناء مخرجات طبقات MLP لاحقة، لتتبّع الحسابات متعددة الخطوات داخل Claude 3.5 Haiku.
• حزم SAE مفتوحة المصدر: أصدرت Gemma Scope من Google DeepMind مشفّرات JumpReLU SAE لكل طبقة في Gemma 2 2B و9B، وأضافت Gemma Scope 2 مشفّرات SAE ومحوّلات للنماذج Gemma 3 ذات المعلمات التي تتراوح بين 270M و27B. وتدرّب مكتبة SAELens مشفّرات SAE هذه وتحملها.
• نماذج الرؤية: تعثر مشفّرات SAE المدرّبة على تنشيطات CLIP وVision Transformer على مفاهيم بصرية قابلة للتفسير أيضًا. ويحتاج مشفّر SAE إلى مجموعة بيانات من متجهات التنشيط، كما يعيد model.embed() في Ultralytics YOLO26 متجه تنشيط واحدًا مجمّعًا بمتوسط الصور لكل فهرس طبقة، والطبقة قبل الأخيرة افتراضيًا.

القيود#

تعيد مشفّرات SAE بناء التنشيطات على نحو غير كامل، ويؤدي استبدال تنشيطات طبقة بإعادة بنائها إلى رفع خسارة النموذج بشكل قابل للقياس. وتعتمد السمات التي تعثر عليها على حجم القاموس وجولة التدريب؛ إذ تقسم مشفّرات SAE الأوسع سمة واحدة إلى عدة سمات أدق، كما أن بعض المتغيرات الكامنة لا تنشط مطلقًا. وفي مارس 2025، أفاد فريق التفسيرية في Google DeepMind بأن المجسّات المبنية على سمات SAE كان أداؤها أدنى من أداء المجسّات الخطية البسيطة في اكتشاف النية الضارة في الموجّهات الخارجة عن التوزيع، وذكر أنه سيقلل أولوية أبحاث SAE الأساسية مع الإبقاء على مشفّرات SAE أداةً من بين عدة أدوات.

مشفّر SAE والمفاهيم ذات الصلة#

• المشفّر التلقائي التقليدي: يضغط البيانات عبر عنق زجاجة أضيق من المدخل بغرض الضغط أو تقليل الأبعاد. أما مشفّر SAE فيوسّع الطبقة المخفية ويفرض التناثر لفصل المفاهيم.
• المجس الخطي: يدرّب مصنّفًا خاضعًا للإشراف لاكتشاف مفهوم واحد يُختار مسبقًا. أما مشفّر SAE فهو غير خاضع للإشراف، ويكتشف السمات دون تسميات.
• هندسة التمثيلات (RepE): تعثر على اتجاهات المفاهيم من خلال مقارنة التنشيطات في موجّهات مقترنة، في حين تستمد سمات مشفّر SAE من إعادة البناء وحدها.
• الترميز المتناثر: أسلوب أقدم لتعلّم القواميس تحاكيه مشفّرات SAE بتمريرة واحدة للمشفّر بدلًا من إجراء تحسين لكل مدخل. وأظهر Olshausen وField (1996) أن الترميز المتناثر المتعلّم من الصور الطبيعية ينتج مرشحات موضعية وموجّهة وشبيهة بالحواف، تشبه الحقول الاستقبالية للخلايا البسيطة في القشرة البصرية الأولية.