Mechanistic Interpretability

التفسير الآلي هو مجال بحثي يعيد هندسة الشبكات العصبية المدرّبة لاستخلاص آليات مفهومة للبشر: السمات التي يمثّلها النموذج في تنشيطاته، والدوائر، أي سلاسل الأوزان والمكونات، التي تحوّل تلك السمات إلى مخرجات. فبينما يتعامل معظم التقييم مع النموذج بوصفه صندوقًا أسود يُحكم عليه من خلال تنبؤاته، يتعامل التفسير الآلي مع الأوزان كما لو كانت برنامجًا مُجمّعًا ينبغي فك تجميعه. وقد تطور من دراسات نماذج الرؤية الصغيرة ليصبح جزءًا أساسيًا من أبحاث سلامة الذكاء الاصطناعي المتعلقة بـالنماذج اللغوية الكبيرة (LLMs)، كما أدرجته MIT Technology Review ضمن تقنيات الاختراق العشر لعام 2026.

السمات والدوائر والتراكب#

يقوم هذا المجال على بضعة افتراضات عملية، عرضتها مقالة Distill عن مصنّفات الصور Zoom In: An Introduction to Circuits:

• السمات: اتجاهات في فضاء تنشيط إحدى الطبقات تقابل خصائص ذات معنى في المُدخل. تحتوي الطبقات المبكرة من الشبكة العصبية الالتفافية (CNN) على كواشف للمنحنيات والحواف، بينما تحتوي الطبقات اللاحقة على سمات لأجزاء الكائنات، مثل العجلات أو خطم الكلاب.
• الدوائر: مجموعات من السمات تربطها أوزان وتنفذ خوارزمية. في Transformers، تكون رؤوس الاستقراء أزواجًا من رؤوس الانتباه تعثر على ظهور سابق للرمز المميز الحالي وتنسخ ما تلاه، وهي آلية تقف وراء التعلّم ضمن السياق. ورسمت دراسة لنموذج GPT-2 الصغير الدائرة التي تُكمل جملًا مثل "When Mary and John went to the store, John gave a drink to" بكلمة "Mary"، وحددت 26 رأس انتباه ضمن 7 مجموعات وظيفية.
• التراكب: تمثّل النماذج سمات أكثر من عدد عصبوناتها من خلال تراكبها، ولذلك يستجيب العصبون الواحد غالبًا لعدة مفاهيم غير مترابطة. وهذا التعدد الدلالي هو سبب عدم ملاءمة العصبونات الفردية وحداتٍ للتحليل، وسبب توجه المجال إلى تعلّم القواميس.

الأساليب الأساسية#

يجمع الباحثون بين الرصد، الذي يعثر على السمات المرشحة، والتدخل، الذي يختبر مدى أهميتها:

• الاستقصاء الخطي: تدريب مصنّف بسيط على التنشيطات للتحقق مما إذا كان من الممكن فك ترميز مفهوم خطيًا في طبقة معينة. يبيّن الاستقصاء وجود المعلومات، لكن يلزم التدخل لإثبات أن النموذج يستخدمها.
• الإزالة وترقيع التنشيط: تصفير تنشيط أو استبدال قيمته بقيمته من مُدخل مختلف، ثم قياس مدى تغير المخرجات. تفصل هذه الاختبارات السببية بين المكونات التي تحسب سلوكًا ما وتلك التي ترتبط به فحسب.
• المشفّرات التلقائية المتفرقة (SAEs): شبكات تفكك تنشيطات طبقة ما إلى مجموعة أكبر بكثير من السمات النشطة بتفرق، متغلبةً بذلك على التراكب. استخلص مشروع Anthropic Scaling Monosemanticity ملايين السمات من Claude 3 Sonnet، منها سمة لجسر Golden Gate؛ وأدى تثبيتها عند قيمة عالية إلى جعل النموذج يصف نفسه بأنه الجسر.
• مخططات الإسناد: استبدل عمل Anthropic لعام 2025 على تتبع الدوائر في Claude 3.5 Haiku طبقات MLP في النموذج بتقريب قابل للتفسير، وتتبع المسارات من سمة إلى أخرى. وأظهر العمل كيف يصل النموذج إلى "Austin" انطلاقًا من "عاصمة الولاية التي تضم Dallas" عبر خطوة وسيطة هي "Texas"، وكيف يختار كلمة مقفاة قبل كتابة بيت شعر ينتهي بها.
• التوجيه: إضافة اتجاه سمة أو طرحه أثناء الاستدلال لتغيير السلوك، وهو أساس متجهات التوجيه وهندسة التمثيلات.

يتناوب التحقيق النموذجي بين هذه الأساليب:

إزالة القنوات في نموذج للرؤية#

يُعدّ الاستئصال أبسط اختبار سببي يمكن إجراؤه. يحمّل المقتطف أدناه نموذج ResNet-18 مُدرّبًا مسبقًا من torchvision، ويستخدم خطّاف التمرير الأمامي في PyTorch لتصفير كل قناة من القنوات الـ256 في خرائط السمات لطبقة وسيطة بالتتابع، ويسجّل مقدار انخفاض قيمة اللوجيت للفئة الأعلى تصنيفًا لدى النموذج:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

يتنبأ النموذج بالفئة "minibus" بقيمة لوغاريتم احتمال تبلغ 13.42. ولا يؤدي حذف قناة نموذجية إلى تغيير تلك القيمة تقريبًا (انخفاض وسيط قدره -0.002)، بينما يؤدي حذف القناة 62 وحدها إلى خفضها بمقدار 1.80، والقناتين 70 و155 بنحو 1.15 لكل منهما؛ ما يعني أن عددًا قليلًا من القنوات يحمل قدرًا كبيرًا من الأدلة. وتصبح هذه القنوات نقطة انطلاق للخطوات التالية: تصور ما تكتشفه كل قناة، وتتبع السمات السابقة التي تغذيها.

التفسير الآلي والذكاء الاصطناعي القابل للتفسير#

الذكاء الاصطناعي القابل للتفسير (XAI) هو المجال الأوسع الذي يسعى إلى جعل قرارات النماذج مفهومة، ويركز جانب كبير منه على الإسناد: إذ تبرز خرائط البروز وخرائط تنشيط الفئات وحدات البكسل في المُدخل التي أثّرت في التنبؤ. يؤدي ضبط visualize=True في وضع التنبؤ في Ultralytics YOLO26 إلى حفظ خريطة حرارية بجانب كل تنبؤ، توضح وحدات البكسل التي رفعت درجات الفئة المتوقعة. يجيب الإسناد عن موضع تركيز النموذج؛ أما التفسير الآلي فيسأل عن السمات والدوائر الداخلية التي حوّلت وحدات البكسل تلك إلى الدرجة. وتسلك نماذج عنق الزجاجة المفاهيمية مسارًا ثالثًا، إذ تدمج التفسير في البنية المعمارية بإجبار التنبؤات على المرور عبر مفاهيم يسميها البشر.

التطبيقات والقيود#

تُستخدم الأدوات الآلية لتدقيق النماذج اللغوية الكبيرة بحثًا عن سلوك غير مرغوب فيه قبل إصدارها، مثل مراقبة اتجاهات التنشيط المرتبطة بالخداع أو التملق، ولتصحيح أخطاء نماذج الرؤية التي تعتمد على اختصارات، كما يحدث عندما يتعلم مصنّف آفات الجلد أن المساطر التي يضعها أطباء الجلد بجانب الآفات المشبوهة تدل على الخباثة. وتكتسب هذه الاختبارات أهمية في تحليل الصور الطبية، حيث قد يحقق النموذج أداءً جيدًا على مجموعة اختبار لسبب خاطئ. وتجعل الأدوات المفتوحة، مثل TransformerLens، استخدام الخطافات والتخزين المؤقت والترقيع في نماذج Transformer ممارسة اعتيادية.

يتمثل القيد الأساسي لهذا المجال في مدى التغطية. فالمشفّرات التلقائية المتفرقة تعيد بناء التنشيطات على نحو غير كامل، لذا يبقى جزء من كل عملية حسابية بلا تفسير، ولا تلتقط النماذج البديلة المستخدمة في مخططات الإسناد إلا بعض سلوك نموذج متطور عند مطالبة معينة. ولا يزال التحقق من كل دائرة يتطلب جهدًا بشريًا كبيرًا، ما يجعل التفسيرات الكاملة للنماذج الكبيرة بعيدة المنال.