Mechanistic Interpretability

تعد القابلية للتفسير الآلي مجالاً متقدماً للبحث ضمن تعلم الآلة يركز على الهندسة العكسية للعمليات الداخلية للشبكات العصبية المدربة. وبدلاً من التعامل مع النموذج كصندوق أسود، يسعى هذا النهج إلى فهم الدوائر الرياضية الدقيقة، والخلايا العصبية المحددة، والمسارات المترابطة التي تدفع النموذج لإنتاج مخرجات معينة. ومن خلال تعيين هذه الهياكل الداخلية إلى مفاهيم مفهومة بشرياً، يمكن للمطورين فك تشفير كيفية معالجة أنظمة الذكاء الاصطناعي للمعلومات طبقة تلو الأخرى.

Link to this sectionالقابلية للتفسير الآلي مقابل الذكاء الاصطناعي القابل للتفسير (XAI)#

من الشائع الخلط بين القابلية للتفسير الآلي ومفهوم الذكاء الاصطناعي القابل للتفسير (XAI) العام. وفي حين أن XAI مصطلح أوسع يشمل أدوات مثل الخرائط الحرارية أو خرائط التباين التي تسلط الضوء على أين ينظر النموذج، تهدف القابلية للتفسير الآلي إلى الإجابة على كيف ولماذا يحسب النموذج استجابته. على سبيل المثال، بينما قد يظهر XAI أن نموذج اكتشاف الأجسام يركز على ملمس الفراء لتحديد الكلب، تهدف القابلية للتفسير الآلي إلى تحديد الخلايا العصبية الخاصة "بكشف الفراء" وتتبع اتصالاتها الخوارزمية وصولاً إلى التنبؤ النهائي.

Link to this sectionتطبيقات العالم الحقيقي#

يعد فهم المنطق الداخلي الدقيق لـ الشبكات العصبية أمراً بالغ الأهمية لنشر أنظمة الذكاء الاصطناعي ذات المخاطر العالية. وفيما يلي تطبيقان ملموسان:

• التدقيق من أجل سلامة ومواءمة الذكاء الاصطناعي: تستخدم منظمات مثل Anthropic وOpenAI القابلية للتفسير الآلي لفحص النماذج اللغوية الكبيرة (LLMs) بحثاً عن تحيزات خفية، أو سلوكيات خادعة، أو عدم توافق محتمل مع القيم الإنسانية. ومن خلال استخراج ميزات قابلة للقراءة البشرية باستخدام تقنيات مثل المشفرات التلقائية المتفرقة، يمكن للباحثين تعديل أو تعطيل المسارات الضارة جراحياً قبل النشر لضمان سلامة الذكاء الاصطناعي القوية.
• تصحيح أخطاء التشخيص الطبي: في المجالات الحيوية مثل الرعاية الصحية، يساعد "قابلية التفسير الآلية" (Mechanistic Interpretability) الباحثين على التحقق من أن خوارزميات الرؤية الحاسوبية تعتمد على مؤشرات بيولوجية حقيقية بدلاً من العيوب (مثل علامة مائية للمستشفى أو مسطرة في الصورة) عند التنبؤ بالأمراض. يعد هذا التحقق الدقيق أمرًا ضروريًا لـ الامتثال وبناء الثقة في الذكاء الاصطناعي الطبي.

Link to this sectionاستخراج الميزات من أجل القابلية للتفسير#

عند العمل مع بنيات الرؤية الحاسوبية، تتمثل الخطوة الأولى الشائعة في القابلية للتفسير الآلي في استخراج التنشيطات الوسيطة. وباستخدام أدوات مثل خطافات التمرير الأمامي في PyTorch، يمكن للمطورين إلقاء نظرة داخل الشبكة أثناء عملية التمرير الأمامي.

يوضح المقتطف التالي كيفية إرفاق خطاف (hook) بأول طبقة التلافيف في نموذج Ultralytics YOLO26 لفحص أبعاد خرائط الميزات الداخلية التي يتم إنشاؤها أثناء الاستدلال.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")


# Define a hook function to capture and inspect intermediate layer activations
def hook_fn(module, input, output):
    print(f"Analyzed Layer: {module.__class__.__name__} | Activation Shape: {output.shape}")


# Attach the hook to the first layer of the model architecture
handle = model.model.model[0].register_forward_hook(hook_fn)

# Run a quick inference to trigger the hook and print the mechanistic features
results = model("https://ultralytics.com/images/bus.jpg")
handle.remove()

من خلال تحليل هذه التنشيطات، يمكن لمهندسي تعلم الآلة إجراء تصور للميزات والبدء في تعيين سلوك الشبكة. ولإدارة مجموعات البيانات واسعة النطاق اللازمة لتدريب هذه الأنظمة القابلة للتفسير، توفر أدوات مثل منصة Ultralytics خطوط أنابيب قوية وشاملة تعمل على تبسيط تدريب النماذج، وتسجيل البيانات، والمراقبة المستمرة. ومع تسارع الدفع نحو الشفافية في الذكاء الاصطناعي، ستظل القابلية للتفسير الآلي تخصصاً أساسياً لبناء نماذج جديرة بالثقة وموثوقة.