Joint Embedding Predictive Architecture (JEPA)

البنية التنبؤية للتضمين المشترك (JEPA) هي إطار متقدم لـالتعلّم ذاتي الإشراف صُمم لمساعدة الآلات على بناء نماذج تنبؤية للعالم المادي. وقد طوّرها باحثون في Meta AI، وطُرحت في أبحاث تأسيسية تتجه نحو الذكاء الاصطناعي العام، إذ تغيّر JEPA النموذجَ السائد لكيفية تعلّم النماذج من البيانات غير المشروحة. فبدلاً من محاولة إعادة بناء صورة أو فيديو بكسلاً بعد بكسل، يتعلّم نموذج JEPA من خلال التنبؤ بالأجزاء المفقودة أو المستقبلية من المدخل ضمن فضاء كامن مجرّد. ويسمح ذلك للبنية بالتركيز على المعنى الدلالي عالي المستوى بدلاً من التشتت بالتفاصيل المجهرية غير المهمة، مثل النسيج الدقيق لورقة الشجر أو الضوضاء الصادرة عن مستشعر الكاميرا.

كيفية عمل البنية#

في جوهرها، تعتمد البنية على ثلاثة مكوّنات أساسية للشبكات العصبية: مُرمّز السياق، ومُرمّز الهدف، والمتنبئ. يعالج مُرمّز السياق جزءاً معروفاً من البيانات (السياق) لإنشاء تضمينات. وفي الوقت نفسه، يعالج مُرمّز الهدف الجزء المفقود أو المستقبلي من البيانات لإنشاء تمثيل للهدف. ثم تأخذ شبكة المتنبئ تضمين السياق وتحاول التنبؤ بتضمين الهدف. وتحسب دالة الخسارة الفرق بين التضمين المتنبأ به وتضمين الهدف الفعلي، وتحدّث أوزان النموذج لتحسين قدراته على استخراج السمات. ويتميّز هذا التصميم بكفاءة عالية في مسارات عمل التعلّم العميق الحديثة.

JEPA مقارنةً بالبنى ذات الصلة#

عند مقارنة استراتيجيات تعلّم التمثيلات، من المفيد تمييز JEPA عن الأساليب الشائعة الأخرى في تعلّم الآلة:

• المُرمّزات التلقائية: تتنبأ المُرمّزات التلقائية التقليدية المقنّعة بالبيانات المفقودة من خلال إعادة بناء وحدات البكسل الخام بدقة. ويتجنب JEPA مرحلة إعادة البناء المكلفة حسابياً، ويركّز بالكامل على التمثيلات الكامنة.
• التعلّم التبايني: تعتمد النماذج التباينية على مقارنة أزواج البيانات الموجبة والسالبة لتعلّم حدود مميّزة. ولا يتطلب JEPA عينات سالبة، مما يجعل التدريب أكثر استقراراً وأقل اعتماداً على أحجام الدُفعات الهائلة.

التطبيقات الواقعية#

من خلال بناء تمثيلات متينة للبيانات المرئية، يسرّع JEPA مختلف مهام الرؤية الحاسوبية.

• التعرّف على الأفعال في مقاطع الفيديو: تعالج المتغيرات مثل V-JEPA (JEPA للفيديو) تدفقات الفيديو المستمرة للتنبؤ بالتفاعلات المستقبلية. وهذا أمر بالغ الأهمية للروبوتات والأنظمة الذاتية التشغيل التي يجب أن تفهم الديناميكيات الزمنية المعقدة من دون الاعتماد على عرض البكسلات إطاراً بإطار.
• نماذج الأساس للمهام اللاحقة: تعمل البنى المعتمدة على الصور مثل I-JEPA بوصفها شبكات أساسية قوية ومدرّبة مسبقاً. ويمكن ضبط مستخرجات السمات المتينة هذه بسرعة لمهام اكتشاف الأجسام أو تصنيف الصور الدقيق باستخدام قدر ضئيل من البيانات المشروحة.

في حين تتفوق أنظمة مثل Ultralytics YOLO26 في اكتشاف الأجسام الخاضع للإشراف من البداية إلى النهاية، فإن المفاهيم الأوسع للفضاءات الكامنة عالية الدلالة والمقاومة للضوضاء، التي أرساها JEPA، تمثّل أحدث ما توصلت إليه أبحاث الذكاء الاصطناعي للرؤية الحاسوبية الحديثة. وبالنسبة إلى الفرق التي تتطلع إلى بناء نماذج متقدمة ونشرها اليوم، توفّر منصة Ultralytics أدوات سلسة لـوسم البيانات والتدريب السحابي.

التنفيذ المفاهيمي باستخدام PyTorch#

لفهم التدفق الداخلي لهذه البنية، يوضّح وحدة شبكة عصبية في PyTorch مبسّطة كيفية تفاعل تضمينات السياق والهدف أثناء المرور الأمامي.

import torch
import torch.nn as nn


class ConceptualJEPA(nn.Module):
    """A simplified conceptual representation of a JEPA architecture."""

    def __init__(self, input_dim=512, embed_dim=256):
        super().__init__()
        # Encoders map raw inputs to a semantic latent space
        self.context_encoder = nn.Linear(input_dim, embed_dim)
        self.target_encoder = nn.Linear(input_dim, embed_dim)

        # Predictor maps context embeddings to target embeddings
        self.predictor = nn.Sequential(nn.Linear(embed_dim, embed_dim), nn.ReLU(), nn.Linear(embed_dim, embed_dim))

    def forward(self, context_data, target_data):
        # 1. Encode context data
        context_embed = self.context_encoder(context_data)

        # 2. Encode target data (weights are often updated via EMA in reality)
        with torch.no_grad():
            target_embed = self.target_encoder(target_data)

        # 3. Predict the target embedding from the context embedding
        predicted_target = self.predictor(context_embed)

        return predicted_target, target_embed


# Example usage
model = ConceptualJEPA()
dummy_context = torch.rand(1, 512)
dummy_target = torch.rand(1, 512)
prediction, actual_target = model(dummy_context, dummy_target)