Joint Embedding Predictive Architecture (JEPA)

البنية التنبؤية للتضمين المشترك (JEPA) تصميم من تصاميم التعلم الخاضع للإشراف الذاتي، تتعلم فيه شبكة بالتنبؤ بـالتمثيل المجرد لجزء مخفي من مدخلها انطلاقًا من جزء ظاهر. عند إعطائها صورةً حُجبت بعض مناطقها، تتنبأ JEPA بـتضمينات المناطق المقنّعة دون إعادة بناء وحدات البكسل فيها؛ لذا تتركز إشارة التدريب على المحتوى الدلالي القابل للتنبؤ، مثل شكل الكائنات وتخطيطها، وتتجاوز التفاصيل غير القابلة للتنبؤ، مثل نسيج الأوراق أو ضجيج المستشعر. اقترح يان لوكون هذه البنية في ورقته التوجيهية لعام 2022 مسار نحو ذكاء آلي ذاتي بوصفها لبنةً أساسية في نماذج العالم، وطبّقت نماذج I-JEPA وV-JEPA من Meta الفكرة على الصور والفيديو.

آلية عمل JEPA#

يتكوّن JEPA من ثلاث شبكات. يحوّل مشفّر السياق، الذي يكون عادةً محوّل الرؤية (ViT)، الرقع المرئية إلى تضمينات. ويُنشئ مشفّر الهدف تضمينات للمدخل الكامل، وتصبح التضمينات عند المواضع المخفية هي الأهداف. أما المتنبئ، وهو Transformer ذو بنية أضيق، فيتلقى تضمينات السياق إضافةً إلى رموز القناع التي تحدد موضع كل هدف، ثم يُخرج تقديره لتضمينات الأهداف. ودالة الخسارة هي متوسط مسافة L2 بين تضمينات الأهداف المتنبأ بها وتضمينات الأهداف الفعلية، ولا تتلقى التدرجات إلا شبكة مشفّر السياق وشبكة المتنبئ. وفي I-JEPA، تنتج كل صورة تدريبية أربع كتل مستهدفة تغطي كل منها 15–20% من الصورة، وكتلة سياق واحدة تغطي 85–100%، بعد إزالة أي تداخل مع الكتل المستهدفة، لذا يتعين على النموذج استنتاج مناطق دلالية كبيرة انطلاقًا من سياق متناثر.

تجنب انهيار التمثيل#

يفتح التنبؤ بالتضمينات طريقًا مختصرًا: إذا أخرج المشفّران المتجه الثابت نفسه لكل إدخال، يصبح التنبؤ مثاليًا والخسارة صفرًا، وهذا إخفاق يُعرف بانهيار التمثيل. وتتجنب I-JEPA وV-JEPA ذلك عبر عدم التناظر. فلا يتدفق أي تدرج إلى مشفّر الهدف، بل تتبع أوزانه متوسطًا متحركًا أسيًا (EMA) لأوزان مشفّر السياق، بزخم يبدأ عند 0.996 ويزداد خطيًا إلى 1.0 أثناء تدريب I-JEPA. ويُستخدم تحديث EMA نفسه لتنعيم تدريب YOLO26 في Ultralytics، حيث يحتفظ المدرّب بمتوسط متحرك لـأوزان النموذج يتصاعد معامل اضمحلاله تدريجيًا نحو 0.9999، ويحفظ النسخة المتوسطة بوصفها نقطة تحقق. ويستبدل LeJEPA، الذي نشره راندال باليسترييرو ولوكون عام 2025، معلم EMA وإيقاف التدرج بـمنظّم يُسمى SIGReg، يدفع التضمينات نحو توزيع غاوسي متساوي الخواص.

تدرّب حلقة PyTorch أدناه نموذج JEPA صغيرًا على متجهات اصطناعية، حيث يشترك منظور السياق ومنظور الهدف في سبب كامن ذي 8 أبعاد.

import copy

import torch
from torch import nn

torch.manual_seed(0)
latent = torch.randn(512, 8)  # hidden cause shared by both views
x, y = latent @ torch.randn(8, 64), latent @ torch.randn(8, 64)  # context view x, target view y

encoder = nn.Sequential(nn.Linear(64, 128), nn.ReLU(), nn.Linear(128, 32))
target_encoder = copy.deepcopy(encoder).requires_grad_(False)  # updated only by EMA
predictor = nn.Linear(32, 32)
optimizer = torch.optim.Adam([*encoder.parameters(), *predictor.parameters()], lr=1e-3)

for step in range(1, 501):
    # Predict the target embedding from the context embedding; raw inputs are never reconstructed
    loss = nn.functional.mse_loss(predictor(encoder(x)), target_encoder(y))
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    with torch.no_grad():  # EMA update of the target encoder with momentum 0.996
        for target_param, param in zip(target_encoder.parameters(), encoder.parameters()):
            target_param.lerp_(param, 0.004)
    if step in {1, 500}:
        print(f"step {step}: latent loss {loss.item():.4f}, target embedding std {target_encoder(y).std(0).mean():.3f}")

يطبع step 1: latent loss 0.5372, target embedding std 0.547 وstep 500: latent loss 0.0060, target embedding std 0.595. ينخفض خطأ التنبؤ في فضاء التضمين بنحو 90 ضعفًا، بينما يظل تشتت تضمينات الهدف ثابتًا، لذا انخفضت الخسارة دون انهيار التضمينات إلى قيمة ثابتة.

JEPA والنهج ذات الصلة#

• المشفّرات التلقائية المقنّعة (MAE): تحجب الرقع بالطريقة نفسها وتعيد بناء وحدات البكسل المفقودة، ما ينفق سعة النموذج على التفاصيل منخفضة المستوى. أما JEPA فتتنبأ بالمحتوى المفقود في فضاء التمثيل.
• التعلم التبايني: يجمع تضمينات منظورين معززين للصورة ويفصل تضمينات الصور الأخرى، لذا يحتاج إلى أمثلة سلبية وتعزيزات مصممة يدويًا مثل الاقتصاص وتغيير الألوان. ولا تستخدم I-JEPA أيًا منهما.
• أساليب التقطير الذاتي مثل DINO: تدرّب طالبًا مقابل معلم EMA أيضًا، وتطابق التضمينات بين اقتصاصات معززة للصورة نفسها. أما JEPA فتتنبأ بتضمين منطقة انطلاقًا من منطقة أخرى، ما يعلّم البنية المكانية والزمانية.
• نماذج العالم التوليدية: تتنبأ بإطارات مستقبلية في فضاء البكسلات، كما تفعل مولدات الفيديو. ويتنبأ نموذج العالم من JEPA بتضمينات مستقبلية، ويمكنه التخطيط مباشرةً في ذلك الفضاء الكامن.

نماذج JEPA#

• I-JEPA (2023): درّب نموذج الصور ViT-Huge/14 على ImageNet باستخدام 16 وحدة GPU من A100 في أقل من 72 ساعة، وتنتقل سماته إلى التصنيف الخطي وعدّ الكائنات والتنبؤ بالعمق دون تعزيزات بيانات مصممة يدويًا.
• V-JEPA (2024): دُرّب على مليوني مقطع فيديو وكان التنبؤ بالسمات هدفه الوحيد؛ ويحقق أكبر نماذجه، ViT-H/16 المُبقى مجمّدًا، 81.9% على Kinetics-400 و72.2% على Something-Something v2 و77.9% على ImageNet-1k.
• V-JEPA 2 (2025): دُرّب مسبقًا على أكثر من مليون ساعة من مقاطع الفيديو على الإنترنت، وحقق دقة top-1 بلغت 77.3% على Something-Something v2 ومعدل استدعاء عند 5 بلغ 39.7 في مهمة استباق الأفعال على Epic-Kitchens-100. وخضع متغيره المشروط بالأفعال، V-JEPA 2-AC، لتدريب لاحق على أقل من 62 ساعة من مقاطع فيديو روبوتية غير موسومة من مجموعة بيانات DROID، ثم نفّذ مهام التقاط الأجسام ووضعها دون أمثلة مسبقة باستخدام أذرع روبوتية من Franka في مختبرين، بالتخطيط نحو أهداف صورية.