Ortak Gömme Tahmin Mimari (JEPA)

Ortak Gömülü Tahminsel Mimari (JEPA), makinelerin fiziksel dünyanın tahminsel modellerini oluşturmasına yardımcı olmak için tasarlanmış gelişmiş bir kendi kendini denetleyen öğrenme çerçevesidir . Meta AI araştırmacıları tarafından geliştirilen ve yapay genel zeka hedefleyen temel araştırmada özetlenen JEPA, modellerin açıklamalı olmayan verilerden nasıl öğrendiği paradigmasını değiştirir. JEPA modeli, bir görüntüyü veya videoyu piksel piksel yeniden oluşturmaya çalışmak yerine, soyut bir latent uzayda girdinin eksik veya gelecekteki kısımlarını tahmin ederek öğrenir. Bu, mimarinin, bir yaprağın tam dokusu veya kamera sensöründeki gürültü gibi alakasız, mikroskobik ayrıntılarla dikkatinin dağılmak yerine, üst düzey anlamsal anlamlara odaklanmasını sağlar.

Mimarinin İşleyişi

Temelinde, mimari üç ana sinir ağı bileşenine dayanır: bağlam kodlayıcı, hedef kodlayıcı ve tahminci. Bağlam kodlayıcı, verilerin bilinen bir bölümünü (bağlam) işleyerek gömme değerler üretir. Aynı anda, hedef kodlayıcı verilerin eksik veya gelecekteki kısmını işleyerek bir hedef temsili oluşturur. Tahminci ağ daha sonra bağlam gömülmesini alır ve hedef gömülmesini tahmin etmeye çalışır. Kayıp fonksiyonu, tahmin edilen gömülme ile gerçek hedef gömülme arasındaki farkı hesaplayarak, model ağırlıklarını güncelleyerek özellik çıkarma yeteneklerini geliştirir. Bu tasarım, modern derin öğrenme boru hatları için oldukça verimlidir.

JEPA ve İlgili Mimariler

Temsil öğrenme stratejilerini karşılaştırırken, JEPA'yı makine öğrenimindeki diğer yaygın yaklaşımlardan ayırmak faydalıdır: :

• Otomatik kodlayıcılar: Geleneksel maskeli otomatik kodlayıcılar, eksik verileri tam ham pikselleri yeniden yapılandırarak tahmin eder. JEPA, bu hesaplama açısından maliyetli yeniden yapılandırma aşamasını önler ve tamamen gizli temsillere odaklanır.
• Karşılaştırmalı Öğrenme: Karşılaştırmalı modeller, belirgin sınırları öğrenmek için pozitif ve negatif veri çiftlerini karşılaştırmaya dayanır. JEPA, negatif örnekler gerektirmez , bu da eğitimi daha kararlı hale getirir ve büyük toplu iş boyutlarına daha az bağımlı hale getirir.

Gerçek Dünya Uygulamaları

JEPA, görsel verilerin sağlam temsillerini oluşturarak çeşitli bilgisayar görme görevlerini hızlandırır.

• Videolarda Eylem Tanıma: V-JEPA (Video JEPA) gibi varyasyonlar, gelecekteki etkileşimleri tahmin etmek için sürekli video akışlarını işler. Bu, kare kare piksel işlemeye dayanmadan karmaşık zamansal dinamikleri anlaması gereken robotik ve otonom sistemler için çok önemlidir.
• Aşağı Akış Görevleri için Temel Modeller: I-JEPA gibi görüntü tabanlı mimariler, güçlü önceden eğitilmiş backbone olarak hizmet eder. Bu sağlam özellik çıkarıcılar, minimum etiketli veriyle hassas nesne algılama veya görüntü sınıflandırma için hızla ince ayar yapılabilir.

Ultralytics gibi sistemler uçtan uca denetimli nesne algılamada üstün performans gösterirken, JEPA tarafından öncülüğü yapılan yüksek anlamsal, gürültüye dayanıklı gizli alanların genel kavramları modern görsel yapay zeka araştırmalarının en son teknolojisini temsil etmektedir. Günümüzde gelişmiş modeller oluşturmak ve uygulamak isteyen ekipler için Ultralytics , veri açıklama ve bulut eğitimi için sorunsuz araçlar sunmaktadır.

PyTorch Uygulama

Bu mimarinin iç akışını anlamak için, ileri geçiş sırasında bağlam ve hedef gömülü öğelerin nasıl etkileşime girdiğini gösteren basitleştirilmiş bir PyTorch ağımodülü bulunmaktadır.

import torch
import torch.nn as nn


class ConceptualJEPA(nn.Module):
    """A simplified conceptual representation of a JEPA architecture."""

    def __init__(self, input_dim=512, embed_dim=256):
        super().__init__()
        # Encoders map raw inputs to a semantic latent space
        self.context_encoder = nn.Linear(input_dim, embed_dim)
        self.target_encoder = nn.Linear(input_dim, embed_dim)

        # Predictor maps context embeddings to target embeddings
        self.predictor = nn.Sequential(nn.Linear(embed_dim, embed_dim), nn.ReLU(), nn.Linear(embed_dim, embed_dim))

    def forward(self, context_data, target_data):
        # 1. Encode context data
        context_embed = self.context_encoder(context_data)

        # 2. Encode target data (weights are often updated via EMA in reality)
        with torch.no_grad():
            target_embed = self.target_encoder(target_data)

        # 3. Predict the target embedding from the context embedding
        predicted_target = self.predictor(context_embed)

        return predicted_target, target_embed


# Example usage
model = ConceptualJEPA()
dummy_context = torch.rand(1, 512)
dummy_target = torch.rand(1, 512)
prediction, actual_target = model(dummy_context, dummy_target)