Large Concept Models (LCMs)

Büyük kavram modeli (LCM), sonraki token yerine, kavram adı verilen sonraki cümle düzeyindeki gömüyü tahmin eden bir dil modelidir. Meta FAIR, mimariyi Aralık 2024'te Büyük Kavram Modelleri: Cümle Temsili Uzayında Dil Modellemesi başlıklı çalışmada tanıttı; her cümleyi tek bir kavram olarak ele alıp belgeyi cümle vektörleri dizisi biçiminde modelliyordu. Bu vektörler, 200 dilde metin girdi ve çıktısını, 76 dilde konuşma girdisini destekleyen sabit bir cümle gömme uzayı olan SONAR tarafından üretilir. Böylece ortadaki model, tek bir dilin sözcük seçimine bağlı kalmadan anlam üzerinde akıl yürütür.

Büyük Kavram Modelleri Nasıl Çalışır#

Geleneksel bir büyük dil modeli (LLM), tokenleştirme yapar ve her seferinde bir alt sözcük tahmin eder. LCM, girdiyi cümlelere böler, dondurulmuş SONAR kodlayıcısıyla her cümleyi 1.024 sayılık bir vektöre kodlar ve bu diziyi sonraki cümle vektörünü tahmin eden bir transformer modeline verir. Metin üretimi, model belgenin sonuna geldiğini bildirene kadar bu adımı yineler; dondurulmuş SONAR kod çözücüsü de tahmin edilen her vektörü desteklenen dillerden herhangi birinde bir cümleye dönüştürür:

Temel yapı, dizi öğeleri cümle vektörleri olan sıradan bir nedensel transformer'dır. En basit sürüm olan Base-LCM, her sonraki vektörü ortalama karesel hata kaybıyla tahmin edecek şekilde eğitilir. Aşağıda tek bir eğitim adımının PyTorch taslağı verilmiştir:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Next-concept predictions: (1, 5, 1024) çıktısını verir: her biri tam bir 1.024 sayılık cümle vektörü olan beş tahmin. Token düzeyinde bir model ise söz dağarcığı üzerindeki beş olasılık dağılımını çıkarırdı. Meta'nın eğitim verilerinde cümle başına ortalama yaklaşık 19 token vardı; dolayısıyla LCM aynı metin için LLM'den yaklaşık 19 kat daha kısa diziler işler.

Bu tür ifade düzeyindeki vektörler, açık söz dağarcıklı tespiti de destekler. Ultralytics YOLOE, set_classes() öğesine verilen "double-decker bus" gibi her sınıf istemini tek bir MobileCLIP metin gömüsüne kodlar ve görüntü bölgelerini bu vektörlerle eşleştirir; böylece tek bir gömü tüm ifadeyi temsil eder.

Temel, Difüzyon ve Nicemlenmiş Sürümler#

Regresyon kaybı, her tahmini makul tüm sonraki cümlelerin ortalamasına yaklaştırır; bu da sıradan veya bulanık bir metin çözümlemesine yol açabilir. Bu nedenle Meta, önceki cümlelere koşullu olarak sonraki vektörü gürültüden başlatıp adım adım gürültüsünü gideren difüzyon LCM'leri de geliştirdi; bu yaklaşım difüzyon modellerini gömülere uygular. One-Tower sürümü bağlam ve gürültü giderme için tek bir transformer kullanır; Two-Tower sürümü ise bu işlemleri birbirinden ayırır. Quant-LCM, bunun yerine SONAR uzayını artık vektör nicemleme ile ayrıklaştırır ve sonuç kodlarını, bir LLM'nin token tahmin etmesine benzer biçimde tahmin eder.

Meta, karşılaştırmalarını yaklaşık 1,3 trilyon token üzerinde eğitilmiş 1,6 milyar parametreli modellerle yaptı. Ardından Two-Tower difüzyon LCM'yi 7 milyar parametreye ölçekleyip 142,4 milyar cümle, yani 2,7 trilyon token üzerinde eğitti ve eğitim kodunu yayımladı. 42 dilde XLSum veri kümesiyle sıfır örnekli metin özetleme görevinde 7B LCM, İngilizcede 23.5 Rouge-L puanı aldı; Llama-3.1-8B-Instruct ise 20.7 puan aldı.

Sınırlamalar#

Bir cümleyi 1.024 sayıya sıkıştırmak özel adları, sayıları ve kodu bulanıklaştırabilir; dondurulmuş kod çözücü de yalnızca gömünün koruduğu bilgileri yeniden üretebilir. Bir cümleyi tek bir kavram olarak ele almak pratik bir tercihtir; çünkü tek bir cümle birkaç fikir içerebilir ve tek bir fikir birkaç cümleye yayılabilir. Sabit SONAR uzayı, LCM'nin SONAR kodlayıcısının kodlamayı öğrenmediği hiçbir şeyi temsil edemeyeceği anlamına da gelir. Bu nedenle XLSum'un 45 dilinden üçü değerlendirmeye alınmamıştır.

LCM'ler ve İlgili Terimler#

• Büyük dil modelleri: Tokenlar üzerinde bir dağılım tahmin eder. LCM, dil modellemesini cümle gömme uzayında yürütür ve metin için ayrı bir kodlayıcı ile kod çözücü kullanır.
• Ortak gömme öngörücü mimarisi (JEPA): Ham veri yerine temsilleri tahmin eden ve ağırlıklı olarak görüntü ile video alanında kullanılan bir başka Meta yaklaşımıdır.
• Gizil akıl yürütme: Her adımı metin olarak yazmadan, bir modelin gizli durumlarında yürütülen akıl yürütmedir.
• Kavram darboğazlı modeller: Tahminleri, açıklanabilir yapay zekâ (XAI) için "kanatları var" gibi insanlar tarafından adlandırılmış özellikler üzerinden yönlendiren sınıflandırıcılardır.
• Gizil tutarlılık modelleri: LCM kısaltmasını paylaşırlar; ancak birkaç adımda görüntü üreten, damıtılmış görüntü gizil difüzyon modelleridir.