Foundation Model

Temel model, geniş kapsamlı verilerle büyük ölçekte eğitilen ve çok çeşitli alt görevlere uyarlanabilen büyük bir makine öğrenimi modelidir. Stanford araştırmacıları bu terimi, kendi başlarına tamamlanmış olmasalar da birçok uygulamanın merkezinde yer alan modelleri tanımlamak için "temel" sözcüğünü seçtikleri 2021 tarihli Temel Modellerin Fırsatları ve Riskleri Üzerine raporunda tanıttı. Önceki modeller genellikle tek bir etiketli veri kümesinde tek bir görev için eğitilirdi. Temel model, maliyetli bir ön eğitim çalışmasında genel örüntüleri bir kez öğrenir; ardından bu modeli kendileri hiç eğitmeyen ekiplerin geliştirdiği sohbet botları, arama, çeviri, görüntü sınıflandırma, segmentasyon ve daha birçok uygulama için başlangıç noktası olur. GPT, Claude, Gemini ve Llama gibi büyük dil modelleri (LLM'ler) de CLIP, DINOv3 ve Meta'nın Segment Anything Model (SAM) modeli gibi görü modelleri de temel modellerdir.

Temel Modeller Nasıl Çalışır#

Ön eğitimde insan etiketleri gerektirmeyen hedefler kullanılır; böylece eğitim kümesi trilyonlarca metin sözcüğüne veya milyarlarca görsele ulaşabilir. Dil modelleri sonraki belirteci tahmin ederek, görü kodlayıcıları maskeli görüntü modelleme ve öz damıtma gibi öz denetimli öğrenme yöntemleriyle, görü-dil modelleri ise görsel-altyazı çiftleri üzerinde karşıt öğrenmeyle öğrenir. Temel modellerin neredeyse tümü Transformer mimarisini kullanır ve ölçekleme yasalarında açıklandığı gibi, performansları parametre, veri ve hesaplama miktarıyla öngörülebilir biçimde artar.

Ön eğitimden sonra aynı model, çeşitli yöntemlerden biriyle her göreve uyarlanır. İstem oluşturma, modeli talimatlar veya örneklerle yönlendirir ve eğitim gerektirmez; ince ayar veya parametre açısından verimli ince ayar (PEFT), görev verileri üzerinde ağırlıklarını günceller; dondurulmuş gömme temsilleri üzerinde eğitilmiş küçük bir başlık ise modeli sınıflandırıcıya veya bilgi getiriciye dönüştürür:

Raporda bu örüntünün iki sonucu vurgulandı. Ortaya çıkış, yeteneklerin doğrudan eğitilmeden ölçekle birlikte belirmesidir; örneğin GPT-3, isteminde verilen birkaç örnekten yeni görevleri yerine getirmeyi öğrendi. Tek tipleşme ise artık birçok uygulamanın az sayıda model üzerine kurulmasıdır; böylece bir modelin hataları ve yanlılıkları, ondan uyarlanan her şeye aktarılır. Düzenleyiciler artık bu modelleri doğrudan ele alıyor: AB Yapay Zekâ Yasası bunları genel amaçlı yapay zekâ modelleri olarak adlandırıyor ve sağlayıcılarına yönelik yükümlülükler 2 Ağustos 2025'ten beri uygulanıyor.

Bilgisayarlı Görüde Temel Modeller#

Görü temel modelleri, göreve özgü algılayıcılardan çok daha büyük ve kapsamlı verilerle eğitilir. CLIP, 400 milyon görsel-altyazı çiftinden öğrendi ve görselleri yalnızca metinle adlandırılan kategorilere sınıflandırdı; bu, görü alanındaki sıfır örnekli öğrenmenin temelini oluşturur. Meta'nın DINOv3 modeli, 1,7 milyar etiketsiz görsel üzerinde eğitilmiş 7 milyar parametreli bir modelle derinlik tahmini, segmentasyon ve uydu haritalaması için dondurulmuş özellikler üretir. Yazarlarının görüntü segmentasyonu için bir temel model olarak tanımladığı SAM, 11 milyon görsel ve 1,1 milyar maskeden oluşan SA-1B veri kümesiyle eğitildi; bir nokta veya kutuyla belirtilen her nesneyi segmentler. SAM 3 ise adı verilen bir kavramın tüm örneklerini bulan metin istemleri ekler. Görü-dil-eylem modelleri bu yaklaşımı robotik alanına genişleterek kamera görüntülerini ve talimatları robot eylemlerine dönüştürür.

Ultralytics Platform, veri etiketlemeyi hızlandırmak için bu modelleri kullanır: Akıllı etiketleme sırasında bir tıklama, nesnenin maskesini çıkarmak için SAM 2.1, SAM 3 veya SAM 3.1'i yönlendirir. Algılama veri kümelerinde SAM 3.1 Text ve Grounding DINO gibi sınıf istemli modeller, sınıf adından hareketle o sınıftaki tüm nesneleri bulur. VLM Liderlik Tablosu, bu sınıf istemli modellerin ve üretken VLM'lerin gerçek dünya algılama veri kümelerini otomatik olarak ne kadar doğru etiketlediğini karşılaştırır. Meta'nın SAM 2.1 modeli Ultralytics Python paketinde de çalışır; burada kutu istemi, göreve özel eğitimin yerini alır:

from ultralytics import SAM

# Meta'nın bir segmentasyon temel modeli olan SAM 2.1, eğitim yapılmadan olduğu gibi kullanılıyor
model = SAM("sam2.1_b.pt")

# Otobüsün çevresine çizilen bir kutu istemi görevi tanımlar; model o nesnenin maskesini döndürür
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

Temel Modeller ve İlgili Terimler#

• Büyük dil modeli (LLM): Metin için geliştirilmiş bir temel modeldir. Temel modeller görselleri, videoyu, sesi, tablo verilerini ve robot kontrolünü de kapsar.
• Üretken yapay zekâ: Metin, görsel, ses veya video üreten sistemlerdir. Birçoğu temel modeller üzerine kuruludur; DINOv3 ve SAM gibi bazı temel modeller ise yeni içerik yerine özellikler ve maskeler üretir.
• Aktarım öğrenimi: Önceden eğitilmiş bir modeli yeni bir görev için yeniden kullanma tekniğidir. Temel model, birçok görevde bu şekilde yeniden kullanılmak üzere oluşturulmuş önceden eğitilmiş bir modeldir; COCO nesne algılayıcısı gibi sabit etiket kümesine sahip tek bir görev için eğitilmiş bir model ise esas olarak yakından ilişkili görevlere aktarılabilir.
• Sınır yapay zekâ modelleri: Belirli bir dönemin en yetenekli temel modelleri. AB Yapay Zekâ Yasası uyarınca, 10²⁵'ten fazla kayan nokta işlemiyle eğitilmiş bir genel amaçlı yapay zekâ modelinin sistemik risk taşıdığı varsayılır ve ek yükümlülükler getirilir.