Large Language Model (LLM)

Büyük dil modeli (LLM), neredeyse her zaman bir Transformer olan ve bir dizideki sonraki tokenı tahmin etmek üzere trilyonlarca metin tokenı üzerinde eğitilmiş milyarlarca parametreli bir sinir ağıdır. Bu tek amaç, büyük ölçekte uygulandığında modellerin soruları yanıtlamasını, belgeleri özetlemesini, çeviri yapmasını, kod yazmasını ve yazılım araçlarını çağırmasını sağlar. OpenAI'ın GPT'si, Anthropic'in Claude'u ve Google'ın Gemini'si API'ler üzerinden sunulan LLM aileleridir; Meta'nın Llama'sı, Alibaba'nın Qwen'i, DeepSeek, Mistral ve OpenAI'ın gpt-oss modeli açık ağırlıklar yayımlar. Transformer mimarisi, 2017 tarihli Attention Is All You Need makalesinden gelir; GPT-3, 2020'de 175 milyar parametreli bir modelin istemindeki örneklerden görevleri öğrenebildiğini gösterdi; ChatGPT ise Kasım 2022'de LLM'leri geniş kitlelerle buluşturdu.

LLM'ler Nasıl Çalışır#

Bir LLM önce metni token kimliklerine dönüştürmek için tokenleştirme yapar ve her token için bir gömme vektörü arar. Vektörler, her tokenın kendisinden önceki tokenlardan bilgi almasını sağlayan nedensel öz dikkat mekanizmasını her tokenı ayrı ayrı dönüştüren ileri beslemeli bir katmanla birleştiren, birbirinin aynısı bloklardan oluşan bir yığından geçer. Son blok, söz dağarcığındaki her token için bir softmax olasılığı üretir; model bir token seçer, bu tokenı sona ekler ve işlemi yineler. Metin üretimi bu şekilde çalışır:

Boyut parametrelerle ölçülür ve yakın tarihli birçok model seyrektir. Bir uzman karışımı (MoE) içinde yönlendirici, her tokenı çok sayıdaki ileri beslemeli uzmandan birkaçına gönderir; bu nedenle DeepSeek-V3 671 milyar parametreye sahip olsa da token başına 37 milyar parametre kullanır. Bir modelin aynı anda okuyabildiği metin miktarı olan bağlam penceresi, GPT-3'ün 2.048 tokenından günümüzdeki bazı modellerde bir milyon veya daha fazla tokene çıktı. Bu uzun girdileri sunmak, önceki her tokenın dikkat anahtarlarını ve değerlerini saklayan bir KV önbelleğine bağlıdır.

LLM'ler Nasıl Eğitilir#

Ön eğitim öz denetimli öğrenmedir: model, insan etiketleri olmadan web sayfaları, kitaplar ve kodlardaki sonraki tokenı tahmin eder. Ölçekleme yasaları, daha fazla parametre, veri ve işlem gücüyle kaybın nasıl azaldığını öngörür; DeepMind'ın Chinchilla çalışması, işlem gücü açısından en uygun eğitimin parametre başına yaklaşık 20 token kullandığını buldu. Günümüzde modeller bu oranı çok aşan miktarlarda eğitiliyor; Meta, Llama 3'ü yaklaşık 15 trilyon token üzerinde önceden eğitti. Eğitim sonrası aşama, ortaya çıkan temel modeli bir asistana dönüştürür. Talimat ayarı modele istekleri izlemeyi öğretir; insan geri bildiriminden pekiştirmeli öğrenme (RLHF) veya doğrudan tercih optimizasyonu yanıtlarını insan tercihleriyle hizalar. OpenAI'ın InstructGPT sonuçları, etiketleyicilerin 1,3 milyar parametreli ayarlanmış modeli 175 milyar parametreli GPT-3'e tercih ettiğini gösterdi. OpenAI'ın o1'i ve DeepSeek-R1 gibi akıl yürütme modelleri, büyük ölçekli pekiştirmeli öğrenme ekler. DeepSeek-R1'de bu, matematik ve kodlama sorularında, yanıtları doğrulanabilir olan doğrulanabilir ödüllerle pekiştirmeli öğrenmeyi içerir ve modelleri yanıt vermeden önce uzun akıl yürütme zincirleri yazmaya yönlendirir. Ekipler daha sonra ince ayar ile, çoğu zaman LoRA kullanarak modeli kendi alanlarına uyarlar veya ağırlıkları değiştirmeden getirimle zenginleştirilmiş üretim (RAG) yoluyla bilgi sağlar.

Uygulamalar#

LLM'ler sohbet botlarını ve asistanları, tüm kod depolarını düzenleyip test eden aracı tabanlı kodlama araçlarını, arama ve belge soru-cevap sistemlerini ve işlev çağırma yoluyla çok adımlı görevleri planlayan yapay zekâ aracılarını destekler. Bir görüntü kodlayıcısı eklemek, LLM'yi fotoğraflar, grafikler ve video kareleri hakkındaki soruları yanıtlayan bir görsel-dil modeline (VLM) dönüştürür. Büyük LLM aileleri görüntüleri de okuyabilir. Ultralytics VLM Leaderboard, GPT-6.1 Sol, Claude Opus 5.5 ve Gemini 4 Argon gibi modellerin gerçek dünya veri kümelerindeki nesneleri ne kadar doğru algıladığını karşılaştırır. Ultralytics LLM arayüzü, metni veya görüntüleri OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter ya da yerel bir sunucudaki OpenAI uyumlu modellere gönderir; böylece bir YOLO26 işlem hattı, yalnızca bir algılamanın açıklanması gerektiğinde, örneğin bir kişi belirdiğinde sahneyi betimlemek için LLM çağırabilir.

LLM ve İlgili Terimler#

• Doğal dil işleme (NLP): İnsan diliyle çalışan bilişim alanıdır. Günümüzde LLM'ler bu alandaki baskın model türüdür.
• Üretken yapay zekâ: Görüntü, ses ve video üreticileri dâhil olmak üzere yeni içerik oluşturan her türlü modeldir.
• Temel model: Stanford araştırmacılarının 2021'de adlandırdığı; geniş kapsamlı verilerle önceden eğitilen ve pek çok göreve uyarlanan büyük modellerin daha geniş kategorisidir. Görüntü temel modellerini ve LLM'leri kapsar.
• Küçük dil modeli (SLM): Telefonlarda, dizüstü bilgisayarlarda veya düşük maliyetli sunucularda çalışabilecek kadar kompakt, genellikle birkaç milyar veya daha az parametreye sahip bir dil modelidir.

Sınırlamalar#

LLM'ler doğru olsun ya da olmasın akıcı metin üretir; bu nedenle olgusal çalışmalardaki temel risk halüsinasyonlardır. Bilgi getirme veya araçlar sağlamadıkça model, eğitim kesim tarihinden sonrasını bilmez. Eğitim verileri önyargılarını modele aktarır; web sayfalarında veya belgelerde gizlenmiş talimatlar istem enjeksiyonu yoluyla bir ajanın kontrolünü ele geçirebilir. Bağlamlar çok uzadıkça doğruluk da düşer; bu etkiye bağlam çürümesi denir. LLM'leri sunmak ayrıca çok fazla bellek gerektirir: 70 milyar parametreli bir modelin ağırlıkları 16 bitte yaklaşık 140 GB, 4 bitte yaklaşık 35 GB yer kaplar. Bu nedenle model nicemleme biçimleri, örneğin GGUF, bu modellerin tek bir iş istasyonunda çalışmasını sağlar.