GPT (Generative Pre-trained Transformer)

GPT (Üretken Önceden Eğitilmiş Transformer), büyük miktarda etiketsiz metin üzerinde bir sonraki tokenı tahmin etmek üzere önceden eğitilen ve ardından görevlere uyarlanan, yalnızca kod çözücü kullanan bir Transformer dil modelidir. OpenAI, Alec Radford ve çalışma arkadaşlarının Generative Pre-Training ile Dil Anlayışını İyileştirme başlıklı makalesiyle bu yaklaşımı Haziran 2018'de tanıttı. Adı, yöntemin aşamalarını açıklar: metin üreten bir model, göreve özel eğitimden önce önceden eğitilir ve Transformer mimarisi üzerine kurulur. GPT serisi, GPT-1'deki 117 milyon parametreden GPT-3'teki 175 milyar parametreye ulaştı; 30 Kasım 2022'de kullanıma sunulan ChatGPT ise seriyi en çok bilinen büyük dil modeli (LLM) ailesi hâline getirdi. "GPT tarzı" ifadesi, Meta'nın Llama ve Alibaba'nın Qwen modelleri dâhil, aynı şekilde eğitilen tüm yalnızca kod çözücü kullanan LLM'leri de tanımlar.

GPT Modeli Nasıl Çalışır?#

Metin önce tokenlara ayrılır; GPT-2, GPT-3'ün de kullandığı 50.257 tokenlık söz varlığına sahip bayt düzeyinde tokenlaştırma yöntemini tanıttı. Her token bir gömme ve bir konum sinyaline dönüşür; birbirinin aynısı kod çözücü bloklarından oluşan bir yığın da bu vektörleri iyileştirir. Her blokta maskelenmiş öz dikkat, her konumun yalnızca kendisini ve önündeki konumları okumasına olanak tanır; ileri beslemeli katman ise her konumu kendi başına dönüştürür:

Nedensel maske sayesinde 1.024 tokenlık bir eğitim dizisi üzerinde yapılan tek bir ileri geçiş, bir sonraki token için aynı anda 1.024 tahmin üretir. Bu, üretim sıralı olsa da ön eğitimi paralel hâle getirir. Çıkarım sırasında model bir sonraki tokenı puanlar, tokenı ekler ve önceki hesaplamaları KV önbelleği üzerinden yeniden kullanarak bu işlemi tekrarlar. OpenAI'ın 124 milyon parametreli GPT-2 modeli, ilk adımı gösterir:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2, " the" tokenına 0.085, " Paris" tokenına ise yalnızca 0.032 olasılık verir; açgözlü kod çözme de "Fransa'nın başkenti, Fransız Cumhuriyeti'nin başkentidir ve" metnini üretir. Önceden eğitilmiş bir GPT, eğitim verilerindeki gibi metni devam ettirir; talimat ayarlama ve ardından uygulanan insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ise modeli soruları yanıtlayan bir asistana dönüştürür.

GPT-1'den GPT-6'ya#

GPT-1, 7.000'den fazla yayımlanmamış kitap üzerinde 12 katmanlı bir kod çözücüyü önceden eğitti ve ardından her görev için ince ayar yaptı; incelenen 12 görevin 9'unda en iyi sonuçları iyileştirdi. Şubat 2019'da duyurulan GPT-2, 40 GB web metniyle eğitilen 1,5 milyar parametreye ulaştı ve görevleri sıfır örnekli olarak gerçekleştirdi. OpenAI, kötüye kullanım endişeleri nedeniyle ağırlıklarını Kasım 2019'a kadar aşamalı olarak yayımladı. Mayıs 2020'de çıkan GPT-3, isteme yerleştirilen örneklerden az örnekli öğrenmeyi gösterdi; bu sonuç ölçekleme yasalarının önceden öngördüğü bir gelişmeydi.

InstructGPT'nin ve ardından ChatGPT'nin eklediği insan geri bildirimiyle eğitim sayesinde GPT-4, Mart 2023'te görüntüleri girdi olarak kabul etmeye başladı. Eylül 2024'te o1 ile başlayan OpenAI o-serisi akıl yürütme modelleri, yanıt vermeden önce uzun bir düşünce zinciri yazmayı öğrendi. 7 Ağustos 2025'te yayımlanan GPT-5 ise hızlı bir modeli ve bir akıl yürütme modelini yönlendiricinin arkasına yerleştirdi. İki gün önce OpenAI, GPT-2'den bu yana ilk açık ağırlıklı dil modelleri olan gpt-oss-120b ve gpt-oss-20b'yi Apache 2.0 lisansı altında yayımlamıştı. GPT-6 ailesi Eylül 2026'da piyasaya çıktı: 3 Eylül'de GPT-6 Astra, 22 Eylül'de GPT-6 Sol ve GPT-6 Luna, 29 Eylül'de ise GPT-6.1 Sol.

Bilgisayarlı Görüde GPT#

Aynı sonraki token tahmini yöntemi görüntüler için de geçerlidir. OpenAI'ın Image GPT'si 2020'de GPT-2 ölçeğindeki modelleri pikselleri teker teker tahmin edecek şekilde eğitti; görsel otoregresif modelleme (VAR) görüntüleri ölçek ölçek tahmin eder. Birçok görsel-dil modeli (VLM) ise yanıtı yazan GPT tarzı bir kod çözücüye görüntü kodlayıcısı ekler. Metin kodlayıcıları da aynı tasarımı kullanır: OpenAI'ın CLIP modeli, GPT-2 mimarisini ve maskeli öz dikkat mekanizmasını kullanan 63 milyon parametreli, 12 katmanlı bir Transformer ile metni kodlar. Ultralytics paketinde çalışan Tencent AI Lab'in YOLO-World modeli, set_classes(["person", "bus"]) çağrıldığında bu CLIP metin kodlayıcısını kullanır; her sınıf adını algılayıcının görüntü bölgeleriyle eşleştirdiği bir gömmeye dönüştürür ve böylece sınıf listesi yeniden eğitim yapılmadan değiştirilebilir. OpenAI'ın kendi GPT modelleri de görüntüleri okur. VLM Leaderboard, GPT-6.1 Sol ve diğer görsel-dil modellerinin gerçek dünya veri kümelerindeki nesneleri ne kadar doğru algıladığını ölçer.

GPT ve İlgili Terimler#

BERT, nedensel maske kullanmadan Transformer kodlayıcısından yararlanır; böylece her token tüm girdiyi görür. Sınıflandırma ve erişim görevlerine uygundur, ancak metin üretmez. LLM, tüm büyük dil modellerini kapsayan bir terimdir; GPT ise hem OpenAI'ın model serisinin adını hem de çoğu LLM'nin paylaştığı yalnızca kod çözücü kullanan tasarımı ifade eder. ChatGPT gibi bir sohbet botu, modelin etrafına sistem istemi, konuşma geçmişi ve araçlar eklenerek GPT modelleri üzerine kurulan bir uygulamadır.