GPT (Generative Pre-trained Transformer)

GPT (Üretken Önceden Eğitilmiş Transformer), büyük miktarda etiketsiz metin üzerinde bir sonraki tokenı tahmin etmek üzere önceden eğitilen ve ardından görevlere uyarlanan, yalnızca kod çözücü kullanan bir Transformer dil modelidir. OpenAI, Alec Radford ve çalışma arkadaşlarının Generative Pre-Training ile Dil Anlayışını İyileştirme başlıklı makalesiyle bu yaklaşımı Haziran 2018'de tanıttı. Adı, yöntemin aşamalarını açıklar: metin üreten bir model, göreve özel eğitimden önce önceden eğitilir ve Transformer mimarisi üzerine kurulur. GPT serisi, GPT-1'deki 117 milyon parametreden GPT-3'teki 175 milyar parametreye ulaştı; 30 Kasım 2022'de kullanıma sunulan ChatGPT ise seriyi en çok bilinen büyük dil modeli (LLM) ailesi hâline getirdi. "GPT tarzı" ifadesi, Meta'nın Llama ve Alibaba'nın Qwen modelleri dâhil, aynı şekilde eğitilen tüm yalnızca kod çözücü kullanan LLM'leri de tanımlar.

GPT Modeli Nasıl Çalışır?#

Metin önce tokenlara ayrılır; GPT-2, GPT-3'ün de kullandığı 50.257 tokenlık söz varlığına sahip bayt düzeyinde tokenlaştırma yöntemini tanıttı. Her token bir gömme ve bir konum sinyaline dönüşür; birbirinin aynısı kod çözücü bloklarından oluşan bir yığın da bu vektörleri iyileştirir. Her blokta maskelenmiş öz dikkat, her konumun yalnızca kendisini ve önündeki konumları okumasına olanak tanır; ileri beslemeli katman ise her konumu kendi başına dönüştürür:

Nedensel maske sayesinde 1.024 tokenlık bir eğitim dizisi üzerinde yapılan tek bir ileri geçiş, bir sonraki token için aynı anda 1.024 tahmin üretir. Bu, üretim sıralı olsa da ön eğitimi paralel hâle getirir. Çıkarım sırasında model bir sonraki tokenı puanlar, tokenı ekler ve önceki hesaplamaları KV önbelleği üzerinden yeniden kullanarak bu işlemi tekrarlar. OpenAI'ın 124 milyon parametreli GPT-2 modeli, ilk adımı gösterir:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2, " the" tokenına 0.085, " Paris" tokenına ise yalnızca 0.032 olasılık verir; açgözlü kod çözme de "Fransa'nın başkenti, Fransız Cumhuriyeti'nin başkentidir ve" metnini üretir. Önceden eğitilmiş bir GPT, eğitim verilerindeki gibi metni devam ettirir; talimat ayarlama ve ardından uygulanan insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ise modeli soruları yanıtlayan bir asistana dönüştürür.

GPT-1'den GPT-5'e#

GPT-1, 7.000'den fazla yayımlanmamış kitap üzerinde 12 katmanlı bir kod çözücüyü önceden eğitti ve ardından her görev için ince ayar yaptı; incelenen 12 görevin 9'unda en iyi sonuçları iyileştirdi. Şubat 2019'da duyurulan GPT-2, 40 GB web metniyle eğitilen 1,5 milyar parametreye ulaştı ve görevleri sıfır örnekli olarak gerçekleştirdi. OpenAI, kötüye kullanım endişeleri nedeniyle ağırlıklarını Kasım 2019'a kadar aşamalı olarak yayımladı. Mayıs 2020'de çıkan GPT-3, isteme yerleştirilen örneklerden az örnekli öğrenmeyi gösterdi; bu sonuç ölçekleme yasalarının önceden öngördüğü bir gelişmeydi.

InstructGPT ve ardından ChatGPT, insan geri bildirimine dayalı eğitimi ekledi; GPT-4 ise Mart 2023'te girdiler olarak görüntüleri kabul etmeye başladı. OpenAI'ın o1 ile Eylül 2024'te başlayan o serisi akıl yürütme modelleri, yanıt vermeden önce uzun bir düşünce zinciri yazmayı öğrendi. 7 Ağustos 2025'te yayımlanan GPT-5, hızlı bir modeli ve bir akıl yürütme modelini yönlendirici arkasında bir araya getirdi. OpenAI bundan iki gün önce, GPT-2'den beri ilk açık ağırlıklı dil modelleri olan gpt-oss-120b ve gpt-oss-20b'yi Apache 2.0 lisansı altında yayımlamıştı.

Bilgisayarlı Görüde GPT#

Aynı sonraki tokenı tahmin etme yaklaşımı görüntüler için de geçerlidir. OpenAI'ın Image GPT'si, 2020'de GPT-2 ölçeğindeki modelleri pikselleri teker teker tahmin etmek üzere eğitti; görsel otoregresif modelleme (VAR) görüntüleri ölçek ölçek tahmin eder; birçok görüntü-dil modeli (VLM) ise yanıtı yazan GPT tarzı bir kod çözücüye görüntü kodlayıcı ekler. Metin kodlayıcıları da bu tasarımı kullanır: OpenAI'ın CLIP modeli, GPT-2 mimarisini ve maskelenmiş öz dikkati kullanan 63 milyon parametreli, 12 katmanlı bir Transformer ile metni kodlar. Ultralytics paketinde bulunan Tencent AI Lab'in YOLO-World modeli, set_classes(["person", "bus"]) çağrıldığında CLIP metin kodlayıcısını kullanarak her sınıf adını, algılayıcının görüntü bölgeleriyle karşılaştırdığı bir gömmeye dönüştürür; böylece sınıf listesini yeniden eğitim yapmadan değiştirebilirsin.

GPT ve İlgili Terimler#

BERT, nedensel maske kullanmadan Transformer kodlayıcısından yararlanır; böylece her token tüm girdiyi görür. Sınıflandırma ve erişim görevlerine uygundur, ancak metin üretmez. LLM, tüm büyük dil modellerini kapsayan bir terimdir; GPT ise hem OpenAI'ın model serisinin adını hem de çoğu LLM'nin paylaştığı yalnızca kod çözücü kullanan tasarımı ifade eder. ChatGPT gibi bir sohbet botu, modelin etrafına sistem istemi, konuşma geçmişi ve araçlar eklenerek GPT modelleri üzerine kurulan bir uygulamadır.