GPT-3

GPT-3 (Üretken Önceden Eğitilmiş Transformer 3), OpenAI'ın Mayıs 2020'de Dil Modelleri Az Örnekle Öğrenir makalesinde tanımladığı, 175 milyar parametreli bir büyük dil modelidir (LLM). Önceki GPT-2'den 100 kattan daha büyüktü; öne çıkan sonucu ise bağlam içi öğrenmeydi: bir görev açıklaması ve istemde birkaç örnek verildiğinde, aynı dondurulmuş model herhangi bir ince ayar yapılmadan çeviri yapabiliyor, soruları yanıtlayabiliyor veya aritmetik işlemleri gerçekleştirebiliyordu. OpenAI ağırlıkları hiçbir zaman yayımlamadı ve GPT-3'ü yalnızca Haziran 2020'de kullanıma açılan API üzerinden sundu. GPT-3'ün talimat ayarlı devam modelleri, ChatGPT'nin arkasındaki GPT-3.5 modellerine dönüştü; bu da GPT ailesini 2022'nin sonlarında herkesçe bilinir hâle getirdi.

Mimari ve Eğitim#

GPT-3, GPT-2 ile aynı tasarıma sahip, yalnızca çözücüden oluşan ve ölçeği büyütülmüş bir Transformer modelidir. En büyük model 96 katmana, 12.288 genişliğe, her biri 128 boyutlu 96 dikkat başlığına ve 2.048 belirteçlik bir bağlam penceresine sahiptir; katmanları yoğun dikkat ile yerel bantlı seyrek dikkat arasında dönüşümlüdür. GPT-2'nin 50.257 belirteçlik söz dağarcığına sahip bayt düzeyinde BPE belirteçlemesini yeniden kullanır. Makalede, 125 milyondan 175 milyar parametreye kadar sekiz boyut eğitildi; her biri, filtrelenmiş Common Crawl'dan (%60), WebText2'den (%22), iki kitap derleminden (%8'er) ve İngilizce Wikipedia'dan (%3) alınan 300 milyar belirteç üzerinde, Microsoft'un sağladığı bir kümedeki V100 GPU'ları kullanılarak eğitildi. Bu hiperparametreler modelin boyutunu ve eğitim maliyetini açıklar:

# GPT-3 175B: layers, width, and context from the paper's Table 2.1, plus GPT-2's vocabulary
n_layers, d_model, vocab_size, context = 96, 12288, 50257, 2048

# Each decoder block holds 4 * d^2 attention weights and 8 * d^2 feed-forward weights (4x hidden width)
blocks = n_layers * 12 * d_model**2
embeddings = (vocab_size + context) * d_model  # token and learned position embeddings
params = blocks + embeddings
print(f"Parameters: {params / 1e9:.1f} billion ({blocks / params:.1%} in the decoder blocks)")

# Training compute: about 6 FLOPs per parameter per token, over 300 billion training tokens
flops = 6 * params * 300e9
print(f"Training compute: {flops:.2e} FLOPs = {flops / (1e15 * 86400):,.0f} petaflop/s-days")

Kod, 174,6 milyar parametreyi (bunların %99,6'sı çözücü bloklarında bulunur) ve 3,14e+23 FLOP'u, yani 3.637 petaflop/sn-günü yazdırır; bu değerler, makalenin ekinde listelenen 174.600 milyon parametre ve 3,14e+23 FLOP ile eşleşir.

Az Örnekli ve Bağlam İçi Öğrenme#

Makale üç istem ayarını değerlendirdi. Sıfır örnekli ayar yalnızca bir talimat verir; tek örnekli ayar tek bir çözülmüş örnek ekler; az örnekli ayar ise bağlam penceresine sığan, genellikle 10 ila 100 örnek ekler. Hem model boyutu hem de örnek sayısı arttıkça performans yükseldi: TriviaQA soru yanıtlama kıyaslamasında 175 milyar parametreli model sıfır örnekli ayarda %64,3, tek örnekli ayarda %68,0 ve az örnekli ayarda %71,2 puan aldı; son sonuç, aynı kapalı kitap ayarında ince ayarlı sistemleri geçti. Az örnekli istem oluşturma, istem mühendisliğini LLM'leri kullanmanın standart bir yolu hâline getirdi; sonuçlar, büyük modellerin bağlamdan daha fazla öğrendiğini öne süren ölçekleme yasaları görüşünü destekledi. Yeniden eğitim yerine istem kullanma fikri, YOLOE-26 ile nesne algılamaya da taşınıyor; modelin görsel istemleri, yeni görsellerde herhangi bir ağırlık güncellemesi yapmadan bulacağı bir sınıfı tanımlamak için referans görselde örneklerin çevresine çizilen kutuları kullanıyor.

GPT-3'ten ChatGPT'ye#

Microsoft, GPT-3'ün temel modelinin özel lisansını Eylül 2020'de aldı; herkese açık kod üzerinde ince ayar yapılmış bir GPT-3 devam modeli olan OpenAI Codex ise 2021'de GitHub Copilot'ın ilk sürümüne güç verdi. Temel GPT-3 metni iyi sürdürüyordu, ancak talimatları iyi izleyemiyordu; bu nedenle OpenAI talimat ayarı ve insan geri bildiriminden pekiştirmeli öğrenme (RLHF) uyguladı. Etiketleyiciler, ortaya çıkan 1,3 milyar parametreli InstructGPT modelinin çıktılarını 175 milyar parametreli GPT-3'ün çıktılarından daha çok tercih etti. Bu çizgi, Kasım 2022'de GPT-3.5 ve ChatGPT'ye, ardından Mart 2023'te çok kipli GPT-4 modeline uzandı. Meta'nın OPT-175B modeli ve BigScience'ın BLOOM modeli, 2022'de GPT-3 ölçeğindeki modelleri açık ağırlıklarla yeniden oluşturdu.

GPT-3 ve İlgili Modeller#

• GPT-2: 2019'da yayımlanan, aynı mimari ve belirteçleyiciye sahip 1,5 milyar parametreli öncül model; boyutu yaklaşık yüzde bir düzeyindeydi ve 1.024 belirteçlik bağlamı vardı.
• GPT-4: Hem görselleri hem de metni kabul eden ve son eğitim aşamasından sonra talimatları çok daha güvenilir biçimde izleyen, 2023 tarihli devam modelidir.
• BERT: Google'ın 2018 tarihli, yalnızca kodlayıcıdan oluşan modelidir; metni iki yönde okur ve sınıflandırma ile bilgi çıkarımı görevlerine uygundur.

Sınırlamalar#

GPT-3 makalesinde modelin zayıflıklarının birçoğu bizzat sıralanıyor. Model kendini tekrar ediyor, uzun bölümlerde tutarlılığını kaybediyor ve temel fiziksel sağduyu hataları yapıyor; sonraki LLM'ler gibi yanlış bilgileri de güvenle dile getiriyor; bu durum artık halüsinasyon olarak adlandırılıyor. Yazarlar modelin tamamlamalarında cinsiyet, ırk ve din yanlılıklarını ölçtü; ayrıca bazı kıyaslama test kümelerinin web eğitim verilerine sızdığını buldu. Modelin metin üretimini insan yazısından ayırmak da zordu: değerlendiriciler, 175 milyar parametreli modelin yazdığı 200 sözcüklük haber makalelerini yalnızca %52 oranında doğru tanıdı. OpenAI, 4 Ocak 2024'te özgün ada, babbage, curie ve davinci API modellerini kullanımdan kaldırarak bunların yerine babbage-002 ve davinci-002 modellerini sundu.