GPT (Generative Pre-trained Transformer)

GPT（生成事前学習Transformer）は、まずラベルのない大量のテキストで次のトークンを予測するよう事前学習し、その後タスクに適応させる、デコーダー専用のTransformer言語モデルです。OpenAIは2018年6月、Alec Radfordらの論文生成事前学習による言語理解の向上でこの手法を発表しました。その名称は、タスク固有の学習に先立って事前学習するテキスト生成モデルをTransformerで構築するという手順を表しています。GPTシリーズはGPT-1の1億1,700万パラメーターからGPT-3の1,750億パラメーターへと拡大しました。2022年11月30日に公開されたChatGPTにより、GPTは最も広く知られる大規模言語モデル（LLM）のファミリーとなりました。「GPTスタイル」は、MetaのLlamaやAlibabaのQwenなど、同じ方法で学習したデコーダー専用LLMも指します。

GPTモデルの仕組み#

まず、テキストをトークンに分割します。GPT-2では、GPT-3でも採用された50,257トークンの語彙を持つバイトレベルのトークン化が導入されました。各トークンは埋め込みと位置情報に変換され、同一のデコーダーブロックを積み重ねた構造がベクトルを順次処理します。各ブロックのマスク付き自己注意機構では、各位置が自身とそれより前の位置だけを参照し、フィードフォワード層は各位置を個別に変換します。

因果マスクにより、1,024トークンの学習シーケンスを1回フォワードパスするだけで、次のトークンの予測を1,024個同時に生成できます。生成は逐次処理でありながら、事前学習は並列化できます。推論時には、モデルが次のトークンのスコアを計算し、1つ追加して同じ処理を繰り返します。このとき、以前の計算をKVキャッシュで再利用します。OpenAIのパラメーター数1億2,400万のGPT-2で、その最初のステップを確認できます。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2は「 the」に0.085の確率を割り当て、「 Paris」には0.032しか割り当てません。貪欲デコードでは「The capital of France is the capital of the French Republic, and」と出力されます。事前学習済みのGPTは、学習データに続くテキストを生成します。指示チューニングを行い、さらに人間のフィードバックによる強化学習（RLHF）を適用すると、質問に答えるアシスタントになります。

GPT-1からGPT-6まで#

GPT-1では、非公開の書籍7,000冊以上を使って12層のデコーダーを事前学習し、タスクごとにファインチューニングを行いました。調査対象12タスクのうち9つで、当時の最高性能を更新しました。2019年2月に発表されたGPT-2は、Webテキスト40 GBで学習した15億パラメーターに拡大し、タスクをゼロショットで実行しました。悪用への懸念から、OpenAIは2019年11月まで段階的に重みを公開しました。2020年5月のGPT-3では、プロンプト内の例から学習するフューショット学習が示されました。この結果はスケーリング則によって予測されていました。

InstructGPT、続いてChatGPTは人間のフィードバックを使った学習を導入し、GPT-4は2023年3月に画像入力に対応しました。2024年9月のo1から始まるOpenAIのoシリーズ推論モデルは、回答前に長い思考の連鎖を記述するよう学習しました。2025年8月7日にリリースされたGPT-5は、高速モデルと推論モデルをルーターの背後に配置しました。その2日前、OpenAIはApache 2.0ライセンスのもとでgpt-oss-120bとgpt-oss-20bをリリースしました。GPT-2以来初となるオープンウェイトの言語モデルです。GPT-6ファミリーは2026年9月に登場しました。GPT-6 Astraが9月3日、GPT-6 SolとGPT-6 Lunaが9月22日、GPT-6.1 Solが9月29日にリリースされました。

コンピュータービジョンにおけるGPT#

同じ次トークン予測の手法は画像にも適用されます。OpenAIのImage GPTは2020年にGPT-2規模のモデルを学習し、ピクセルを1つずつ予測しました。視覚的自己回帰モデリング (VAR)はスケールごとに画像を予測し、多くの視覚言語モデル (VLM)は画像エンコーダーをGPT形式のデコーダーに接続して回答を生成します。テキストエンコーダーも同じ設計を取り入れています。OpenAIのCLIPは、GPT-2のアーキテクチャとマスク付き自己注意機構を使った、パラメーター数6,300万、12層のTransformerでテキストをエンコードします。Ultralyticsパッケージで動作するTencent AI LabのYOLO-Worldは、set_classes(["person", "bus"])が呼び出されると、このCLIPテキストエンコーダーを使って各クラス名を埋め込みに変換し、検出器が画像領域と照合します。そのため、再学習せずにクラスのリストを変更できます。OpenAI独自のGPTモデルも画像を読み取り、VLM Leaderboardでは、GPT-6.1 Solや他の視覚言語モデルが実世界のデータセットでどれほど正確に物体を検出するかを測定します。

GPTと関連用語の比較#

BERTは因果マスクなしでTransformerエンコーダーを使うため、各トークンが入力全体を参照します。分類や検索に適していますが、テキストは生成しません。LLMは大規模言語モデル全般を指し、GPTはOpenAIのモデルシリーズと、多くのLLMが共有するデコーダー専用アーキテクチャの両方を指します。ChatGPTのようなチャットボットは、システムプロンプト、会話履歴、ツールをモデルに組み合わせたアプリケーションです。