GPT (Generative Pre-trained Transformer)

GPT (transformeur génératif préentraîné) est un modèle de langage de type transformer, uniquement décodeur, d’abord préentraîné sur de grandes quantités de texte non étiqueté pour prédire le token suivant, puis adapté à différentes tâches. OpenAI a présenté cette approche en juin 2018 dans l’article d’Alec Radford et de ses collègues, Améliorer la compréhension du langage grâce au préentraînement génératif ; le nom décrit la méthode : un modèle génératif de texte, préentraîné avant tout entraînement spécifique à une tâche et fondé sur le transformer. La série GPT est passée de 117 millions de paramètres pour GPT-1 à 175 milliards pour GPT-3, et ChatGPT, lancé le 30 novembre 2022, en a fait la famille de grands modèles de langage (LLM) la plus connue. « De type GPT » désigne aussi tout LLM uniquement décodeur entraîné de la même façon, notamment les modèles Llama de Meta et Qwen d’Alibaba.

Fonctionnement d’un modèle GPT#

Le texte est d’abord divisé en tokens ; GPT-2 a introduit la tokenisation au niveau des octets, avec un vocabulaire de 50 257 tokens que GPT-3 a conservé. Chaque token devient un embedding auquel s’ajoute un signal de position, et une pile de blocs décodeurs identiques affine ces vecteurs. Dans chaque bloc, l’auto-attention masquée permet à chaque position de lire uniquement elle-même et les positions qui la précèdent, tandis qu’une couche à propagation avant transforme chaque position de manière indépendante :

Grâce au masque causal, une seule passe avant sur une séquence d’entraînement de 1 024 tokens produit simultanément 1 024 prédictions du token suivant, ce qui permet de paralléliser le préentraînement malgré la génération séquentielle. À l’inférence, le modèle attribue un score au token suivant, l’ajoute, puis recommence en réutilisant les calculs précédents grâce à un cache KV. GPT-2 d’OpenAI, qui compte 124 millions de paramètres, illustre cette première étape :

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2 attribue une probabilité de 0,085 à « the » et seulement de 0,032 à « Paris ». Le décodage glouton produit : « La capitale de la France est la capitale de la République française, et ». Un GPT préentraîné poursuit le texte comme le feraient ses données d’entraînement ; l’ajustement aux instructions, suivi de l’apprentissage par renforcement à partir de retours humains (RLHF), le transforme en assistant capable de répondre à la question.

De GPT-1 à GPT-6#

GPT-1 a préentraîné un décodeur à 12 couches sur plus de 7 000 livres non publiés, puis l’a ajusté pour chaque tâche, établissant un nouvel état de l’art sur 9 des 12 tâches étudiées. GPT-2, annoncé en février 2019, est passé à 1,5 milliard de paramètres entraînés sur 40 Go de texte Web et a exécuté des tâches sans exemple ; OpenAI a publié ses poids progressivement jusqu’en novembre 2019, par crainte de détournements. En mai 2020, GPT-3 a démontré l’apprentissage avec quelques exemples placés dans l’invite, un résultat anticipé par les lois d’échelle.

InstructGPT, puis ChatGPT, ont ajouté l’entraînement avec rétroaction humaine, et GPT-4 a accepté les images en entrée en mars 2023. Les modèles de raisonnement de la série o d’OpenAI, à commencer par o1 en septembre 2024, ont appris à générer une longue chaîne de pensée avant de répondre. GPT-5, publié le 7 août 2025, a placé un modèle rapide et un modèle de raisonnement derrière un routeur. Deux jours plus tôt, OpenAI avait publié gpt-oss-120b et gpt-oss-20b sous licence Apache 2.0, ses premiers modèles de langage à poids ouverts depuis GPT-2. La famille GPT-6 est arrivée en septembre 2026 : GPT-6 Astra le 3 septembre, GPT-6 Sol et GPT-6 Luna le 22 septembre, puis GPT-6.1 Sol le 29 septembre.

GPT en vision par ordinateur#

La même recette de prédiction du jeton suivant s’applique aux images. En 2020, Image GPT d’OpenAI a entraîné des modèles de la taille de GPT-2 à prédire les pixels un par un ; la modélisation autorégressive visuelle (VAR) prédit les images échelle par échelle, et de nombreux modèles de langage et de vision (VLM) associent un encodeur d’image à un décodeur de type GPT qui rédige la réponse. Les encodeurs de texte reprennent également cette conception : le CLIP d’OpenAI encode le texte avec un transformeur à 12 couches et 63 millions de paramètres, qui utilise l’architecture de GPT-2 et l’auto-attention masquée. YOLO-World de Tencent AI Lab, disponible dans le paquet Ultralytics, fait appel à cet encodeur de texte CLIP lors de l’appel de set_classes(["person", "bus"]). Chaque nom de classe est ainsi transformé en plongement que le détecteur compare aux régions de l’image, ce qui permet de modifier la liste des classes sans réentraînement. Les modèles GPT d’OpenAI interprètent aussi les images, et le classement VLM mesure la précision de détection d’objets de GPT-6.1 Sol et d’autres modèles de langage et de vision sur des jeux de données du monde réel.

GPT et notions connexes#

BERT utilise l’encodeur du transformer sans masque causal, ce qui permet à chaque token de voir toute l’entrée ; il convient à la classification et à la recherche, mais ne génère pas de texte. Un LLM est n’importe quel grand modèle de langage. GPT désigne à la fois la série de modèles d’OpenAI et l’architecture uniquement décodeur partagée par la plupart des LLM. Un agent conversationnel comme ChatGPT est une application fondée sur les modèles GPT, qui ajoute au modèle une invite système, l’historique de conversation et des outils.