Large Language Model (LLM)

Un grand modèle de langage (LLM) est un réseau neuronal, presque toujours un transformer, doté de milliards de paramètres entraînés sur des milliers de milliards de jetons de texte pour prédire le jeton suivant d’une séquence. Appliqué à grande échelle, cet objectif unique permet aux modèles de répondre à des questions, de résumer des documents, de traduire, d’écrire du code et d’appeler des outils logiciels. GPT d’OpenAI, Claude d’Anthropic et Gemini de Google sont des familles de LLM proposées via des API ; Meta Llama, Alibaba Qwen, DeepSeek, Mistral et gpt-oss d’OpenAI publient des poids ouverts. L’architecture Transformer vient de l’article de 2017 Attention Is All You Need. En 2020, GPT-3 a montré qu’un modèle de 175 milliards de paramètres pouvait apprendre des tâches à partir d’exemples dans son prompt, et ChatGPT a fait connaître les LLMs au grand public en novembre 2022.

Fonctionnement des LLMs#

Un LLM commence par la tokenisation, qui convertit le texte en identifiants de jetons, puis recherche un vecteur d’embedding pour chacun. Les vecteurs traversent une pile de blocs identiques, qui combinent une auto-attention causale — grâce à laquelle chaque jeton peut utiliser les informations des jetons précédents — et une couche à propagation avant qui transforme chaque jeton séparément. Le dernier bloc produit une probabilité softmax pour chaque jeton du vocabulaire. Le modèle en choisit un, l’ajoute à la séquence et recommence : c’est ainsi que fonctionne la génération de texte :

La taille se mesure en nombre de paramètres, et de nombreux modèles récents sont parcimonieux. Dans un mélange d’experts (MoE), un routeur fait passer chaque jeton par quelques-uns des nombreux experts à propagation avant, si bien que DeepSeek-V3 compte 671 milliards de paramètres, mais n’utilise que 37 milliards de paramètres par jeton. La quantité de texte qu’un modèle peut lire à la fois — sa fenêtre de contexte — est passée des 2 048 jetons de GPT-3 à un million de jetons ou plus dans plusieurs modèles actuels, et le traitement de ces longues entrées dépend d’un cache KV qui stocke les clés et les valeurs d’attention de chaque jeton précédent.

Entraînement des LLMs#

Le préentraînement est un apprentissage auto-supervisé : le modèle prédit chaque token suivant de pages Web, de livres et de code, sans annotations humaines. Les lois d’échelle prédisent la baisse de la perte lorsque le nombre de paramètres, les données et la puissance de calcul augmentent ; l’étude Chinchilla de DeepMind a établi qu’un entraînement optimal en calcul utilise environ 20 tokens par paramètre. Les modèles sont désormais entraînés bien au-delà de ce ratio : Meta a préentraîné Llama 3 sur environ 15 000 milliards de tokens. Le post-entraînement transforme le modèle de base obtenu en assistant. Le réglage par instructions lui apprend à suivre les demandes, et l’apprentissage par renforcement à partir de retours humains (RLHF) ou l’optimisation directe des préférences aligne ses réponses sur les préférences humaines ; les résultats d’InstructGPT d’OpenAI ont montré que les annotateurs préféraient un modèle ajusté de 1,3 milliard de paramètres à GPT-3 et ses 175 milliards de paramètres. Les modèles de raisonnement, comme o1 d’OpenAI et DeepSeek-R1, ajoutent un apprentissage par renforcement à grande échelle ; dans le cas de DeepSeek-R1, il s’agit d’un apprentissage par renforcement avec des récompenses vérifiables sur des problèmes de mathématiques et de programmation aux réponses vérifiables, qui leur apprend à développer de longues chaînes de raisonnement avant de répondre. Les équipes adaptent ensuite un modèle à leur propre domaine par réglage fin, souvent avec LoRA, ou laissent les poids inchangés et lui fournissent des connaissances par la génération augmentée par récupération (RAG).

Applications#

Les LLM alimentent les chatbots et les assistants, les outils de programmation agentique qui modifient et testent des dépôts entiers, les systèmes de recherche et de réponse aux questions sur des documents, ainsi que les agents d’IA qui planifient des tâches en plusieurs étapes par appel de fonctions. L’ajout d’un encodeur d’image transforme un LLM en modèle de langage et de vision (VLM) capable de répondre à des questions sur des photos, des graphiques et des images vidéo. Les principales familles de LLM interprètent aussi les images, et le classement VLM d’Ultralytics compare la précision de modèles comme GPT-6.1 Sol, Claude Opus 5.5 et Gemini 4 Argon pour détecter des objets dans des jeux de données du monde réel. L’interface LLM d’Ultralytics envoie du texte ou des images à des modèles compatibles avec OpenAI, fournis par OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter ou un serveur local. Un pipeline YOLO26 peut donc appeler un LLM uniquement lorsqu’une détection doit être expliquée, par exemple pour décrire une scène lorsqu’une personne apparaît.

LLM et termes apparentés#

• Traitement automatique du langage naturel (NLP) : domaine informatique consacré au langage humain. Les LLMs en sont aujourd’hui le principal type de modèle.
• IA générative : tout modèle qui crée du contenu, notamment des images, du son et des vidéos.
• Modèle de fondation : catégorie plus large, nommée par des chercheurs de Stanford en 2021, qui désigne les grands modèles préentraînés sur des données variées et adaptés à de nombreuses tâches. Elle comprend les modèles de fondation pour la vision ainsi que les LLMs.
• Petit modèle de langage (SLM) : modèle de langage assez compact pour fonctionner sur un téléphone, un ordinateur portable ou un service à faible coût, généralement doté de quelques milliards de paramètres au plus.

Limites#

Les LLM produisent un texte fluide qu’il soit vrai ou non ; les hallucinations restent donc le principal risque pour les tâches factuelles, et un modèle ne sait rien de ce qui s’est passé après la fin de son entraînement, sauf si la récupération ou des outils lui fournissent ces informations. Les données d’entraînement transmettent leurs biais au modèle, et des instructions cachées dans des pages Web ou des documents peuvent détourner un agent par une injection d’invite. La précision diminue également lorsque le contexte devient très long, un effet appelé dérive du contexte. L’exécution des LLM nécessite aussi beaucoup de mémoire : un modèle de 70 milliards de paramètres a besoin d’environ 140 Go pour ses poids en 16 bits et d’environ 35 Go en 4 bits ; les formats de quantification de modèles, comme GGUF, permettent ainsi de les exécuter sur une seule station de travail.