Language Modeling

La modélisation du langage consiste à attribuer une probabilité à une séquence de mots ou de jetons. D’après la règle de chaîne des probabilités, P(w1, w2, ..., wn) = P(w1) x P(w2 | w1) x ... x P(wn | w1, ..., wn-1) ; un modèle qui prédit chaque jeton suivant à partir des précédents définit donc la probabilité de n’importe quel texte, et l’échantillonnage de ces prédictions génère de nouveaux textes. Cet objectif de prédiction du jeton suivant entraîne tous les modèles GPT et la plupart des grands modèles de langage (LLM) ; pendant des décennies avant l’arrivée des LLM, de plus petits modèles de langage classaient les résultats possibles dans les systèmes de reconnaissance vocale et de traduction automatique, et ils suggèrent encore le mot suivant sur les claviers de téléphone.

Comment un modèle de langage génère du texte#

Un modèle entraîné lit l’invite, attribue un score à chaque jeton de son vocabulaire et convertit les scores en probabilités du jeton suivant avec une fonction softmax. Une règle de décodage choisit ensuite un jeton, que le modèle ajoute à la suite ; la boucle se répète jusqu’à l’émission d’un jeton de fin ou jusqu’à ce qu’une limite de longueur soit atteinte : c’est ainsi que fonctionne la génération de texte.

L’échantillonnage avec une température ou par échantillonnage par noyau échange une partie de la vraisemblance contre davantage de variété. Comme chaque jeton dépend de ceux déjà écrits, une réponse arrive un jeton à la fois. L’interface LLM d’Ultralytics transmet stream=True au fournisseur ; ainsi, un pipeline YOLO26 qui demande à un modèle de décrire une scène détectée peut afficher chaque fragment de texte dès son arrivée.

Des N-grammes aux modèles neuronaux#

Dans son article de 1948 sur la théorie de l’information, Claude Shannon a construit des approximations de mots et de lettres en anglais à partir de statistiques de n-grammes. Un modèle de n-grammes estime P(mot suivant | n-1 mots précédents) en comptant la fréquence des séquences de mots dans un corpus ; les systèmes de reconnaissance vocale d’IBM des années 1970 et 1980 s’appuyaient sur cette méthode. Un modèle de bigrammes, où n = 2, illustre l’idée en quelques lignes de Python :

from collections import Counter

sentences = ["the cat sat on the mat .", "the dog sat on the rug .", "the cat saw the dog ."]
corpus = " ".join(sentences).split()

# Count word pairs to estimate P(next word | previous word)
pairs = Counter(zip(corpus, corpus[1:]))
firsts = Counter(corpus[:-1])

# The model's next-word distribution after "the"
print({nxt: round(n / firsts["the"], 2) for (prev, nxt), n in pairs.items() if prev == "the"})

# Chain rule: a sentence's probability is the product of its next-word probabilities
sentence = ["the", "dog", "sat", "on", "the", "mat"]
p = 1.0
for prev, nxt in zip(sentence, sentence[1:]):
    p *= pairs[(prev, nxt)] / firsts[prev]
print(f"P(dog sat on the mat | the) = {p:.4f}")

Après « the », le modèle prédit « cat » et « dog » avec une probabilité de 0,33 chacun, et « mat » et « rug » avec une probabilité de 0,17 chacun. Après « the », il attribue une probabilité de 0,0278 à « dog sat on the mat », bien que cette phrase n’apparaisse jamais dans le corpus, car chacune de ses paires de mots y figure. Toute paire absente du corpus reçoit une probabilité nulle ; les modèles de n-grammes pratiques nécessitent donc des méthodes de lissage comme Kneser-Ney, et ne peuvent toujours pas utiliser un contexte de plus de n-1 mots.

Le modèle probabiliste neuronal du langage de Yoshua Bengio et ses collègues, publié en 2003, a remplacé les comptages par des plongements appris et un réseau neuronal, de sorte que les mots similaires partagent leurs informations statistiques. Les réseaux neuronaux récurrents (RNN) et les LSTM ont étendu le contexte exploitable ; le transformer, doté d’un mécanisme d’auto-attention sur toute la fenêtre de contexte, est devenu l’architecture standard après 2017. En 2020, GPT-3 a montré qu’un modèle de langage de 175 milliards de paramètres pouvait apprendre de nouvelles tâches à partir d’exemples présents dans son invite.

Modélisation causale et masquée du langage#

La modélisation causale, ou autorégressive, du langage prédit chaque jeton à partir des jetons situés à sa gauche ; elle est à la base des modèles génératifs. La modélisation masquée du langage masque certains jetons et les prédit à partir du contexte situé des deux côtés. BERT s’entraîne ainsi sur 15 % de ses jetons d’entrée ; le contexte bidirectionnel le rend performant pour les tâches de compréhension comme la classification et la reconnaissance d’entités nommées, mais l’empêche de rédiger du texte de gauche à droite. Les modèles de diffusion du langage étendent le masquage à un générateur qui remplit plusieurs positions en parallèle en plusieurs étapes.

Entraînement et évaluation#

L’entraînement relève de l’apprentissage auto-supervisé : le texte brut fournit ses propres étiquettes, et le modèle minimise la fonction de perte d’entropie croisée entre sa distribution prédite et chaque jeton suivant réel. L’exponentielle de cette perte moyenne est la perplexité, la métrique intrinsèque standard ; les lois d’échelle décrivent la diminution de la perte lorsque la taille des modèles et des jeux de données ainsi que la puissance de calcul augmentent. Un modèle de base préentraîné ne fait que poursuivre le texte ; l’ajustement aux instructions et l’apprentissage par renforcement à partir des retours humains (RLHF) le transforment en assistant capable de suivre des demandes.

Modélisation du langage et termes apparentés#

• Modèle de langage et LLM : Un modèle de langage est tout modèle entraîné pour cette tâche, d’une table de bigrammes à un transformer. Un LLM est un modèle de langage doté de milliards de paramètres et entraîné sur des milliers de milliards de jetons.
• Traitement automatique du langage naturel (NLP) : Le domaine entier de l’informatique appliquée au langage humain, dont la modélisation du langage est l’une des tâches.
• Modélisation autorégressive visuelle (VAR) : Applique aux images la même prédiction de l’étape suivante, en générant des cartes de jetons à des résolutions allant du grossier au fin plutôt que des mots.