Tokenization

La tokenisation consiste à convertir une entrée brute en une séquence de jetons, les unités discrètes lues par un modèle, puis à attribuer à chaque jeton un ID entier issu d’un vocabulaire fixe. Un tokenizer de texte transforme « Le bus s’est arrêté. » en quatre ID, et le modèle récupère un vecteur d’intégration pour chacun ; le tokenizer détermine donc ce qu’un grand modèle de langage (LLM) considère comme une unité. Les jetons sont également l’unité de la fenêtre de contexte d’un modèle, de la latence d’inférence pendant la génération de texte et de la tarification des API. Le même principe s’étend au-delà du texte : un Transformer de vision (ViT) tokenise une image en patches, et les modèles de parole tokenisent l’audio en trames courtes.

Fonctionnement de la tokenisation en sous-mots#

Les premières méthodes de traitement automatique du langage naturel (NLP) découpaient le texte aux espaces et à la ponctuation, laissant les mots rares et nouveaux hors du vocabulaire, tandis que la tokenisation au niveau des caractères produisait des séquences très longues. Les Transformers modernes utilisent des tokenizers en sous-mots qui conservent les mots fréquents entiers et décomposent les mots rares en éléments réutilisables. L’encodage par paires d’octets (BPE), adapté à la traduction automatique par Sennrich et ses coauteurs en 2015, apprend son vocabulaire à partir d’un corpus d’entraînement : il part de caractères ou d’octets uniques, puis fusionne à plusieurs reprises la paire adjacente la plus fréquente pour créer un nouveau jeton, jusqu’à atteindre la taille de vocabulaire visée. Pour encoder un nouveau texte, il rejoue dans l’ordre les fusions apprises.

Le BPE au niveau des octets, utilisé depuis GPT-2, part des 256 valeurs d’octet possibles ; toute chaîne, tout emoji ou tout fichier source peut donc être encodé sans jeton inconnu. D’autres algorithmes choisissent leurs éléments autrement. WordPiece, utilisé par BERT, fusionne la paire qui augmente le plus la vraisemblance des données d’entraînement. La méthode Unigram de la bibliothèque SentencePiece de Google part d’un grand vocabulaire de candidats et l’élague ; elle traite l’espace comme un symbole ordinaire, afin qu’un seul tokenizer puisse gérer les langues écrites sans espaces. Les vocabulaires se sont agrandis au fil du temps : BERT utilise 30 522 jetons, GPT-2 et GPT-3 en utilisent 50 257, Llama 3 en utilise 128 256, et o200k_base d’OpenAI en compte environ 200 000. La bibliothèque tiktoken d’OpenAI compare les vocabulaires le plus ancien et le plus récent :

import tiktoken

# Byte-level BPE vocabularies from GPT-2 (2019) and GPT-4o (2024)
for name in ["gpt2", "o200k_base"]:
    encoding = tiktoken.get_encoding(name)
    print(f"{name}: {encoding.n_vocab:,} tokens in the vocabulary")
    for text in ["Ultralytics YOLO26 detects buses.", "バスが止まった。"]:
        ids = encoding.encode(text)

        # Decode each ID on its own to see where the tokenizer split the text
        pieces = [encoding.decode([i]) for i in ids]
        print(f"  {len(ids)} tokens: {pieces}")

Le vocabulaire de GPT-2 utilise 11 jetons pour la phrase anglaise ; il découpe « Ultralytics » en Ult, ral, y et tics, tandis qu’o200k_base en nécessite 9. Pour la phrase japonaise « the bus stopped », GPT-2 nécessite 9 jetons et découpe le caractère 止 en deux jetons au niveau des octets, qui sont chacun décodés isolément comme le caractère de remplacement � ; o200k_base en nécessite 7.

La tokenisation et les notions apparentées#

• Jeton : L’unité produite par la tokenisation, par exemple un mot, un sous-mot, un octet, un patch d’image ou une trame audio.
• Représentations vectorielles : Les vecteurs appris qu’un modèle récupère pour chaque ID de jeton. Ils sont entraînés avec le reste du réseau à partir d’un vocabulaire fixé au préalable par le tokenizer.
• Segmentation des mots en TAL classique : Des bibliothèques comme spaCy et NLTK découpent le texte en mots et en signes de ponctuation pour l’analyse syntaxique et l’étiquetage ; ce traitement est souvent suivi d’une troncation ou d’une lemmatisation pour l’analyse linguistique.
• Tokenisation dans la sécurité des données : Dans les paiements et la protection des données, la tokenisation remplace une valeur sensible, comme un numéro de carte, par un substitut aléatoire stocké dans un coffre-fort sécurisé.

Pourquoi le nombre de tokens est important#

Pour le texte anglais, les tokeniseurs d'OpenAI produisent en moyenne environ quatre caractères par token, mais d'autres langues et le code peuvent en nécessiter beaucoup plus. Petrov et al. (2023) ont montré qu'un même texte traduit dans différentes langues pouvait différer jusqu'à 15 fois en longueur après tokenisation, ce qui augmente les coûts d'API et réduit le contexte utilisable pour ces langues. Les limites entre tokens déterminent aussi ce qu'un modèle peut voir. Un LLM qui lit « strawberry » comme quelques tokens de plusieurs lettres ne voit pas directement ses lettres, et o200k_base découpe « 3.14159 » en 3, ., 141 et 59, ce qui complique l'arithmétique au niveau des chiffres. Les architectures sans tokeniseur, comme le Byte Latent Transformer de Meta, évitent un vocabulaire fixe en regroupant les octets bruts en blocs dont la taille dépend de la prévisibilité de l'octet suivant.

Tokenisation des images, de l'audio et de la vidéo#

Un ViT découpe une image en blocs de taille fixe : avec des blocs de 16×16 pixels, une image de 224×224 devient une séquence de 196 tokens de bloc, chacun aplati puis projeté linéairement dans un embedding avant l'attention personnelle. Les modèles vision-langage (VLM) transmettent les embeddings des blocs à un LLM avec les tokens de texte, de sorte qu'une résolution d'image plus élevée signifie plus de tokens par requête. Les générateurs d'images utilisent souvent plutôt des tokens visuels discrets : un livre de codes de quantification vectorielle remplace chaque bloc par l'ID de son vecteur de code le plus proche, ce qui permet aux modèles autorégressifs visuels de générer des images token par token comme du texte, tandis que la fusion de tokens réduit le nombre de tokens dans les longues séquences d'images et de vidéos en combinant les tokens similaires.

Les modèles de vision tokenisent aussi le texte. Lorsque YOLOE-26 reçoit les noms des classes via set_classes, Ultralytics fait passer chaque nom dans le tokeniseur BPE au niveau des octets de CLIP, en complétant ou en tronquant la séquence à 77 tokens, puis l'encodeur de texte MobileCLIP2 d'Apple transforme le résultat en embedding que la tête de détection compare aux régions de l'image. En reconnaissance vocale, Whisper d'OpenAI convertit chaque fenêtre audio de 30 secondes en trames de spectrogramme log-Mel, que son encodeur traite comme une séquence de 1 500 positions.