Tokenization

La tokenisation est le processus algorithmique qui consiste à décomposer un flux de données brutes — comme du texte, des images ou de l’audio — en unités plus petites et faciles à gérer, appelées jetons. Cette transformation fait office de pont essentiel dans le pipeline de prétraitement des données, en convertissant les entrées non structurées dans un format numérique que les systèmes d’intelligence artificielle (AI) peuvent interpréter. Les ordinateurs ne comprennent pas naturellement le langage humain ni les scènes visuelles ; ils ont besoin de représentations numériques pour effectuer des calculs. En segmentant les données en jetons, les ingénieurs permettent aux réseaux neuronaux d’associer ces unités à des représentations vectorielles — des représentations vectorielles qui capturent le sens sémantique. Sans cette étape fondamentale, les modèles d’apprentissage automatique seraient incapables d’identifier des motifs, d’apprendre le contexte ou de traiter les vastes jeux de données nécessaires à l’entraînement moderne.

Tokenisation et jeton#

Même si ces termes sont souvent employés ensemble dans les discussions sur l’apprentissage profond, il est utile de distinguer la méthode du résultat pour comprendre le workflow.

• La tokenisation est le processus (le verbe). Elle désigne l’ensemble précis de règles ou d’algorithmes utilisés pour diviser les données. Pour le texte, cela peut impliquer l’utilisation de bibliothèques comme NLTK ou spaCy afin de déterminer où une unité se termine et où une autre commence.
• Le jeton est le résultat (le nom). Il s’agit de l’unité individuelle générée par le processus, comme un mot, un sous-mot, un caractère ou un bloc de pixels.

Méthodes selon les différents domaines#

La stratégie de tokenisation varie considérablement selon la modalité des données, ce qui influence la manière dont un modèle de fondation perçoit le monde.

Tokenisation du texte en NLP#

Dans le traitement automatique du langage naturel (NLP), l’objectif est de segmenter le texte tout en préservant son sens. Les premières méthodes reposaient sur des techniques simples, comme la séparation des mots par des espaces ou la suppression des mots vides. Cependant, les grands modèles de langage (LLMs) modernes utilisent des algorithmes de sous-mots plus sophistiqués, comme l’encodage par paires d’octets (BPE) ou WordPiece. Ces algorithmes fusionnent itérativement les paires de caractères les plus fréquentes, ce qui permet au modèle de gérer les mots rares en les décomposant en sous-composants familiers (par exemple, « smartphones » devient « smart » + « phones »). Cette approche établit un équilibre entre la taille du vocabulaire et la capacité à représenter un langage complexe.

Tokenisation visuelle en vision par ordinateur#

Traditionnellement, les modèles de vision par ordinateur (CV), comme les CNN, traitaient les pixels à l’aide de fenêtres glissantes. L’introduction du Transformer de vision (ViT) a changé ce paradigme en appliquant la tokenisation aux images. L’image est découpée en blocs de taille fixe (par exemple, 16x16 pixels), qui sont ensuite aplatis et projetés linéairement. Ces « jetons visuels » permettent au modèle d’utiliser des mécanismes d’auto-attention pour apprendre les relations globales dans l’image, de façon similaire à un Transformer qui traite une phrase.

Applications concrètes#

La tokenisation est le moteur invisible de nombreuses applications d’IA utilisées aujourd’hui dans les environnements de production.

1. Détection d’objets à vocabulaire ouvert : des architectures avancées comme YOLO-World adoptent une approche fondée sur un modèle multimodal. Lorsqu’un utilisateur saisit une invite comme « personne portant un chapeau rouge », le système tokenise ce texte et l’associe au même espace de caractéristiques que les données visuelles. Cela permet l’apprentissage zero-shot, grâce auquel le modèle peut détecter des objets sur lesquels il n’a pas été explicitement entraîné en faisant correspondre les jetons textuels aux caractéristiques visuelles.

2. Art et conception génératifs : dans la génération texte-vers-image, les invites utilisateur sont tokenisées pour guider le processus de diffusion. Le modèle utilise ces jetons pour conditionner la génération, afin que l’image produite corresponde aux concepts sémantiques (par exemple, « coucher de soleil » ou « plage ») extraits lors de la phase de tokenisation.

Exemple Python : détection fondée sur les jetons#

L’exemple suivant montre comment le package ultralytics utilise implicitement la tokenisation du texte dans le workflow YOLO-World. En définissant des classes personnalisées, le modèle tokenise ces chaînes pour rechercher dynamiquement des objets spécifiques.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Impact sur les performances du modèle#

Le choix de la stratégie de tokenisation a un impact direct sur l’exactitude et l’efficacité computationnelle. Une tokenisation inefficace peut entraîner des erreurs de « hors vocabulaire » en NLP ou la perte de détails fins dans l’analyse d’images. Des frameworks comme PyTorch et TensorFlow fournissent des outils flexibles pour optimiser cette étape. À mesure que les architectures évoluent — comme le modèle de pointe YOLO26 —, un traitement efficace des données garantit que les modèles peuvent effectuer des inférences en temps réel sur divers matériels, des GPU cloud puissants aux appareils edge. Les équipes qui gèrent ces workflows de données complexes s’appuient souvent sur l’Ultralytics Platform pour rationaliser l’annotation des jeux de données, l’entraînement des modèles et le déploiement.