Tokenization

La tokenisation est le processus algorithmique qui consiste à diviser un flux de données brutes — comme du texte, des images ou de l'audio — en unités plus petites et gérables appelées tokens. Cette transformation agit comme un pont essentiel dans le pipeline de préparation des données, convertissant des entrées non structurées en un format numérique que les systèmes d'intelligence artificielle (IA) peuvent interpréter. Les ordinateurs ne peuvent pas comprendre intrinsèquement le langage humain ou les scènes visuelles ; ils ont besoin de représentations numériques pour effectuer des calculs. En segmentant les données en tokens, les ingénieurs permettent aux réseaux de neurones de mapper ces unités vers des embeddings — des représentations vectorielles qui capturent le sens sémantique. Sans cette étape fondamentale, les modèles d'apprentissage automatique seraient incapables d'identifier des motifs, d'apprendre le contexte ou de traiter les vastes datasets requis pour l'entraînement moderne.

Link to this sectionTokenisation vs. Token#

Bien que ces termes soient souvent entendus ensemble lors de discussions sur l'apprentissage profond, il est utile de distinguer la méthode du résultat pour comprendre le flux de travail.

• La tokenisation est le processus (le verbe). Elle fait référence à l'ensemble spécifique de règles ou d'algorithmes utilisés pour diviser les données. Pour le texte, cela peut impliquer l'utilisation de bibliothèques comme NLTK ou spaCy pour déterminer où une unité commence et où une autre se termine.
• Le token est le résultat (le nom). Il s'agit de l'unité individuelle générée par le processus, comme un mot seul, un sous-mot, un caractère ou une zone de pixels.

Link to this sectionMéthodes à travers différents domaines#

La stratégie de tokenisation varie considérablement en fonction de la modalité des données, influençant la façon dont un modèle de fondation perçoit le monde.

Link to this sectionTokenisation de texte en NLP#

En Traitement du Langage Naturel (NLP), l'objectif est de segmenter le texte tout en préservant son sens. Les premières méthodes reposaient sur des techniques simples comme la séparation des mots par des espaces ou la suppression des mots vides. Cependant, les Grands Modèles de Langage (LLM) modernes utilisent des algorithmes de sous-mots plus sophistiqués, tels que le Byte Pair Encoding (BPE) ou WordPiece. Ces algorithmes fusionnent de manière itérative les paires de caractères les plus fréquentes, permettant au modèle de gérer les mots rares en les décomposant en sous-composants familiers (par exemple, « smartphones » devient « smart » + « phones »). Cette approche équilibre la taille du vocabulaire avec la capacité à représenter un langage complexe.

Link to this sectionTokenisation visuelle en vision par ordinateur#

Traditionnellement, les modèles de vision par ordinateur (CV) comme les CNN traitaient les pixels à l'aide de fenêtres glissantes. L'introduction du Vision Transformer (ViT) a changé ce paradigme en appliquant la tokenisation aux images. L'image est découpée en patchs de taille fixe (par exemple, 16x16 pixels), qui sont ensuite aplatis et projetés linéairement. Ces « tokens visuels » permettent au modèle d'utiliser des mécanismes d'auto-attention pour apprendre les relations globales à travers l'image, de la même manière qu'un Transformer traite une phrase.

Link to this sectionApplications concrètes#

La tokenisation est le moteur silencieux derrière de nombreuses applications d'IA utilisées aujourd'hui dans les environnements de production.

1. Détection d'objets à vocabulaire ouvert : Des architectures avancées comme YOLO-World utilisent une approche de modèle multimodal. Lorsqu'un utilisateur saisit une instruction comme « personne portant un chapeau rouge », le système tokenize ce texte et le mappe dans le même espace de caractéristiques que les données visuelles. Cela permet un apprentissage zéro-shot, permettant au modèle de détecter des objets sur lesquels il n'a pas été explicitement entraîné en faisant correspondre les tokens textuels aux caractéristiques visuelles.

2. Art et design génératifs : Dans la génération texte-vers-image, les instructions utilisateur sont tokenisées pour guider le processus de diffusion. Le modèle utilise ces tokens pour conditionner la génération, garantissant que l'image résultante s'aligne avec les concepts sémantiques (par exemple, « coucher de soleil », « plage ») extraits lors de la phase de tokenisation.

Link to this sectionExemple en Python : Détection basée sur les tokens#

L'exemple suivant montre comment le package ultralytics utilise implicitement la tokenisation de texte dans le flux de travail YOLO-World. En définissant des classes personnalisées, le modèle tokenize ces chaînes pour rechercher des objets spécifiques de manière dynamique.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Link to this sectionImpact sur la performance du modèle#

Le choix de la stratégie de tokenisation impacte directement la précision et l'efficacité computationnelle. Une tokenisation inefficace peut entraîner des erreurs de « hors-vocabulaire » en NLP ou la perte de détails fins dans l'analyse d'images. Des frameworks comme PyTorch et TensorFlow fournissent des outils flexibles pour optimiser cette étape. À mesure que les architectures évoluent — comme le modèle de pointe YOLO26 — un traitement efficace des données garantit que les modèles peuvent effectuer une inférence en temps réel sur du matériel diversifié, allant de puissants GPU cloud aux appareils en périphérie. Les équipes gérant ces flux de données complexes s'appuient souvent sur la Plateforme Ultralytics pour rationaliser l'annotation des datasets, l'entraînement de modèles et le déploiement.