Tokenization

La tokenizzazione è il passaggio che converte l'input grezzo in una sequenza di token, le unità discrete lette da un modello, e assegna a ciascun token un ID intero tratto da un vocabolario fisso. Un tokenizer di testo converte "The bus stopped." in quattro ID e il modello recupera per ciascuno un vettore di embedding; è quindi il tokenizer a determinare cosa un modello linguistico di grandi dimensioni (LLM) considera un'unità singola. I token sono anche l'unità della finestra di contesto di un modello, della latenza di inferenza durante la generazione di testo e dei prezzi delle API. Lo stesso concetto si estende oltre il testo: un Vision Transformer (ViT) suddivide un'immagine in patch e i modelli vocali tokenizzano l'audio in brevi segmenti.

Come funziona la tokenizzazione in sottoparole#

I primi sistemi di elaborazione del linguaggio naturale (NLP) suddividevano il testo in base a spazi e punteggiatura, lasciando fuori dal vocabolario le parole rare e nuove, mentre la tokenizzazione a livello di carattere produce sequenze molto lunghe. I Transformer moderni usano tokenizer per sottoparole che mantengono intere le parole frequenti e suddividono quelle rare in parti riutilizzabili. La codifica a coppie di byte (BPE), adattata alla traduzione automatica da Sennrich et al. nel 2015, apprende il vocabolario da un corpus di addestramento: parte da singoli caratteri o byte e unisce ripetutamente la coppia adiacente più frequente in un nuovo token, finché il vocabolario non raggiunge le dimensioni desiderate. Per codificare nuovo testo, ripete nell'ordine le unioni apprese.

La BPE a livello di byte, usata a partire da GPT-2, parte dai 256 possibili valori di byte, così può codificare qualsiasi stringa, emoji o file sorgente senza ricorrere a un token sconosciuto. Altri algoritmi scelgono le proprie unità in modo diverso. WordPiece, usato da BERT, unisce la coppia che aumenta maggiormente la verosimiglianza dei dati di addestramento; il metodo Unigram della libreria SentencePiece di Google parte da un ampio vocabolario di candidati e lo riduce, trattando lo spazio come un simbolo ordinario, così un unico tokenizer può gestire lingue scritte senza spazi. Nel tempo i vocabolari sono cresciuti: BERT usa 30.522 token, GPT-2 e GPT-3 ne usano 50.257, Llama 3 ne usa 128.256 e o200k_base di OpenAI ne usa circa 200.000. La libreria tiktoken di OpenAI confronta il più vecchio e il più recente di questi vocabolari:

import tiktoken

# Byte-level BPE vocabularies from GPT-2 (2019) and GPT-4o (2024)
for name in ["gpt2", "o200k_base"]:
    encoding = tiktoken.get_encoding(name)
    print(f"{name}: {encoding.n_vocab:,} tokens in the vocabulary")
    for text in ["Ultralytics YOLO26 detects buses.", "バスが止まった。"]:
        ids = encoding.encode(text)

        # Decode each ID on its own to see where the tokenizer split the text
        pieces = [encoding.decode([i]) for i in ids]
        print(f"  {len(ids)} tokens: {pieces}")

Il vocabolario di GPT-2 impiega 11 token per la frase inglese, suddividendo "Ultralytics" in Ult, ral, y e tics, mentre a o200k_base ne bastano 9. Per la frase giapponese "the bus stopped", GPT-2 richiede 9 token e suddivide il carattere 止 in due token a livello di byte, ciascuno dei quali, decodificato da solo, diventa il carattere di sostituzione �; a o200k_base ne bastano 7.

Tokenizzazione e termini correlati#

• Token: l'unità prodotta dalla tokenizzazione, che può essere una parola, una sottoparola, un byte, una patch di immagine o un segmento audio.
• Embedding: i vettori appresi che un modello recupera per ogni ID di token; vengono addestrati insieme al resto della rete, usando un vocabolario fissato in precedenza dal tokenizer.
• Segmentazione delle parole nella NLP classica: librerie come spaCy e NLTK suddividono il testo in parole e punteggiatura per l'analisi sintattica e l'assegnazione di tag, spesso seguite da stemming o lemmatizzazione per l'analisi linguistica.
• Tokenizzazione nella sicurezza dei dati: Nei pagamenti e nella protezione dei dati, la tokenizzazione sostituisce un valore sensibile, come il numero di una carta, con un surrogato casuale conservato in un archivio protetto.

Perché il numero di token è importante#

Per il testo inglese, i tokenizer di OpenAI producono in media circa quattro caratteri per token, ma altre lingue e il codice possono richiederne molti di più. Petrov et al. (2023) hanno rilevato che lo stesso testo tradotto in lingue diverse può variare fino a 15 volte in lunghezza tokenizzata, aumentando i costi API e riducendo il contesto utilizzabile per quelle lingue. Anche i confini dei token determinano ciò che un modello può vedere. Un LLM che legge "strawberry" come pochi token di più lettere non ha accesso diretto alle sue lettere, e o200k_base divide "3.14159" in 3, ., 141 e 59, rendendo più difficile l'aritmetica cifra per cifra. Le architetture senza tokenizer, come il Byte Latent Transformer di Meta, evitano un vocabolario fisso raggruppando i byte grezzi in patch la cui dimensione dipende da quanto è prevedibile il byte successivo.

Tokenizzazione di immagini, audio e video#

Una ViT suddivide un'immagine in patch di dimensioni fisse: con patch da 16×16 pixel, un'immagine di 224×224 diventa 196 token di patch, ciascuno appiattito e proiettato linearmente in un embedding prima della self-attention. I modelli visione-linguaggio (VLM) passano gli embedding delle patch a un LLM insieme ai token di testo, quindi una risoluzione dell'immagine maggiore comporta più token per richiesta. I generatori di immagini spesso usano invece token visivi discreti: un codebook di quantizzazione vettoriale sostituisce ogni patch con l'ID del vettore di codice più vicino, consentendo ai modelli autoregressivi visivi di generare immagini token per token come il testo, mentre la fusione dei token riduce il numero di token nelle lunghe sequenze di immagini e video combinando quelli simili.

Anche i modelli di visione tokenizzano il testo. Quando YOLOE-26 riceve i nomi delle classi tramite set_classes, Ultralytics elabora ogni nome con il tokenizer BPE a livello di byte di CLIP, aggiungendo padding o troncandolo fino a 77 token; quindi l'encoder di testo MobileCLIP2 di Apple trasforma il risultato nell'embedding che la testa di rilevamento confronta con le regioni dell'immagine. Nel riconoscimento vocale, Whisper di OpenAI converte ogni finestra audio di 30 secondi in frame di spettrogramma log-Mel, che il suo encoder elabora come sequenza di 1.500 posizioni.