Token

Nella sofisticata architettura dell’intelligenza artificiale moderna, un token rappresenta l’unità fondamentale e atomica di informazione elaborata da un modello. Prima che un algoritmo possa interpretare una frase, analizzare uno script software o riconoscere oggetti in un’immagine, i dati di input grezzi devono essere suddivisi in questi elementi discreti e standardizzati. Questa segmentazione è un passaggio fondamentale nella preelaborazione dei dati, perché trasforma gli input non strutturati in un formato numerico che le reti neurali possono elaborare in modo efficiente. Mentre gli esseri umani percepiscono il linguaggio come un flusso continuo di pensieri o le immagini come scene visive senza soluzione di continuità, i modelli computazionali richiedono questi elementi costitutivi granulari per eseguire operazioni come il riconoscimento dei pattern e l’analisi semantica.

Token e tokenizzazione#

Per comprendere i meccanismi dell’apprendimento automatico, è essenziale distinguere tra l’unità di dati e il processo utilizzato per crearla. Questa distinzione evita confusioni nella progettazione delle pipeline di dati e nella preparazione del materiale per l’addestramento sulla piattaforma Ultralytics.

• Tokenizzazione: è il processo algoritmico (il verbo) di suddivisione dei dati grezzi in parti. Per il testo, può comportare l’uso di librerie come il Kit per l’elaborazione del linguaggio naturale (NLTK) per determinare dove termina un’unità e ne inizia un’altra.
• Token: è l’output risultante (il sostantivo). È il frammento effettivo di dati, ad esempio una parola, una sottoparola o una porzione di immagine, che viene infine mappato su un vettore numerico noto come embedding.

Token nei diversi ambiti dell’AI#

La natura di un token varia significativamente a seconda della modalità dei dati elaborati, in particolare tra gli ambiti testuale e visivo.

Token testuali nell’NLP#

Nel campo dell’elaborazione del linguaggio naturale (NLP), i token sono gli input dei modelli linguistici di grandi dimensioni (LLMs). I primi approcci eseguivano una mappatura rigorosa sulle parole intere, mentre le architetture moderne utilizzano algoritmi per sottoparole come la codifica a coppie di byte (BPE). Questo metodo consente ai modelli di gestire le parole rare suddividendole in sillabe significative e bilanciando le dimensioni del vocabolario con la copertura semantica. Ad esempio, la parola "unhappiness" potrebbe essere tokenizzata in "un", "happi" e "ness".

Token visivi nella computer vision#

Il concetto di tokenizzazione si è esteso alla computer vision con l’avvento del Transformer per la visione (ViT). A differenza delle reti convoluzionali tradizionali, che elaborano i pixel in finestre scorrevoli, i Transformer dividono un’immagine in una griglia di porzioni di dimensioni fisse (ad esempio, 16x16 pixel). Ogni porzione viene appiattita e trattata come un token visivo distinto. Questo approccio consente al modello di utilizzare meccanismi di self-attention per comprendere la relazione tra parti distanti di un’immagine, in modo simile a come Google Research ha applicato originariamente i Transformer al testo.

Applicazioni nel mondo reale#

I token fungono da ponte tra i dati umani e l’intelligenza artificiale in innumerevoli applicazioni.

1. Rilevamento di oggetti a vocabolario aperto: i modelli avanzati come YOLO-World utilizzano un approccio multimodale in cui i token testuali interagiscono con le caratteristiche visive. Un utente può inserire prompt testuali personalizzati (ad esempio, "casco blu"), che il modello tokenizza e confronta con gli oggetti presenti nell’immagine. Questo abilita l’apprendimento zero-shot, consentendo di rilevare oggetti sui quali il modello non è stato addestrato esplicitamente.

2. AI generativa: nei sistemi di generazione del testo, come i chatbot, l’AI opera prevedendo la probabilità del token successivo in una sequenza. Selezionando iterativamente il token successivo più probabile, il sistema costruisce frasi e paragrafi coerenti, alimentando strumenti che spaziano dall’assistenza clienti automatizzata agli assistenti virtuali.

Esempio in Python: utilizzo dei token testuali per il rilevamento#

Il seguente frammento di codice mostra come il pacchetto ultralytics utilizza i token testuali per guidare il rilevamento degli oggetti. Sebbene il modello all’avanguardia YOLO26 sia consigliato per l’inferenza ad alta velocità con classi fisse, l’architettura YOLO-World consente in modo esclusivo agli utenti di definire le classi come token testuali durante l’esecuzione.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Comprendere i token è fondamentale per orientarsi nel panorama dell’AI generativa e dell’analisi avanzata. Che consentano a un chatbot di conversare fluentemente o aiutino un sistema di visione a distinguere tra classi di oggetti sottilmente diverse, i token rimangono la valuta essenziale dell’intelligenza artificiale utilizzata da framework come PyTorch e TensorFlow.