Token

Nell'architettura sofisticata della moderna intelligenza artificiale, un token rappresenta l'unità fondamentale e atomica di informazione che un modello elabora. Prima che un algoritmo possa interpretare una frase, analizzare uno script software o riconoscere oggetti in un'immagine, i dati di input grezzi devono essere suddivisi in questi elementi discreti e standardizzati. Questa segmentazione è un passaggio fondamentale nel preelaborazione dei dati, che trasforma input non strutturati in un formato numerico che le reti neurali possono elaborare in modo efficiente. Mentre gli esseri umani percepiscono il linguaggio come un flusso continuo di pensieri o le immagini come scene visive senza interruzioni, i modelli computazionali richiedono questi blocchi di costruzione granulari per eseguire operazioni come il riconoscimento di pattern e l'analisi semantica.

Token vs. Tokenizzazione#

Per comprendere la meccanica del machine learning, è essenziale distinguere tra l'unità di dati e il processo utilizzato per crearla. Questa differenziazione evita confusione durante la progettazione di pipeline di dati e la preparazione di materiale di addestramento sulla Ultralytics Platform.

• Tokenizzazione: Questo è il processo algoritmico (il verbo) di suddivisione dei dati grezzi in parti. Per il testo, ciò potrebbe comportare l'utilizzo di librerie come il Natural Language Toolkit (NLTK) per determinare dove finisce un'unità e ne inizia un'altra.
• Token: Questo è il risultato ottenuto (il nome). È il blocco effettivo di dati, come una parola, un sottoparola o una patch di immagine, che viene infine mappato su un vettore numerico noto come embedding.

I token in diversi domini AI#

La natura di un token varia in modo significativo a seconda della modalità dei dati elaborati, in particolare tra i domini testuali e visivi.

Token di testo nell'NLP#

Nel campo dell'Elaborazione del Linguaggio Naturale (NLP), i token sono gli input per i Large Language Models (LLMs). I primi approcci mappavano rigorosamente a parole intere, ma le architetture moderne utilizzano algoritmi di sottoparole come il Byte Pair Encoding (BPE). Questo metodo consente ai modelli di gestire parole rare suddividendole in sillabe significative, bilanciando la dimensione del vocabolario con la copertura semantica. Ad esempio, la parola "unhappiness" potrebbe essere tokenizzata in "un", "happi" e "ness".

Token visivi nella visione artificiale#

Il concetto di tokenizzazione si è esteso alla computer vision con l'avvento del Vision Transformer (ViT). A differenza delle reti convoluzionali tradizionali che elaborano i pixel in finestre scorrevoli, i Transformer dividono un'immagine in una griglia di patch di dimensioni fisse (ad esempio, 16x16 pixel). Ciascuna patch viene appiattita e trattata come un token visivo distinto. Questo approccio consente al modello di utilizzare meccanismi di auto-attenzione per comprendere la relazione tra parti distanti di un'immagine, in modo simile a come Google Research ha originariamente applicato i transformer al testo.

Applicazioni nel mondo reale#

I token fungono da ponte tra i dati umani e l'intelligenza delle macchine in innumerevoli applicazioni.

1. Open-Vocabulary Object Detection: Modelli avanzati come YOLO-World utilizzano un approccio multimodale in cui i token di testo interagiscono con le caratteristiche visive. Un utente può inserire prompt di testo personalizzati (ad esempio, "casco blu"), che il modello tokenizza e confronta con gli oggetti nell'immagine. Ciò consente il zero-shot learning, permettendo il rilevamento di oggetti su cui il modello non è stato esplicitamente addestrato.

2. Intelligenza Artificiale Generativa: Nei sistemi di generazione di testo come i chatbot, l'IA opera prevedendo la probabilità del token successivo in una sequenza. Selezionando iterativamente il token successivo più probabile, il sistema costruisce frasi e paragrafi coerenti, alimentando strumenti che vanno dal supporto clienti automatizzato agli assistenti virtuali.

Esempio in Python: utilizzo di token di testo per il rilevamento#

Il seguente snippet di codice dimostra come il pacchetto ultralytics utilizza i token di testo per guidare il rilevamento di oggetti. Sebbene il YOLO26 all'avanguardia sia consigliato per inferenze a classi fisse e ad alta velocità, l'architettura YOLO-World consente in modo univoco agli utenti di definire le classi come token di testo in fase di esecuzione.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Comprendere i token è fondamentale per orientarsi nel panorama dell'intelligenza artificiale generativa e dell'analisi avanzata. Che si tratti di consentire a un chatbot di conversare fluentemente o di aiutare un sistema di visione a distinguere tra classi di oggetti sottili, i token rimangono la valuta essenziale dell'intelligenza artificiale utilizzata da framework come PyTorch e TensorFlow.