Gettone

Capire i gettoni

I gettoni sono gli output discreti di un processo chiamato tokenizzazione. In NLP, ad esempio, una frase del tipoUltralytics YOLO è veloce e preciso" può essere tokenizzata in singole parole: ["Ultralytics", "YOLO", "is", "fast", "and", "accurate"]. A seconda della specifica strategia di tokenizzazione, i token possono anche essere unità di sottoparole (ad esempio, "Ultra", "lytics") o addirittura singoli caratteri. Questa suddivisione trasforma il testo continuo o i dati complessi in pezzi gestibili.

Il motivo per cui i token sono fondamentali è che la maggior parte dei modelli di deep learning, comprese le potenti architetture come i Transformer utilizzati in molti moderni sistemi di intelligenza artificiale, non possono elaborare direttamente dati grezzi e non strutturati. Hanno bisogno di input in un formato strutturato, spesso numerico. La tokenizzazione fornisce questo ponte. Una volta che i dati sono stati tokenizzati, ogni token viene tipicamente mappato in una rappresentazione numerica, come un ID in un vocabolario o, più comunemente, in rappresentazioni vettoriali dense chiamate embeddings. Questi embeddings catturano le relazioni semantiche tra i token, che i modelli apprendono durante l'addestramento.

Metodi di tokenizzazione

Esistono diversi metodi per suddividere i dati in token:

• Tokenizzazione basata sulle parole: Suddivide il testo in base agli spazi e alla punteggiatura. È semplice, ma ha difficoltà con i grandi vocabolari e le parole sconosciute.
• Tokenizzazione basata sui caratteri: Utilizza i singoli caratteri come token. Gestisce qualsiasi parola ma produce sequenze molto lunghe.
• Tokenizzazione di sottoparole: Un equilibrio tra i metodi a parole e a caratteri. Tecniche come Byte Pair Encoding (BPE) o WordPiece suddividono le parole in sottounità comuni, gestendo in modo efficiente grandi vocabolari e parole rare. Queste tecniche sono ampiamente utilizzate nei modelli linguistici di grandi dimensioni (LLM).

Gettoni e concetti correlati

È importante distinguere i token dai termini correlati:

• Token vs. Tokenizzazione: Un token è l'unità di output (ad esempio,Ultralytics', 'image patch'), mentre la tokenizzazione è il processo di creazione di queste unità dai dati grezzi.
• Token vs. Embedding: Un token è un'unità discreta di input. Un embedding è in genere un vettore numerico denso che rappresenta il token, catturando il suo significato in un modo che il modello può comprendere. I token vengono spesso convertiti in embedding di parole o embedding visivi prima di essere inseriti nel modello.

Applicazioni dei gettoni

I token sono fondamentali in diversi ambiti dell'IA. Ecco due esempi concreti:

1. Traduzione automatica: In servizi come Google Translate, una frase in ingresso in una lingua viene prima tokenizzata. Questi token vengono elaborati da un modello sequenza-sequenza (spesso un Transformer), che poi genera dei token che rappresentano la frase tradotta nella lingua di destinazione. La scelta della tokenizzazione ha un impatto significativo sull'accuratezza e sulla fluidità della traduzione. I LLM come il GPT-4 e il BERT si basano molto sull'elaborazione dei token per compiti quali la traduzione, la generazione di testi e l'analisi del sentimento. Tecniche come il prompt tuning e il prompt chaining prevedono la manipolazione delle sequenze di token in ingresso per guidare il comportamento del modello.

2. Visione artificiale con i trasformatori: Sebbene siano tradizionalmente associati all'NLP, i token sono ora al centro di modelli avanzati di computer vision come i Vision Transformers (ViT). In un ViT, un'immagine viene suddivisa in patch di dimensioni fisse e non sovrapposte (ad esempio, 16x16 pixel). Ogni patch viene trattata come un "token visivo". Questi token vengono incorporati linearmente e inseriti in un'architettura Transformer, che utilizza meccanismi di attenzione per analizzare le relazioni tra le diverse parti dell'immagine. Questo approccio viene utilizzato per compiti come la classificazione delle immagini, il rilevamento degli oggetti e la segmentazione delle immagini. Modelli come il Segment Anything Model (SAM) utilizzano questo approccio basato sui token. Anche nei modelli convoluzionali come Ultralytics YOLOv8 o il più recente Ultralytics YOLO11il sistema di celle a griglia utilizzato per il rilevamento può essere visto come una forma implicita di tokenizzazione spaziale.

La comprensione dei token è fondamentale per capire come i modelli di IA interpretano ed elaborano le informazioni. Con l'evoluzione dell'IA, il concetto di token e i metodi per crearli rimarranno fondamentali per gestire diversi tipi di dati e costruire modelli più sofisticati per applicazioni che vanno dall'analisi delle immagini mediche ai veicoli autonomi. Piattaforme come Ultralytics HUB forniscono strumenti per gestire i set di dati e addestrare i modelli, spesso con dati implicitamente o esplicitamente tokenizzati.