Token Merging (ToMe)

L'Unione dei token (ToMe) è una tecnica all'avanguardia progettata per ottimizzare le prestazioni e l'efficienza delle architetture Transformer riducendo il numero di token elaborati durante i passaggi forward. Sviluppata originariamente per accelerare i modelli Transformer per la visione (ViT), ToMe funziona identificando e combinando sistematicamente i token ridondanti all'interno della rete senza richiedere ulteriore addestramento. Poiché la complessità computazionale del meccanismo di self-attention cresce quadraticamente con il numero di token, l'unione di token simili riduce drasticamente il numero totale di operazioni in virgola mobile (FLOPs), consentendo un'[inferenza in tempo reale](https://ultralytics-translation-3.invalid significativamente più veloce.

Comprendere il processo di unione dei token#

ToMe è fondamentalmente diverso dalla tokenizzazione, che è il passaggio iniziale di pre-elaborazione con cui un'immagine o un testo viene suddiviso in singoli token. Mentre la tokenizzazione crea gli elementi discreti, l'Unione dei token agisce come un meccanismo di downsampling dinamico durante l'esecuzione forward del modello.

L'algoritmo utilizza in genere il matching bipartito per valutare la similarità tra i token, calcolando spesso la similarità coseno tra le chiavi dei token nei livelli di attenzione. I token che condividono informazioni visive o semantiche altamente simili vengono fusi, spesso calcolando la media delle loro caratteristiche. In questo modo, le informazioni spaziali o contestuali essenziali vengono preservate, mentre il carico computazionale non necessario viene eliminato, consentendo a framework come PyTorch di elaborare modelli di visione complessi molto più rapidamente.

Applicazioni reali dell'unione dei token#

L'Unione dei token è diventata una strategia di ottimizzazione fondamentale per implementare architetture pesanti basate sull'attenzione in ambienti con risorse computazionali limitate.

1. IA generativa e sintesi di immagini: nei diffusi modelli di diffusione da testo a immagine, ToMe viene spesso utilizzato per accelerare la generazione di immagini. Unendo i token dello sfondo o quelli con pochi dettagli, il processo di generazione richiede meno passaggi, consentendo di risparmiare ingenti risorse GPU e riducendo la latenza per gli utenti finali che si affidano ai modelli generativi. Puoi approfondire i processi di diffusione nella ricerca fondamentale disponibile su arXiv.

2. Implementazioni di IA edge: implementare modelli di grandi dimensioni come il Modello Segment Anything (SAM) sui dispositivi mobili è notoriamente difficile a causa dei vincoli di memoria. ToMe contribuisce a ridurre dinamicamente l'occupazione di memoria, consentendo l'esecuzione di attività complesse di segmentazione delle immagini sull'hardware edge. Negli scenari in cui la velocità assoluta è fondamentale, gli ingegneri spesso scelgono architetture ottimizzate nativamente e prive di attenzione, come Ultralytics YOLO26, per un'inferenza edge end-to-end più rapida.

Esempio Python: calcolo della similarità tra token#

Sebbene l'integrazione di ToMe in un'architettura completa richieda la modifica dei blocchi di attenzione, il concetto di base consiste nell'individuare token simili. Il seguente frammento PyTorch mostra come si potrebbe calcolare la similarità coseno tra un insieme di token per identificare quelli candidati all'unione.

import torch
import torch.nn.functional as F

# Simulate a batch of 4 image patches (tokens) with 64-dimensional features
tokens = torch.randn(1, 4, 64)

# Normalize the tokens to easily compute cosine similarity via dot product
normalized_tokens = F.normalize(tokens, p=2, dim=-1)

# Compute the similarity matrix between all tokens (1 x 4 x 4)
similarity_matrix = torch.matmul(normalized_tokens, normalized_tokens.transpose(1, 2))

# Tokens with high similarity scores (close to 1.0) off the diagonal
# are prime candidates for Token Merging.
print("Similarity Matrix:", similarity_matrix)

Le moderne pipeline di machine learning richiedono un attento equilibrio tra accuratezza e velocità. Che tu utilizzi l'Unione dei token per ottimizzare un ViT personalizzato o faccia affidamento sull'efficienza all'avanguardia di YOLO26, la gestione di questi complessi flussi di lavoro dei dati è notevolmente semplificata dalla Ultralytics Platform. La Platform offre un ecosistema intuitivo per l'annotazione automatizzata dei dati, l'addestramento cloud senza soluzione di continuità e l'implementazione affidabile dei modelli su diversi ambienti hardware di edge computing. Le organizzazioni che portano su larga scala le proprie iniziative di visione artificiale si affidano a questi strumenti per portare in produzione modelli all'avanguardia in modo affidabile ed efficiente.