Transformer

Un Transformer è un'architettura di deep learning che si basa su un meccanismo chiamato self-attention per elaborare dati di input sequenziali, come il linguaggio naturale o le caratteristiche visive. Introdotto originariamente dai ricercatori di Google nel fondamentale articolo Attention Is All You Need, il Transformer ha rivoluzionato il campo dell'intelligenza artificiale (AI) eliminando i limiti di elaborazione sequenziale delle precedenti Reti Neurali Ricorrenti (RNN). Al contrario, i Transformer analizzano intere sequenze di dati simultaneamente, consentendo una massiccia parallelizzazione e tempi di addestramento notevolmente più rapidi su hardware moderno come le GPU.

Come funzionano i Transformer#

L'innovazione principale del Transformer è il meccanismo di self-attention. Questo consente al modello di soppesare l'importanza di diverse parti dei dati di input l'una rispetto all'altra. Ad esempio, in una frase, il modello può imparare che la parola "bank" si collega più strettamente a "money" che a "river" in base al contesto circostante.

Questa architettura è generalmente composta da due componenti principali:

• Encoder: Elabora i dati di input trasformandoli in una ricca rappresentazione numerica o embedding.
• Decoder: Utilizza l'output dell'encoder per generare il risultato finale, come una frase tradotta o una bounding box predetta.

Nel campo della computer vision (CV), i modelli impiegano solitamente una variante denominata Vision Transformer (ViT). Invece di elaborare token di testo, l'immagine viene suddivisa in patch di dimensioni fisse (ad es., 16x16 pixel). Queste patch vengono appiattite e trattate come una sequenza, consentendo al modello di catturare il "contesto globale" — comprendendo le relazioni tra parti distanti di un'immagine — in modo più efficace rispetto a una Convolutional Neural Network (CNN) standard.

Transformer vs Concetti correlati#

È importante distinguere l'architettura Transformer da termini correlati:

• Meccanismo di attenzione: Questo è il concetto generale di focalizzarsi su parti specifiche dei dati. Il Transformer è un'architettura specifica costruita interamente attorno a layer di attenzione, mentre altri modelli potrebbero usare l'attenzione solo come un piccolo componente aggiuntivo.
• Large Language Model (LLM): Termini come "GPT" fanno riferimento a modelli specifici addestrati su vaste quantità di testo. Quasi tutti i moderni LLM utilizzano l'architettura Transformer come motore sottostante.

Applicazioni nel mondo reale#

La versatilità dei Transformer ha portato alla loro adozione in vari settori:

1. Imaging medico: Nell'AI nella sanità, i Transformer vengono utilizzati per compiti complessi come l'analisi di immagini mediche. La loro capacità di comprendere le relazioni spaziali globali aiuta a rilevare sottili anomalie in scansioni MRI o TC ad alta risoluzione che le CNN focalizzate sulle feature locali potrebbero perdere.

2. Sistemi autonomi: Per i veicoli autonomi, comprendere la traiettoria dei pedoni e di altri veicoli è fondamentale. I Transformer eccellono nella comprensione video tracciando gli oggetti nel corso del tempo, prevedendo i movimenti futuri per garantire una navigazione sicura.

Rilevamento oggetti con i Transformer#

Mentre le CNN hanno tradizionalmente dominato il rilevamento degli oggetti, i modelli basati su Transformer come il Real-Time Detection Transformer (RT-DETR) sono emersi come potenti alternative. RT-DETR combina la velocità dei backbone CNN con la precisione delle testate di decodifica Transformer.

Tuttavia, i modelli puramente Transformer possono essere pesanti dal punto di vista computazionale. Per molte applicazioni edge, modelli ibridi altamente ottimizzati come YOLO26 — che integrano meccanismi di attenzione efficienti con una rapida elaborazione convoluzionale — offrono un bilanciamento superiore tra velocità e precisione. Puoi gestire facilmente l'addestramento e il deployment di questi modelli tramite la Ultralytics Platform, che semplifica il flusso di lavoro dall'annotazione del dataset all'esportazione del modello.

Esempio Python: Utilizzo di RT-DETR#

Il seguente esempio mostra come eseguire l'inferenza utilizzando un modello basato su Transformer all'interno del pacchetto ultralytics. Questo codice carica un modello RT-DETR pre-addestrato e rileva gli oggetti in un'immagine.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

Per ulteriori letture sulle basi matematiche, la documentazione di PyTorch sui layer Transformer offre profondità tecnica, mentre la guida di IBM ai Transformer offre una prospettiva di business di alto livello.