FLOPs

I FLOP, o Floating-Point Operations, sono una metrica fondamentale utilizzata nel Machine Learning (ML) per misurare la complessità computazionale di un modello. Un'operazione in virgola mobile è qualsiasi calcolo matematico, come addizione, sottrazione, moltiplicazione o divisione, che coinvolge numeri con decimali, che sono standard nelle reti neurali. Sebbene il termine possa tecnicamente riferirsi alle operazioni al secondo, nel contesto del deep learning, i FLOP quantificano in genere il numero totale di queste operazioni necessarie per un singolo forward pass di un modello. Questa metrica fornisce un modo indipendente dall'hardware per stimare quanto sarà computazionalmente intensivo un modello durante l'inferenza. I numeri sono spesso così grandi da essere espressi in GigaFLOP (GFLOP), che sono miliardi di operazioni, o TeraFLOP (TFLOP), trilioni di operazioni.

Perché i FLOP sono importanti nel Machine Learning?

I FLOP sono un indicatore critico dell'efficienza di un modello. Un numero di FLOP inferiore generalmente suggerisce che un modello sarà più veloce e richiederà meno potenza di calcolo per essere eseguito. Questo è particolarmente importante per le applicazioni in cui le risorse sono limitate, come nell'edge AI e sui dispositivi mobili. Analizzando i FLOP, gli sviluppatori possono:

• Confronta le architetture dei modelli: Quando si sceglie tra diversi modelli, come quelli che si trovano nelle nostre pagine di confronto dei modelli, i FLOP offrono un modo standardizzato per valutare l'efficienza computazionale insieme all'accuratezza.
• Ottimizza per la Distribuzione: Per la distribuzione del modello su hardware come un Raspberry Pi o NVIDIA Jetson, la selezione di un modello con un conteggio FLOP appropriato è essenziale per raggiungere i livelli di prestazioni desiderati.
• Guida alla progettazione del modello: I ricercatori che sviluppano nuove architetture, come quelle della serie Ultralytics YOLO, spesso considerano la minimizzazione delle FLOP come un vincolo di progettazione fondamentale. Le tecniche esplorate in modelli come EfficientNet si concentrano sulla riduzione dei costi computazionali senza sacrificare le prestazioni.

Applicazioni nel mondo reale

I FLOP sono una metrica pratica utilizzata quotidianamente nello sviluppo e nell'implementazione di soluzioni di AI.

1. Applicazioni di Visione Mobile: Uno sviluppatore che crea una funzionalità di object detection in tempo reale per un'app per smartphone deve scegliere un modello che possa essere eseguito rapidamente senza scaricare la batteria. Confrontando i FLOP dei modelli leggeri come una piccola variante di Ultralytics YOLO11 con altri, può selezionare un modello che fornisca un buon equilibrio tra velocità e precisione per la CPU o la GPU del dispositivo.

2. Veicoli autonomi: Nella guida autonoma, i modelli di percezione devono elaborare i feed delle telecamere con una latenza estremamente bassa. Gli ingegneri che progettano questi sistemi analizzano i FLOP di vari modelli per garantire che l'architettura scelta possa essere eseguita sull'hardware specializzato del veicolo. Un modello come YOLO11 potrebbe essere scelto rispetto a uno più complesso se i suoi FLOP inferiori gli consentono di soddisfare i severi requisiti di tempistica per un funzionamento sicuro.

FLOP vs. Metriche Correlate

È importante distinguere i FLOP da altre metriche comuni:

• Parametri vs. FLOPs: Il numero di pesi del modello (parametri) indica la dimensione di un modello in termini di archiviazione della memoria. I FLOPs, d'altra parte, misurano il lavoro computazionale. Un modello può avere un piccolo numero di parametri ma un elevato numero di FLOP se tali parametri vengono riutilizzati molte volte in operazioni ad alta intensità di calcolo.
• MACs vs. FLOPs: Le MACs, o operazioni Multiply-Accumulate, sono un'operazione comune nelle reti neurali. Una singola MAC è spesso considerata equivalente a due FLOPs (una moltiplicazione e un'addizione). Alcuni documenti di ricerca e framework possono riportare il costo computazionale in MACs, che è circa la metà del valore FLOPs. Puoi vedere questa distinzione in risorse come Papers with Code.
• Latenza vs. FLOPs: La latenza di inferenza è il tempo reale necessario a un modello per fare una previsione. Mentre i FLOPs forniscono una buona stima teorica, la latenza nel mondo reale è influenzata da fattori che i FLOPs non catturano, come la larghezza di banda della memoria, il parallelismo hardware e l'efficienza delle librerie software come PyTorch.

Limitazioni

Sebbene utili, i FLOP hanno dei limiti:

• Non tengono conto dei costi di accesso alla memoria, che possono rappresentare un collo di bottiglia significativo.
• Non catturano il grado di parallelismo possibile nelle operazioni.
• Le prestazioni effettive dipendono fortemente dalle ottimizzazioni specifiche dell'hardware e dall'efficienza delle librerie software sottostanti (cuDNN, Intel MKL).
• Alcune operazioni (ad esempio, funzioni di attivazione come ReLU) hanno un basso numero di FLOP, ma possono comunque influire sulla latenza.

Pertanto, i FLOPs dovrebbero essere considerati insieme ad altre metriche di performance, ai parametri e ai benchmark del mondo reale per avere un quadro completo dell'efficienza del modello. Strumenti come Ultralytics HUB possono aiutare a gestire i modelli e a monitorare vari aspetti delle prestazioni durante lo sviluppo e il deployment.