CPU

Ruolo nell'IA e nell'apprendimento automatico

Le CPU sono progettate come processori generici, in grado di eseguire rapidamente sequenze di istruzioni e di gestire diverse attività di calcolo. Le caratteristiche principali che influenzano le prestazioni sono la velocità di clock (il numero di operazioni al secondo) e il numero di core (che consentono l'esecuzione parallela dei compiti). Mentre le moderne CPU di produttori come Intel e AMD sono dotate di più core, ma non possiedono l'architettura massicciamente parallela delle GPU, il che le rende meno adatte alle moltiplicazioni di matrice su larga scala comuni nella formazione del deep learning.

Tuttavia, le CPU sono indispensabili nelle pipeline AI/ML per diverse funzioni critiche:

• Preparazione dei dati: Operazioni come il caricamento dei set di dati, la pulizia, la trasformazione e l'aumento dei dati sono spesso eseguite in modo efficiente dalle CPU. Librerie come Pandas e parti di Scikit-learn si basano molto sull'elaborazione CPU . La preparazione dei dati per i progetti di computer vision è un'operazione comunemente CPU.
• Orchestrazione del flusso di lavoro: Le CPU gestiscono il flusso di esecuzione complessivo delle pipeline ML, coordinando le attività tra i diversi componenti hardware (come le GPU) e i moduli software.
• Modelli di ML tradizionali: Molti algoritmi di ML classici, come le macchine a vettori di supporto (SVM) e le foreste casuali, sono spesso addestrati ed eseguiti efficacemente su CPU.
• Inferenza: Mentre le GPU offrono un elevato throughput per l'inferenza, le CPU sono spesso utilizzate per l'inferenza in tempo reale, soprattutto in ambienti con risorse limitate(Edge AI) o quando la latenza per le singole previsioni è prioritaria rispetto al throughput dei batch. Framework come ONNX Runtime e il toolkit OpenVINO diIntel offrono funzionalità di inferenza ottimizzate sulle CPU. I modelli Ultralytics possono essere esportati in formati come ONNX per la distribuzione su CPU , come descritto nella documentazione sull'esportazione dei modelli.
• Operazioni di Input/Output (I/O): Le CPU gestiscono la lettura e la scrittura dei dati dall'archivio e le comunicazioni di rete, essenziali per il caricamento di modelli e dati.

CPU vs. GPU e TPU

La differenza principale tra CPU, GPU e TPU risiede nella loro architettura e nella loro destinazione d'uso:

• CPU: Processore di uso generale ottimizzato per l'esecuzione a bassa latenza di compiti sequenziali. Dispone di pochi e potenti core. È ideale per il flusso di controllo, le funzioni del sistema operativo e diversi calcoli.
• GPU: Originariamente per la grafica, ora ampiamente utilizzata per l'intelligenza artificiale. Dispone di migliaia di core più piccoli ottimizzati per l'elaborazione in parallelo di grandi blocchi di dati (come le matrici nel deep learning). Vedi le GPUNVIDIA per gli esempi. Accelera notevolmente l'addestramento di modelli come Ultralytics YOLO.
• TPU: L 'hardware personalizzato diGoogle, progettato specificamente per accelerare i calcoli tensor utilizzati nelle reti neurali, in particolare all'interno di TensorFlow . Ottimizzato per ottenere un elevato throughput e un'elevata efficienza su specifici carichi di lavoro ML.

Anche nei sistemi che si affidano pesantemente alle GPU o alle TPU per l'addestramento di modelli complessi come YOLOv10 o YOLO11la CPU gestisce l'intero sistema, prepara i dati e gestisce le parti del flusso di lavoro non adatte agli acceleratori. La scelta dell'hardware giusto implica la comprensione di questi compromessi per una distribuzione efficiente dei modelli.

Esempi di AI/ML del mondo reale che utilizzano la CPU

1. Preelaborazione dell'elaborazione del linguaggio naturale (NLP): Operazioni come la tokenizzazione, in cui il testo viene scomposto in unità più piccole (parole o sottoparole), sono fondamentali nell'NLP. Librerie come Tokenizer diHugging Face spesso eseguono queste operazioni in modo efficiente sulla CPU prima che i dati vengano passati a una GPU per l'inferenza o l'addestramento del modello.
2. Inferenza sui dispositivi Edge: Molte applicazioni di Edge AI implementano modelli di ML su dispositivi con potenza e risorse di calcolo limitate, come Raspberry Pi o dispositivi basati su architettura ARM. In questi scenari, l'inferenza viene spesso eseguita direttamente sulla CPU del dispositivo, eventualmente utilizzando librerie ottimizzate come TensorFlow Lite o OpenVINO per ottenere prestazioni accettabili per attività come il rilevamento di oggetti di base o l'individuazione di parole chiave. La gestione di queste implementazioni può essere facilitata da piattaforme come Ultralytics HUB.

Comprendere le capacità e i limiti della CPU è fondamentale per progettare e ottimizzare i sistemi di intelligenza artificiale end-to-end, dalla gestione dei dati(vedi guida alla raccolta dei dati) all'implementazione efficiente su diverse piattaforme hardware.