Edge AI

L'IA edge consiste nell'eseguire modelli di intelligenza artificiale (AI) sui dispositivi che producono i dati o nelle loro vicinanze, per esempio telefoni, fotocamere, veicoli, robot e gateway industriali, invece di inviare i dati a un data center remoto. Elaborare un fotogramma della fotocamera o una clip audio nel luogo in cui vengono acquisiti elimina il viaggio di andata e ritorno sulla rete, così le decisioni arrivano in millisecondi. Il dispositivo continua a funzionare anche senza connessione, gli input sensibili restano in locale per tutelare la privacy dei dati e non è necessario trasmettere video grezzi al cloud, risparmiando banda. Il costo è un budget limitato di memoria, capacità di calcolo ed energia, oltre al lavoro necessario per aggiornare i modelli su una flotta di dispositivi.

Come funziona l'IA edge#

Di solito i modelli vengono addestrati nel cloud su GPU e poi resi abbastanza piccoli e veloci da funzionare sul dispositivo di destinazione. La quantizzazione dei modelli a FP16 o INT8, la potatura dei modelli e la distillazione della conoscenza ne riducono le dimensioni; l'esportazione li converte nel formato usato dal motore di inferenza sul dispositivo, come TensorRT su hardware NVIDIA, LiteRT su Android, Core ML sui dispositivi Apple o NCNN sulle CPU ARM. Il dispositivo esegue quindi l'inferenza in locale e invia al sistema centrale solo le informazioni utili, come un avviso, un conteggio o una breve clip. Questi caricamenti alimentano anche il ciclo di miglioramento: gli esempi difficili raccolti sul campo vengono etichettati, il modello viene riaddestrato e la nuova versione viene inviata ai dispositivi via etere.

Hardware per l'IA edge#

• Unità di elaborazione neurale (NPUs): acceleratori dedicati integrati nella maggior parte dei moderni chip per telefoni e laptop, come il Neural Engine di Apple e l'NPU Hexagon di Qualcomm, che eseguono modelli quantizzati entro i limiti di consumo energetico di un telefono.
• NVIDIA Jetson: moduli embedded che combinano una CPU ARM e una GPU NVIDIA per robot, droni e fotocamere intelligenti che richiedono prestazioni di livello GPU.
• Raspberry Pi: computer a scheda singola economici che eseguono modelli piccoli sulla propria CPU ARM o su schede acceleratrici aggiuntive.
• Microcontrollori: la categoria più piccola, in cui modelli di poche centinaia di kilobyte funzionano con una potenza di pochi milliwatt.

Distribuire un modello edge#

Ogni classe di dispositivi trae vantaggio da un formato di esportazione diverso. Su Raspberry Pi, NCNN è il più veloce tra i formati che Ultralytics valuta per Ultralytics YOLO26; basta esportare una volta e caricare la cartella esportata per eseguire lo stesso rilevatore con quel motore:

from ultralytics import YOLO

# Carica il modello YOLO26 di rilevamento più piccolo
model = YOLO("yolo26n.pt")

# Esporta in NCNN, un framework di inferenza ottimizzato per CPU ARM
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Esegui l'inferenza con il modello esportato, come sul dispositivo
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

L'immagine salvata mostra i rilevamenti calcolati dal motore NCNN. Le applicazioni sui dispositivi sono spesso distribuite in container Docker, così la stessa immagine viene eseguita su una flotta di schede identiche.

IA edge e termini correlati#

• Edge computing: il concetto più ampio di elaborazione dei dati vicino alla loro origine, dalle letture filtrate dei sensori alla memorizzazione temporanea dei contenuti. L'IA edge è edge computing in cui il carico di lavoro è un modello di machine learning.
• TinyML: la categoria più piccola dell'IA edge, basata su microcontrollori con pochi kilobyte di memoria.
• Apprendimento federato: addestra un modello condiviso su molti dispositivi inviando aggiornamenti dei pesi invece dei dati grezzi. Di solito l'IA edge si riferisce all'inferenza, mentre l'apprendimento federato porta l'addestramento sugli stessi dispositivi.

Applicazioni dell'IA edge#

• Veicoli autonomi: auto e robot per le consegne rilevano a bordo pedoni, veicoli e corsie, perché una connessione lenta o interrotta non può ritardare la frenata.
• Fotocamere intelligenti: le fotocamere per il commercio al dettaglio, il traffico e la sicurezza eseguono il rilevamento degli oggetti in locale e inviano conteggi o avvisi invece di trasmettere video in continuazione.
• Ispezione industriale: le fotocamere sulle linee di produzione scartano i componenti difettosi in pochi millisecondi e i sensori di vibrazione delle macchine segnalano anomalie prima che causino fermi.
• Smartphone: i telefoni elaborano foto, trascrivono il parlato ed eseguono modelli linguistici di piccole dimensioni sul dispositivo, come il modello da circa 3 miliardi di parametri che Apple Intelligence esegue sui dispositivi Apple e che le app possono usare tramite il framework Foundation Models di Apple.