Inferenza in tempo reale

L'inferenza in tempo reale è il processo di utilizzo di un modello di machine learning (ML) addestrato per fare previsioni su nuovi dati live con il minimo ritardo. Nel contesto dell'AI e della computer vision (CV), questo significa che il sistema può elaborare informazioni, come un flusso video, e generare un output quasi istantaneamente. L'obiettivo è rendere la latenza di inferenza sufficientemente bassa da rendere i risultati immediatamente utili per il processo decisionale. Questa capacità è fondamentale per le applicazioni in cui i tempi sono critici, trasformando il modo in cui settori dall'automotive alla sanità sfruttano l'AI.

Inferenza in tempo reale vs. Inferenza batch

È importante distinguere l'inferenza in tempo reale dall'inferenza batch. La differenza principale risiede nella modalità di elaborazione dei dati.

• Inferenza in tempo reale: Elabora i dati man mano che vengono generati o ricevuti, in genere un input o un piccolo flusso alla volta. La priorità è ridurre al minimo il ritardo (latenza) tra input e output. Questo è essenziale per i sistemi interattivi e sensibili al tempo.
• Inferenza batch: Implica la raccolta di dati per un periodo e l'elaborazione di tutti in una volta in un grande batch. Questo approccio dà la priorità alla massimizzazione del throughput (la quantità di dati elaborati nel tempo) piuttosto che alla minimizzazione della latenza. L'elaborazione batch è adatta per attività non urgenti come la generazione di report giornalieri o l'analisi periodica di grandi set di dati.

Sebbene entrambi utilizzino un modello addestrato per fare previsioni, i loro casi d'uso sono fondamentalmente diversi in base all'urgenza dei risultati.

Applicazioni nel mondo reale

La capacità di prendere decisioni istantanee consente un'ampia gamma di potenti applicazioni in vari settori.

1. Sistemi autonomi: Nelle auto a guida autonoma, l'inferenza in tempo reale è una questione di sicurezza. I modelli devono eseguire l'object detection per identificare pedoni, altri veicoli e segnali stradali in millisecondi per navigare in sicurezza ed evitare collisioni. Allo stesso modo, droni e robot si affidano ad essa per la navigazione e l'interazione con il loro ambiente.
2. Produzione intelligente: Su una linea di produzione, le telecamere dotate di IA possono eseguire il controllo qualità in tempo reale. Un modello come Ultralytics YOLO11 può rilevare difetti nei prodotti che si muovono su un nastro trasportatore, consentendone la rimozione immediata. Questo è un componente fondamentale della moderna IA nella produzione.
3. Assistenza sanitaria interattiva: Durante una procedura chirurgica, un modello potrebbe analizzare il video in diretta da una telecamera per fornire una guida in tempo reale al chirurgo. In ambito diagnostico, l'analisi di immagini mediche in tempo reale può aiutare i medici a identificare più rapidamente le anomalie durante le scansioni dal vivo.
4. Sorveglianza intelligente: I moderni sistemi di sicurezza utilizzano l'inferenza in tempo reale per analizzare i flussi video e identificare potenziali minacce, come l'ingresso non autorizzato o i pacchi abbandonati, attivando avvisi immediati. Questo va oltre la semplice registrazione per un monitoraggio attivo e intelligente.

Ottenere prestazioni in tempo reale

Fare in modo che i modelli funzionino abbastanza velocemente per applicazioni di calcolo in tempo reale spesso richiede un'ottimizzazione significativa:

• Ottimizzazione del modello: Tecniche come la quantizzazione del modello (riduzione della precisione dei pesi del modello) e la potatura del modello (rimozione delle parti ridondanti del modello) riducono il carico computazionale e l'utilizzo della memoria.
• Accelerazione hardware: L'utilizzo di hardware specializzato come GPU, TPU (Tensor Processing Units), o acceleratori AI dedicati su dispositivi edge (ad esempio, NVIDIA Jetson, Google Coral Edge TPU) può accelerare notevolmente i calcoli. L'Edge computing stesso è fondamentale per l'elaborazione dei dati in locale con il minimo ritardo.
• Motori di inferenza efficienti: Librerie software e runtime come TensorRT, OpenVINO, ONNX Runtime, e framework come PyTorch o TensorFlow forniscono percorsi di esecuzione ottimizzati per i modelli addestrati. Un motore di inferenza è specificamente progettato per eseguire modelli in modo efficiente per la previsione.

Modelli come Ultralytics YOLO sono progettati pensando all'efficienza e all'accuratezza, il che li rende adatti per attività di rilevamento di oggetti in tempo reale. Piattaforme come Ultralytics HUB forniscono strumenti per addestrare, ottimizzare (ad esempio, esportare in formati ONNX o TensorRT) e implementare modelli, facilitando l'implementazione di soluzioni di inferenza in tempo reale attraverso varie opzioni di implementazione.