Distribuisci senza problemi Ultralytics YOLO11 utilizzando l'integrazione MNN
Scopri come esportare e distribuire i modelli Ultralytics YOLO11 con l'integrazione MNN per un'inferenza rapida su piattaforme mobili, embedded e a basso consumo.
Oggi le innovazioni nell'AI si sono estese oltre gli ambienti con server remoti. Le soluzioni di AI vengono integrate in dispositivi edge come sensori e smartphone. Grazie a questo cambiamento tecnologico, ora i dati possono essere elaborati direttamente nel punto in cui vengono generati, consentendo risposte più rapide, maggiore privacy e una minore dipendenza dalla connettività costante al cloud.
Di conseguenza, l'AI edge sta prendendo piede in molti settori. Si prevede che il mercato del software per l'AI edge raggiungerà gli 8,88 miliardi di dollari entro il 2031, poiché un numero crescente di sistemi si orienta verso un'elaborazione più rapida e locale.
In particolare, la computer vision, un ramo dell'AI che si concentra sulla comprensione di immagini e video, viene adottata rapidamente nell'edge. Dal conteggio degli alimenti durante il confezionamento all'assistenza ai veicoli nel rilevamento dei pedoni, la computer vision supporta innumerevoli applicazioni pratiche in diversi settori.
Tutto questo è possibile grazie ai modelli di computer vision. Ad esempio, Ultralytics YOLO11 è un modello che supporta diverse attività di AI per la visione, come il rilevamento degli oggetti, la segmentazione delle istanze, il tracciamento degli oggetti e la stima della posa. È progettato per essere rapido ed efficiente e offre buone prestazioni sui dispositivi con risorse hardware limitate.
Fig. 1. Rilevamento e tracciamento degli alimenti durante il confezionamento usando Ultralytics YOLO11 (Fonte).
Oltre a essere adatto all'implementazione edge, grazie alle varie integrazioni supportate da Ultralytics, YOLO11 può essere esportato in diversi formati adatti a vari ambienti hardware.
Una delle opzioni più efficienti è MNN (rete neurale mobile), un motore di inferenza leggero progettato per dispositivi con risorse limitate. L'esportazione di Ultralytics YOLO11 in MNN ne consente l'esecuzione diretta su telefoni cellulari, sistemi embedded e altre piattaforme edge, dove l'elaborazione rapida sul dispositivo è essenziale.
In questo articolo esploreremo come funziona l'integrazione MNN, metteremo in evidenza i casi d'uso più comuni e illustreremo come iniziare a eseguire inferenze usando un modello Ultralytics YOLO11 esportato. Iniziamo!
Panoramica di MNN: un framework di deep learning#
Eseguire modelli di computer vision su dispositivi più piccoli, come telefoni cellulari, sensori industriali e sistemi portatili, non è sempre semplice. Questi dispositivi hanno spesso memoria limitata, processori più lenti e rigidi limiti di consumo energetico.
La rete neurale mobile, o MNN, è un motore di inferenza leggero e ad alte prestazioni sviluppato da Alibaba per consentire ai modelli di AI di funzionare in modo efficiente su hardware con risorse limitate, mantenendo al contempo prestazioni in tempo reale. MNN supporta un'ampia gamma di piattaforme, tra cui Android, iOS e Linux, e funziona su diversi tipi di hardware, come unità di elaborazione centrali (CPUs) e unità di elaborazione grafiche (GPUs).
Fig. 2. Uno sguardo al framework MNN (Fonte).
L'integrazione MNN supportata da Ultralytics consente di esportare facilmente i modelli YOLO11 nel formato MNN. In altre parole, i modelli possono essere convertiti dal formato YOLO a MNN.
Una volta convertiti, possono essere implementati sui dispositivi che supportano il framework MNN per eseguire inferenze efficienti direttamente sul dispositivo. Un vantaggio fondamentale dell'uso del formato MNN è che semplifica l'implementazione di Ultralytics YOLO11 negli scenari in cui dimensioni, velocità ed efficienza delle risorse sono fattori critici.
Funzionalità principali del backend di inferenza MNN#
Prima di esaminare come usare l'integrazione MNN, vediamo cosa rende il framework MNN una scelta eccellente per eseguire modelli di AI su dispositivi reali. È progettato per gestire i vincoli specifici degli ambienti edge, offrendo comunque prestazioni rapide e affidabili.
È interessante notare che MNN viene usato internamente da Alibaba in oltre 30 applicazioni, tra cui Taobao, Tmall, Youku, DingTalk e Xianyu, in un'ampia gamma di scenari come video live, contenuti brevi, ricerca di immagini e controlli di sicurezza sul dispositivo. Supporta implementazioni su larga scala ed esegue milioni di inferenze al giorno in ambienti di produzione.
Ecco alcune delle funzionalità principali del framework MNN:
- Selezione automatica del backend: MNN può scegliere automaticamente il backend di esecuzione più adatto, come CPU o GPU, in base all'hardware su cui è in esecuzione.
- Esecuzione multi-thread: supporta il multi-threading, consentendo di sfruttare appieno i processori multicore per eseguire inferenze più rapide.
- Supporto alla quantizzazione dei modelli: consente di ridurre significativamente le dimensioni del modello usando la quantizzazione FP16 o INT8, contribuendo a migliorare la velocità di inferenza e a usare meno memoria.
- Leggero e veloce: MNN ha un ingombro molto ridotto: la libreria principale occupa circa 400 KB su Android e circa 5 MB su iOS, rendendolo ideale per dispositivi mobili ed embedded.
Come funziona l'integrazione MNN#
Ora vediamo passo dopo passo come esportare i modelli Ultralytics YOLO11 nel formato MNN.
Il primo passaggio consiste nell'installare il pacchetto Python di Ultralytics, che fornisce tutto il necessario per esportare i modelli YOLO11 nel formato MNN. Puoi farlo eseguendo "pip install ultralytics" nel terminale o nel prompt dei comandi. Se usi un Jupyter Notebook o Google Colab, aggiungi un punto esclamativo prima del comando.
Se riscontri problemi durante l'installazione, consulta la guida ai problemi comuni per suggerimenti sulla risoluzione dei problemi.
Dopo aver configurato l'ambiente, puoi caricare un modello YOLO11 pre-addestrato, come "yolo11n.pt", ed esportarlo nel formato MNN, come mostrato nel frammento di codice seguente. Se hai addestrato un tuo modello YOLO11 personalizzato, puoi esportarlo semplicemente sostituendo il nome del file con il percorso del tuo modello.
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="mnn")Dopo aver convertito il modello in MNN, puoi usarlo su diverse piattaforme mobili ed embedded, a seconda delle esigenze della tua applicazione.
Ad esempio, supponiamo che tu voglia testare il modello esportato su un video del traffico. In tal caso, puoi caricare il modello Ultralytics YOLO11 in formato MNN per rilevare direttamente sul dispositivo oggetti come veicoli, pedoni e segnali stradali, come mostrato nell'esempio seguente.
mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)Al termine dell'inferenza, il video di output con gli oggetti rilevati viene salvato automaticamente nella cartella 'runs/detect/predict'. Inoltre, se vuoi eseguire inferenze usando direttamente il pacchetto Python MNN, puoi consultare la documentazione ufficiale di Ultralytics per ulteriori dettagli ed esempi.
Fig. 3. Analisi del traffico usando un modello Ultralytics YOLO11 esportato nel formato MNN. Immagine dell'autore.
Casi d'uso dell'implementazione di modelli di AI edge resa possibile da Ultralytics YOLO11 e MNN#
L'implementazione di Ultralytics YOLO11 con MNN consente di eseguire attività di computer vision rapide ed efficienti, come il rilevamento degli oggetti, in ambienti in cui l'elaborazione basata sul cloud non è pratica o possibile. Vediamo come questa integrazione possa essere particolarmente utile negli scenari del mondo reale.
AI edge mobile per l'identificazione delle malattie delle piante#
Le app per l'identificazione delle malattie delle piante che usano la classificazione delle immagini stanno diventando sempre più popolari tra giardinieri, ricercatori e appassionati della natura. Con una semplice foto, gli utenti possono identificare rapidamente i primi segnali di una malattia, come macchie o scolorimenti sulle foglie. Poiché queste app vengono spesso usate all'aperto, dove l'accesso a Internet può essere limitato o assente, affidarsi all'elaborazione nel cloud può risultare inaffidabile.
Dopo l'addestramento, un modello Ultralytics YOLO11 può essere esportato nel formato MNN ed eseguito direttamente sui dispositivi mobili. Il modello può quindi classificare le specie vegetali e rilevare localmente i sintomi visibili delle malattie, senza inviare dati a un server.
Fig. 4. Un esempio di utilizzo di YOLO11 per rilevare i segni della ruggine (una malattia delle piante) su una foglia (Fonte).
Inferenze efficienti sul dispositivo nel settore manifatturiero#
Il tracciamento accurato dei pacchi è essenziale sulle linee di produzione molto movimentate degli stabilimenti di produzione. Ultralytics YOLO11 può essere usato per tracciare e contare ogni articolo mentre attraversa i checkpoint principali, aggiornando i conteggi in tempo reale e segnalando eventuali discrepanze. Questo aiuta a ridurre le spedizioni mancate o non contabilizzate e favorisce operazioni più fluide e affidabili.
Fig. 5. Tracciamento e conteggio dei pacchi usando YOLO11 (Fonte).
L'integrazione MNN può essere particolarmente efficace in questo contesto. Una volta esportato nel formato MNN, il modello Ultralytics YOLO11 può essere eseguito direttamente su dispositivi compatti e a basso consumo installati lungo il nastro trasportatore.
Poiché tutta l'elaborazione avviene localmente, il sistema può fornire un feedback immediato e non richiede una connessione Internet. Questo garantisce prestazioni rapide e affidabili sul pavimento della fabbrica, mantenendo la produzione efficiente e assicurando al contempo elevata accuratezza e controllo.
Vantaggi dell'esportazione di Ultralytics YOLO11 nel formato modello MNN#
Ecco alcuni vantaggi chiave dell'integrazione MNN fornita da Ultralytics:
- Tempi di risposta più rapidi: poiché l'inferenza viene eseguita sul dispositivo, le previsioni avvengono in tempo reale con una latenza minima.
- Maggiore privacy dei dati: i dati rimangono sul dispositivo, riducendo la necessità di inviare immagini o video sensibili al cloud.
- Open source e sottoposto a manutenzione attiva: sostenuto da Alibaba e supportato da una community attiva, MNN è affidabile e viene aggiornato regolarmente con miglioramenti delle prestazioni.
Fattori da considerare quando si usa il framework MNN#
Prima di scegliere MNN come framework di implementazione, è importante valutare anche quanto si adatti ai requisiti del tuo progetto, agli obiettivi di implementazione e ai limiti tecnici. Ecco alcuni fattori chiave da considerare:
- Compatibilità continua: gli aggiornamenti del framework o le modifiche alle piattaforme di destinazione potrebbero richiedere nuovi test o adeguamenti per mantenere tutto in funzione senza problemi.
- Meno strumenti di debug: rispetto ai framework più grandi, MNN dispone di strumenti più limitati per il debug e l'analisi del comportamento del modello, il che può rendere più difficile la risoluzione dei problemi.
- Le prestazioni dipendono dall'hardware: la velocità e l'efficienza del modello varieranno in base al dispositivo. Testa l'hardware di destinazione per assicurarti che soddisfi i tuoi obiettivi prestazionali.
Punti chiave#
Il supporto di Ultralytics all'integrazione MNN semplifica l'esportazione dei modelli YOLO11 per l'uso su dispositivi mobili ed embedded. È un'opzione pratica per le applicazioni che richiedono un rilevamento rapido e affidabile senza dipendere dall'accesso al cloud o dalla connettività costante.
Questa configurazione contribuisce a semplificare l'implementazione mantenendo alte le prestazioni e contenendo il consumo di risorse. Che tu stia sviluppando sistemi per la casa intelligente, strumenti da campo o dispositivi industriali compatti, esportare Ultralytics YOLO11 in MNN offre un modo flessibile ed efficiente per eseguire attività di computer vision direttamente sui dispositivi edge.
Unisciti alla nostra community in crescita! Esplora il nostro repository GitHub per approfondire l'AI. Pronto a iniziare i tuoi progetti di computer vision? Scopri le nostre opzioni di licenza. Scopri di più sull'AI nel settore sanitario e sulla computer vision nel commercio al dettaglio nelle nostre pagine dedicate alle soluzioni!
