Distribuisci senza problemi Ultralytics YOLO11 utilizzando l'integrazione MNN

Oggigiorno, le innovazioni nell'IA si sono espanse oltre gli ambienti server remoti. Le soluzioni di IA vengono integrate in dispositivi edge come sensori e smartphone. Grazie a questo cambiamento tecnologico, i dati possono ora essere gestiti direttamente dove vengono generati, permettendo risposte più rapide, una privacy migliorata e una ridotta dipendenza da una connettività cloud costante.

Di conseguenza, l'edge AI sta guadagnando terreno in molti settori. Il mercato del software di edge AI dovrebbe raggiungere gli 8,88 miliardi di dollari entro il 2031, man mano che più sistemi si orientano verso un'elaborazione più rapida e locale.

In particolare, la computer vision, un ramo dell'IA che si concentra sulla comprensione di immagini e video, viene rapidamente adottata all'edge. Dal conteggio di articoli alimentari mentre vengono imballati all'aiutare i veicoli a rilevare i pedoni, la computer vision supporta innumerevoli applicazioni pratiche in diversi settori.

Ciò è reso possibile tramite modelli di computer vision. Ad esempio, Ultralytics YOLO11 è un modello che supporta varie attività di vision AI come object detection, instance segmentation, object tracking e pose estimation. È progettato per essere veloce ed efficiente e offre ottime prestazioni su dispositivi con risorse hardware limitate.

Fig 1. Rilevamento e tracciamento di cibo in fase di confezionamento tramite YOLO11 (Fonte).

Oltre ad essere adatto per il deployment edge, tramite varie integrazioni supportate da Ultralytics, YOLO11 può essere esportato in vari formati adatti a diversi ambienti hardware.

Una delle opzioni più efficienti è MNN (Mobile Neural Network), un motore di inferenza leggero progettato per dispositivi con poche risorse. Esportare YOLO11 in MNN gli permette di essere eseguito direttamente su telefoni cellulari, sistemi embedded e altre piattaforme edge dove un'elaborazione rapida on-device è essenziale.

In questo articolo, esploreremo come funziona l'integrazione MNN, metteremo in luce casi d'uso comuni e ti guideremo su come iniziare a eseguire inferenze usando un modello YOLO11 esportato. Iniziamo!

Link to this sectionUna panoramica di MNN: Un framework di deep learning#

Eseguire modelli di computer vision su dispositivi più piccoli come telefoni cellulari, sensori industriali e sistemi portatili non è sempre semplice. Questi dispositivi hanno spesso memoria limitata, processori più lenti e rigidi limiti di alimentazione.

La Mobile Neural Network, o MNN, è un motore di inferenza leggero e ad alte prestazioni sviluppato da Alibaba per far funzionare i modelli di IA in modo efficiente su hardware con poche risorse, mantenendo prestazioni in tempo reale. MNN supporta una vasta gamma di piattaforme, inclusi Android, iOS e Linux, e funziona su diversi tipi di hardware come central processing units (CPU) e graphics processing units (GPU).

Fig 2. Uno sguardo al framework MNN (Fonte).

L'integrazione MNN supportata da Ultralytics rende possibile esportare facilmente i modelli YOLO11 nel formato MNN. In poche parole, questo significa che i modelli possono essere convertiti dal formato YOLO a MNN.

Una volta convertiti, possono essere distribuiti su dispositivi che supportano il framework MNN per un'inferenza on-device efficiente. Un vantaggio chiave dell'utilizzo del formato MNN è che semplifica il deployment di YOLO11 in scenari in cui dimensioni, velocità ed efficienza delle risorse sono critiche.

Link to this sectionCaratteristiche chiave del backend di inferenza MNN#

Prima di addentrarci su come utilizzare l'integrazione MNN, diamo un'occhiata a ciò che rende il framework MNN un'ottima scelta per eseguire modelli di IA su dispositivi reali. È costruito per gestire i vincoli unici degli ambienti edge pur offrendo prestazioni veloci e affidabili.

È interessante notare che MNN viene utilizzato internamente ad Alibaba in oltre 30 applicazioni, tra cui Taobao, Tmall, Youku, DingTalk e Xianyu, in un'ampia gamma di scenari come video in diretta, contenuti brevi, ricerca di immagini e controlli di sicurezza on-device. Supporta il deployment su larga scala ed esegue milioni di inferenze al giorno in ambienti di produzione.

Ecco alcune delle caratteristiche chiave del framework MNN:

• Selezione automatica del backend: MNN può scegliere automaticamente il backend di esecuzione più adatto, come CPU o GPU, in base all'hardware su cui è in esecuzione.
• Esecuzione multithread: Supporta il multithreading, consentendogli di sfruttare appieno i processori multicore per un'inferenza più rapida.
• Supporta la quantizzazione del modello: Ti consente di ridurre significativamente le dimensioni del modello utilizzando la quantizzazione FP16 o INT8, aiutando a migliorare la velocità di inferenza e utilizzando meno memoria.
• Leggero e veloce: MNN ha un ingombro molto ridotto, con la libreria principale di circa 400 KB su Android e circa 5 MB su iOS, il che lo rende ideale per dispositivi mobili ed embedded.

Link to this sectionCapire come funziona l'integrazione MNN#

Successivamente, vediamo come esportare i modelli YOLO11 nel formato MNN.

Il primo passo è installare il pacchetto Python di Ultralytics, che fornisce tutto il necessario per esportare i modelli YOLO11 nel formato MNN. Puoi farlo eseguendo "pip install ultralytics" sul tuo terminale o usando il prompt dei comandi. Se stai usando un Jupyter Notebook o Google Colab, aggiungi un punto esclamativo prima del comando.

Se riscontri problemi durante l'installazione, consulta la guida ai problemi comuni per suggerimenti sulla risoluzione dei problemi.

Una volta configurato il tuo ambiente, puoi caricare un modello YOLO11 pre-addestrato come "yolo11n.pt" ed esportarlo nel formato MNN come mostrato nel frammento di codice qui sotto. Se hai addestrato il tuo modello YOLO11 personalizzato, puoi esportarlo semplicemente sostituendo il nome del file con il percorso del tuo modello.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Dopo aver convertito il tuo modello in MNN, puoi usarlo su diverse piattaforme mobili ed embedded a seconda delle esigenze della tua applicazione.

Ad esempio, supponiamo che tu voglia testare il modello esportato su un video del traffico. In tal caso, puoi caricare il modello YOLO11 in formato MNN per rilevare oggetti come veicoli, pedoni e segnali stradali direttamente sul dispositivo, come mostrato nell'esempio sottostante.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Quando l'inferenza è completa, il video di output con gli oggetti rilevati viene salvato automaticamente nella cartella 'runs/detect/predict'. Inoltre, se vuoi eseguire l'inferenza usando direttamente il pacchetto Python MNN, puoi dare un'occhiata alla documentazione ufficiale di Ultralytics per ulteriori dettagli ed esempi.

Fig 3. Analisi del traffico utilizzando un modello YOLO11 esportato in formato MNN. Immagine dell'autore.

Link to this sectionCasi d'uso del deployment di modelli di edge AI abilitati da YOLO11 e MNN#

Distribuire YOLO11 con MNN abilita attività di computer vision veloci ed efficienti come l'object detection in ambienti in cui l'elaborazione basata su cloud non è pratica o possibile. Vediamo come questa integrazione possa essere particolarmente utile in scenari del mondo reale.

Link to this sectionEdge AI mobile per l'identificazione delle malattie delle piante#

Le app per l'identificazione delle malattie delle piante che usano l'image classification stanno guadagnando popolarità tra giardinieri, ricercatori e appassionati di natura. Con una sola foto, gli utenti possono identificare rapidamente i primi segni di malattia, come macchie fogliari o scolorimento. Poiché queste app sono spesso utilizzate in aree all'aperto dove l'accesso a Internet potrebbe essere limitato o non disponibile, fare affidamento sull'elaborazione cloud può essere inaffidabile.

Dopo l'addestramento, un modello YOLO11 può essere esportato nel formato MNN ed eseguito direttamente su dispositivi mobili. Il modello può quindi classificare le specie vegetali e rilevare i sintomi visibili della malattia localmente, senza inviare alcun dato a un server.

Fig 4. Un esempio di utilizzo di YOLO11 per rilevare segni di ruggine (una malattia delle piante) su una foglia (Fonte).

Link to this sectionInferenze on-device efficienti nella produzione#

Un tracciamento accurato dei pacchi è essenziale nelle frenetiche linee di produzione degli impianti di produzione. YOLO11 può essere utilizzato per tracciare e contare ogni articolo mentre si sposta attraverso punti di controllo chiave, aggiornando i conteggi in tempo reale e segnalando eventuali discrepanze. Questo aiuta a ridurre le spedizioni perse o non contabilizzate e supporta operazioni più fluide e affidabili.

Fig 5. Tracciamento e conteggio dei pacchi utilizzando YOLO11 (Fonte).

L'integrazione MNN può essere particolarmente efficace in questo contesto. Una volta che il modello YOLO11 viene esportato nel formato MNN, può essere eseguito direttamente su dispositivi compatti a basso consumo installati lungo il nastro trasportatore.

Poiché tutta l'elaborazione avviene localmente, il sistema può fornire un feedback istantaneo e non richiede alcuna connessione a Internet. Ciò garantisce prestazioni veloci e affidabili in fabbrica, mantenendo la produzione in movimento in modo efficiente e preservando un'elevata precisione e controllo.

Link to this sectionVantaggi dell'esportazione di YOLO11 nel formato modello MNN#

Ecco alcuni vantaggi chiave dell'integrazione MNN fornita da Ultralytics:

• Tempi di risposta più rapidi: Poiché l'inferenza viene eseguita sul dispositivo, le previsioni avvengono in tempo reale con una latenza minima.
• Migliorata data privacy: I dati rimangono sul dispositivo, riducendo la necessità di inviare immagini o video sensibili al cloud.
• Open-source e attivamente mantenuto: Supportato da Alibaba e sostenuto da una comunità attiva, MNN è affidabile e aggiornato regolarmente con miglioramenti delle prestazioni.

Link to this sectionFattori da considerare quando si utilizza il framework MNN#

Prima di scegliere MNN come framework di deployment, è anche importante valutare quanto si adatta ai requisiti del tuo progetto, agli obiettivi di deployment e ai limiti tecnici. Ecco alcuni fattori chiave da considerare:

• Compatibilità continua: Gli aggiornamenti del framework o le modifiche alle tue piattaforme di destinazione potrebbero richiedere nuovi test o adattamenti per far sì che tutto funzioni senza intoppi.
• Meno strumenti di debug: Rispetto a framework più grandi, MNN ha strumenti più limitati per il debug e l'ispezione del comportamento del modello, il che può rendere più difficile la risoluzione dei problemi.
• Le prestazioni dipendono dall'hardware: La velocità e l'efficienza del tuo modello varieranno a seconda del dispositivo. Testa il tuo hardware di destinazione per assicurarti che soddisfi i tuoi obiettivi di prestazione.

Link to this sectionPunti chiave#

Il supporto di Ultralytics per l'integrazione MNN rende facile esportare i modelli YOLO11 per l'uso su dispositivi mobili ed embedded. È un'opzione pratica per le applicazioni che richiedono un rilevamento veloce e affidabile senza dipendere dall'accesso al cloud o da una connettività costante.

Questa configurazione aiuta a semplificare il deployment mantenendo le prestazioni e mantenendo basse le richieste di risorse. Che tu stia costruendo sistemi per la casa intelligente, strumenti sul campo o dispositivi industriali compatti, esportare YOLO11 in MNN fornisce un modo flessibile ed efficiente per eseguire attività di computer vision direttamente su dispositivi edge.

Unisciti alla nostra comunità in crescita! Esplora il nostro repository GitHub per approfondire l'IA. Sei pronto a iniziare i tuoi progetti di computer vision? Dai un'occhiata alle nostre opzioni di licenza. Scopri di più sull'IA nell'assistenza sanitaria e sulla computer vision nella vendita al dettaglio sulle nostre pagine delle soluzioni!