Portare Ultralytics YOLO11 sui dispositivi Apple tramite CoreML

Con l'introduzione da parte di Apple di funzionalità come Apple Intelligence, è chiaro che l'IA on-device sta diventando una parte centrale del modo in cui usiamo i nostri telefoni. Per gli sviluppatori, questo cambiamento significa che gli utenti stanno adottando app iOS che sfruttano capacità come la computer vision per offrire esperienze più intelligenti e reattive.

La Computer vision è un tipo di intelligenza artificiale (IA) che consente ai computer di comprendere e analizzare informazioni visive, come immagini o video. Sui dispositivi mobili, può essere utilizzata in tempo reale per rilevare, classificare e interagire con gli oggetti attraverso la fotocamera del telefono. I modelli di Vision AI come Ultralytics YOLO11 possono essere addestrati su misura per riconoscere oggetti specifici, a seconda delle esigenze della tua app.

Tuttavia, Ultralytics YOLO11 non è configurato per essere eseguito su iOS senza modifiche. Per distribuire YOLO11 su iPhone o altri dispositivi Apple, in particolare per l'uso offline, deve essere convertito in un formato ottimizzato per l'ecosistema Apple.

Questo è esattamente il tipo di problema per cui CoreML è stato creato. CoreML è il framework di machine learning di Apple, progettato per eseguire modelli in locale e integrarsi perfettamente nelle applicazioni iOS e macOS. L'integrazione CoreML, supportata da Ultralytics, rende semplice esportare il tuo modello per il deployment locale su iPhone.

In questo articolo esamineremo più da vicino come esportare il tuo modello Ultralytics YOLO11 nel formato CoreML. Esploreremo anche casi d'uso in tempo reale che mostrano i vantaggi dell'esecuzione di modelli di visione artificiale direttamente sui dispositivi iOS. Cominciamo!

Cos'è CoreML?#

CoreML è un framework di machine learning (ML) sviluppato da Apple che permette agli sviluppatori di integrare modelli ML addestrati direttamente nelle app dell'ecosistema Apple, tra cui iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). È progettato per rendere il machine learning accessibile ed efficiente sui dispositivi Apple consentendo l'esecuzione dei modelli direttamente on-device, senza richiedere una connessione a internet.

Al centro di CoreML c'è un formato di modello unificato che supporta un'ampia gamma di attività di IA come la classificazione delle immagini, il rilevamento di oggetti, il riconoscimento vocale e l'elaborazione del linguaggio naturale. Il framework è ottimizzato per sfruttare al meglio l'hardware Apple, utilizzando la CPU (central processing unit), la GPU (graphics processing unit) e l'ANE (Apple Neural Engine) per eseguire i modelli in modo rapido ed efficiente.

CoreML supporta una varietà di tipi di modelli ed è compatibile con le più diffuse librerie di machine learning, tra cui TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Ciò rende più facile per gli sviluppatori portare funzionalità ML avanzate nelle app di tutti i giorni, garantendo al contempo che funzionino senza problemi su tutti i dispositivi Apple.

Fig 1. CoreML supporta modelli di altri famosi framework di IA (Source).

Caratteristiche principali di CoreML#

Ecco alcune delle caratteristiche chiave che rendono CoreML uno strumento affidabile per integrare l'IA nelle app Apple:

• Ottimizzazione del modello: CoreML supporta tecniche di compressione come la quantizzazione e il pruning per ridurre le dimensioni del modello e migliorare l'efficienza di esecuzione.
• Personalizzazione on-device: Il framework ML di Apple supporta la personalizzazione on-device, consentendo ai modelli di essere addestrati e aggiornati localmente in base alle interazioni dell'utente.
• Predizioni asincrone: Questo framework consente alla tua app di eseguire predizioni in background, mantenendo l'interfaccia utente fluida e reattiva mentre gestisce le attività di IA.
• Apprendimento multi-task: CoreML supporta modelli in grado di eseguire più attività contemporaneamente, come rilevare oggetti e riconoscere testo nella stessa immagine.

Come esportare Ultralytics YOLO11 nel formato CoreML#

Ora che abbiamo una migliore comprensione del framework CoreML, vediamo come utilizzare l'integrazione CoreML supportata da Ultralytics per esportare un modello YOLO11 nel formato CoreML.

Passaggio 1: Configurazione del tuo ambiente#

Per accedere alle funzionalità di integrazione fornite da Ultralytics, inizia installando il pacchetto Python di Ultralytics. È una libreria leggera e facile da usare che semplifica attività come l'addestramento, la valutazione, la predizione e l'esportazione dei modelli Ultralytics YOLO.

Puoi installare il pacchetto Python di Ultralytics eseguendo “pip install ultralytics” nel tuo terminale di comando. Se utilizzi un ambiente come Jupyter Notebook o Google Colab, includi un punto esclamativo (!) prima del comando: “!pip install ultralytics”.

Se riscontri problemi durante l'installazione o l'esportazione in CoreML, consulta la documentazione ufficiale di Ultralytics o la guida ai problemi comuni per ricevere aiuto.

Passo 2: Esportazione di Ultralytics YOLO11 in CoreML#

Una volta installato con successo il pacchetto, sei pronto per caricare un modello Ultralytics YOLO11 e convertirlo nel formato CoreML.

Se non sai con certezza quale modello YOLO11 pre-addestrato usare, puoi esplorare la gamma di modelli supportati da Ultralytics. Ognuno offre un diverso bilanciamento tra velocità, dimensioni e precisione, e puoi scegliere quello più adatto al tuo progetto. Puoi anche usare un modello YOLO11 addestrato su misura se ne hai addestrato uno sul tuo dataset.

Nello snippet di codice seguente, viene utilizzato un file modello YOLO11 pre-addestrato chiamato "yolo11n.pt". Durante il processo di esportazione, viene convertito in un pacchetto CoreML chiamato "yolo11n.mlpackage."

Il modello "yolo11n" è la versione nano, ottimizzata per la velocità e il basso utilizzo delle risorse. A seconda delle esigenze del tuo progetto, puoi anche scegliere altre dimensioni del modello come "s" per small, "m" per medium, "l" per large o "x" per extra-large. Ogni versione offre un diverso equilibrio tra prestazioni e precisione.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Passaggio 3: Esecuzione dell'inferenza utilizzando il modello CoreML esportato#

Dopo l'esportazione nel formato CoreML, Ultralytics YOLO11 può essere facilmente integrato nelle applicazioni iOS, consentendo attività di visione artificiale in tempo reale come il rilevamento di oggetti su dispositivi come iPhone, iPad e Mac.

Ad esempio, lo snippet di codice seguente mostra come caricare il modello CoreML esportato ed eseguire l'inferenza. L'inferenza è il processo di utilizzo di un modello addestrato per effettuare previsioni su nuovi dati. In questo caso, il modello analizza un'immagine di una famiglia che gioca con una palla.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Dopo aver eseguito il codice, l'immagine di output verrà salvata nella cartella "runs/detect/predict".

Fig 2. Utilizzo di un modello Ultralytics YOLO11 esportato in formato CoreML per rilevare oggetti. Immagine dell'autore.

Dove possono essere utilizzati i modelli CoreML esportati?#

Esportare Ultralytics YOLO11 in CoreML offre la flessibilità di creare diverse applicazioni di visione artificiale che possono essere eseguite in modo efficiente su iPhone, iPad e Mac. Successivamente, esaminiamo alcuni scenari del mondo reale in cui questa integrazione può essere particolarmente utile.

App di realtà aumentata e gaming basate su modelli CoreML#

La realtà aumentata (AR) unisce i contenuti digitali al mondo reale sovrapponendo elementi virtuali alle visualizzazioni della fotocamera in diretta. Sta diventando una parte fondamentale del mobile gaming, creando esperienze più interattive e immersive.

Con Ultralytics YOLO11 esportato nel formato CoreML, gli sviluppatori iOS possono creare giochi in realtà aumentata (AR) che riconoscono oggetti del mondo reale come panchine, alberi o cartelli utilizzando la fotocamera del telefono. Il gioco può quindi sovrapporre elementi virtuali, come monete, indizi o creature, sopra questi oggetti per arricchire l'ambiente circostante del giocatore.

Dietro le quinte, questo funziona utilizzando il rilevamento e il tracciamento degli oggetti. Ultralytics YOLO11 rileva e identifica gli oggetti in tempo reale, mentre il tracciamento mantiene tali oggetti in vista mentre la fotocamera si muove, assicurandosi che gli elementi virtuali rimangano allineati con il mondo reale.

I giocatori possono puntare il telefono, esplorare il proprio ambiente e interagire con ciò che vedono per raccogliere oggetti o completare sfide rapide. Tutto questo può essere eseguito direttamente sul dispositivo senza bisogno di una connessione Internet, rendendo l'esperienza fluida e coinvolgente.

App iOS integrate con modelli CoreML per ANPR in tempo reale#

Il riconoscimento automatico delle targhe (ANPR) è un'applicazione di computer vision utilizzata per rilevare e leggere le targhe dei veicoli. Viene comunemente impiegata in sistemi di sicurezza, monitoraggio del traffico e controllo degli accessi. Con CoreML e modelli come YOLO11, l'ANPR può ora essere eseguito in modo efficiente sui dispositivi iOS.

Avere un'app ANPR sul tuo iPhone può essere particolarmente utile in ambienti incentrati sulla sicurezza. Ad esempio, può aiutare i team a determinare rapidamente se un veicolo che entra in un'area riservata è autorizzato o meno.

Un'app di questo tipo può utilizzare un modello di intelligenza artificiale visiva come Ultralytics YOLO11, integrato tramite CoreML, per rilevare i veicoli e localizzarne le targhe in tempo reale utilizzando la fotocamera del dispositivo. Una volta rilevata una targa, la tecnologia di riconoscimento ottico dei caratteri (OCR) può leggere il numero di targa. L'app può quindi confrontare questo numero con un database locale o basato su cloud per verificare l'accesso o segnalare veicoli non autorizzati.

Fig 3. La Vision AI può essere utilizzata per rilevare e leggere i numeri delle targhe. (Source).

Le app incentrate sull'accessibilità possono sfruttare i modelli CoreML#

L'intelligenza artificiale ha avuto un impatto enorme sull'accessibilità, aiutando ad abbattere le barriere per le persone con disabilità visive. Con strumenti come CoreML e modelli di visione artificiale come Ultralytics YOLO11, gli sviluppatori possono creare app iOS che descrivono il mondo intorno agli utenti in tempo reale, rendendo le attività quotidiane più semplici e autonome.

Ad esempio, una persona con disabilità visiva può puntare la fotocamera del proprio iPhone verso l'ambiente circostante. L'app utilizza il rilevamento di oggetti per riconoscere elementi chiave, come veicoli, persone o segnali stradali, e narra ciò che vede. Questo può essere utilizzato in situazioni come la navigazione in una strada trafficata o la comprensione di un'emergenza.

Fig 4. Un esempio di utilizzo di Ultralytics YOLO11 per rilevare persone

Punti chiave#

Esportare Ultralytics YOLO11 nel formato CoreML crea nuove opportunità per le applicazioni in tempo reale, incluso il rilevamento di oggetti offline sui dispositivi iOS. Dall'agricoltura e la sicurezza all'accessibilità, questa combinazione consente agli sviluppatori di creare app intelligenti, efficienti e incentrate sulla privacy che vengono eseguite interamente sul dispositivo.

Con pochi semplici passaggi, puoi convertire il tuo modello Ultralytics YOLO11 e aggiungere funzionalità affidabili di visione artificiale agli iPhone. La cosa migliore è che funziona senza bisogno di una connessione a Internet. Nel complesso, l'integrazione di CoreML porta la potenza dell'IA avanzata alle app mobili di tutti i giorni, rendendole più veloci, reattive e pronte per l'uso ovunque.

Vuoi saperne di più sull'IA? Esplora il nostro repository GitHub, connettiti con la nostra community e dai un'occhiata alle nostre opzioni di licenza per dare il via al tuo progetto di computer vision. Scopri come innovazioni come l'IA nel retail e la computer vision nella logistica stanno plasmando il futuro visitando le nostre pagine sulle soluzioni.