Portare Ultralytics YOLO11 sui dispositivi Apple tramite CoreML

Con l'introduzione da parte di Apple di funzionalità come Apple Intelligence, è chiaro che l'IA on-device sta diventando una parte centrale del modo in cui utilizziamo i nostri telefoni. Per gli sviluppatori, questo cambiamento significa che gli utenti stanno adottando app iOS che utilizzano funzionalità come la computer vision per offrire esperienze più intelligenti e reattive.

La computer vision è un tipo di intelligenza artificiale (IA) che consente ai computer di comprendere e analizzare le informazioni visive, come immagini o video. Sui dispositivi mobili, può essere utilizzata in tempo reale per rilevare, classificare e interagire con gli oggetti attraverso la fotocamera del telefono. I modelli di Vision AI come Ultralytics YOLO11 possono essere addestrati su misura per riconoscere oggetti specifici, a seconda delle esigenze della tua app.

Tuttavia, YOLO11 non è configurato per funzionare su iOS nativamente. Per distribuire YOLO11 su iPhone o altri dispositivi Apple, in particolare per l'uso offline, deve essere convertito in un formato ottimizzato per l'ecosistema Apple.

Questo è esattamente il tipo di problema che CoreML è stato creato per risolvere. CoreML è il framework di machine learning di Apple, costruito per eseguire modelli localmente e integrarsi perfettamente nelle applicazioni iOS e macOS. L'integrazione CoreML, supportata da Ultralytics, semplifica l'esportazione del tuo modello per la distribuzione locale su iPhone.

In questo articolo, esamineremo più da vicino come esportare il tuo modello YOLO11 nel formato CoreML. Esploreremo anche casi d'uso in tempo reale che mostrano i vantaggi dell'esecuzione di modelli di computer vision direttamente sui dispositivi iOS. Iniziamo!

Link to this sectionCos'è CoreML?#

CoreML è un framework di machine learning (ML) sviluppato da Apple che consente agli sviluppatori di integrare modelli ML addestrati direttamente nelle app dell'intero ecosistema Apple, inclusi iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). È progettato per rendere il machine learning accessibile ed efficiente sui dispositivi Apple consentendo ai modelli di essere eseguiti direttamente sul dispositivo, senza richiedere una connessione Internet.

Al centro di CoreML c'è un formato di modello unificato che supporta un'ampia gamma di attività di IA come la classificazione delle immagini, il rilevamento di oggetti, il riconoscimento vocale e l'elaborazione del linguaggio naturale. Il framework è ottimizzato per sfruttare al meglio l'hardware Apple, utilizzando la CPU (central processing unit), la GPU (graphics processing unit) e l'ANE (Apple Neural Engine) per eseguire i modelli in modo rapido ed efficiente.

CoreML supporta una varietà di tipi di modelli ed è compatibile con le più diffuse librerie di machine learning, tra cui TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Ciò rende più facile per gli sviluppatori portare funzionalità ML avanzate nelle app di tutti i giorni, garantendo al contempo che funzionino senza problemi su tutti i dispositivi Apple.

Fig 1. CoreML supporta modelli provenienti da altri framework di IA popolari (Fonte).

Link to this sectionCaratteristiche principali di CoreML#

Ecco alcune delle caratteristiche chiave che rendono CoreML uno strumento affidabile per integrare l'IA nelle app Apple:

• Ottimizzazione del modello: CoreML supporta tecniche di compressione come quantizzazione e pruning per ridurre le dimensioni del modello e migliorare l'efficienza in fase di runtime.
• Personalizzazione on-device: Il framework ML di Apple supporta la personalizzazione on-device, consentendo ai modelli di essere addestrati e aggiornati localmente in base alle interazioni dell'utente.
• Predizioni asincrone: Questo framework consente alla tua app di eseguire predizioni in background, mantenendo l'interfaccia utente fluida e reattiva mentre gestisce le attività di IA.
• Apprendimento multi-task: CoreML supporta modelli in grado di eseguire più attività contemporaneamente, come rilevare oggetti e riconoscere testo nella stessa immagine.

Link to this sectionCome esportare YOLO11 nel formato CoreML#

Ora che abbiamo una migliore comprensione del framework CoreML, vediamo come utilizzare l'integrazione CoreML supportata da Ultralytics per esportare un modello YOLO11 nel formato CoreML.

Link to this sectionPassaggio 1: Configurazione del tuo ambiente#

Per accedere alle funzionalità di integrazione fornite da Ultralytics, inizia installando il pacchetto Python di Ultralytics. È una libreria leggera e facile da usare che semplifica attività come l'addestramento, la valutazione, la previsione e l'esportazione dei modelli YOLO di Ultralytics.

Puoi installare il pacchetto Python di Ultralytics eseguendo “pip install ultralytics” nel tuo terminale di comando. Se utilizzi un ambiente come Jupyter Notebook o Google Colab, includi un punto esclamativo (!) prima del comando: “!pip install ultralytics”.

Se riscontri problemi durante l'installazione o l'esportazione in CoreML, consulta la documentazione ufficiale di Ultralytics o la guida ai problemi comuni per ricevere assistenza.

Link to this sectionPassaggio 2: Esportazione di YOLO11 in CoreML#

Una volta installato il pacchetto, sei pronto per caricare un modello YOLO11 e convertirlo nel formato CoreML.

Se non sei sicuro di quale modello YOLO11 pre-addestrato utilizzare, puoi esplorare la gamma di modelli supportati da Ultralytics. Ognuno offre un diverso equilibrio tra velocità, dimensioni e precisione, e puoi scegliere quello più adatto al tuo progetto. Puoi anche utilizzare un modello YOLO11 addestrato su misura se ne hai addestrato uno sul tuo dataset.

Nello snippet di codice seguente, viene utilizzato un file modello YOLO11 pre-addestrato chiamato "yolo11n.pt". Durante il processo di esportazione, viene convertito in un pacchetto CoreML chiamato "yolo11n.mlpackage."

Il modello "yolo11n" è la versione nano, ottimizzata per la velocità e il basso utilizzo delle risorse. A seconda delle esigenze del tuo progetto, puoi anche scegliere altre dimensioni del modello come "s" per small, "m" per medium, "l" per large o "x" per extra-large. Ogni versione offre un diverso equilibrio tra prestazioni e precisione.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Link to this sectionPassaggio 3: Esecuzione dell'inferenza utilizzando il modello CoreML esportato#

Dopo l'esportazione nel formato CoreML, YOLO11 può essere facilmente integrato nelle applicazioni iOS, consentendo attività di computer vision in tempo reale come il rilevamento di oggetti su dispositivi come iPhone, iPad e Mac.

Ad esempio, lo snippet di codice seguente mostra come caricare il modello CoreML esportato ed eseguire l'inferenza. L'inferenza è il processo di utilizzo di un modello addestrato per effettuare previsioni su nuovi dati. In questo caso, il modello analizza un'immagine di una famiglia che gioca con una palla.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Dopo aver eseguito il codice, l'immagine di output verrà salvata nella cartella "runs/detect/predict".

Fig 2. Utilizzo di un modello YOLO11 esportato nel formato CoreML per rilevare oggetti. Immagine dell'autore.

Link to this sectionDove possono essere utilizzati i modelli CoreML esportati?#

Esportare YOLO11 in CoreML offre la flessibilità necessaria per creare diverse applicazioni di computer vision in grado di funzionare in modo efficiente su iPhone, iPad e Mac. Successivamente, esaminiamo alcuni scenari del mondo reale in cui questa integrazione può essere particolarmente utile.

Link to this sectionApp di realtà aumentata e gaming basate su modelli CoreML#

La realtà aumentata (AR) fonde i contenuti digitali con il mondo reale sovrapponendo elementi virtuali alle visualizzazioni della fotocamera dal vivo. Sta diventando una parte fondamentale del mobile gaming, creando esperienze più interattive e coinvolgenti.

Con YOLO11 esportato nel formato CoreML, gli sviluppatori iOS possono creare giochi AR che riconoscono oggetti del mondo reale come panchine, alberi o segnali utilizzando la fotocamera del telefono. Il gioco può quindi sovrapporre elementi virtuali, come monete, indizi o creature, sopra questi oggetti per migliorare l'ambiente circostante del giocatore.

Dietro le quinte, questo funziona utilizzando il rilevamento e il tracciamento degli oggetti. YOLO11 rileva e identifica gli oggetti in tempo reale, mentre il tracciamento mantiene quegli oggetti in vista mentre la fotocamera si muove, assicurandosi che gli elementi virtuali rimangano allineati con il mondo reale.

I giocatori possono puntare il telefono, esplorare il proprio ambiente e interagire con ciò che vedono per raccogliere oggetti o completare sfide rapide. Tutto questo può essere eseguito direttamente sul dispositivo senza bisogno di una connessione Internet, rendendo l'esperienza fluida e coinvolgente.

Link to this sectionApp iOS integrate con modelli CoreML per ANPR in tempo reale#

L'Automatic Number Plate Recognition (ANPR) è un'applicazione di computer vision utilizzata per rilevare e leggere le targhe dei veicoli. È comunemente usata in sistemi di sicurezza, monitoraggio del traffico e controllo degli accessi. Con CoreML e modelli come YOLO11, l'ANPR può ora essere eseguito in modo efficiente sui dispositivi iOS.

Avere un'app ANPR sul tuo iPhone può essere particolarmente utile in ambienti incentrati sulla sicurezza. Ad esempio, può aiutare i team a determinare rapidamente se un veicolo che entra in un'area riservata è autorizzato o meno.

Tale app può utilizzare un modello di Vision AI come YOLO11, integrato tramite CoreML, per rilevare i veicoli e localizzare le loro targhe in tempo reale utilizzando la fotocamera del dispositivo. Una volta rilevata una targa, la tecnologia di Riconoscimento Ottico dei Caratteri (OCR) può leggere il numero di targa. L'app può quindi confrontare questo numero con un database locale o basato su cloud per verificare l'accesso o segnalare veicoli non autorizzati.

Fig 3. La Vision AI può essere utilizzata per rilevare e leggere i numeri di targa. (Fonte).

Link to this sectionLe app incentrate sull'accessibilità possono sfruttare i modelli CoreML#

L'IA ha avuto un impatto enorme sull'accessibilità, contribuendo ad abbattere le barriere per le persone con disabilità visive. Con strumenti come CoreML e modelli di computer vision come YOLO11, gli sviluppatori possono creare app iOS che descrivono il mondo attorno agli utenti in tempo reale, rendendo le attività quotidiane più semplici e indipendenti.

Ad esempio, una persona con disabilità visiva può puntare la fotocamera del proprio iPhone verso l'ambiente circostante. L'app utilizza il rilevamento di oggetti per riconoscere elementi chiave, come veicoli, persone o segnali stradali, e narra ciò che vede. Questo può essere utilizzato in situazioni come la navigazione in una strada trafficata o la comprensione di un'emergenza.

Fig 4. Un esempio di utilizzo di YOLO11 per rilevare persone

Link to this sectionPunti chiave#

Esportare YOLO11 nel formato CoreML crea nuove opportunità per applicazioni in tempo reale, incluso il rilevamento di oggetti offline su dispositivi iOS. Dall'agricoltura alla sicurezza fino all'accessibilità, questa combinazione consente agli sviluppatori di creare app intelligenti, efficienti e incentrate sulla privacy che vengono eseguite interamente sul dispositivo.

Con pochi semplici passaggi, puoi convertire il tuo modello YOLO11 e aggiungere affidabili funzionalità di computer vision ai tuoi iPhone. Soprattutto, funziona senza bisogno di una connessione Internet. Nel complesso, l'integrazione CoreML porta la potenza dell'IA avanzata nelle app mobili di tutti i giorni, rendendole più veloci, più reattive e pronte all'uso ovunque.

Curioso di saperne di più sull'IA? Esplora il nostro repository GitHub, connettiti con la nostra community e dai un'occhiata alle nostre opzioni di licenza per dare il via al tuo progetto di computer vision. Scopri come innovazioni come l'IA nel retail e la computer vision nella logistica stanno plasmando il futuro sulle nostre pagine delle soluzioni.