Portare Ultralytics YOLO11 sui dispositivi Apple tramite CoreML

Con l'introduzione da parte di Apple di funzionalità come Apple Intelligence, è chiaro che l'IA eseguita direttamente sul dispositivo sta diventando una componente centrale dell'uso dei telefoni. Per gli sviluppatori, questo cambiamento significa che gli utenti scelgono sempre più app iOS che sfruttano funzionalità come la visione artificiale per offrire esperienze più intelligenti e reattive.

La visione artificiale è un tipo di intelligenza artificiale (AI) che consente ai computer di comprendere e analizzare informazioni visive, come immagini o video. Sui dispositivi mobili, può essere usata in tempo reale per rilevare, classificare e interagire con gli oggetti tramite la fotocamera del telefono. I modelli di intelligenza artificiale visiva come Ultralytics YOLO11 possono essere addestrati su misura per riconoscere oggetti specifici, in base alle esigenze della tua app.

Tuttavia, Ultralytics YOLO11 non è pronto per funzionare su iOS appena installato. Per distribuire YOLO11 su iPhone o altri dispositivi Apple, soprattutto per l'uso offline, è necessario convertirlo in un formato ottimizzato per l'ecosistema Apple.

CoreML è stato creato proprio per risolvere questo tipo di problema. CoreML è il framework di machine learning di Apple, progettato per eseguire modelli localmente e integrarsi senza problemi nelle applicazioni iOS e macOS. L'integrazione con CoreML, supportata da Ultralytics, semplifica l'esportazione del tuo modello per la distribuzione locale su iPhone.

In questo articolo vedremo più da vicino come esportare il tuo modello Ultralytics YOLO11 nel formato CoreML. Esamineremo inoltre alcuni casi d'uso in tempo reale che mostrano i vantaggi dell'esecuzione di modelli di visione artificiale direttamente sui dispositivi iOS. Iniziamo!

Che cos'è CoreML?#

CoreML è un framework di machine learning (ML) sviluppato da Apple che consente agli sviluppatori di integrare modelli ML addestrati direttamente nelle app dell'ecosistema Apple, tra cui iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). È progettato per rendere il machine learning accessibile ed efficiente sui dispositivi Apple, consentendo ai modelli di essere eseguiti direttamente sul dispositivo senza richiedere una connessione Internet.

CoreML si basa su un formato di modello unificato che supporta un'ampia gamma di attività di intelligenza artificiale, come la classificazione delle immagini, il rilevamento degli oggetti, il riconoscimento vocale e l'elaborazione del linguaggio naturale. Il framework è ottimizzato per sfruttare al meglio l'hardware Apple e utilizza CPU (unità centrale di elaborazione), GPU (unità di elaborazione grafica) e ANE (Apple Neural Engine) per eseguire i modelli in modo rapido ed efficiente.

CoreML supporta diversi tipi di modelli ed è compatibile con le librerie di machine learning più diffuse, tra cui TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. In questo modo, gli sviluppatori possono integrare più facilmente funzionalità avanzate di ML nelle app di uso quotidiano, assicurandosi che funzionino senza problemi sui dispositivi Apple.

Fig. 1. CoreML supporta modelli di altri framework di intelligenza artificiale molto diffusi (Fonte).

Funzionalità principali di CoreML#

Ecco alcune delle funzionalità principali che rendono CoreML uno strumento affidabile per integrare l'intelligenza artificiale nelle app Apple:

• Ottimizzazione dei modelli: CoreML supporta tecniche di compressione come la quantizzazione e il pruning per ridurre le dimensioni dei modelli e migliorare l'efficienza in fase di esecuzione.
• Personalizzazione sul dispositivo: il framework ML di Apple supporta la personalizzazione sul dispositivo, consentendo di addestrare e aggiornare i modelli localmente in base alle interazioni degli utenti.
• Predizioni asincrone: questo framework consente alla tua app di eseguire predizioni in background, mantenendo l'interfaccia utente fluida e reattiva mentre gestisce le attività di intelligenza artificiale.
• Apprendimento multi-task: CoreML supporta modelli in grado di svolgere più attività contemporaneamente, come rilevare oggetti e riconoscere il testo nella stessa immagine.

Come esportare Ultralytics YOLO11 nel formato CoreML#

Ora che abbiamo compreso meglio il framework CoreML, vediamo come utilizzare l'integrazione con CoreML supportata da Ultralytics per esportare un modello YOLO11 nel formato CoreML.

Passaggio 1: configurazione dell'ambiente#

Per accedere alle funzionalità di integrazione offerte da Ultralytics, inizia installando il pacchetto Python di Ultralytics. È una libreria leggera e facile da usare che semplifica attività come l'addestramento, la valutazione, la predizione e l'esportazione dei modelli Ultralytics YOLO.

Puoi installare il pacchetto Python di Ultralytics eseguendo “pip install ultralytics” nel terminale dei comandi. Se utilizzi un ambiente come Jupyter Notebook o Google Colab, aggiungi un punto esclamativo (!) prima del comando: “!pip install ultralytics”.

Se riscontri problemi durante l'installazione o l'esportazione in CoreML, consulta la documentazione ufficiale di Ultralytics o la guida ai problemi comuni per ricevere assistenza.

Passaggio 2: esportazione di Ultralytics YOLO11 in CoreML#

Dopo aver installato correttamente il pacchetto, puoi caricare un modello Ultralytics YOLO11 e convertirlo nel formato CoreML.

Se non sai quale modello YOLO11 preaddestrato scegliere, puoi esplorare la gamma di modelli supportati da Ultralytics. Ognuno offre un diverso equilibrio tra velocità, dimensioni e precisione, così puoi scegliere quello più adatto al tuo progetto. Puoi anche usare un modello YOLO11 addestrato su misura, se ne hai già addestrato uno sul tuo dataset.

Nel frammento di codice qui sotto viene usato un file di modello YOLO11 preaddestrato denominato "yolo11n.pt". Durante il processo di esportazione, viene convertito in un pacchetto CoreML chiamato "yolo11n.mlpackage".

Il modello "yolo11n" è la versione nano, ottimizzata per la velocità e il basso utilizzo di risorse. In base alle esigenze del tuo progetto, puoi scegliere anche altre dimensioni del modello, come "s" per small, "m" per medium, "l" per large o "x" per extra-large. Ogni versione offre un diverso equilibrio tra prestazioni e precisione.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Passaggio 3: esecuzione dell'inferenza con il modello CoreML esportato#

Dopo l'esportazione nel formato CoreML, Ultralytics YOLO11 può essere facilmente integrato nelle applicazioni iOS, consentendo attività di visione artificiale in tempo reale, come il rilevamento degli oggetti, su dispositivi come iPhone, iPad e Mac.

Ad esempio, il frammento di codice qui sotto mostra come caricare il modello CoreML esportato ed eseguire l'inferenza. L'inferenza è il processo che consiste nell'usare un modello addestrato per fare previsioni su nuovi dati. In questo caso, il modello analizza un'immagine di una famiglia che gioca con una palla.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Dopo aver eseguito il codice, l'immagine di output verrà salvata nella cartella "runs/detect/predict".

Fig. 2. Utilizzo di un modello Ultralytics YOLO11 esportato nel formato CoreML per rilevare oggetti. Immagine dell'autore.

Dove si possono usare i modelli CoreML esportati?#

L'esportazione di Ultralytics YOLO11 in CoreML offre la flessibilità necessaria per creare diverse applicazioni di visione artificiale che funzionano in modo efficiente su iPhone, iPad e Mac. Vediamo ora alcuni scenari reali in cui questa integrazione può rivelarsi particolarmente utile.

Realtà aumentata e app di gioco basate su modelli CoreML#

La realtà aumentata (AR) combina i contenuti digitali con il mondo reale sovrapponendo elementi virtuali alle immagini in diretta della fotocamera. Sta diventando una componente fondamentale dei giochi per dispositivi mobili, creando esperienze più interattive e coinvolgenti.

Con Ultralytics YOLO11 esportato nel formato CoreML, gli sviluppatori iOS possono creare giochi AR che riconoscono oggetti del mondo reale, come panchine, alberi o cartelli, usando la fotocamera del telefono. Il gioco può quindi sovrapporre a questi oggetti elementi virtuali, come monete, indizi o creature, per arricchire l'ambiente circostante del giocatore.

In background, tutto questo funziona grazie al rilevamento e al tracciamento degli oggetti. Ultralytics YOLO11 rileva e identifica gli oggetti in tempo reale, mentre il tracciamento li mantiene nel campo visivo quando la fotocamera si muove, assicurando che gli elementi virtuali restino allineati con il mondo reale.

I giocatori possono puntare il telefono, esplorare l'ambiente circostante e interagire con ciò che vedono per raccogliere oggetti o completare brevi sfide. Tutto questo può essere eseguito direttamente sul dispositivo, senza bisogno di una connessione Internet, per un'esperienza fluida e coinvolgente.

App iOS con modelli CoreML integrati per il riconoscimento automatico delle targhe in tempo reale#

Il riconoscimento automatico delle targhe (ANPR) è un'applicazione di visione artificiale usata per rilevare e leggere le targhe dei veicoli. Viene comunemente impiegata nei sistemi di sicurezza, monitoraggio del traffico e controllo degli accessi. Con CoreML e modelli come YOLO11, l'ANPR può ora funzionare in modo efficiente sui dispositivi iOS.

Avere un'app ANPR sul tuo iPhone può essere particolarmente utile in contesti in cui la sicurezza è fondamentale. Ad esempio, può aiutare i team a determinare rapidamente se un veicolo che entra in un'area riservata è autorizzato o meno.

Un'app di questo tipo può usare un modello di intelligenza artificiale visiva come Ultralytics YOLO11, integrato tramite CoreML, per rilevare i veicoli e localizzare le targhe in tempo reale usando la fotocamera del dispositivo. Una volta rilevata una targa, la tecnologia di riconoscimento ottico dei caratteri (OCR) può leggere il numero. L'app può quindi confrontare questo numero con un database locale o basato sul cloud per verificare l'accesso o segnalare i veicoli non autorizzati.

Fig. 3. L'intelligenza artificiale visiva può essere usata per rilevare e leggere i numeri di targa. (Fonte).

App per l'accessibilità che sfruttano modelli CoreML#

L'intelligenza artificiale ha avuto un impatto enorme sull'accessibilità, contribuendo ad abbattere le barriere per le persone con disabilità visive. Con strumenti come CoreML e modelli di visione artificiale come Ultralytics YOLO11, gli sviluppatori possono creare app iOS che descrivono in tempo reale il mondo circostante, semplificando le attività quotidiane e rendendo gli utenti più autonomi.

Ad esempio, una persona con disabilità visive può puntare la fotocamera del proprio iPhone sull'ambiente circostante. L'app usa il rilevamento degli oggetti per riconoscere elementi importanti, come veicoli, persone o cartelli stradali, e descrive ciò che vede. Ciò può essere utile, ad esempio, per attraversare una strada trafficata o capire cosa sta succedendo in un'emergenza.

Fig. 4. Esempio di utilizzo di Ultralytics YOLO11 per rilevare le persone

Punti chiave#

L'esportazione di Ultralytics YOLO11 nel formato CoreML apre nuove opportunità per le applicazioni in tempo reale, tra cui il rilevamento degli oggetti offline sui dispositivi iOS. Dall'agricoltura alla sicurezza, fino all'accessibilità, questa combinazione consente agli sviluppatori di creare app intelligenti, efficienti e attente alla privacy, che funzionano interamente sul dispositivo.

Con pochi semplici passaggi puoi convertire il tuo modello Ultralytics YOLO11 e aggiungere funzionalità affidabili di visione artificiale agli iPhone. E soprattutto, funziona senza bisogno di una connessione Internet. Nel complesso, l'integrazione con CoreML porta la potenza dell'intelligenza artificiale avanzata nelle app mobili di uso quotidiano, rendendole più veloci, reattive e pronte a funzionare ovunque.

Vuoi saperne di più sull'intelligenza artificiale? Esplora il nostro repository GitHub, entra in contatto con la nostra community e consulta le nostre opzioni di licenza per dare il via al tuo progetto di visione artificiale. Scopri come innovazioni come l'intelligenza artificiale nel commercio al dettaglio e la visione artificiale nella logistica stanno plasmando il futuro nelle nostre pagine dedicate alle soluzioni.