Portare Ultralytics YOLO11 sui dispositivi Apple tramite CoreML

Con l'introduzione da parte di Apple di funzionalità come Apple Intelligence, è chiaro che l'AI sul dispositivo sta diventando una componente centrale del modo in cui utilizziamo i nostri telefoni. Per gli sviluppatori, questo cambiamento significa che gli utenti stanno adottando app iOS che usano funzionalità come la visione artificiale per offrire esperienze più intelligenti e reattive.

La visione artificiale è un tipo di intelligenza artificiale (AI) che consente ai computer di comprendere e analizzare informazioni visive, come immagini o video. Sui dispositivi mobili, può essere utilizzata in tempo reale per rilevare, classificare e interagire con gli oggetti attraverso la fotocamera del telefono. I modelli di IA per la visione, come Ultralytics YOLO11, possono essere addestrati su misura per riconoscere oggetti specifici, a seconda delle esigenze della tua app.

Tuttavia, Ultralytics YOLO11 non è configurato per funzionare su iOS immediatamente. Per distribuire YOLO11 su iPhone o altri dispositivi Apple, in particolare per l'utilizzo offline, è necessario convertirlo in un formato ottimizzato per l'ecosistema Apple.

È esattamente il tipo di problema che CoreML è stato progettato per risolvere. CoreML è il framework di machine learning di Apple, progettato per eseguire i modelli localmente e integrarli perfettamente nelle applicazioni iOS e macOS. L'integrazione di CoreML, supportata da Ultralytics, semplifica l'esportazione del tuo modello per la distribuzione locale sugli iPhone.

In questo articolo analizzeremo più da vicino come esportare il tuo modello Ultralytics YOLO11 nel formato CoreML. Esamineremo anche alcuni casi d'uso in tempo reale che mostrano i vantaggi dell'esecuzione dei modelli di visione artificiale direttamente sui dispositivi iOS. Iniziamo!

Che cos'è CoreML?#

CoreML è un framework di machine learning (ML) sviluppato da Apple che consente agli sviluppatori di integrare modelli ML addestrati direttamente nelle app dell'ecosistema Apple, tra cui iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). È progettato per rendere il machine learning accessibile ed efficiente sui dispositivi Apple, consentendo ai modelli di essere eseguiti direttamente sul dispositivo, senza richiedere una connessione a Internet.

Alla base di CoreML c'è un formato di modello unificato che supporta un'ampia gamma di attività di IA, come la classificazione delle immagini, il rilevamento degli oggetti, il riconoscimento vocale e l'elaborazione del linguaggio naturale. Il framework è ottimizzato per sfruttare al meglio l'hardware Apple, utilizzando CPU (unità centrale di elaborazione), GPU (unità di elaborazione grafica) e ANE (Apple Neural Engine) per eseguire i modelli in modo rapido ed efficiente.

CoreML supporta diversi tipi di modelli ed è compatibile con librerie di machine learning diffuse, tra cui TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Questo facilita l'integrazione di funzionalità ML avanzate nelle app di uso quotidiano, garantendo al contempo un funzionamento fluido sui dispositivi Apple.

Fig. 1. CoreML supporta modelli di altri diffusi framework di IA (Fonte).

Funzionalità principali di CoreML#

Ecco alcune delle funzionalità principali che rendono CoreML uno strumento affidabile per integrare l'IA nelle app Apple:

• Ottimizzazione dei modelli: CoreML supporta tecniche di compressione come la quantizzazione e il pruning per ridurre le dimensioni dei modelli e migliorare l'efficienza in fase di esecuzione.
• Personalizzazione sul dispositivo: il framework ML di Apple supporta la personalizzazione sul dispositivo, consentendo di addestrare e aggiornare i modelli localmente in base alle interazioni dell'utente.
• Predizioni asincrone: questo framework consente alla tua app di eseguire predizioni in background, mantenendo l'interfaccia utente fluida e reattiva durante l'elaborazione delle attività di IA.
• Apprendimento multitask: CoreML supporta modelli in grado di eseguire più attività contemporaneamente, come rilevare oggetti e riconoscere il testo nella stessa immagine.

Come esportare Ultralytics YOLO11 nel formato CoreML#

Ora che abbiamo acquisito una migliore comprensione del framework CoreML, vediamo come utilizzare l'integrazione di CoreML supportata da Ultralytics per esportare un modello YOLO11 nel formato CoreML.

Passaggio 1: configurazione dell'ambiente#

Per accedere alle funzionalità di integrazione fornite da Ultralytics, inizia installando il pacchetto Python di Ultralytics. È una libreria leggera e facile da usare che semplifica attività come l'addestramento, la valutazione, la predizione e l'esportazione dei modelli Ultralytics YOLO.

Puoi installare il pacchetto Python di Ultralytics eseguendo “pip install ultralytics” nel terminale dei comandi. Se utilizzi un ambiente come Jupyter Notebook o Google Colab, inserisci un punto esclamativo (!) prima del comando: “!pip install ultralytics”.

Se riscontri problemi durante l'installazione o durante l'esportazione in CoreML, consulta la documentazione ufficiale di Ultralytics o la guida ai problemi comuni per ricevere assistenza.

Passaggio 2: esportazione di Ultralytics YOLO11 in CoreML#

Una volta installato correttamente il pacchetto, puoi caricare un modello Ultralytics YOLO11 e convertirlo nel formato CoreML.

Se non sai quale modello YOLO11 preaddestrato utilizzare, puoi esplorare la gamma di modelli supportati da Ultralytics. Ognuno offre un equilibrio diverso tra velocità, dimensioni e accuratezza, quindi puoi scegliere quello più adatto al tuo progetto. Puoi anche utilizzare un modello YOLO11 addestrato su misura, se ne hai addestrato uno sul tuo dataset.

Nel frammento di codice seguente viene utilizzato un file di modello YOLO11 preaddestrato denominato "yolo11n.pt". Durante il processo di esportazione, viene convertito in un pacchetto CoreML denominato "yolo11n.mlpackage."

Il modello "yolo11n" è la versione nano, ottimizzata per la velocità e il ridotto utilizzo delle risorse. A seconda delle esigenze del tuo progetto, puoi scegliere anche altre dimensioni del modello, come "s" per small, "m" per medium, "l" per large o "x" per extra-large. Ogni versione offre un equilibrio diverso tra prestazioni e accuratezza.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Passaggio 3: esecuzione dell'inferenza utilizzando il modello CoreML esportato#

Dopo l'esportazione nel formato CoreML, Ultralytics YOLO11 può essere facilmente integrato nelle applicazioni iOS, consentendo attività di visione artificiale in tempo reale come il rilevamento degli oggetti su dispositivi quali iPhone, iPad e Mac.

Ad esempio, il frammento di codice seguente mostra come caricare il modello CoreML esportato ed eseguire l'inferenza. L'inferenza è il processo di utilizzo di un modello addestrato per effettuare predizioni su nuovi dati. In questo caso, il modello analizza un'immagine di una famiglia che gioca con una palla.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Dopo aver eseguito il codice, l'immagine di output verrà salvata nella cartella "runs/detect/predict".

Fig. 2. Utilizzo di un modello Ultralytics YOLO11 esportato nel formato CoreML per rilevare oggetti. Immagine dell'autore.

Dove possono essere utilizzati i modelli CoreML esportati?#

L'esportazione di Ultralytics YOLO11 in CoreML offre la flessibilità necessaria per creare diverse applicazioni di visione artificiale che funzionano in modo efficiente su iPhone, iPad e Mac. Vediamo ora alcuni scenari reali in cui questa integrazione può rivelarsi particolarmente utile.

App di realtà aumentata e gaming basate su modelli CoreML#

La realtà aumentata (AR) combina i contenuti digitali con il mondo reale sovrapponendo elementi virtuali alle immagini della fotocamera in tempo reale. Sta diventando una componente fondamentale del gaming mobile, creando esperienze più interattive e coinvolgenti.

Con Ultralytics YOLO11 esportato nel formato CoreML, gli sviluppatori iOS possono creare giochi AR in grado di riconoscere oggetti del mondo reale, come panchine, alberi o cartelli, utilizzando la fotocamera del telefono. Il gioco può quindi sovrapporre elementi virtuali, come monete, indizi o creature, a questi oggetti per arricchire l'ambiente circostante del giocatore.

Dietro le quinte, tutto questo funziona grazie al rilevamento e al tracciamento degli oggetti. Ultralytics YOLO11 rileva e identifica gli oggetti in tempo reale, mentre il tracciamento li mantiene nell'inquadratura mentre la fotocamera si muove, assicurando che gli elementi virtuali rimangano allineati al mondo reale.

I giocatori possono puntare i loro telefoni, esplorare l'ambiente e interagire con ciò che vedono per raccogliere oggetti o completare rapide sfide. Tutto questo può essere eseguito direttamente sul dispositivo senza bisogno di una connessione a Internet, rendendo l'esperienza fluida e coinvolgente.

App iOS integrate con modelli CoreML per l'ANPR in tempo reale#

Il riconoscimento automatico delle targhe (ANPR) è un'applicazione di visione artificiale utilizzata per rilevare e leggere le targhe dei veicoli. Viene comunemente impiegato nei sistemi di sicurezza, monitoraggio del traffico e controllo degli accessi. Con CoreML e modelli come YOLO11, l'ANPR può ora funzionare in modo efficiente sui dispositivi iOS.

Avere un'app ANPR sul tuo iPhone può essere particolarmente utile in ambienti incentrati sulla sicurezza. Ad esempio, può aiutare i team a determinare rapidamente se un veicolo che entra in un'area riservata è autorizzato o meno.

Un'app di questo tipo può utilizzare un modello di IA per la visione, come Ultralytics YOLO11, integrato tramite CoreML, per rilevare i veicoli e individuare le relative targhe in tempo reale utilizzando la fotocamera del dispositivo. Una volta rilevata una targa, la tecnologia di riconoscimento ottico dei caratteri (OCR) può leggere il numero di targa. L'app può quindi confrontare questo numero con un database locale o basato sul cloud per verificare l'accesso o segnalare i veicoli non autorizzati.

Fig. 3. L'IA per la visione può essere utilizzata per rilevare e leggere i numeri di targa. (Fonte).

Le app incentrate sull'accessibilità possono sfruttare i modelli CoreML#

L'IA ha avuto un enorme impatto sull'accessibilità, contribuendo ad abbattere le barriere per le persone con disabilità visive. Con strumenti come CoreML e modelli di visione artificiale come Ultralytics YOLO11, gli sviluppatori possono creare app iOS che descrivono in tempo reale il mondo circostante agli utenti, rendendo le attività quotidiane più semplici e indipendenti.

Ad esempio, una persona con disabilità visiva può puntare la fotocamera del proprio iPhone sull'ambiente circostante. L'app utilizza il rilevamento degli oggetti per riconoscere gli elementi principali, come veicoli, persone o cartelli stradali, e descrive a voce ciò che vede. Questo può essere utile in situazioni come l'attraversamento di una strada trafficata o la comprensione di un'emergenza.

Fig. 4. Un esempio di utilizzo di Ultralytics YOLO11 per rilevare persone

Punti chiave#

L'esportazione di Ultralytics YOLO11 nel formato CoreML crea nuove opportunità per le applicazioni in tempo reale, incluso il rilevamento offline degli oggetti sui dispositivi iOS. Dall'agricoltura alla sicurezza, fino all'accessibilità, questa combinazione consente agli sviluppatori di creare app intelligenti, efficienti e orientate alla privacy, eseguite interamente sul dispositivo.

Con pochi semplici passaggi, puoi convertire il tuo modello Ultralytics YOLO11 e aggiungere funzionalità affidabili di visione artificiale agli iPhone. Il vantaggio principale è che funziona senza bisogno di una connessione a Internet. Nel complesso, l'integrazione di CoreML porta la potenza dell'IA avanzata nelle app mobili di uso quotidiano, rendendole più veloci, reattive e pronte a funzionare ovunque.

Vuoi saperne di più sull'IA? Esplora il nostro repository GitHub, entra in contatto con la nostra community e dai un'occhiata alle nostre opzioni di licenza per avviare il tuo progetto di visione artificiale. Scopri come innovazioni come l'IA nel commercio al dettaglio e la visione artificiale nella logistica stanno plasmando il futuro nelle nostre pagine dedicate alle soluzioni.