I migliori modelli di rilevamento degli oggetti per app iOS sui chip Apple Silicon

I dispositivi Android e gli iPhone sono diventati una necessità quotidiana. Le persone li usano per fare acquisti, orientarsi, scattare foto, scansionare prodotti e interagire con le app durante tutta la giornata.

Con la rapida crescita dell'intelligenza artificiale, molti smartphone includono ora funzionalità in grado di comprendere immagini e video acquisiti dalla fotocamera del dispositivo. La possibilità di eseguire queste funzionalità in modo efficiente dipende in gran parte dall'hardware sottostante.

Nell'ecosistema Apple, ad esempio, dispositivi come iPhone, iPad e Mac sono alimentati da chip Apple Silicon, inclusi quelli delle serie A e M. Questi design di sistema su chip (SoC) integrano unità centrali di elaborazione (CPU), unità di elaborazione grafica (GPU) e acceleratori dedicati al machine learning, consentendo l'inferenza sul dispositivo per i carichi di lavoro di IA.

In particolare, le funzionalità di analisi delle immagini sono rese possibili dalla computer vision, un campo dell'IA che consente alle macchine di interpretare e comprendere le informazioni visive provenienti da immagini e video utilizzando attività come il rilevamento degli oggetti.

Nello specifico, i modelli di rilevamento degli oggetti analizzano le immagini e identificano gli oggetti tracciando intorno a essi riquadri delimitatori. Questi modelli possono essere ottimizzati per funzionare in modo efficiente sull'hardware mobile, come i chip Apple Silicon, consentendo l'analisi visiva in tempo reale direttamente sul dispositivo iOS.

Fig. 1. Un esempio di rilevamento degli oggetti, con gli oggetti identificati da riquadri delimitatori. (Fonte)

In questo articolo esamineremo alcuni dei migliori modelli di rilevamento degli oggetti per sviluppare app iOS rapide e in tempo reale. Iniziamo!

Come funzionano i rilevatori di oggetti sui dispositivi iOS#

Il rilevamento degli oggetti aiuta le app a riconoscere e localizzare gli oggetti in un'immagine. Quando un'app elabora un'immagine di input, un modello di rilevamento degli oggetti può analizzare la scena e identificare oggetti diversi posizionando riquadri delimitatori intorno a essi e assegnando etichette.

La maggior parte dei sistemi di rilevamento degli oggetti si basa su reti neurali in grado di riconoscere schemi nei dati di addestramento. Per le attività sulle immagini, questi modelli apprendono rappresentazioni visive analizzando informazioni a livello di pixel provenienti da grandi dataset di addestramento.

Le reti neurali convoluzionali (CNNs) vengono spesso utilizzate come backbone per i modelli di rilevamento degli oggetti. Le CNNs sono ottime per le predizioni sulle immagini perché apprendono caratteristiche visive gerarchiche come bordi, forme e texture, che aiutano il modello a riconoscere gli oggetti all'interno di una scena.

I ricercatori stanno inoltre esplorando architetture basate su Transformer per le attività di computer vision. Questi modelli analizzano le relazioni tra diverse regioni di un'immagine e acquisiscono informazioni contestuali più ampie sull'intera scena.

Oltre al tipo di architettura del modello, l'efficienza è un aspetto fondamentale per il rilevamento degli oggetti sui dispositivi iOS. Poiché questi modelli vengono eseguiti direttamente sui dispositivi mobili, devono elaborare rapidamente le immagini utilizzando risorse computazionali limitate.

I modelli efficienti mantengono una bassa latenza e supportano il rilevamento degli oggetti in tempo reale nelle app mobili, soprattutto durante l'analisi di un input continuo dalla fotocamera.

Cosa rende un modello di rilevamento degli oggetti adatto a iOS?#

Prima di esaminare alcuni dei migliori modelli di rilevamento degli oggetti per iOS, facciamo un passo indietro e capiamo cosa rende eccellente un modello per le applicazioni mobili.

Il modello ideale di rilevamento degli oggetti per un'app iOS bilancia prestazioni, efficienza e affidabilità. Ecco alcuni fattori chiave che definiscono un modello efficace per il deployment su iOS:

• Bassa latenza: il modello deve elaborare rapidamente le immagini per supportare il rilevamento degli oggetti in tempo reale, in particolare per le applicazioni che si basano su un input continuo dalla fotocamera.
• Dimensioni efficienti del modello: i modelli compatti funzionano in modo più efficiente sui dispositivi mobili e in genere richiedono meno memoria e risorse computazionali.
• Accuratezza del rilevamento: un rilevamento accurato garantisce che gli oggetti siano classificati correttamente e che i riquadri delimitatori rimangano precisi in scene, scale degli oggetti e condizioni di illuminazione diverse.
• Stabilità dell'inferenza: un tempo di inferenza uniforme tra i fotogrammi è importante per le applicazioni in tempo reale. Grandi variazioni nel tempo di elaborazione possono causare fotogrammi persi o un'esperienza instabile con la fotocamera.
• Impronta di memoria: la quantità di RAM richiesta durante l'inferenza influisce sulla fluidità con cui un modello funziona insieme agli altri processi dell'app sui dispositivi iOS.

Una panoramica dei migliori modelli di rilevamento degli oggetti per iOS#

Ora esaminiamo alcuni dei modelli di rilevamento degli oggetti più utilizzati sui dispositivi iOS.

1. Modelli Ultralytics YOLO#

I modelli Ultralytics YOLO sono una famiglia popolare di modelli di rilevamento degli oggetti progettati per applicazioni di computer vision in tempo reale. Nel corso degli anni, Ultralytics ha rilasciato modelli di visione come Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 e l'ultimo modello all'avanguardia, Ultralytics YOLO26.

Ogni nuova versione ha introdotto miglioramenti nell'accuratezza del rilevamento, nell'efficienza del modello e nelle prestazioni a runtime. Questi aggiornamenti hanno reso i modelli Ultralytics YOLO sempre più adatti ai dispositivi edge come gli smartphone.

Fig. 2. YOLO26 può essere utilizzato per rilevare più oggetti in una scena del mondo reale. (Fonte)

Uno dei principali vantaggi dell'utilizzo dei modelli Ultralytics YOLO nelle app iOS è l'integrazione CoreML fornita tramite il pacchetto Python di Ultralytics. Questa libreria open source aiuta gli sviluppatori ad addestrare, testare ed esportare i modelli Ultralytics YOLO con un flusso di lavoro semplice.

Il pacchetto supporta l'esportazione dei modelli addestrati in CoreML, il formato di machine learning di Apple utilizzato per distribuire i modelli sui dispositivi iOS. Dopo l'esportazione, il modello CoreML può essere integrato in un'app ed eseguito direttamente sul dispositivo utilizzando hardware come CPU, GPU e Apple Neural Engine.

Fig. 3. CoreML è il framework di Apple per integrare ed eseguire modelli di IA nelle app. (Fonte)

Questo semplifica l'integrazione del rilevamento degli oggetti in tempo reale nelle app iOS, mantenendo l'inferenza del modello sul dispositivo.

Opzioni di deployment dei modelli Ultralytics YOLO su Apple Silicon#

Oltre ai modelli in sé, l'ecosistema Ultralytics offre diverse opzioni che semplificano il deployment dei modelli YOLO sui chip Apple Silicon.

Ad esempio, Ultralytics ha recentemente introdotto Ultralytics Platform, che riunisce la gestione dei dataset, l'addestramento, la validazione e il deployment dei modelli in un unico ambiente. Questo flusso di lavoro unificato riduce la necessità di utilizzare più strumenti e contribuisce a semplificare il percorso dalla sperimentazione alle applicazioni del mondo reale.

Nell'ambito della piattaforma, i modelli addestrati possono essere esportati in più formati, incluso CoreML per i dispositivi Apple. Ciò consente di esportare un modello Ultralytics YOLO per l'inferenza sul dispositivo in pochi clic.

Oltre alle funzionalità di esportazione, Ultralytics fornisce un'implementazione open source in Swift (linguaggio di programmazione di Apple utilizzato per creare app iOS) per iOS. Include una app YOLO per iOS pronta all'uso, scritta in Swift, che dimostra come integrare ed eseguire i modelli CoreML e utilizzarli per il rilevamento degli oggetti in tempo reale a partire dall'input della fotocamera.

Ulteriori vantaggi dei modelli Ultralytics YOLO#

Ecco altre caratteristiche chiave che rendono i modelli Ultralytics YOLO un'ottima scelta per creare applicazioni iOS:

• Supporto per diverse attività di visione: oltre al rilevamento degli oggetti, i modelli Ultralytics YOLO possono essere utilizzati per la segmentazione delle istanze, la stima della posa, il tracking degli oggetti, il rilevamento di riquadri delimitatori orientati (OBB) e la classificazione delle immagini.
• Molteplici dimensioni del modello: Ultralytics offre diverse varianti di modello (come nano, small, medium, large ed extra-large), consentendo agli sviluppatori di scegliere una versione adatta ai vincoli prestazionali dei dispositivi mobili.
• Modelli preaddestrati: i modelli Ultralytics YOLO sono disponibili come modelli preaddestrati, utilizzabili immediatamente o ottimizzabili per attività specifiche, riducendo i tempi di sviluppo.

2. EfficientDet#

EfficientDet è un'architettura di rilevamento degli oggetti introdotta nel 2019 da ricercatori di Google. È stata progettata per bilanciare l'accuratezza del rilevamento e l'efficienza computazionale, rendendola adatta agli ambienti con risorse limitate.

Un'idea chiave alla base di EfficientDet è un metodo di scalabilità noto come compound scaling. Invece di aumentare una sola parte del modello, come la profondità della rete o la risoluzione dell'immagine, questo approccio scala insieme più componenti dell'architettura.

Regolando simultaneamente questi elementi, il modello mantiene prestazioni stabili sia quando è configurato per un'elevata accuratezza sia quando è ottimizzato per deployment leggeri.

L'architettura è disponibile in diverse varianti, da EfficientDet-D0 a EfficientDet-D7. I modelli più piccoli sono progettati per un'inferenza più rapida e un minore utilizzo di risorse, mentre le versioni più grandi puntano a ottenere una maggiore accuratezza nel rilevamento.

3. MobileNet SSD#

MobileNet SSD è un modello leggero di rilevamento degli oggetti progettato per funzionare in modo efficiente sui dispositivi mobili ed edge. Ha acquisito popolarità intorno al 2017.

Il modello combina il backbone MobileNet, incentrato sull'estrazione efficiente delle caratteristiche, con l'approccio SSD (rilevatore a singolo passaggio) per il rilevamento degli oggetti. Il metodo SSD rileva gli oggetti e genera i riquadri delimitatori in un singolo passaggio forward.

Questo design mantiene il modello relativamente rapido e semplice, caratteristica utile per le applicazioni che necessitano di risultati di rilevamento veloci. MobileNet SSD viene spesso utilizzato quando sono importanti dimensioni ridotte del modello e velocità di inferenza elevate.

L'architettura MobileNet riduce la quantità di calcoli necessari, facilitando l'esecuzione del modello su dispositivi con potenza di elaborazione limitata. Sebbene MobileNet SSD possa non raggiungere lo stesso livello di accuratezza di alcune architetture di rilevamento più recenti, offre comunque buone prestazioni per molte attività comuni di rilevamento degli oggetti.

4. CenterNet#

CenterNet è un modello di rilevamento degli oggetti che identifica gli oggetti predicendone i punti centrali. È stato introdotto nel 2019.

Invece di generare molte regioni candidate, il modello rileva il centro di un oggetto e quindi ne predice le dimensioni del riquadro delimitatore. Questo approccio semplifica la pipeline di rilevamento e riduce il numero di passaggi coinvolti durante l'inferenza.

Fig. 4. Una panoramica delle fasi di rilevamento degli oggetti in CenterNet (Fonte)

CenterNet può essere utilizzato per attività di rilevamento in tempo reale ed è noto per la sua architettura relativamente semplice rispetto ad alcuni rilevatori multistadio. Varianti come CenterNet con backbone ResNet sono comunemente utilizzate in diverse applicazioni di computer vision.

Il suo design efficiente rende CenterNet adatto ai sistemi che necessitano di un rilevamento rapido degli oggetti, incluse le applicazioni eseguite sui dispositivi iOS.

5. NanoDet#

NanoDet è un modello leggero di rilevamento degli oggetti progettato per applicazioni in tempo reale su dispositivi edge e mobili. È stato introdotto nel 2020 con l'obiettivo di fornire un rilevamento efficiente degli oggetti mantenendo molto basse le dimensioni del modello e i requisiti computazionali.

Il modello utilizza un'architettura di rilevamento a singolo stadio, che gli consente di predire le posizioni e le categorie degli oggetti in un unico passaggio attraverso la rete. Questo design mantiene il modello veloce e adatto ai sistemi con risorse hardware limitate.

NanoDet utilizza un backbone compatto e una testa di rilevamento ottimizzata per ridurre il numero di parametri e i calcoli necessari durante l'inferenza. Queste scelte progettuali aiutano a mantenere un'accuratezza di rilevamento ragionevole, dando priorità a velocità ed efficienza.

Scegliere il modello di rilevamento degli oggetti giusto per la tua app iOS#

La scelta di un modello di rilevamento degli oggetti per un'app iOS dipende spesso dai requisiti specifici del caso d'uso. Poiché questi modelli vengono eseguiti direttamente su dispositivi come iPhone e iPad, diversi fattori influenzano quale opzione funzionerà meglio.

Ecco alcune considerazioni importanti:

• Efficienza energetica: i modelli che consumano meno energia aiutano a preservare la durata della batteria, un aspetto importante per le app mobili che eseguono un'elaborazione continua dalla fotocamera.
• Supporto all'ottimizzazione del modello: alcuni modelli supportano tecniche di ottimizzazione come la quantizzazione o il pruning, che possono ridurre le dimensioni del modello e migliorarne le prestazioni sui dispositivi iOS.
• Compatibilità hardware: l'architettura del modello scelta deve funzionare in modo efficiente sull'hardware iOS, inclusi CPU, GPU e Neural Engine di Apple.
• Scalabilità: alcune architetture offrono più dimensioni o varianti del modello, consentendo agli sviluppatori di scegliere le versioni che corrispondono meglio ai requisiti prestazionali e hardware.

Punti chiave#

I modelli di rilevamento degli oggetti portano funzionalità avanzate di computer vision nelle app mobili intelligenti. Eseguiti direttamente sui dispositivi iOS, questi modelli consentono alle app di analizzare in tempo reale immagini e video provenienti dalla fotocamera del dispositivo. Scegliendo il modello giusto, gli sviluppatori possono creare app mobili reattive basate sulla visione, capaci di offrire prestazioni affidabili in tempo reale.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per trovare risorse pratiche sull'AI. Per sviluppare oggi con la vision AI, esplora le nostre opzioni di licenza. Scopri come l'AI nell'agricoltura sta trasformando il settore agricolo e come la vision AI nella robotica sta plasmando il futuro visitando le nostre pagine dedicate alle soluzioni.