I migliori modelli di rilevamento oggetti per app iOS su chip Apple silicon

I dispositivi Android e gli iPhone sono diventati una necessità quotidiana. Le persone li usano per fare acquisti, navigare, scattare foto, scansionare prodotti e interagire con le app durante tutto il giorno.

Con la rapida crescita dell'intelligenza artificiale, molti smartphone includono ora funzionalità in grado di comprendere immagini e video catturati dalla fotocamera del dispositivo. La capacità di eseguire queste funzioni in modo efficiente dipende in gran parte dall'hardware sottostante.

Ad esempio, nell'ecosistema Apple, dispositivi come iPhone, iPad e Mac sono alimentati dai chip Apple Silicon, inclusi le serie A e M. Questi design system-on-chip (SoC) integrano unità di elaborazione centrale (CPU), unità di elaborazione grafica (GPU) e acceleratori di machine learning dedicati, consentendo l'inferenza on-device per i carichi di lavoro AI.

In particolare, le capacità di analisi delle immagini sono rese possibili attraverso la computer vision, un campo dell'AI che permette alle macchine di interpretare e comprendere informazioni visive da immagini e video utilizzando attività come l'object detection.

Nello specifico, i modelli di object detection analizzano le immagini e identificano gli oggetti disegnando riquadri di delimitazione attorno a essi. Questi modelli possono essere ottimizzati per funzionare in modo efficiente su hardware mobile, come i chip Apple Silicon, consentendo un'analisi visiva in tempo reale direttamente sul dispositivo nei device iOS.

Fig 1. Un esempio di object detection, con oggetti identificati da bounding boxes. (Source)

In questo articolo, esploreremo alcuni dei migliori modelli di object detection per creare app iOS veloci e in tempo reale. Cominciamo!

Link to this sectionCome funzionano gli object detector sui dispositivi iOS#

L'object detection aiuta le app a riconoscere e localizzare oggetti in un'immagine. Quando un'app elabora un'immagine in input, un modello di object detection può analizzare la scena e identificare diversi oggetti posizionando bounding boxes attorno a essi e assegnando etichette.

La maggior parte dei sistemi di object detection si basa su reti neurali in grado di riconoscere pattern nei dati di addestramento. Per le attività legate alle immagini, questi modelli apprendono rappresentazioni visive analizzando informazioni a livello di pixel da grandi dataset di addestramento.

Le reti neurali convoluzionali (CNN) sono spesso utilizzate come backbone per i modelli di object detection. Le CNN sono ottime per le previsioni sulle immagini perché apprendono caratteristiche visive gerarchiche come bordi, forme e texture, che aiutano il modello a riconoscere gli oggetti all'interno di una scena.

I ricercatori stanno anche esplorando architetture basate su Transformer per le attività di computer vision. Questi modelli analizzano le relazioni tra diverse regioni di un'immagine e catturano informazioni contestuali più ampie in tutta la scena.

Oltre al tipo di architettura del modello, l'efficienza è una considerazione cruciale per l'object detection sui dispositivi iOS. Poiché questi modelli vengono eseguiti direttamente sui dispositivi mobili, devono elaborare le immagini rapidamente utilizzando risorse computazionali limitate.

I modelli efficienti mantengono una bassa latenza e supportano l'object detection in tempo reale nelle app mobili, specialmente quando analizzano l'input continuo della fotocamera.

Link to this sectionCosa rende un modello di object detection adatto a iOS?#

Prima di addentrarci in alcuni dei migliori modelli di object detection per iOS, facciamo un passo indietro e comprendiamo cosa rende un modello ideale per le applicazioni mobile.

Il modello di object detection ideale per un'app iOS bilancia prestazioni, efficienza e affidabilità. Ecco alcuni fattori chiave che definiscono un modello solido per il deployment su iOS:

• Bassa latenza: Il modello dovrebbe elaborare le immagini rapidamente per supportare l'object detection in tempo reale, particolarmente per le applicazioni che si basano sull'input continuo della fotocamera.
• Dimensione efficiente del modello: I modelli compatti funzionano in modo più efficiente sui dispositivi mobili e solitamente richiedono meno memoria e risorse computazionali.
• Accuratezza di rilevamento: Un rilevamento accurato garantisce che gli oggetti siano classificati correttamente e che i bounding boxes rimangano precisi attraverso diverse scene, scale degli oggetti e condizioni di illuminazione.
• Stabilità dell'inferenza: Un tempo di inferenza coerente tra i fotogrammi è importante per le applicazioni in tempo reale. Grandi fluttuazioni nel tempo di elaborazione possono causare frame persi o esperienze della fotocamera instabili.
• Impronta di memoria: La quantità di RAM richiesta durante l'inferenza influenza la fluidità con cui un modello viene eseguito insieme ad altri processi dell'app sui dispositivi iOS.

Link to this sectionUno sguardo ai migliori modelli di object detection per iOS#

Successivamente, diamo un'occhiata ad alcuni dei modelli di object detection più utilizzati per i dispositivi iOS.

Link to this sectionModelli Ultralytics YOLO#

I modelli Ultralytics YOLO sono una popolare famiglia di modelli di object detection progettati per applicazioni di computer vision in tempo reale. Nel corso degli anni, Ultralytics ha rilasciato modelli di visione come Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 e il più recente modello all'avanguardia, Ultralytics YOLO26.

Ogni nuova versione ha introdotto miglioramenti nell'accuratezza di rilevamento, nell'efficienza del modello e nelle prestazioni di runtime. Questi aggiornamenti hanno reso i modelli Ultralytics YOLO sempre più adatti a dispositivi edge come gli smartphone.

Fig 2. YOLO26 può essere utilizzato per rilevare oggetti multipli in una scena del mondo reale. (Source)

Uno dei principali vantaggi dell'utilizzo dei modelli Ultralytics YOLO per app iOS è l'integrazione CoreML fornita tramite il pacchetto Python Ultralytics. Questa libreria open-source aiuta gli sviluppatori a addestrare, testare ed esportare i modelli Ultralytics YOLO con un flusso di lavoro semplice.

Il pacchetto supporta l'esportazione di modelli addestrati in CoreML, il formato di machine learning di Apple utilizzato per il deployment di modelli su dispositivi iOS. Dopo l'esportazione, il modello CoreML può essere integrato in un'app ed eseguito direttamente sul dispositivo utilizzando hardware come CPU, GPU e Apple Neural Engine.

Fig 3. CoreML è il framework di Apple per integrare ed eseguire modelli AI all'interno delle app. (Source)

Questo rende semplice per gli sviluppatori integrare l'object detection in tempo reale nelle app iOS, mantenendo l'inferenza del modello on-device.

Link to this sectionOpzioni di deployment per i modelli Ultralytics YOLO su Apple Silicon#

Oltre ai modelli stessi, l'ecosistema Ultralytics offre una gamma di opzioni che semplificano il deployment dei modelli YOLO su chip Apple Silicon.

Ad esempio, Ultralytics ha recentemente introdotto Ultralytics Platform, che unisce gestione dei dataset, addestramento dei modelli, validazione e deployment in un unico ambiente. Questo flusso di lavoro unificato riduce la necessità di molteplici strumenti e aiuta a ottimizzare il percorso dalla sperimentazione alle applicazioni reali.

Come parte della piattaforma, i modelli addestrati possono essere esportati in diversi formati, incluso CoreML per dispositivi Apple. Questo rende possibile esportare un modello Ultralytics YOLO per l'inferenza on-device con pochi clic.

Oltre alle capacità di esportazione, Ultralytics fornisce un'implementazione open-source in Swift (il linguaggio di programmazione di Apple utilizzato per creare app iOS) per iOS. Ciò include un'app YOLO iOS pronta all'uso scritta in Swift che dimostra come i modelli CoreML possano essere integrati, eseguiti sull'input della fotocamera e utilizzati per l'object detection in tempo reale.

Link to this sectionUlteriori vantaggi dei modelli Ultralytics YOLO#

Ecco alcune altre caratteristiche chiave che rendono i modelli Ultralytics YOLO un'ottima opzione per la creazione di applicazioni iOS:

• Supporta una gamma di attività di visione: Oltre all'object detection, i modelli Ultralytics YOLO possono essere utilizzati per instance segmentation, pose estimation, object tracking, rilevamento di oriented bounding box (OBB) e image classification.
• Dimensioni multiple del modello: Ultralytics fornisce diverse varianti di modello (come nano, small, medium, large ed extra-large), consentendo agli sviluppatori di scegliere una versione che si adatti ai vincoli di prestazioni dei dispositivi mobili.
• Modelli pre-addestrati: I modelli Ultralytics YOLO sono disponibili come modelli pre-addestrati che possono essere utilizzati immediatamente o rifiniti (fine-tuned) per attività specifiche, riducendo i tempi di sviluppo.

Link to this sectionEfficientDet#

EfficientDet è un'architettura di object detection introdotta dai ricercatori di Google nel 2019. È stata progettata per bilanciare l'accuratezza di rilevamento e l'efficienza computazionale, rendendola adatta ad ambienti con risorse limitate.

Un'idea chiave alla base di EfficientDet è un metodo di ridimensionamento noto come compound scaling. Invece di aumentare solo una parte del modello, come la profondità della rete o la risoluzione dell'immagine, questo approccio scala insieme diversi componenti dell'architettura.

Regolando questi elementi simultaneamente, il modello mantiene prestazioni stabili, sia che sia configurato per un'elevata accuratezza o ottimizzato per deployment leggeri.

L'architettura è disponibile in diverse varianti, che vanno da EfficientDet-D0 a EfficientDet-D7. I modelli più piccoli sono progettati per un'inferenza più rapida e un minore utilizzo di risorse, mentre le versioni più grandi si concentrano sul raggiungimento di un'accuratezza di rilevamento superiore.

Link to this sectionMobileNet SSD#

MobileNet SSD è un modello di object detection leggero progettato per funzionare in modo efficiente su dispositivi mobili ed edge. Ha guadagnato popolarità intorno al 2017.

Il modello combina il backbone MobileNet, che si concentra sull'estrazione efficiente delle caratteristiche, con l'approccio SSD (Single Shot Detector) per rilevare gli oggetti. Il metodo SSD rileva gli oggetti e genera bounding boxes in un singolo passaggio in avanti (forward pass).

Questo design mantiene il modello relativamente veloce e semplice, il che è utile per le applicazioni che necessitano di risultati di rilevamento rapidi. MobileNet SSD è spesso utilizzato in situazioni in cui sono importanti dimensioni del modello ridotte e velocità di inferenza più elevate.

L'architettura MobileNet riduce la quantità di calcoli richiesti, rendendo più semplice eseguire il modello su dispositivi con potenza di elaborazione limitata. Sebbene MobileNet SSD possa non raggiungere lo stesso livello di accuratezza di alcune architetture di rilevamento più recenti, offre comunque buone prestazioni per molte attività comuni di object detection.

Link to this sectionCenterNet#

CenterNet è un modello di object detection che identifica gli oggetti prevedendone i punti centrali. È stato introdotto nel 2019.

Invece di generare molte regioni candidate, il modello rileva il centro di un oggetto e poi ne prevede la dimensione del bounding box attorno. Questo approccio semplifica la pipeline di rilevamento e riduce il numero di passaggi necessari durante l'inferenza.

Fig 4. Una panoramica delle fasi di object detection in CenterNet (Source)

CenterNet può essere utilizzato per attività di rilevamento in tempo reale ed è noto per la sua architettura relativamente semplice rispetto ad alcuni detector multistadio. Varianti come CenterNet con backbone ResNet sono comunemente utilizzate in diverse applicazioni di computer vision.

Il suo design efficiente rende CenterNet adatto a sistemi che necessitano di un'object detection veloce, incluse le applicazioni eseguite su dispositivi iOS.

Link to this sectionNanoDet#

NanoDet è un modello di object detection leggero progettato per applicazioni in tempo reale su dispositivi edge e mobile. È stato introdotto nel 2020 con l'obiettivo di fornire un'efficiente object detection mantenendo dimensioni del modello e requisiti computazionali molto bassi.

Il modello utilizza un'architettura di rilevamento a singolo stadio (single-stage), consentendogli di prevedere posizioni e categorie degli oggetti in un unico passaggio attraverso la rete. Questo design mantiene il modello veloce e adatto a sistemi con risorse hardware limitate.

NanoDet utilizza un backbone compatto e una testa di rilevamento ottimizzata per ridurre il numero di parametri e i calcoli richiesti durante l'inferenza. Queste scelte di design aiutano a mantenere un'accuratezza di rilevamento ragionevole dando priorità a velocità ed efficienza.

Link to this sectionScegliere il giusto modello di object detection per la tua app iOS#

La selezione di un modello di object detection per un'app iOS dipende spesso dai requisiti specifici del caso d'uso. Poiché questi modelli vengono eseguiti direttamente su dispositivi come iPhone e iPad, diversi fattori influenzano quale opzione funzionerà al meglio.

Ecco alcune considerazioni importanti:

• Efficienza energetica: I modelli che consumano meno energia aiutano a preservare la durata della batteria, il che è importante per le app mobili che eseguono un'elaborazione continua della fotocamera.
• Supporto all'ottimizzazione del modello: alcuni modelli supportano tecniche di ottimizzazione come la quantizzazione o il pruning, che possono ridurre le dimensioni del modello e migliorare le prestazioni sui dispositivi iOS.
• Compatibilità hardware: L'architettura del modello che scegli dovrebbe essere eseguita in modo efficiente sull'hardware iOS, inclusi CPU, GPU e Apple Neural Engine.
• Scalabilità: Alcune architetture forniscono dimensioni o varianti di modello multiple, consentendo agli sviluppatori di scegliere le versioni che meglio si adattano alle prestazioni e ai requisiti hardware.

Link to this sectionPunti chiave#

I modelli di object detection portano capacità avanzate di computer vision nelle app mobili intelligenti. Eseguendosi direttamente sui dispositivi iOS, questi modelli rendono possibile alle app analizzare immagini e video dalla fotocamera del dispositivo in tempo reale. Scegliendo il modello giusto, gli sviluppatori possono creare app mobili reattive basate sulla visione che offrono prestazioni affidabili in tempo reale.

Unisciti alla nostra crescente comunità ed esplora il nostro repository GitHub per risorse AI pratiche. Per costruire con la vision AI oggi, esplora le nostre opzioni di licenza. Scopri come l'AI in agricoltura sta trasformando l'agricoltura e come la vision AI nella robotica sta plasmando il futuro visitando le nostre pagine delle soluzioni.