Semplificare l'annotazione delle immagini con Ultralytics Platform

Di recente, Ultralytics ha presentato Ultralytics Platform, un ambiente progettato per supportare l'intero ciclo di vita dello sviluppo della computer vision. La piattaforma riunisce gli strumenti usati per gestire le varie fasi dei flussi di lavoro della vision AI, tra cui la preparazione dei dataset, l'annotazione di immagini e video, l'addestramento dei modelli e la distribuzione.

Nonostante la crescente adozione in settori come la guida autonoma e la sanità, la creazione di soluzioni di computer vision può ancora essere considerata un processo frammentato. Uno dei motivi principali è che i modelli di computer vision dipendono molto dalla qualità dei dati su cui vengono addestrati. Prima ancora di iniziare l'addestramento, è necessario creare, organizzare, esaminare ed etichettare i dataset affinché il modello possa imparare cosa rilevare o riconoscere.

Quando si lavora con dati visivi, questo processo è noto come annotazione dei dati o annotazione delle immagini. Durante l'annotazione delle immagini, parti specifiche di un'immagine vengono contrassegnate e associate a etichette che guidano il modello durante l'addestramento.

Per esempio, se l'obiettivo è rilevare i cani nelle immagini, gli annotatori possono disegnare riquadri di delimitazione attorno a ciascun cane per indicarne la posizione. Per attività più dettagliate, possono delineare la forma del cane usando maschere di segmentazione o contrassegnare punti chiave per acquisirne la postura. Questi esempi etichettati influiscono direttamente sulle prestazioni del modello una volta distribuito.

Gestire flussi di lavoro di annotazione delle immagini su larga scala può essere complesso. I dataset di grandi dimensioni richiedono spesso standard di etichettatura coerenti, collaborazione tra più annotatori e strumenti che semplifichino la revisione e il perfezionamento delle annotazioni.

Ultralytics Platform riunisce questi elementi con un editor di annotazioni integrato. Supporta diversi tipi di attività di annotazione e offre ai team un modo più semplice per etichettare i dati e preparare dataset di computer vision all'interno di un unico flusso di lavoro.

Fig. 1. Uno sguardo all'editor di annotazioni di Ultralytics Platform (Fonte)

In questo articolo vedremo come l'editor di annotazioni di Ultralytics Platform aiuta i team ad annotare i dataset in modo efficiente e semplifica la preparazione dei dati. Iniziamo!

Annotazione dei dati nella computer vision#

Prima di esplorare gli strumenti di annotazione delle immagini disponibili su Ultralytics Platform, facciamo un passo indietro per capire che cos'è l'annotazione dei dati e perché è importante per la creazione di sistemi di computer vision.

I modelli di computer vision imparano analizzando grandi raccolte di immagini o video, note come dataset. Tuttavia, le sole immagini grezze non forniscono informazioni sufficienti perché un modello capisca cosa deve rilevare o riconoscere. Per rendere i dati utili all'addestramento, è necessario etichettare le immagini affinché il modello impari quali oggetti, forme o schemi individuare.

Durante l'annotazione delle immagini, elementi specifici di un'immagine vengono contrassegnati e associati a etichette che descrivono ciò che il modello deve imparare. Questi esempi etichettati guidano i modelli e gli algoritmi di deep learning durante l'addestramento e li aiutano a riconoscere schemi simili quando elaborano nuove immagini.

Le diverse attività di computer vision richiedono tipi diversi di annotazione delle immagini, a seconda dell'applicazione e del caso d'uso. Per esempio, gli annotatori possono disegnare riquadri di delimitazione attorno agli oggetti per il rilevamento degli oggetti, delineare aree di un'immagine per la segmentazione semantica, definire punti chiave per la stima della posa o assegnare etichette a un'intera immagine per la classificazione.

Gestione e preparazione dei dati#

La preparazione dei dati per i progetti di computer vision comporta spesso l'uso di diversi formati di file e l'organizzazione dei dataset. Include anche la verifica che tutto sia pronto per l'annotazione e l'addestramento degli algoritmi di machine learning. In molti flussi di lavoro, questo processo è suddiviso tra più strumenti: i dati vengono caricati, ripuliti e trasferiti da un sistema all'altro prima di poter essere usati.

Ultralytics Platform semplifica il processo gestendo preparazione dei dati, addestramento dei modelli e distribuzione in un unico ambiente. I team possono caricare immagini, video o archivi di dataset e usufruire di un approccio completamente personalizzabile alla preparazione dei dati, con annotazioni manuali o automatizzate tramite IA. Ultralytics Platform supporta sia i dati grezzi sia formati standard come YOLO e COCO, facilitando l'avvio di nuovi progetti. Offre inoltre l'accesso ai dataset già presenti sulla piattaforma, compresi quelli annotati, che i team possono usare per avviare rapidamente nuovi progetti o esperimenti.

Fig. 2. Carica e gestisci i dataset in un unico ambiente su Ultralytics Platform. (Fonte)

Una volta disponibili, i dati possono essere gestiti direttamente sulla piattaforma. Gli sviluppatori possono esaminare le immagini, monitorare i progressi dell'annotazione e usare le visualizzazioni integrate per comprendere la distribuzione del dataset e individuare eventuali lacune.

La piattaforma supporta anche il versionamento dei dataset, aiutando i team a salvare istantanee dei dati man mano che evolvono. Questo semplifica il monitoraggio delle modifiche, il confronto tra esperimenti e il mantenimento della coerenza durante l'addestramento.

Una volta preparati i dati, i team possono passare all'annotazione delle immagini, che vengono etichettate per aiutare i modelli a imparare cosa rilevare.

Annotazione dei dataset su Ultralytics Platform#

Una volta caricati i dati, il passaggio successivo è l'annotazione. In questa fase si etichettano i dati delle immagini, gettando le basi per l'addestramento dei modelli di computer vision. Ultralytics Platform include servizi integrati di annotazione delle immagini grazie a un editor che consente ai team di etichettare e gestire i dataset direttamente nello stesso ambiente.

L'editor di annotazioni offre uno spazio di lavoro semplice in cui gli utenti possono esaminare le immagini, aggiungere etichette e aggiornare le annotazioni secondo necessità. Tutto è organizzato in un unico posto, per semplificare la coerenza dei dataset e prepararli all'addestramento dei modelli.

I team possono caricare dataset e iniziare a etichettare le immagini direttamente nel browser, definendo e gestendo le classi di annotazione per garantire la coerenza delle etichette nell'intero dataset. Man mano che vengono create, gli utenti possono esaminare visivamente le annotazioni nell'editor, verificandone più facilmente l'accuratezza prima di passare all'addestramento dei modelli.

Strumenti di annotazione delle immagini in Ultralytics Platform#

Ultralytics Platform include anche diverse funzionalità che supportano flussi di lavoro efficienti per l'etichettatura dei dataset e semplificano il processo di annotazione tramite algoritmi avanzati.

Ecco alcune delle principali funzionalità disponibili su Ultralytics Platform:

• Annotazione manuale: questo approccio consente agli utenti di avere pieno controllo e flessibilità nella creazione di annotazioni sulle immagini, come riquadri di delimitazione, aree di segmentazione o punti chiave, direttamente sulle immagini.
• Etichettatura assistita dall'IA: questa funzionalità genera automaticamente annotazioni suggerite, riducendo la necessità di etichettatura manuale. Usa SAM (modello Segment Anything) per rilevare oggetti o aree con un solo clic, semplificando il processo di annotazione e aiutando gli utenti a esaminare e confermare i suggerimenti prima di aggiungerli al dataset.
• Modifica delle annotazioni: in qualsiasi momento, gli utenti possono modificare o perfezionare le annotazioni delle immagini dopo averle create. Questo aiuta a correggere gli errori di etichettatura e a mantenere la coerenza delle etichette del dataset durante tutto il processo di annotazione.
• Gestione delle classi: i team e gli sviluppatori singoli possono definire e organizzare le classi di annotazione utilizzate durante l'etichettatura dei dataset. Questo aiuta a mantenere coerenti le etichette tra le immagini, aspetto importante per addestrare modelli capaci di riconoscere e distinguere accuratamente le classi.

Combinando strumenti manuali, intelligenza artificiale e automazione, Ultralytics Platform aiuta gli utenti ad annotare le immagini in modo più efficiente. Consente inoltre di preparare dati di addestramento di alta qualità per modelli di computer vision scalabili.

Tipi di attività di annotazione supportati#

Casi d'uso diversi, come il controllo qualità dei prodotti, richiedono tipi di annotazione diversi a seconda di ciò che deve essere rilevato nelle immagini o nei video. Come accennato in precedenza, Ultralytics Platform supporta cinque attività di rilevamento degli oggetti, ognuna con il proprio tipo di annotazione.

Vediamo più da vicino le attività di annotazione supportate dalla piattaforma e come possono essere usate per etichettare i dataset.

Rilevamento degli oggetti#

Il rilevamento degli oggetti identifica e localizza gli oggetti all'interno di un'immagine. Gli annotatori contrassegnano ogni oggetto di interesse usando riquadri di delimitazione, indicando dove si trova nell'immagine.

Nell'editor di annotazioni, si usa lo strumento per i riquadri di delimitazione. Gli utenti possono entrare in «modalità modifica», fare clic e trascinare per disegnare un rettangolo attorno a un oggetto, quindi assegnargli un'etichetta di classe dal menu a discesa.

Dopo averli creati, i riquadri di delimitazione possono essere modificati. Gli annotatori possono ridimensionarli trascinando le maniglie degli angoli o dei bordi, spostarli trascinando il centro del riquadro oppure eliminarli con le scorciatoie da tastiera. Queste annotazioni aiutano i modelli di visione artificiale a imparare a rilevare gli oggetti in scene e condizioni diverse.

Fig. 3. Annotazione del rilevamento di oggetti tramite riquadri di delimitazione sulla Ultralytics Platform. (Fonte)

Segmentazione di istanze#

La segmentazione delle istanze fornisce annotazioni più dettagliate definendo la forma esatta degli oggetti in un’immagine. Invece di disegnare un semplice riquadro, gli annotatori tracciano i contorni degli oggetti con annotazioni poligonali per creare maschere precise per le attività di segmentazione delle immagini.

L’editor di annotazione include uno strumento poligonale per questa attività. Gli annotatori posizionano più vertici lungo i bordi di un oggetto per delinearne la forma. Una volta posizionati i vertici, è possibile chiudere il poligono per creare una maschera di segmentazione.

È possibile modificare i vertici dopo aver creato il poligono. Si possono spostare i singoli punti per rifinire i contorni degli oggetti e rimuovere i vertici quando necessario. Queste annotazioni a livello di pixel aiutano i modelli ad apprendere strutture visive dettagliate e a distinguere gli oggetti che si trovano vicini.

Stima della posa#

Le annotazioni per la stima della posa acquisiscono la posizione delle articolazioni del corpo e le relazioni tra di esse. Questo aiuta i modelli a comprendere la struttura e i movimenti di persone o animali in un’immagine.

Con lo strumento per i punti chiave, gli annotatori posizionano punti chiave che rappresentano articolazioni del corpo come spalle, gomiti, polsi, fianchi, ginocchia e caviglie. La piattaforma supporta diversi modelli scheletrici integrati, tra cui il formato per la posa umana COCO a 17 punti e modelli per mani, volti, cani e angoli dei riquadri.

I modelli consentono di posizionare uno scheletro completo con un solo clic, dopodiché è possibile regolare i singoli punti chiave in base alla posa nell’immagine. Ogni punto chiave può includere anche un indicatore di visibilità che specifica se è visibile o occluso.

Fig. 4. Annotazione della stima della posa tramite punti chiave e modelli scheletrici. (Fonte)

Riquadri di delimitazione orientati (OBB)#

I riquadri di delimitazione orientati ampliano le funzionalità dei riquadri tradizionali permettendo di ruotarli. Questo tipo di annotazione è utile quando gli oggetti sono inclinati, anziché allineati alla cornice dell’immagine.

Nell’editor di annotazione, gli annotatori possono utilizzare lo strumento per i riquadri di delimitazione orientati e disegnare rettangoli ruotati intorno agli oggetti. Dopo aver disegnato il riquadro iniziale, è possibile regolarne l’angolo con una maniglia di rotazione e ridimensionarlo con le maniglie agli angoli.

Le annotazioni con riquadri ruotati sono spesso utilizzate nelle immagini aeree, nei dataset per le ispezioni industriali e in altri scenari in cui gli oggetti appaiono in diagonale o da prospettive diverse.

Fig. 5. Annotazione con riquadri di delimitazione orientati (OBB) per oggetti ruotati in immagini aeree. (Fonte)

Classificazione delle immagini#

La classificazione delle immagini assegna un’etichetta all’intera immagine, invece di contrassegnare i singoli oggetti al suo interno.

Per i dataset di classificazione, l’editor di annotazione mette a disposizione un pannello di selezione delle classi. Gli annotatori possono assegnare etichette alle immagini selezionando una classe dalla barra laterale oppure utilizzando le scorciatoie da tastiera per velocizzare l’etichettatura.

Queste etichette a livello di immagine aiutano i modelli ad apprendere schemi visivi di alto livello che rappresentano categorie diverse.

Annotazione assistita dall’IA con SAM#

L’etichettatura delle immagini per attività come la segmentazione spesso richiede un lavoro accurato e dettagliato, soprattutto quando occorre delineare gli oggetti con precisione. Ultralytics Platform include strumenti di annotazione assistita dall’IA che velocizzano il processo e mantengono le annotazioni accurate e facili da verificare.

Per esempio, gli annotatori possono interagire con un’immagine facendo clic sulle parti di un oggetto da includere nell’annotazione. Possono anche contrassegnare le aree da escludere per perfezionare il risultato. Sulla base di questi input, il modello genera una maschera di segmentazione in tempo reale, che può poi essere verificata e modificata prima di essere salvata.

Questo approccio semplifica il lavoro con immagini complesse, senza dover tracciare manualmente ogni dettaglio. Allo stesso tempo, gli annotatori mantengono il controllo sul risultato finale, garantendo la coerenza delle annotazioni in tutto il dataset.

Fig. 6. Segmentazione assistita dall’IA con lo strumento di annotazione Smart nella Ultralytics Platform. (Fonte)

Queste funzionalità sono basate sui modelli Segment Anything (SAM). Questi modelli fanno parte di un ecosistema più ampio di strumenti open source di visione artificiale progettati per generare segmentazioni di alta qualità a partire da input minimi. La piattaforma supporta diverse varianti di SAM, tra cui SAM 2.1 e SAM 3. Questo offre ai team la flessibilità di scegliere tra prestazioni più rapide e risultati più dettagliati in base alle proprie esigenze.

Questi strumenti assistiti dall'IA possono essere applicati ad attività come il rilevamento degli oggetti, la segmentazione delle istanze e il rilevamento di riquadri di delimitazione orientati. In questo modo i team possono elaborare grandi dataset in modo più efficiente, mantenendo al contempo la qualità necessaria per addestrare modelli affidabili. È anche possibile auto-annotare dataset di rilevamento degli oggetti con modelli visione-linguaggio e verificarli prima dell'addestramento.

Migliorare i flussi di lavoro di annotazione con gli strumenti integrati#

Man mano che il lavoro di annotazione procede, è normale tornare sulle etichette per modificarle, correggere eventuali errori o esaminare più attentamente le immagini. L’editor di annotazione di Ultralytics include strumenti integrati che semplificano queste attività quotidiane e richiedono meno tempo.

Tra le funzionalità per i flussi di lavoro disponibili nell’editor trovi:

• Scorciatoie da tastiera: l’editor include scorciatoie che velocizzano le operazioni più comuni, come salvare le annotazioni, annullare o ripristinare le modifiche, eliminare le etichette e selezionare le classi durante l’annotazione.
• Cronologia di annullamento e ripristino: gli annotatori possono annullare o ripristinare facilmente le modifiche apportate durante una sessione di editing. Questo aiuta i team a sperimentare con le annotazioni e a correggere rapidamente gli errori senza perdere i progressi, migliorando il controllo della qualità durante la preparazione dei dataset.
• Modifica flessibile delle annotazioni: è possibile modificare le annotazioni anche dopo averle create. Gli utenti possono ridimensionare le forme, spostare le annotazioni, ruotare i riquadri di delimitazione orientati o aggiornare le etichette delle classi secondo necessità, in particolare quando perfezionano oggetti dalle forme irregolari.
• Controlli di visibilità: l’editor include opzioni per mostrare o nascondere le annotazioni e le etichette delle classi, così da facilitare l’esame delle immagini durante l’etichettatura.
• Strumenti di precisione: funzionalità come lo zoom e un cursore a mirino con coordinate dei pixel aiutano gli annotatori a posizionare le etichette con maggiore precisione quando lavorano su immagini dettagliate.

Gestire le classi di annotazione sulla Ultralytics Platform#

Classi di annotazione chiare e coerenti sono fondamentali per creare dataset affidabili di visione artificiale. Con la crescita dei progetti, gestire l’etichettatura dei dati in dataset di grandi dimensioni può diventare difficile, soprattutto quando sono coinvolti più annotatori. Mantenere le classi ben organizzate aiuta a garantire la coerenza delle annotazioni e permette ai modelli di apprendere da dati strutturati.

Ultralytics Platform semplifica questo processo integrando la gestione delle classi direttamente nell’editor di annotazione. Invece di gestire le etichette separatamente, i team possono creare, aggiornare e verificare le classi mentre lavorano sulle immagini, mantenendo più facilmente la coerenza durante tutto il flusso di lavoro di annotazione.

Nell’editor, tutte le classi sono disponibili in una barra laterale accanto all’area di annotazione. In questo modo è facile selezionare l’etichetta corretta durante l’annotazione e tenere traccia dell’uso delle classi nel dataset. Gli utenti possono cercare le classi esistenti o crearne di nuove secondo necessità, senza interrompere il flusso di lavoro.

È possibile aggiornare i dettagli delle classi in qualsiasi momento. I nomi si possono modificare direttamente e si possono assegnare colori per facilitare l’identificazione delle diverse classi nelle annotazioni. L’editor mostra anche il numero di annotazioni associate a ciascuna classe e permette di esaminarle, aiutando i team a verificarne la coerenza e l’accuratezza.

Tutte le classi sono gestite tramite una tabella centralizzata in cui possono essere ordinate, cercate e aggiornate. Le modifiche apportate vengono applicate automaticamente all’intero dataset, aiutando i team a mantenere la coerenza man mano che i progetti di annotazione crescono.

Fig. 7. La gestione delle classi nell’editor di annotazione mostra l’organizzazione delle etichette e la personalizzazione dei colori. (Fonte)

In che modo la qualità delle annotazioni influisce sulle prestazioni nel mondo reale#

Quando i sistemi di visione artificiale passano dallo sviluppo all’uso nel mondo reale, la qualità dei dati annotati è determinante per le prestazioni dei modelli. I dataset etichettati correttamente aiutano i modelli a produrre previsioni più accurate e coerenti, soprattutto in ambienti dinamici o imprevedibili.

Nella pratica, anche piccole incoerenze nell’annotazione possono influire sul comportamento dei modelli. Le differenze nell’etichettatura degli oggetti o nella gestione dei casi limite potrebbero non essere evidenti durante l’addestramento, ma possono portare a previsioni meno affidabili dopo la distribuzione dei sistemi.

Inoltre, queste incoerenze possono risultare più evidenti nelle applicazioni del mondo reale. Per esempio, nei sistemi di robotica e sanitari, i modelli si basano su input visivi per rilevare oggetti e guidare le azioni in tempo reale. Le variazioni nell’etichettatura possono influire sulla precisione con cui questi sistemi interpretano ciò che li circonda.

Mantenendo pratiche di annotazione coerenti e usando piattaforme come Ultralytics per gestire e perfezionare i dataset nel tempo, i team possono creare modelli più affidabili anche al di fuori degli ambienti di test controllati.

Punti chiave#

L’annotazione di dati di alta qualità è essenziale per addestrare modelli accurati di visione artificiale e portare a termine con successo i progetti di annotazione delle immagini. Ultralytics Platform semplifica questo processo con un potente editor di annotazione che supporta diverse attività di visione artificiale. Combinando gli strumenti di annotazione manuale con l’etichettatura assistita dall’IA tramite SAM e le funzionalità integrate per i flussi di lavoro, i team possono preparare i dataset in modo più efficiente e passare più rapidamente dalla preparazione dei dati allo sviluppo dei modelli.

Unisciti alla nostra community ed esplora il repository GitHub per saperne di più sui modelli di visione artificiale. Scopri le applicazioni come l’IA nel settore automobilistico e la visione artificiale nella robotica nelle nostre pagine dedicate alle soluzioni. Consulta le opzioni di licenza e inizia a creare il tuo modello di IA per la visione.