Semplificare l'annotazione delle immagini con Ultralytics Platform

Ultralytics ha recentemente introdotto Ultralytics Platform, un ambiente progettato per supportare l'intero ciclo di vita dello sviluppo della computer vision. La piattaforma centralizza gli strumenti utilizzati per gestire le varie fasi dei flussi di lavoro dell'AI per la visione, tra cui la preparazione dei dataset, l'annotazione di immagini e video, l'addestramento dei modelli e il deployment.

Nonostante la crescente adozione in settori come la guida autonoma e l'assistenza sanitaria, la creazione di soluzioni di computer vision può ancora essere vista come un processo frammentato. Uno dei motivi principali è che i modelli di computer vision dipendono fortemente dalla qualità dei dati su cui vengono addestrati. Prima ancora di iniziare l'addestramento, i dataset devono essere creati, organizzati, esaminati ed etichettati affinché il modello possa imparare cosa rilevare o riconoscere.

Quando si lavora con dati visivi, questo processo è noto come annotazione dei dati o annotazione delle immagini. Durante l'annotazione delle immagini, parti specifiche di un'immagine vengono contrassegnate e associate a etichette che guidano il modello durante l'addestramento.

Ad esempio, se l'obiettivo è rilevare cani nelle immagini, gli annotatori possono disegnare riquadri di delimitazione attorno a ciascun cane per indicarne la posizione. Per attività più dettagliate, possono delineare la forma del cane utilizzando maschere di segmentazione o contrassegnare punti chiave per catturarne la postura. Questi esempi etichettati influenzano direttamente le prestazioni del modello una volta messo in produzione.

Gestire i flussi di lavoro di annotazione delle immagini su larga scala può essere difficile. I dataset di grandi dimensioni richiedono spesso standard di etichettatura coerenti, collaborazione tra più annotatori e strumenti che facilitino la revisione e il perfezionamento delle annotazioni.

Ultralytics Platform riunisce tutto questo in un editor di annotazioni integrato. Supporta diversi tipi di attività di annotazione e offre ai team un modo più semplice per etichettare i dati e preparare dataset di computer vision all'interno di un unico flusso di lavoro.

Fig. 1. Panoramica dell'editor di annotazioni in Ultralytics Platform (Fonte)

In questo articolo analizzeremo come l'editor di annotazioni di Ultralytics Platform aiuta i team ad annotare i dataset in modo efficiente e semplifica la preparazione dei dati. Iniziamo!

Annotazione dei dati nella computer vision#

Prima di esplorare gli strumenti di annotazione delle immagini disponibili su Ultralytics Platform, facciamo un passo indietro per capire cos'è l'annotazione dei dati e perché è importante nella creazione di sistemi di computer vision.

I modelli di computer vision imparano analizzando grandi raccolte di immagini o video note come dataset. Tuttavia, le sole immagini grezze non forniscono informazioni sufficienti affinché un modello capisca cosa dovrebbe rilevare o riconoscere. Per rendere i dati utili all'addestramento, le immagini devono essere etichettate mediante l'etichettatura dei dati, così il modello può imparare quali oggetti, forme o schemi cercare.

Durante l'annotazione delle immagini, elementi specifici all'interno di un'immagine vengono contrassegnati e associati a etichette che descrivono ciò che il modello deve imparare. Questi esempi etichettati guidano i modelli e gli algoritmi di deep learning durante l'addestramento e li aiutano a riconoscere schemi simili quando elaborano nuove immagini.

Attività diverse di computer vision richiedono tipi diversi di annotazione delle immagini, a seconda dell'applicazione e del caso d'uso. Ad esempio, gli annotatori possono disegnare riquadri di delimitazione attorno agli oggetti per il rilevamento degli oggetti, delineare regioni in un'immagine per la segmentazione semantica, definire punti chiave per la stima della posa o assegnare etichette a un'intera immagine per la classificazione.

Gestione e preparazione dei dati#

La preparazione dei dati per i progetti di computer vision comporta spesso l'utilizzo di vari formati di file e l'organizzazione dei dataset. Include inoltre la verifica che tutto sia pronto per l'annotazione e l'addestramento degli algoritmi di machine learning. In molti flussi di lavoro, questo processo è distribuito su più strumenti: i dati vengono caricati, ripuliti e spostati tra diversi sistemi prima di poter essere utilizzati.

Ultralytics Platform semplifica questo processo gestendo la preparazione dei dati, l'addestramento dei modelli e il deployment all'interno di un unico ambiente. I team possono caricare immagini, video o archivi di dataset e usufruire di un approccio completamente personalizzabile alla preparazione dei dati, con annotazioni manuali o automatizzate dall'AI. Ultralytics Platform supporta sia i dati grezzi sia formati standard come YOLO e COCO, rendendo semplice avviare nuovi progetti. Offre inoltre accesso ai dataset già presenti sulla piattaforma, inclusi dataset annotati che i team possono utilizzare per avviare rapidamente nuovi progetti o esperimenti.

Fig. 2. Carica e gestisci i dataset in un unico ambiente su Ultralytics Platform. (Fonte)

Una volta disponibili, i dati possono essere gestiti direttamente sulla piattaforma. Gli sviluppatori possono esaminare le immagini, monitorare l'avanzamento delle annotazioni e utilizzare le visualizzazioni integrate per comprendere la distribuzione del dataset e individuare potenziali lacune.

La piattaforma supporta anche il versioning dei dataset, aiutando i team a catturare istantanee dei dati mentre si evolvono. Questo facilita il monitoraggio delle modifiche, il confronto degli esperimenti e il mantenimento della coerenza durante l'addestramento.

Con i dati preparati, i team possono passare all'annotazione delle immagini, che vengono etichettate per aiutare i modelli a imparare cosa rilevare.

Annotazione dei dataset su Ultralytics Platform#

Una volta caricati i dati, il passaggio successivo è l'annotazione. È qui che i dati delle immagini vengono etichettati, gettando le basi per l'addestramento dei modelli di computer vision. Ultralytics Platform include servizi integrati di annotazione delle immagini tramite un editor di annotazioni che consente ai team di etichettare e gestire i dataset direttamente nello stesso ambiente.

L'editor di annotazioni si apre in un'area di lavoro semplice, dove gli utenti possono esaminare le immagini, aggiungere etichette e aggiornare le annotazioni secondo necessità. Tutto è organizzato in un unico punto, rendendo più facile mantenere i dataset coerenti e pronti per l'addestramento dei dati.

I team possono caricare i dataset e iniziare a etichettare le immagini direttamente nel browser, definendo e gestendo le classi di annotazione per garantire la coerenza delle etichette nell'intero dataset. Man mano che le annotazioni vengono create, gli utenti possono esaminarle visivamente nell'editor, facilitando il controllo dell'accuratezza prima di passare all'addestramento del modello.

Strumenti di annotazione delle immagini in Ultralytics Platform#

Ultralytics Platform include anche diverse funzionalità che supportano flussi di lavoro efficienti per l'etichettatura dei dataset, semplificando il processo di annotazione mediante algoritmi avanzati.

Ecco alcune delle funzionalità principali disponibili in Ultralytics Platform:

• Annotazione manuale: questo approccio consente agli utenti di avere pieno controllo e flessibilità nella creazione delle annotazioni delle immagini, come riquadri di delimitazione, regioni di segmentazione o punti chiave, direttamente sulle immagini.
• Etichettatura assistita dall'AI: questa funzionalità genera automaticamente annotazioni suggerite, riducendo la necessità di etichettatura manuale. Utilizza SAM (Modello Segment Anything) per rilevare oggetti o regioni con un solo clic, semplificando il processo di annotazione e aiutando gli utenti a esaminare e confermare i suggerimenti prima di aggiungerli al dataset.
• Modifica delle annotazioni: in qualsiasi momento, gli utenti possono modificare o perfezionare le annotazioni delle immagini dopo la loro creazione. Questo aiuta a correggere gli errori di etichettatura e a mantenere coerenti le etichette del dataset durante l'intero processo di annotazione.
• Gestione delle classi: i team e gli sviluppatori singoli possono definire e organizzare le classi di annotazione utilizzate durante l'etichettatura dei dataset. Questo aiuta a mantenere coerenti le etichette tra le immagini, aspetto importante per addestrare modelli in grado di riconoscere e distinguere accuratamente le diverse classi.

Combinando strumenti manuali, intelligenza artificiale e automazione, Ultralytics Platform aiuta gli utenti ad annotare le immagini in modo più efficiente. Consente inoltre di preparare dati di addestramento di alta qualità per modelli di computer vision scalabili.

Tipi di attività di annotazione supportati#

Casi d'uso diversi, come la garanzia della qualità dei prodotti, richiedono tipi diversi di annotazione a seconda di ciò che deve essere rilevato nelle immagini o nei video. Come accennato in precedenza, Ultralytics Platform supporta cinque attività di rilevamento degli oggetti, ciascuna con il proprio tipo di annotazione.

Vediamo più da vicino le attività di annotazione supportate sulla piattaforma e come possono essere utilizzate per etichettare i dataset.

Rilevamento degli oggetti#

Il rilevamento degli oggetti identifica e localizza gli oggetti all'interno di un'immagine. Gli annotatori contrassegnano ogni oggetto di interesse utilizzando riquadri di delimitazione, indicando dove compaiono gli elementi nell'immagine.

Nell'editor di annotazioni, questa operazione viene eseguita utilizzando lo strumento per i riquadri di delimitazione. Gli utenti possono entrare in “modalità di modifica”, fare clic e trascinare per disegnare un rettangolo attorno a un oggetto e assegnare un'etichetta di classe da un menu a discesa.

I riquadri di delimitazione possono essere regolati dopo la loro creazione. Gli annotatori possono ridimensionarli trascinando le maniglie agli angoli o sui bordi, spostarli trascinando il centro del riquadro oppure eliminarli utilizzando le scorciatoie da tastiera. Queste annotazioni aiutano i modelli di visione a imparare a rilevare gli oggetti in scene e condizioni diverse.

Fig. 3. Annotazione del rilevamento degli oggetti tramite riquadri di delimitazione su Ultralytics Platform. (Fonte)

Segmentazione delle istanze#

La segmentazione delle istanze fornisce annotazioni più dettagliate definendo la forma esatta degli oggetti all'interno di un'immagine. Invece di disegnare un semplice riquadro, gli annotatori seguono i contorni dell'oggetto tramite l'annotazione poligonale per creare maschere precise per le attività di segmentazione delle immagini.

L'editor di annotazioni include uno strumento poligono per questa attività. Gli annotatori posizionano più vertici lungo i bordi di un oggetto per delinearne la forma. Una volta posizionati i vertici, il poligono può essere chiuso per creare una maschera di segmentazione.

I vertici possono essere regolati dopo la creazione del poligono. I singoli punti possono essere spostati per perfezionare i contorni degli oggetti e i vertici possono essere rimossi se necessario. Queste annotazioni a livello di pixel aiutano i modelli ad apprendere strutture visive dettagliate e a distinguere tra oggetti vicini tra loro.

Stima della posa#

Le annotazioni per la stima della posa catturano le posizioni delle articolazioni del corpo e le relazioni tra di esse. Questo aiuta i modelli a comprendere la struttura e il movimento delle persone o degli animali in un'immagine.

Utilizzando lo strumento per i punti chiave, gli annotatori posizionano punti chiave che rappresentano articolazioni del corpo come spalle, gomiti, polsi, fianchi, ginocchia e caviglie. La piattaforma supporta diversi modelli di scheletro integrati, incluso il formato della posa umana COCO a 17 punti, oltre a modelli per mani, volti, cani e angoli dei riquadri.

I modelli consentono di posizionare la struttura completa dello scheletro con un solo clic, dopodiché i singoli punti chiave possono essere regolati per adattarsi alla posa nell'immagine. Ogni punto chiave può includere anche un indicatore di visibilità per specificare se è visibile o occluso.

Fig. 4. Annotazione della stima della posa tramite punti chiave e modelli di scheletro. (Fonte)

Riquadri di delimitazione orientati (OBB)#

I riquadri di delimitazione orientati fanno un passo avanti rispetto ai riquadri tradizionali supportando la rotazione. Questo tipo di annotazione è utile quando gli oggetti sono inclinati anziché allineati con il riquadro dell'immagine.

Nell'editor di annotazioni, gli annotatori possono utilizzare lo strumento per i riquadri di delimitazione orientati per disegnare rettangoli ruotati attorno agli oggetti. Dopo aver disegnato il riquadro iniziale, è possibile utilizzare una maniglia di rotazione per regolarne l'angolo, mentre le maniglie agli angoli consentono di ridimensionarlo.

Le annotazioni ruotate vengono spesso utilizzate nelle immagini aeree, nei dataset di ispezione industriale e in altri scenari in cui gli oggetti appaiono in diagonale o da prospettive diverse.

Fig. 5. Annotazione di riquadri di delimitazione orientati (OBB) per oggetti ruotati nelle immagini aeree. (Fonte)

Classificazione delle immagini#

La classificazione delle immagini assegna un'etichetta a un'intera immagine anziché contrassegnare singoli oggetti al suo interno.

Per i dataset di classificazione, l'editor di annotazioni offre un pannello di selezione delle classi. Gli annotatori possono assegnare etichette alle immagini selezionando una classe dalla barra laterale o utilizzando scorciatoie da tastiera per velocizzare l'etichettatura.

Queste etichette a livello di immagine aiutano i modelli ad apprendere schemi visivi di alto livello che rappresentano categorie diverse.

Annotazione assistita dall'AI con SAM#

L'etichettatura delle immagini per attività come la segmentazione richiede spesso un lavoro accurato e dettagliato, soprattutto quando gli oggetti devono essere delineati con precisione. Ultralytics Platform include strumenti di annotazione assistiti dall'AI che velocizzano il processo mantenendo le annotazioni accurate e facili da esaminare.

Ad esempio, gli annotatori possono interagire con un'immagine facendo clic sulle parti di un oggetto che desiderano includere nell'annotazione. Possono anche contrassegnare le aree da escludere per perfezionare il risultato. Sulla base di questi input, il modello genera una maschera di segmentazione in tempo reale, che può quindi essere esaminata e regolata prima di essere salvata.

Questo approccio facilita il lavoro su immagini complesse senza dover tracciare manualmente ogni dettaglio. Allo stesso tempo, gli annotatori mantengono il controllo sull'output finale, garantendo la coerenza delle annotazioni nell'intero dataset.

Fig. 6. Segmentazione assistita dall'AI tramite lo strumento di annotazione intelligente in Ultralytics Platform. (Fonte)

Queste funzionalità sono basate sui Modelli Segment Anything (SAM). Questi modelli fanno parte di un ecosistema più ampio di strumenti open source di computer vision progettati per generare segmentazioni di alta qualità con un input minimo. La piattaforma supporta diverse varianti di SAM, tra cui SAM 2.1 e SAM 3. Questo offre ai team la flessibilità di scegliere tra prestazioni più rapide e risultati più dettagliati in base alle proprie esigenze.

Questi strumenti assistiti dall'AI possono essere applicati ad attività come il rilevamento degli oggetti, la segmentazione delle istanze e il rilevamento tramite riquadri di delimitazione orientati. Ciò consente ai team di elaborare grandi dataset in modo più efficiente, mantenendo al contempo la qualità necessaria per un addestramento affidabile dei modelli.

Migliorare i flussi di lavoro di annotazione con gli strumenti integrati#

Man mano che il lavoro di annotazione procede, è normale tornare indietro e modificare le etichette, correggere eventuali errori o esaminare più attentamente le immagini. L'editor di annotazioni di Ultralytics include strumenti integrati che rendono queste attività quotidiane più semplici e meno dispendiose in termini di tempo.

Tra le funzionalità del flusso di lavoro disponibili nell'editor troviamo:

• Scorciatoie da tastiera: l'editor include scorciatoie che velocizzano le azioni comuni, come salvare le annotazioni, annullare o ripristinare le modifiche, eliminare le etichette e selezionare le classi durante l'annotazione.
• Cronologia di annullamento e ripristino: gli annotatori possono annullare o ripristinare facilmente le modifiche apportate durante una sessione di editing. Questo aiuta i team a sperimentare con le annotazioni e a correggere rapidamente gli errori senza perdere i progressi, favorendo un migliore controllo della qualità durante la preparazione dei dataset.
• Modifica flessibile delle annotazioni: le annotazioni possono essere regolate anche dopo la loro creazione. Gli utenti possono ridimensionare le forme, spostare le annotazioni, ruotare i riquadri di delimitazione orientati o aggiornare le etichette delle classi secondo necessità, soprattutto quando perfezionano oggetti dalle forme irregolari.
• Controlli di visibilità: l'editor include interruttori di visibilità che consentono agli utenti di mostrare o nascondere le annotazioni e le etichette delle classi, facilitando l'ispezione delle immagini durante l'etichettatura.
• Strumenti di precisione: funzionalità come lo zoom e un cursore a mirino con coordinate dei pixel aiutano gli annotatori a posizionare le etichette con maggiore accuratezza quando lavorano con immagini dettagliate.

Gestione delle classi di annotazione su Ultralytics Platform#

Classi di annotazione chiare e coerenti svolgono un ruolo importante nella creazione di dataset affidabili di computer vision. Con la crescita dei progetti, gestire l'etichettatura dei dati su dataset di grandi dimensioni può diventare difficile, soprattutto quando sono coinvolti più annotatori. Mantenere le classi ben organizzate aiuta a garantire la coerenza delle annotazioni e consente ai modelli di apprendere da dati strutturati.

Ultralytics Platform semplifica questo processo integrando la gestione delle classi direttamente nell'editor di annotazioni. Invece di gestire le etichette separatamente, i team possono creare, aggiornare ed esaminare le classi mentre lavorano sulle immagini, facilitando il mantenimento della coerenza durante tutto il flusso di lavoro di annotazione.

Nell'editor, tutte le classi sono disponibili in una barra laterale accanto all'area di annotazione. Questo facilita la selezione dell'etichetta corretta durante l'annotazione e il monitoraggio dell'utilizzo delle classi nell'intero dataset. Gli utenti possono cercare classi esistenti o crearne di nuove secondo necessità, senza interrompere il flusso di lavoro.

I dettagli delle classi possono essere aggiornati in qualsiasi momento. I nomi possono essere modificati direttamente e si possono assegnare colori per facilitare l'identificazione delle diverse classi nelle annotazioni. L'editor mostra anche quante annotazioni sono associate a ciascuna classe e consente agli utenti di esaminarle, aiutando i team a verificarne coerenza e accuratezza.

Tutte le classi vengono gestite tramite una tabella centralizzata in cui possono essere ordinate, cercate e aggiornate. Qualsiasi modifica apportata qui viene applicata automaticamente all'intero dataset, aiutando i team a mantenere la coerenza man mano che i progetti di annotazione crescono.

Fig. 7. La gestione delle classi nell'editor di annotazioni mostra l'organizzazione delle etichette e la personalizzazione dei colori. (Fonte)

Come la qualità delle annotazioni influisce sulle prestazioni nel mondo reale#

Quando i sistemi di computer vision passano dallo sviluppo all'utilizzo nel mondo reale, la qualità dei dati annotati svolge un ruolo fondamentale nelle prestazioni dei modelli. Dataset ben etichettati aiutano i modelli a produrre previsioni più accurate e coerenti, soprattutto in ambienti dinamici o imprevedibili.

Nella pratica, anche piccole incoerenze nell'annotazione possono influire sul comportamento del modello. Differenze nel modo in cui vengono etichettati gli oggetti o gestiti i casi limite possono non essere evidenti durante l'addestramento, ma portare a previsioni meno affidabili una volta implementati i sistemi.

Inoltre, queste incoerenze possono diventare più evidenti nelle applicazioni del mondo reale. Ad esempio, nei sistemi di robotica e assistenza sanitaria, i modelli si affidano agli input visivi per rilevare gli oggetti e guidare le azioni in tempo reale. Le variazioni nell'etichettatura possono influire sulla precisione con cui questi sistemi interpretano l'ambiente circostante.

Mantenendo pratiche di annotazione coerenti e utilizzando piattaforme come Ultralytics per gestire e perfezionare i dataset nel tempo, i team possono creare modelli che funzionano in modo più affidabile oltre gli ambienti di test controllati.

Punti chiave#

Un'annotazione dei dati di alta qualità è essenziale per addestrare modelli di computer vision accurati e sostenere il successo dei progetti di annotazione delle immagini. Ultralytics Platform semplifica questo processo con un potente editor di annotazioni che supporta diverse attività di visione. Combinando strumenti di annotazione manuale con l'etichettatura assistita dall'AI tramite SAM e funzionalità integrate per i flussi di lavoro, i team possono preparare i dataset in modo più efficiente e accelerare il passaggio dalla preparazione dei dati allo sviluppo dei modelli.

Unisciti alla nostra community ed esplora il repository GitHub per saperne di più sui modelli di computer vision. Scopri applicazioni come l'AI nel settore automobilistico e la computer vision nella robotica nelle nostre pagine dedicate alle soluzioni. Consulta le nostre opzioni di licenza e inizia a creare il tuo modello di AI per la visione.