Ottimizzare l'annotazione delle immagini con Ultralytics Platform

Ultralytics ha recentemente introdotto la Ultralytics Platform, un ambiente creato per supportare l'intero ciclo di vita dello sviluppo della computer vision. La piattaforma centralizza gli strumenti utilizzati per gestire le diverse fasi dei flussi di lavoro di visione AI, tra cui la preparazione dei dataset, l'annotazione di immagini e video, l'addestramento dei modelli e il deployment.

Nonostante la crescente adozione in settori come la guida autonoma e l'assistenza sanitaria, la creazione di soluzioni di computer vision può essere ancora percepita come un processo frammentato. Uno dei motivi principali è che i modelli di computer vision dipendono fortemente dalla qualità dei dati su cui vengono addestrati. Prima ancora che inizi l'addestramento, i dataset devono essere creati, organizzati, revisionati ed etichettati in modo che il modello possa imparare cosa rilevare o riconoscere.

Quando lavori con dati visivi, questo processo è noto come annotazione dei dati o annotazione delle immagini. Durante l'annotazione delle immagini, parti specifiche di un'immagine vengono contrassegnate e assegnate a etichette che guidano il modello durante l'addestramento.

Ad esempio, se l'obiettivo è rilevare cani nelle immagini, gli annotatori potrebbero disegnare dei bounding box attorno a ciascun cane per mostrare dove appaiono. In compiti più dettagliati, potrebbero delineare la forma del cane utilizzando maschere di segmentazione o contrassegnare dei keypoint per catturarne la postura. Questi esempi etichettati influenzano direttamente le prestazioni del modello una volta messo in produzione.

Gestire i flussi di lavoro di annotazione delle immagini su larga scala può essere impegnativo. I dataset di grandi dimensioni spesso richiedono standard di etichettatura coerenti, collaborazione tra più annotatori e strumenti che rendano più semplice la revisione e il perfezionamento delle annotazioni.

La Ultralytics Platform riunisce tutto questo con un annotation editor integrato. Supporta molteplici tipi di attività di annotazione e offre ai team un modo più semplice per etichettare i dati e preparare dataset di computer vision all'interno di un unico flusso di lavoro.

Fig 1. Uno sguardo all'editor di annotazione nella Ultralytics Platform (Source)

In questo articolo, esploreremo come l'editor di annotazione della Ultralytics Platform aiuti i team ad annotare i dataset in modo efficiente e a snellire la preparazione dei dati. Iniziamo!

Link to this sectionL'annotazione dei dati nella computer vision#

Prima di esplorare gli strumenti di annotazione delle immagini disponibili sulla Ultralytics Platform, facciamo un passo indietro per capire cos'è l'annotazione dei dati e perché è importante per costruire sistemi di computer vision.

I modelli di computer vision imparano analizzando grandi raccolte di immagini o video chiamate dataset. Tuttavia, le immagini grezze da sole non forniscono informazioni sufficienti affinché un modello capisca cosa deve rilevare o riconoscere. Per rendere i dati utili all'addestramento, le immagini devono essere etichettate tramite la data labeling in modo che il modello possa imparare quali oggetti, forme o pattern cercare.

Durante l'annotazione delle immagini, elementi specifici all'interno di un'immagine vengono contrassegnati e assegnati a etichette che descrivono ciò che il modello dovrebbe imparare. Questi esempi etichettati guidano i modelli di deep learning e gli algoritmi durante l'addestramento e li aiutano a riconoscere pattern simili quando elaborano nuove immagini.

Diversi compiti di computer vision richiedono diversi tipi di annotazione delle immagini a seconda dell'applicazione e del caso d'uso. Ad esempio, gli annotatori potrebbero disegnare dei bounding box attorno agli oggetti per l'object detection, delineare regioni in un'immagine per la segmentazione semantica, definire dei keypoint per la pose estimation o assegnare etichette a un'intera immagine per la classificazione.

Link to this sectionGestire e preparare i dati#

La preparazione dei dati per progetti di computer vision spesso comporta il lavoro con vari formati di file e l'organizzazione dei dataset. Include anche l'assicurarsi che tutto sia pronto per l'annotazione e l'addestramento degli algoritmi di machine learning. In molti flussi di lavoro, questo processo è distribuito su più strumenti, con dati che vengono caricati, puliti e spostati tra i sistemi prima di poter essere utilizzati.

La Ultralytics Platform semplifica tutto questo gestendo la data preparation, l'addestramento del modello e il deployment all'interno di un unico ambiente. I team possono caricare immagini, video o archivi di dataset e beneficiare di un approccio completamente personalizzabile per preparare i propri dati con annotazioni manuali o automatizzate dall'AI. La Ultralytics Platform supporta sia i dati grezzi che i formati standard come YOLO e COCO, rendendo facile iniziare nuovi progetti. Fornisce inoltre l'accesso ai dataset esistenti sulla piattaforma, inclusi dataset annotati che i team possono utilizzare per iniziare rapidamente nuovi progetti o esperimenti.

Fig 2. Carica e gestisci i dataset in un unico ambiente sulla Ultralytics Platform. (Source)

Una volta che i dati sono disponibili, possono essere gestiti direttamente sulla piattaforma. Gli sviluppatori possono revisionare le immagini, monitorare il progresso dell'annotazione e utilizzare le visualizzazioni integrate per comprendere la distribuzione del dataset e identificare potenziali lacune.

La piattaforma supporta anche il versionamento dei dataset, aiutando i team a catturare snapshot dei propri dati man mano che evolvono. Ciò rende più facile tracciare le modifiche, confrontare gli esperimenti e mantenere la coerenza durante l'addestramento.

Con i dati preparati, i team possono passare all'annotazione delle immagini, dove vengono etichettate per aiutare i modelli a imparare cosa rilevare.

Link to this sectionAnnotazione dei dataset sulla Ultralytics Platform#

Una volta caricati i dati, il passo successivo è l'annotazione. È qui che i dati dell'immagine vengono etichettati, gettando le basi per addestrare poi i modelli di computer vision. La Ultralytics Platform include servizi di annotazione delle immagini integrati tramite un editor di annotazione che consente ai team di etichettare e gestire i dataset direttamente all'interno dello stesso ambiente.

L'editor di annotazione si sviluppa in un'area di lavoro semplice dove puoi revisionare le immagini, aggiungere etichette e aggiornare le annotazioni secondo necessità. Tutto è organizzato in un unico posto, rendendo più semplice mantenere i dataset coerenti e pronti per l'addestramento dei dati.

I team possono caricare dataset e iniziare a etichettare le immagini direttamente nel browser, definendo e gestendo le classi di annotazione per garantire che le etichette rimangano coerenti in tutto il dataset. Man mano che le annotazioni vengono create, puoi revisionarle visivamente nell'editor, rendendo più semplice verificare l'accuratezza prima di passare all'addestramento del modello.

Link to this sectionStrumenti di annotazione delle immagini nella Ultralytics Platform#

La Ultralytics Platform include anche diverse funzionalità che supportano flussi di lavoro di etichettatura dei dataset efficienti, semplificando il processo di annotazione utilizzando algoritmi avanzati.

Ecco alcune delle funzionalità chiave disponibili nella Ultralytics Platform:

• Annotazione manuale: Questo approccio ti consente di avere il controllo completo e flessibilità durante la creazione di annotazioni di immagini, come bounding box, regioni di segmentazione o keypoint, direttamente sulle immagini.
• Etichettatura assistita dall'AI: Questa funzionalità genera automaticamente annotazioni suggerite, riducendo la necessità di etichettatura manuale. Utilizza SAM (Segment Anything Model) per rilevare oggetti o regioni con un solo clic, snellendo il processo di annotazione, aiutandoti a revisionare e confermare i suggerimenti prima di aggiungerli al dataset.
• Modifica delle annotazioni: In qualsiasi momento, puoi modificare o perfezionare le annotazioni delle immagini dopo che sono state create. Questo aiuta a correggere gli errori di etichettatura e a mantenere etichette del dataset coerenti durante tutto il processo di annotazione.
• Gestione delle classi: I team e gli sviluppatori singoli possono definire e organizzare le classi di annotazione utilizzate durante l'etichettatura del dataset. Questo aiuta a mantenere le etichette coerenti tra le immagini, il che è importante per addestrare modelli in grado di riconoscere e differenziare accuratamente le classi.

Combinando strumenti manuali, intelligenza artificiale e automazione, la Ultralytics Platform ti aiuta ad annotare le immagini in modo più efficiente. Consente inoltre la preparazione di dati di addestramento di alta qualità per modelli di computer vision scalabili.

Link to this sectionTipi di attività di annotazione supportati#

Diversi casi d'uso, come il controllo qualità del prodotto, richiederanno diversi tipi di annotazione a seconda di ciò che deve essere rilevato all'interno delle immagini o dei video. Come abbiamo accennato sopra, la Ultralytics Platform supporta cinque attività di object detection, ognuna con il proprio tipo di annotazione.

Diamo un'occhiata più da vicino alle attività di annotazione supportate sulla piattaforma e a come possono essere utilizzate per etichettare i dataset.

Link to this sectionObject detection#

L'object detection identifica e localizza gli oggetti all'interno di un'immagine. Gli annotatori contrassegnano ogni oggetto di interesse utilizzando dei bounding box, indicando dove appaiono gli elementi nell'immagine.

Nell'editor di annotazione, questo si fa utilizzando lo strumento bounding box. Puoi entrare in “modalità modifica”, cliccare e trascinare per disegnare un rettangolo attorno a un oggetto e assegnare un'etichetta di classe da un menu a tendina.

I bounding box possono essere regolati dopo essere stati creati. Gli annotatori possono ridimensionarli trascinando gli angoli o i bordi, spostarli trascinando il centro del box o eliminarli utilizzando scorciatoie da tastiera. Queste annotazioni aiutano i modelli di visione a imparare a rilevare oggetti in scene e condizioni diverse.

Fig 3. Annotazione di object detection utilizzando bounding box nella Ultralytics Platform. (Source)

Link to this sectionInstance segmentation#

L'instance segmentation fornisce annotazioni più dettagliate definendo l'esatta forma degli oggetti all'interno di un'immagine. Invece di disegnare un semplice box, gli annotatori tracciano i confini dell'oggetto utilizzando l'annotazione poligonale per creare maschere precise per le attività di image segmentation.

L'editor di annotazione include uno strumento poligono per questa attività. Gli annotatori posizionano più vertici attorno ai bordi di un oggetto per delinearne la forma. Una volta posizionati i vertici, il poligono può essere chiuso per creare una maschera di segmentazione.

I vertici possono essere regolati dopo che il poligono è stato creato. I singoli punti possono essere spostati per perfezionare i confini dell'oggetto e i vertici possono essere rimossi se necessario. Queste annotazioni a livello di pixel aiutano i modelli a imparare strutture visive dettagliate e a distinguere tra oggetti che appaiono vicini tra loro.

Link to this sectionPose estimation#

Le annotazioni di pose estimation catturano le posizioni delle articolazioni del corpo e le relazioni tra di esse. Questo aiuta i modelli a comprendere la struttura e il movimento di persone o animali in un'immagine.

Utilizzando lo strumento keypoint, gli annotatori posizionano i keypoint che rappresentano le articolazioni del corpo come spalle, gomiti, polsi, fianchi, ginocchia e caviglie. La piattaforma supporta diversi template di scheletri integrati, incluso il formato di posa umana COCO a 17 punti, nonché template per mani, volti, cani e angoli di box.

I template rendono possibile posizionare un layout di scheletro completo con un singolo clic, dopodiché i singoli keypoint possono essere regolati per corrispondere alla posa nell'immagine. Ogni keypoint può includere anche un flag di visibilità per indicare se è visibile o occluso.

Fig 4. Annotazione di pose estimation utilizzando keypoint e template di scheletri. (Source)

Link to this sectionOriented Bounding Boxes (OBB)#

Gli oriented bounding box portano i tradizionali bounding box un passo oltre supportando la rotazione. Questo tipo di annotazione è utile quando gli oggetti appaiono inclinati invece di essere allineati con il frame dell'immagine.

Nell'editor di annotazione, gli annotatori possono utilizzare lo strumento oriented bounding box per disegnare rettangoli ruotati attorno agli oggetti. Dopo aver disegnato il box iniziale, è possibile utilizzare una maniglia di rotazione per regolare l'angolo, mentre le maniglie d'angolo consentono di ridimensionare il box.

Le annotazioni ruotate sono spesso utilizzate nelle immagini aeree, nei dataset di ispezione industriale e in altri scenari in cui gli oggetti appaiono diagonalmente o da punti di vista diversi.

Fig 5. Annotazione oriented bounding box (OBB) per oggetti ruotati in immagini aeree. (Source)

Link to this sectionClassificazione immagini#

L'image classification assegna un'etichetta a un'intera immagine invece di contrassegnare singoli oggetti al suo interno.

Per i dataset di classificazione, l'editor di annotazione fornisce un pannello di selezione della classe. Gli annotatori possono assegnare etichette alle immagini selezionando una classe dalla barra laterale o utilizzando scorciatoie da tastiera per un'etichettatura più rapida.

Queste etichette a livello di immagine aiutano i modelli a imparare pattern visivi di alto livello che rappresentano categorie diverse.

Link to this sectionAnnotazione assistita dall'AI con SAM#

L'etichettatura di immagini per attività come la segmentazione spesso richiede un lavoro attento e dettagliato, specialmente quando gli oggetti devono essere delineati con precisione. La Ultralytics Platform include strumenti di annotazione assistita dall'AI che velocizzano il processo mantenendo le annotazioni accurate e facili da revisionare.

Ad esempio, gli annotatori possono interagire con un'immagine cliccando su parti di un oggetto che vogliono includere nell'annotazione. Possono anche contrassegnare aree che dovrebbero essere escluse per perfezionare il risultato. In base a questi input, il modello genera una maschera di segmentazione in tempo reale, che può poi essere revisionata e regolata prima di essere salvata.

Questo approccio rende più facile lavorare su immagini complesse senza dover tracciare manualmente ogni dettaglio. Allo stesso tempo, gli annotatori mantengono il controllo dell'output finale, garantendo che le annotazioni rimangano coerenti in tutto il dataset.

Fig 6. Segmentazione assistita dall'AI utilizzando lo strumento di annotazione Smart nella Ultralytics Platform. (Source)

Queste funzionalità sono alimentate dai Segment Anything Models (SAM). Questi modelli fanno parte di un ecosistema più ampio di strumenti di computer vision open source progettati per generare segmentazioni di alta qualità a partire da input minimi. La piattaforma supporta diverse varianti SAM, inclusi SAM 2.1 e SAM 3. Ciò offre ai team la flessibilità di scegliere tra prestazioni più veloci e risultati più dettagliati in base alle loro esigenze.

Questi strumenti assistiti dall'AI possono essere applicati a compiti come l'object detection, l'instance segmentation e l'oriented bounding box detection. Ciò significa che i team possono elaborare dataset di grandi dimensioni in modo più efficiente mantenendo la qualità richiesta per un addestramento affidabile del modello.

Link to this sectionMigliorare i flussi di lavoro di annotazione con strumenti integrati#

Man mano che il lavoro di annotazione procede, è comune tornare indietro e regolare le etichette, correggere eventuali errori o revisionare le immagini più da vicino. L'editor di annotazione Ultralytics include strumenti integrati che rendono queste attività quotidiane più facili da gestire e meno dispendiose in termini di tempo.

Alcune delle funzionalità del flusso di lavoro disponibili nell'editor includono:

• Scorciatoie da tastiera: L'editor include scorciatoie che velocizzano le azioni comuni, come salvare le annotazioni, annullare o ripristinare le modifiche, eliminare etichette e selezionare classi durante l'annotazione.
• Cronologia di annulla e ripristina: Gli annotatori possono facilmente invertire o ripristinare le modifiche apportate durante una sessione di modifica. Questo aiuta i team a sperimentare con le annotazioni e a correggere rapidamente gli errori senza perdere i progressi, supportando un migliore controllo qualità durante la preparazione del dataset.
• Modifica flessibile delle annotazioni: Le annotazioni possono essere regolate anche dopo la creazione. Puoi ridimensionare le forme, spostare le annotazioni, ruotare gli oriented bounding box o aggiornare le etichette di classe secondo necessità, specialmente quando perfezioni oggetti con forme irregolari.
• Controlli di visibilità: L'editor include interruttori di visibilità che consentono di mostrare o nascondere annotazioni ed etichette di classe, rendendo più semplice ispezionare le immagini durante l'etichettatura.
• Strumenti di precisione: Funzionalità come lo zoom e un cursore a mirino con coordinate pixel aiutano gli annotatori a posizionare le etichette con maggiore precisione quando si lavora con immagini dettagliate.

Link to this sectionGestione delle classi di annotazione sulla Ultralytics Platform#

Classi di annotazione chiare e coerenti svolgono un ruolo importante nella costruzione di dataset di computer vision affidabili. Man mano che i progetti crescono, gestire l'etichettatura dei dati su dataset di grandi dimensioni può diventare difficile, specialmente quando sono coinvolti più annotatori. Mantenere le classi ben organizzate aiuta a garantire che le annotazioni rimangano coerenti e che i modelli imparino da dati strutturati.

La Ultralytics Platform semplifica questo processo portando la gestione delle classi direttamente nell'editor di annotazione. Invece di gestire le etichette separatamente, i team possono creare, aggiornare e revisionare le classi mentre lavorano sulle immagini, rendendo più semplice rimanere coerenti durante tutto il flusso di lavoro di annotazione.

All'interno dell'editor, tutte le classi sono disponibili in una barra laterale accanto all'area di annotazione. Ciò rende facile selezionare l'etichetta corretta durante l'annotazione e tenere traccia di come le classi vengono utilizzate nel dataset. Puoi cercare le classi esistenti o crearne di nuove secondo necessità, senza interrompere il flusso di lavoro.

I dettagli della classe possono essere aggiornati in qualsiasi momento. I nomi possono essere modificati direttamente e i colori possono essere assegnati per rendere le diverse classi più facili da identificare tra le annotazioni. L'editor mostra anche quante annotazioni sono collegate a ciascuna classe e consente di revisionarle, aiutando i team a verificare coerenza e accuratezza.

Tutte le classi sono gestite tramite una tabella centralizzata dove possono essere ordinate, cercate e aggiornate. Qualsiasi modifica apportata qui viene applicata automaticamente in tutto il dataset, aiutando i team a mantenere la coerenza man mano che i progetti di annotazione si scalano.

Fig 7. La gestione delle classi nell'editor di annotazione mostra l'organizzazione delle etichette e la personalizzazione dei colori. (Source)

Link to this sectionIn che modo la qualità dell'annotazione influisce sulle prestazioni nel mondo reale#

Man mano che i sistemi di computer vision passano dallo sviluppo all'uso nel mondo reale, la qualità dei dati annotati gioca un ruolo chiave nelle prestazioni dei modelli. Dataset ben etichettati aiutano i modelli a produrre previsioni più accurate e coerenti, specialmente in ambienti dinamici o imprevedibili.

In pratica, anche piccole incongruenze nell'annotazione possono influenzare il comportamento del modello. Le differenze nel modo in cui gli oggetti vengono etichettati o nel modo in cui vengono gestiti i casi limite potrebbero non essere evidenti durante l'addestramento, ma possono portare a previsioni meno affidabili una volta che i sistemi sono in produzione.

Oltre a questo, queste incongruenze possono diventare più evidenti nelle applicazioni reali. Ad esempio, nei sistemi robotici e sanitari, i modelli si basano su input visivi per rilevare oggetti e guidare azioni in tempo reale. Le variazioni nell'etichettatura possono influenzare l'accuratezza con cui questi sistemi interpretano ciò che li circonda.

Mantenendo pratiche di annotazione coerenti e utilizzando piattaforme come Ultralytics per gestire e perfezionare i dataset nel tempo, i team possono costruire modelli che funzionano in modo più affidabile al di fuori degli ambienti di test controllati.

Link to this sectionPunti chiave#

L'annotazione dei dati di alta qualità è essenziale per addestrare modelli di computer vision accurati e supportare progetti di annotazione di immagini di successo. La Ultralytics Platform semplifica questo processo con un potente editor di annotazione che supporta molteplici attività di visione. Combinando strumenti di annotazione manuale con l'etichettatura assistita dall'AI utilizzando SAM e funzionalità di flusso di lavoro integrate, i team possono preparare i dataset in modo più efficiente e passare più rapidamente dalla preparazione dei dati allo sviluppo del modello.

Unisciti alla nostra community ed esplora il GitHub repository per saperne di più sui modelli di computer vision. Leggi le applicazioni come AI in automotive e computer vision in robotics sulle nostre pagine delle soluzioni. Dai un'occhiata alle nostre licensing options e inizia a costruire il tuo modello di visione AI.