Come Ultralytics Platform usa l'IA per automatizzare l'annotazione

Le soluzioni di computer vision che analizzano immagini e video stanno diventando parte integrante dei flussi di lavoro in molti settori, dalla produzione industriale alla diagnostica per immagini. Nel settore manifatturiero, ad esempio, per rilevare i difetti superficiali sui prodotti che scorrono lungo un nastro trasportatore servono modelli di computer vision capaci di individuare schemi sottili.

Per funzionare bene, questi modelli devono essere addestrati su dati etichettati, in cui ogni difetto è identificato chiaramente. Questo permette ai modelli di imparare cosa cercare e di riconoscere schemi simili.

Il processo di creazione di queste etichette si chiama annotazione dei dati. In particolare, l'annotazione delle immagini e l'annotazione dei video comportano il disegno di riquadri di delimitazione, il tracciamento dei contorni o l'etichettatura di aree specifiche all'interno di immagini e fotogrammi video.

Questa attività è gestibile con dataset di piccole dimensioni, ma diventa rapidamente più difficile man mano che i dati aumentano. Etichettare migliaia di immagini richiede un impegno manuale costante, trasformando l'annotazione in un importante collo di bottiglia. Gli strumenti tradizionali sono spesso lenti, frammentati e difficili da scalare.

Ultralytics Platform, la piattaforma completa per l'IA nella visione artificiale, aiuta a risolvere queste difficoltà grazie all'annotazione assistita dall'IA. Generando automaticamente etichette iniziali che puoi rivedere e perfezionare rapidamente, l'IA riduce il lavoro manuale e migliora l'efficienza.

In questo articolo vedremo come funziona l'annotazione assistita dall'IA in Ultralytics Platform e come migliora il processo di etichettatura. Iniziamo!

Panoramica sul processo di annotazione dei dati#

Prima di approfondire il funzionamento dell'annotazione basata sull'IA su Ultralytics Platform, esaminiamo più da vicino l'annotazione dei dati.

L'annotazione dei dati, detta anche etichettatura dei dati, consiste nell'assegnare etichette strutturate ai dati grezzi affinché possano essere usati per addestrare modelli di machine learning. Nella computer vision, queste etichette definiscono gli oggetti, le aree o le caratteristiche di interesse presenti in immagini o video.

Durante l'addestramento, i modelli o gli algoritmi imparano ad associare i dati di input a queste etichette, rendendo la qualità delle annotazioni un fattore determinante per le prestazioni del modello. Dataset etichettati in modo accurato e coerente permettono al modello di apprendere schemi corretti, mentre annotazioni scadenti o incoerenti possono portare a previsioni inaffidabili.

Ad esempio, nel rilevamento dei difetti, un'immagine di un prodotto su un nastro trasportatore può essere annotata indicando la posizione dei difetti e specificandone il tipo. Questo aiuta il modello a imparare che aspetto hanno i difetti, così da poterli identificare in nuove immagini.

Panoramica sulle attività di annotazione più comuni#

Vediamo ora alcuni metodi comuni per annotare le immagini nella computer vision. Questi metodi servono a etichettare i dati visivi per attività come il rilevamento degli oggetti, la segmentazione delle istanze e la classificazione delle immagini. Ogni metodo di annotazione ha una funzione diversa: individuare gli oggetti, descriverne la forma o identificare strutture chiave.

Riquadri di delimitazione#

I riquadri di delimitazione sono semplici rettangoli disegnati intorno agli oggetti in un'immagine per indicarne la posizione. Sono uno dei metodi più comuni per etichettare i dati nella computer vision.

Addestrandosi su immagini con questi riquadri, i modelli di rilevamento degli oggetti imparano a riconoscere oggetti diversi e a individuarne la posizione nell'immagine. In questo modo possono rilevare più oggetti contemporaneamente e identificare la posizione di ciascuno.

Ad esempio, considera una partita di baseball analizzata con la computer vision. In ogni fotogramma si possono disegnare riquadri intorno ai giocatori, alla mazza e alla palla, permettendo al modello di rilevare e identificare questi oggetti durante tutta la partita.

Fig. 1. I riquadri di delimitazione possono essere usati per etichettare e localizzare più oggetti. (Fonte)

Poligoni o maschere di segmentazione#

I poligoni, detti anche maschere di segmentazione, vanno oltre i riquadri di delimitazione perché etichettano gli oggetti a livello di pixel. Invece di tracciare un rettangolo approssimativo, ne rappresentano con precisione la forma e i bordi nell'immagine. Sono quindi utili per attività che richiedono una comprensione più dettagliata.

Ad esempio, nella guida autonoma, le maschere di segmentazione vengono usate in attività come la segmentazione semantica, in cui a ogni pixel viene assegnata una categoria, come strada o cielo, e la segmentazione delle istanze, in cui singoli oggetti, come veicoli o pedoni, vengono identificati separatamente.

Si usano anche per attività come la rimozione dello sfondo, quando è necessario isolare un oggetto, ad esempio una persona, dal resto dell'immagine.

Punti chiave#

I punti chiave servono a contrassegnare punti specifici di un oggetto, come le articolazioni del corpo umano o parti di un animale. Identificando questi punti, i modelli possono comprendere la struttura di un oggetto e la posizione reciproca delle sue parti.

Nella visione artificiale, questa attività è nota come stima della posa e consiste nell'identificare la posizione dei punti chiave e capire come sono correlati tra loro. Il monitoraggio di questi punti nel tempo consente di analizzare i movimenti e i cambiamenti di postura.

Fig. 2. Le annotazioni dei punti chiave possono essere usate per contrassegnare le articolazioni nella stima della posa umana. (Fonte)

Un esempio comune consiste nel contrassegnare le articolazioni del corpo in un video per analizzare i movimenti umani. Concentrandosi su questi punti chiave, i modelli possono acquisire la posizione di una persona e il modo in cui la sua postura cambia nel tempo.

Riquadri di delimitazione orientati (OBB)#

Non tutti gli oggetti in un'immagine sono perfettamente allineati. In molti scenari reali, gli oggetti appaiono inclinati, ruotati o ripresi da angolazioni diverse.

In questi casi, i riquadri di delimitazione standard spesso presentano difficoltà, perché possono includere porzioni di sfondo superflue o non aderire bene all'oggetto. I riquadri di delimitazione orientati risolvono il problema usando rettangoli ruotati che seguono la direzione dell'oggetto. Il risultato sono annotazioni più precise e aderenti.

Questo approccio viene usato nel rilevamento con riquadri di delimitazione orientati (OBB), in cui i modelli identificano sia la posizione di un oggetto sia il suo orientamento. Un esempio è costituito dalle immagini aeree, nelle quali oggetti come edifici, navi o veicoli compaiono spesso con angolazioni diverse. I riquadri ruotati semplificano l'acquisizione della forma reale e della direzione degli oggetti nella scena.

Etichette di classificazione#

Le etichette di classificazione si differenziano dagli altri metodi di annotazione perché assegnano un'unica etichetta all'intera immagine, anziché contrassegnare oggetti o aree specifici. Si usano quando l'obiettivo è identificare ciò che è presente in un'immagine, senza concentrarsi sulla sua posizione.

Ad esempio, un'immagine può essere etichettata come «gatto» o «cane» in base al suo contenuto complessivo. La classificazione delle immagini è quindi utile per le attività in cui è sufficiente una comprensione generale dell'immagine.

Limiti degli strumenti di annotazione tradizionali#

Molti strumenti di etichettatura tradizionali si basano su più passaggi e flussi di lavoro non integrati. I team di sviluppo dell'AI devono spesso passare da una piattaforma all'altra per l'etichettatura, l'archiviazione e la convalida, rallentando i progetti di AI.

La maggior parte degli strumenti supporta solo un insieme limitato di tipi di annotazione e di dati, quindi i team finiscono per usare strumenti diversi per i riquadri di delimitazione, la segmentazione e i punti chiave. Questa configurazione frammentata può essere difficile da gestire, soprattutto per i team che si avvicinano per la prima volta alla visione artificiale.

Un'altra sfida importante è il lavoro manuale. Annotare una singola immagine può richiedere solo pochi minuti, ma lavorare con grandi dataset diventa rapidamente dispendioso in termini di tempo, soprattutto quando immagini simili comportano attività ripetitive.

Man mano che i dataset crescono, i team devono anche gestire i file, tenere traccia delle versioni dei dataset e mantenere la coerenza tra le annotazioni. Questo aumenta il carico di lavoro: si dedica più tempo alla gestione dei dati e meno al miglioramento delle prestazioni dei modelli.

Un approccio più efficiente consiste nell'usare l'annotazione assistita dall'AI nella Ultralytics Platform, che sfrutta l'AI per generare e perfezionare le etichette, riducendo il lavoro manuale e migliorando velocità e coerenza, tutto in un unico ambiente che integra gestione dei dataset, annotazione, addestramento dei modelli, deployment e monitoraggio.

Come Ultralytics Platform agevola il processo di annotazione#

Ultralytics Platform semplifica l'annotazione collegandola direttamente al resto del flusso di lavoro della visione artificiale. Invece di affidarsi a strumenti separati, i team possono lavorare con i dati, le annotazioni e i modelli in un unico ambiente.

Supporta diverse attività di visione artificiale, tra cui il rilevamento degli oggetti, la classificazione delle immagini, la segmentazione delle istanze, la stima della posa e il rilevamento con riquadri di delimitazione orientati.

In questa configurazione, l'annotazione può essere eseguita in diversi modi. I team possono etichettare i dati manualmente per avere il pieno controllo, usare l'annotazione intelligente basata su SAM per un'etichettatura interattiva basata su punti oppure applicare l'annotazione intelligente basata su YOLO per generare automaticamente annotazioni da esaminare e perfezionare. Questa flessibilità facilita il lavoro con dataset e requisiti di annotazione diversi.

Fig. 3. Uno sguardo all'annotazione in Ultralytics Platform (Fonte)

Poiché l'annotazione assistita dall'AI e quella manuale sono integrate con la gestione dei dataset e l'addestramento dei modelli, i team possono passare senza interruzioni dall'etichettatura dei dati all'organizzazione dei dataset e all'addestramento dei modelli. In questo modo, i flussi di lavoro rimangono strutturati e non è necessario passare da uno strumento all'altro o riformattare le annotazioni.

La piattaforma supporta anche i modelli Ultralytics YOLO, come Ultralytics YOLO11 e Ultralytics YOLO26, consentendo di usare direttamente i dati annotati per l'addestramento e il test. Questo semplifica l'individuazione delle lacune nei dataset, il perfezionamento delle annotazioni e il nuovo addestramento dei modelli attraverso iterazioni continue.

Funzionalità principali dell'annotazione intelligente SAM in Ultralytics Platform#

L'annotazione intelligente basata su SAM in Ultralytics Platform è progettata per velocizzare l'annotazione nelle attività di rilevamento degli oggetti, segmentazione delle istanze e riquadri di delimitazione orientati (OBB).

La piattaforma offre diverse varianti del modello SAM, tra cui SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large e SAM 3, permettendo agli utenti di scegliere tra velocità e accuratezza.

Fig. 4. Annotazione intelligente basata su SAM in Ultralytics Platform (Fonte)

I modelli più piccoli, come Tiny e Small, sono più veloci e adatti ai flussi di lavoro di annotazione rapida, mentre i modelli più grandi, come Large e SAM 3, offrono una maggiore accuratezza nelle scene più complesse. Il comportamento dell'annotazione si aggiorna immediatamente quando si passa da un modello all'altro.

Nell'editor di annotazione, dopo aver selezionato un modello SAM, gli annotatori possono attivare la modalità Smart per iniziare a etichettare. Invece di disegnare le forme manualmente, guidano il modello con semplici input basati su punti.

Un clic con il pulsante sinistro aggiunge un punto positivo per includere un'area, mentre un clic con il pulsante destro aggiunge un punto negativo per escludere le aree indesiderate. Sulla base di questi input, il modello genera una maschera precisa in tempo reale.

Per velocizzare il flusso di lavoro, è possibile attivare la modalità di applicazione automatica. Quando è attiva, ogni clic genera e salva automaticamente un'annotazione senza richiedere una conferma manuale. Per gli oggetti più complessi, gli annotatori possono tenere premuto "Shift" per posizionare più punti prima di applicare la maschera oppure disattivare l'applicazione automatica per aggiungere liberamente punti e poi premere "Enter" per applicare la maschera.

Panoramica dell'annotazione intelligente YOLO in Ultralytics Platform#

Come l'annotazione intelligente basata su SAM, anche quella basata su YOLO in Ultralytics Platform sfrutta l'AI per velocizzare il processo di etichettatura. Invece di guidare il modello con clic, usa le previsioni del modello per generare automaticamente le annotazioni.

Questo approccio supporta attività come il rilevamento degli oggetti, la segmentazione delle istanze e l'annotazione con riquadri di delimitazione orientati (OBB). Funziona specificamente con i modelli Ultralytics YOLO, compresi i modelli preaddestrati forniti da Ultralytics e i modelli YOLO addestrati su misura.

Nell'editor di annotazione, gli annotatori possono attivare la modalità Smart, selezionare un modello YOLO dal selettore dei modelli e fare clic su Predict. Il selettore mostra solo i modelli YOLO compatibili con l'attività del dataset corrente, garantendo la compatibilità delle annotazioni generate.

Il modello analizza l'immagine e genera annotazioni in base alle proprie previsioni, che vengono poi aggiunte direttamente all'immagine. Se le previsioni si sovrappongono ad annotazioni esistenti della stessa classe, i rilevamenti duplicati vengono ignorati automaticamente quando la sovrapposizione supera una soglia prestabilita, contribuendo a mantenere etichette pulite e coerenti.

Fig. 5. Annotazione intelligente attivata dai modelli Ultralytics YOLO in Ultralytics Platform (Fonte)

Dopo la generazione delle previsioni, gli annotatori con supervisione umana possono esaminarle, modificarle o rimuoverle secondo necessità. In questo modo, è più facile etichettare rapidamente grandi dataset: si parte dalle annotazioni generate dal modello e le si perfeziona, invece di annotare tutto manualmente.

Nel tempo, è possibile riutilizzare modelli YOLO migliorati per generare previsioni migliori, supportando un flusso di lavoro iterativo di etichettatura automatica.

Applicazione dell'etichettatura assistita dall'AI nei flussi di lavoro reali#

Vediamo alcuni esempi di come Ultralytics Platform consente di annotare i dati in casi d'uso reali.

Segmentazione nella guida autonoma#

I veicoli autonomi che integrano modelli di visione artificiale si basano su dati visivi annotati accuratamente per comprendere ciò che li circonda in tempo reale. I modelli addestrati su questi dati possono rilevare e segmentare veicoli, pedoni, segnali stradali e margini della carreggiata.

Le attività di segmentazione richiedono contorni precisi a livello di pixel, il che rende l'annotazione fondamentale e dispendiosa in termini di tempo. L'etichettatura manuale di grandi quantità di dati provenienti dai sensori può diventare rapidamente un collo di bottiglia, soprattutto nelle scene di guida complesse.

Ultralytics Platform semplifica questo processo con l'annotazione assistita dall'AI, che usa sia i modelli SAM sia quelli YOLO. L'annotazione intelligente basata su SAM consente una segmentazione rapida tramite clic e con maschere precise, mentre i modelli YOLO possono generare automaticamente annotazioni nelle immagini.

Insieme, questi approcci semplificano la gestione di scene complesse con oggetti sovrapposti.

Poiché l'annotazione è direttamente collegata all'addestramento dei modelli, i dataset aggiornati e su larga scala possono essere usati subito per riaddestrare e valutare i modelli. In questo modo, i team possono migliorare continuamente le prestazioni e adattarsi più efficacemente alle nuove condizioni di guida.

Migliorare i sistemi di garanzia della qualità nella produzione#

Nella produzione, mantenere un controllo qualità coerente dipende dal rilevamento accurato dei difetti durante il processo produttivo. I modelli di visione artificiale vengono spesso usati per identificare i problemi in tempo reale, ma le loro prestazioni dipendono da quanto i dati di addestramento rispecchiano le condizioni di produzione effettive.

I cambiamenti negli ambienti di produzione, come le variazioni delle materie prime, delle impostazioni dei macchinari o dell'illuminazione, possono introdurre tipologie di difetti nuove e rare, assenti dai dati di addestramento originali. Si crea così una discrepanza tra ciò che il modello ha appreso e ciò che compare sulla linea di produzione.

Per restare al passo, è necessario aggiornare regolarmente i dataset con annotazioni interne di alta qualità. Ultralytics Platform semplifica l'aggiornamento delle annotazioni e l'ampliamento dei dataset quando emergono nuovi schemi di difetti. Questi dataset aggiornati possono poi essere usati per riaddestrare i modelli, aiutando i team ad adattarsi più rapidamente alle mutevoli condizioni di produzione.

Monitoraggio del sito e sicurezza nei cantieri edili#

I cantieri edili sono ambienti dinamici, con più squadre, attrezzature in movimento e configurazioni in continuo cambiamento. Mantenere la sicurezza in queste condizioni dipende da dati visivi chiari e ben annotati.

Annotazioni accurate possono migliorare la qualità dei dati e aiutare i sistemi di AI a identificare lavoratori, attrezzature, dispositivi di protezione e potenziali rischi in una vasta gamma di condizioni del cantiere, tra cui scene affollate, sfondi variabili e illuminazione mutevole.

Ultralytics Platform supporta questo processo semplificando l'aggiornamento e il perfezionamento delle annotazioni man mano che cambiano le condizioni del cantiere. È possibile acquisire nuove immagini e aggiungerle al dataset man mano che diventano disponibili, mantenendolo allineato agli scenari reali.

Punti chiave#

Le annotazioni di alta qualità sono fondamentali per realizzare modelli affidabili di visione artificiale e AI, ma i flussi di lavoro tradizionali spesso rallentano i team. Ultralytics Platform semplifica questo processo con strumenti di annotazione automatizzata e un flusso di lavoro scalabile. Di conseguenza, i team possono passare più rapidamente dai dati ai modelli mantenendo accuratezza e coerenza.

Visita la nostra community in continua crescita e il nostro repository GitHub per saperne di più sulla visione artificiale. Se vuoi realizzare soluzioni di visione, dai un'occhiata alle nostre opzioni di licenza. Esplora le nostre pagine dedicate alle soluzioni per scoprire i vantaggi della visione artificiale nella produzione e dell'AI in ambito sanitario.