Come Ultralytics Platform utilizza l'IA per automatizzare l'annotazione

Le soluzioni di computer vision che analizzano immagini e video stanno diventando una parte integrante dei flussi di lavoro in molti settori, dalla produzione alla diagnostica per immagini medica. Nella produzione, ad esempio, il rilevamento di difetti superficiali su prodotti che si muovono lungo un nastro trasportatore dipende da modelli di computer vision in grado di individuare pattern sottili.

Affinché tali modelli funzionino bene, devono essere addestrati su dati etichettati in cui ogni difetto è chiaramente identificato. Ciò consente a questi modelli di imparare cosa cercare e di riconoscere pattern simili.

Il processo di creazione di queste etichette è chiamato annotazione dei dati. In particolare, l'annotazione di immagini e l'annotazione video comportano il disegno di bounding box, la delineazione di forme o l'etichettatura di regioni specifiche all'interno di immagini e fotogrammi video.

Sebbene ciò sia gestibile per piccoli dataset, diventa rapidamente difficile da gestire man mano che i dati crescono. Etichettare migliaia di immagini richiede uno sforzo manuale costante, rendendo l'annotazione un collo di bottiglia significativo. Gli strumenti tradizionali sono spesso lenti, frammentati e difficili da scalare.

Ultralytics Platform, la piattaforma di AI per la visione tutto-in-uno, aiuta a risolvere queste sfide con l'annotazione assistita dall'IA. Utilizzando l'IA per generare automaticamente etichette iniziali che possono essere rapidamente riviste e perfezionate, si riduce lo sforzo manuale e si migliora l'efficienza.

In questo articolo, esploreremo come funziona l'annotazione assistita dall'IA all'interno di Ultralytics Platform e come migliora il processo di etichettatura. Iniziamo!

Link to this sectionUna panoramica del processo di annotazione dei dati#

Prima di immergerci nel funzionamento dell'annotazione basata sull'IA su Ultralytics Platform, diamo prima un'occhiata più da vicino all'annotazione dei dati.

L'annotazione dei dati, nota anche come etichettatura dei dati, è il processo di assegnazione di etichette strutturate ai dati grezzi in modo che possano essere utilizzati per addestrare modelli di machine learning. Nella computer vision, queste etichette definiscono oggetti, regioni o caratteristiche di interesse all'interno di immagini o video.

Durante l'addestramento, i modelli o gli algoritmi imparano a mappare i dati di input a queste etichette, rendendo la qualità dell'annotazione un fattore chiave per le prestazioni del modello. Dataset etichettati in modo accurato e coerente consentono al modello di apprendere i pattern corretti, mentre annotazioni scarse o incoerenti possono portare a previsioni inaffidabili.

Ad esempio, in un caso d'uso di rilevamento difetti, un'immagine di un prodotto su un nastro trasportatore può essere annotata segnando dove appaiono i difetti ed etichettando di che tipo di difetto si tratta. Questo aiuta il modello a imparare che aspetto hanno i difetti, così da poterli identificare in nuove immagini.

Link to this sectionUno sguardo ai compiti di annotazione comuni#

Successivamente, diamo un'occhiata ad alcuni modi comuni in cui le immagini vengono annotate nella computer vision. Questi metodi vengono utilizzati per etichettare dati visivi per attività come object detection, instance segmentation e classificazione delle immagini. Ogni metodo di annotazione svolge una funzione diversa, come individuare oggetti, catturare forme o identificare strutture chiave.

Link to this sectionBBox#

I bounding box sono semplici rettangoli disegnati attorno agli oggetti in un'immagine per mostrare dove si trovano. Sono uno dei modi più comuni per etichettare i dati nella computer vision.

Addestrandosi su immagini con questi box, i modelli di object detection imparano a riconoscere diversi oggetti e a comprenderne la posizione all'interno di un'immagine. Ciò consente loro di rilevare più oggetti contemporaneamente e di identificare dove appare ognuno di essi.

Ad esempio, considera una partita di baseball analizzata utilizzando la computer vision. Si possono disegnare box attorno ai giocatori, alla mazza e alla palla in ogni fotogramma, consentendo al modello di rilevare e identificare questi oggetti durante tutta la partita.

Fig 1. I bounding box possono essere utilizzati per etichettare e localizzare oggetti multipli. (Fonte)

Link to this sectionPoligoni o maschere di segmentazione#

I poligoni, indicati anche come maschere di segmentazione, fanno un passo avanti rispetto ai bounding box etichettando gli oggetti a livello di pixel. Invece di disegnare un rettangolo approssimativo, catturano la forma esatta e i bordi di ogni oggetto in un'immagine. Questo li rende utili per attività che richiedono una comprensione più dettagliata.

Ad esempio, nella guida autonoma, le maschere di segmentazione sono utilizzate in compiti come la semantic segmentation, dove a ogni pixel viene assegnata una categoria come "strada" o "cielo", e la instance segmentation, dove singoli oggetti come veicoli o pedoni vengono identificati separatamente.

Vengono anche utilizzati per attività come la rimozione dello sfondo, dove un oggetto, come una persona, deve essere isolato dal resto dell'immagine.

Link to this sectionKeypoints#

I keypoints vengono utilizzati per segnare punti specifici su un oggetto, come le articolazioni del corpo umano o parti di un animale. Identificando questi punti, i modelli possono comprendere la struttura di un oggetto e come le sue parti sono posizionate l'una rispetto all'altra.

Nella computer vision, questo è noto come pose estimation, dove l'obiettivo è identificare la posizione di questi keypoints e comprendere come si relazionano tra loro. Tracciare questi punti nel tempo rende possibile analizzare il movimento e i cambiamenti di postura.

Fig 2. Le annotazioni keypoint possono essere utilizzate per segnare le articolazioni per la pose estimation umana. (Fonte)

Un esempio comune è segnare le articolazioni del corpo in un video per analizzare il movimento umano. Concentrandosi su questi punti chiave, i modelli possono catturare come una persona è posizionata e come la sua postura cambia nel tempo.

Link to this sectionOriented Bounding Box (OBB)#

Non tutti gli oggetti in un'immagine sono perfettamente allineati. In molti scenari reali, gli oggetti appaiono inclinati, ruotati o visti da angolazioni diverse.

I bounding box standard spesso faticano in questi casi, poiché possono includere sfondi non necessari o non riuscire a corrispondere strettamente all'oggetto. Gli Oriented Bounding Box risolvono questo problema utilizzando rettangoli ruotati che si allineano con la direzione dell'oggetto. Ciò si traduce in annotazioni più precise e aderenti.

Questo approccio viene utilizzato nel rilevamento con oriented bounding box (OBB), in cui i modelli identificano sia la posizione di un oggetto che il suo orientamento. Un esempio è l'immaginario aereo, dove oggetti come edifici, navi o veicoli appaiono spesso ad angolazioni diverse. I box ruotati rendono più facile catturare la loro vera forma e direzione all'interno della scena.

Link to this sectionEtichette di classificazione#

Le etichette di classificazione adottano un approccio diverso rispetto ad altri metodi di annotazione, assegnando un'unica etichetta a un'intera immagine, anziché segnare oggetti o regioni specifici. Vengono utilizzate quando l'obiettivo è identificare cosa è presente in un'immagine, senza concentrarsi su dove appare.

Ad esempio, un'immagine può essere etichettata come "gatto" o "cane" in base al suo contenuto complessivo. Ciò rende la classificazione delle immagini utile per le attività in cui è sufficiente una comprensione di alto livello dell'immagine.

Link to this sectionLimitazioni degli strumenti di annotazione tradizionali#

Molti strumenti di etichettatura tradizionali si basano su passaggi multipli e flussi di lavoro scollegati. I team di sviluppo IA devono spesso passare da una piattaforma di annotazione all'altra per l'etichettatura, l'archiviazione e la validazione, il che rallenta i progetti di IA.

La maggior parte degli strumenti supporta solo un set limitato di tipi di annotazione e di tipi di dati, quindi i team finiscono per utilizzare strumenti diversi per bounding box, segmentazione e keypoints. Questa configurazione frammentata può essere difficile da gestire, specialmente per i team nuovi alla computer vision.

Lo sforzo manuale è un'altra sfida importante. Mentre annotare una singola immagine può richiedere solo pochi minuti, lavorare con grandi dataset diventa rapidamente dispendioso in termini di tempo, specialmente quando immagini simili comportano attività ripetitive.

Man mano che i dataset crescono, i team devono anche gestire file, tracciare le versioni dei dataset e mantenere la coerenza tra le annotazioni. Ciò aumenta il carico di lavoro, con più tempo speso a gestire i dati e meno tempo a migliorare le prestazioni del modello.

Un approccio più efficiente consiste nell'utilizzare l'annotazione assistita dall'IA all'interno di Ultralytics Platform, che utilizza l'IA per generare e perfezionare le etichette, riducendo lo sforzo manuale migliorando al contempo velocità e coerenza, il tutto all'interno di un unico ambiente che riunisce gestione dei dataset, annotazione, addestramento del modello, deployment e monitoraggio.

Link to this sectionCome Ultralytics Platform abilita il processo di annotazione#

Ultralytics Platform semplifica l'annotazione collegandola direttamente al resto del flusso di lavoro di computer vision. Invece di fare affidamento su strumenti separati, i team possono lavorare con dati, annotazioni e modelli in un unico ambiente.

Supporta una gamma di attività di computer vision, tra cui object detection, classificazione delle immagini, instance segmentation, pose estimation e rilevamento con oriented bounding box.

All'interno di questa configurazione, l'annotazione può essere eseguita in vari modi. I team possono etichettare i dati manualmente per un controllo completo, utilizzare l'annotazione intelligente basata su SAM per un'etichettatura interattiva basata su punti, o applicare l'annotazione intelligente basata su YOLO per generare annotazioni automaticamente che possono essere riviste e perfezionate. Questa flessibilità rende più semplice lavorare con diversi dataset e requisiti di annotazione.

Fig 3. Uno sguardo all'annotazione all'interno di Ultralytics Platform (Fonte)

Poiché l'annotazione assistita dall'IA e quella manuale sono integrate con la gestione dei dataset e l'addestramento del modello, i team possono passare senza soluzione di continuità dall'etichettatura dei dati all'organizzazione dei dataset e all'addestramento dei modelli. Questo mantiene i flussi di lavoro strutturati ed elimina la necessità di passare da uno strumento all'altro o riformattare le annotazioni.

La piattaforma supporta anche modelli Ultralytics YOLO come Ultralytics YOLO11 e Ultralytics YOLO26, consentendo di utilizzare i dati annotati direttamente per l'addestramento e il test. Ciò rende più facile identificare le lacune nei dataset, perfezionare le annotazioni e riaddestrare i modelli attraverso iterazioni continue.

Link to this sectionCaratteristiche principali dell'annotazione intelligente SAM su Ultralytics Platform#

L'annotazione intelligente basata su SAM su Ultralytics Platform è progettata per velocizzare l'annotazione per attività di object detection, instance segmentation e oriented bounding box (OBB).

La piattaforma fornisce diverse varianti di modelli SAM, tra cui SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large e SAM 3, offrendo agli utenti la possibilità di scegliere tra velocità e precisione.

Fig 4. Annotazione intelligente basata su SAM su Ultralytics Platform (Fonte)

I modelli più piccoli, come Tiny e Small, sono più veloci e adatti a flussi di lavoro di annotazione rapidi, mentre i modelli più grandi come Large e SAM 3 offrono una maggiore precisione per scene più complesse. Passare da un modello all'altro aggiorna immediatamente il comportamento dell'annotazione.

All'interno dell'editor di annotazione, una volta selezionato un modello SAM, gli annotatori umani possono accedere alla modalità Smart per iniziare l'etichettatura. Invece di disegnare forme manualmente, il modello viene guidato utilizzando semplici input basati su punti.

Un clic sinistro aggiunge un punto positivo per includere una regione, mentre un clic destro aggiunge un punto negativo per escludere aree indesiderate. In base a questi input, il modello genera una maschera precisa in tempo reale.

Per velocizzare il flusso di lavoro, è possibile abilitare la modalità di applicazione automatica. Quando è attiva, ogni clic genera e salva automaticamente un'annotazione senza richiedere la conferma manuale. Per oggetti più complessi, gli annotatori possono tenere premuto "Shift" per posizionare più punti prima che la maschera venga applicata, oppure disabilitare l'applicazione automatica per aggiungere liberamente punti e quindi premere "Invio" per applicare la maschera.

Link to this sectionComprendere l'annotazione intelligente YOLO su Ultralytics Platform#

Simile all'annotazione intelligente basata su SAM, l'annotazione intelligente YOLO su Ultralytics Platform utilizza l'IA per velocizzare il processo di etichettatura. Invece di guidare il modello con i clic, utilizza le previsioni del modello per generare automaticamente annotazioni.

Questo approccio supporta attività come object detection, instance segmentation e annotazione con oriented bounding box (OBB). Funziona specificamente con i modelli Ultralytics YOLO, inclusi i modelli preaddestrati forniti da Ultralytics e i modelli YOLO personalizzati.

All'interno dell'editor di annotazione, gli annotatori possono accedere alla modalità Smart, selezionare un modello YOLO dal selettore di modelli e fare clic su Predict. Il selettore di modelli mostra solo i modelli YOLO che corrispondono all'attività corrente del dataset, garantendo che le annotazioni generate siano compatibili.

Il modello analizza l'immagine e genera annotazioni basate sulle sue previsioni, che vengono poi aggiunte direttamente all'immagine. Se le previsioni si sovrappongono a output di annotazione esistenti della stessa classe, i rilevamenti duplicati vengono automaticamente saltati quando la sovrapposizione supera una soglia impostata, aiutando a mantenere etichette pulite e coerenti.

Fig 5. Annotazione intelligente abilitata dai modelli Ultralytics YOLO su Ultralytics Platform (Fonte)

Una volta generate le previsioni, gli annotatori human-in-the-loop possono rivederle, modificarle o rimuoverle secondo necessità. Ciò rende più semplice etichettare rapidamente grandi dataset iniziando con annotazioni generate dal modello e perfezionandole invece di annotare tutto manualmente.

Nel tempo, i modelli YOLO migliorati possono essere riutilizzati per generare previsioni migliori, supportando un flusso di lavoro di auto-etichettatura iterativo.

Link to this sectionApplicare l'etichettatura assistita dall'IA nei pipeline del mondo reale#

Successivamente, esaminiamo esempi di come la Ultralytics Platform abilita l'annotazione dei dati in casi d'uso reali.

Link to this sectionSegmentazione nella guida autonoma#

I veicoli autonomi integrati con modelli di computer vision si affidano a dati visivi ben annotati per comprendere l'ambiente circostante in tempo reale. I modelli addestrati su questi dati possono rilevare e segmentare veicoli, pedoni, segnali stradali e limiti stradali.

Le attività di segmentazione richiedono confini precisi a livello di pixel, il che rende l'annotazione sia critica che dispendiosa in termini di tempo. Etichettare manualmente grandi volumi di dati dai sensori può diventare rapidamente un collo di bottiglia, specialmente in scene di guida complesse.

Ultralytics Platform semplifica questo processo con l'annotazione assistita dall'IA utilizzando sia modelli SAM che YOLO. L'annotazione intelligente basata su SAM consente una segmentazione rapida basata su clic con maschere precise, mentre i modelli YOLO possono essere utilizzati per generare automaticamente annotazioni tra le immagini.

Insieme, questi approcci rendono più semplice gestire scene complesse con oggetti sovrapposti.

Poiché l'annotazione è collegata direttamente all'addestramento del modello, i dataset aggiornati su larga scala possono essere utilizzati immediatamente per riaddestrare e valutare i modelli. Ciò consente ai team di migliorare continuamente le prestazioni e adattarsi alle nuove condizioni di guida in modo più efficiente.

Link to this sectionMigliorare i sistemi di controllo qualità nella produzione#

Nella produzione, mantenere un controllo qualità costante dipende dal rilevamento accurato dei difetti durante la produzione. I modelli di computer vision vengono spesso utilizzati per identificare i problemi in tempo reale, ma le loro prestazioni dipendono da quanto bene i dati di addestramento riflettono le effettive condizioni di produzione.

I cambiamenti negli ambienti produttivi, come variazioni nelle materie prime, nelle impostazioni delle macchine o nell'illuminazione, possono introdurre nuovi e rari tipi di difetti che non facevano parte dei dati di addestramento originali. Ciò crea un divario tra ciò che il modello ha appreso e ciò che appare sulla linea di produzione.

Per rimanere allineati, i dataset devono essere aggiornati regolarmente con annotazioni interne di alta qualità. Ultralytics Platform rende semplice aggiornare le annotazioni ed espandere i dataset man mano che emergono nuovi pattern di difetti. Questi dataset aggiornati possono poi essere utilizzati per riaddestrare i modelli, aiutando i team ad adattarsi più rapidamente alle mutevoli condizioni di produzione.

Link to this sectionMonitoraggio del sito e sicurezza nelle costruzioni#

I cantieri edili sono ambienti dinamici, con team multipli, attrezzature in movimento e layout in costante cambiamento. Mantenere la sicurezza in queste condizioni dipende da dati visivi chiari e ben annotati.

Annotazioni accurate possono aumentare la qualità dei dati e aiutare i sistemi IA a identificare lavoratori, attrezzature, equipaggiamento di sicurezza e potenziali rischi in una gamma di condizioni del sito, inclusi scene affollate, sfondi mutevoli e illuminazione variabile.

Ultralytics Platform supporta tutto ciò rendendo semplice aggiornare e perfezionare le annotazioni man mano che le condizioni del sito si evolvono. Nuove immagini possono essere catturate e aggiunte al dataset non appena appaiono, mantenendolo allineato con gli scenari del mondo reale.

Link to this sectionPunti chiave#

Un'annotazione di alta qualità è essenziale per costruire modelli di computer vision e IA affidabili, ma i flussi di lavoro tradizionali spesso rallentano i team. Ultralytics Platform semplifica questo processo con strumenti di annotazione automatizzati e un flusso di lavoro scalabile. Di conseguenza, i team possono passare più rapidamente dai dati al modello mantenendo accuratezza e coerenza.

Dai un'occhiata alla nostra crescente community e al repository GitHub per saperne di più sulla computer vision. Se stai cercando di costruire soluzioni di visione, dai un'occhiata alle nostre opzioni di licenza. Esplora le nostre pagine sulle soluzioni per conoscere meglio i vantaggi della computer vision nella produzione e dell'IA nell'assistenza sanitaria.