Una guida all'annotazione poligonale con Ultralytics Platform

Le tecnologie di intelligenza artificiale all'avanguardia si stanno diffondendo in un'ampia gamma di settori, dalla guida autonoma all'agricoltura di precisione. Ad esempio, gli allevatori di bovini da latte utilizzano l'intelligenza artificiale e l'analisi delle immagini per rilevare le malattie nei bovini. Problemi di salute come la zoppia possono essere monitorati osservando i cambiamenti nell'andatura e nella postura dell'animale, come una schiena inarcata e movimenti asimmetrici.

Fig. 1. Un esempio di monitoraggio delle mucche tramite intelligenza artificiale e analisi delle immagini.

La visione artificiale, una branca dell'intelligenza artificiale, abilita applicazioni di questo tipo consentendo alle macchine di interpretare e analizzare i dati visivi. In particolare, la segmentazione delle istanze è un'attività di visione artificiale che identifica e segmenta ogni oggetto in un'immagine a livello di pixel, rendendo possibile rilevare e analizzare con precisione i singoli animali.

L'annotazione poligonale svolge un ruolo fondamentale in questo processo. È un metodo di annotazione dei dati utilizzato per tracciare con precisione la forma esatta di un oggetto in un'immagine, posizionando punti lungo i suoi bordi. A differenza delle semplici annotazioni con riquadri di delimitazione, questo approccio segue il contorno reale dell'oggetto, contribuendo a creare dati di addestramento più precisi e consentendo ai modelli di intelligenza artificiale per la visione di comprendere meglio i confini degli oggetti.

Oggi sono disponibili molti strumenti per creare annotazioni poligonali. Tuttavia, queste opzioni possono spesso risultare frammentarie, soprattutto quando offrono un supporto incoerente o limitato per diversi tipi di annotazione, rendendo più difficile gestire esigenze di etichettatura diverse all'interno di un unico flusso di lavoro.

Ultralytics Platform, il nostro nuovo ambiente di lavoro end-to-end per l'intelligenza artificiale applicata alla visione, che colma il divario tra gestione dei dataset, annotazione, addestramento, distribuzione e monitoraggio, risolve questo problema supportando più tipi di annotazione e flussi di lavoro assistiti dall'intelligenza artificiale in un unico ambiente di lavoro integrato, semplificando l'intero processo di annotazione.

In questo articolo esploreremo cosa sono le annotazioni poligonali e come crearle usando Ultralytics Platform. Iniziamo!

Uno sguardo più approfondito all'annotazione poligonale#

Prima di esaminare Ultralytics Platform e le sue funzionalità di annotazione poligonale, facciamo un passo indietro e capiamo che cos'è l'annotazione poligonale.

L'annotazione delle immagini è il processo di aggiunta di etichette ai dati visivi affinché i modelli di intelligenza artificiale possano comprendere ciò che vedono. In genere consiste nell'identificare gli oggetti in un'immagine e contrassegnarli in modo che un modello possa apprendere da essi.

Uno dei metodi più comuni consiste nel disegnare riquadri rettangolari intorno agli oggetti, noti come riquadri di delimitazione. Tuttavia, i riquadri di delimitazione forniscono solo un contorno approssimativo dell'oggetto. L'annotazione poligonale è un approccio più preciso.

Funziona delineando un oggetto (i suoi bordi) punto per punto invece di racchiuderlo in un riquadro. A questo scopo, gli annotatori posizionano più vertici (punti) lungo i bordi dell'oggetto, tracciandone il contorno fino a coprirne l'intera forma.

Questi punti collegati formano un poligono che rispecchia il contorno naturale dell'oggetto. Poiché la forma segue da vicino il confine dell'oggetto, l'annotazione cattura dettagli che i metodi di etichettatura tradizionali spesso non rilevano. Questo è particolarmente utile quando gli oggetti hanno forme irregolari o bordi complessi, come foglie, sagome umane e oggetti sovrapposti.

Questa precisione nei dati aiuta i modelli di machine learning ad apprendere in modo più efficace durante l'addestramento. Quando le annotazioni catturano accuratamente i veri confini di un oggetto, i modelli possono comprenderne meglio i pattern a livello di pixel. Questo porta a prestazioni migliori del modello, soprattutto nelle attività di segmentazione che richiedono elevata accuratezza.

Il ruolo delle annotazioni poligonali nei flussi di lavoro di visione artificiale#

Quindi, come vengono utilizzate concretamente le annotazioni poligonali? Sono strettamente legate ai modelli di intelligenza artificiale per la visione che supportano attività di segmentazione delle immagini come la segmentazione delle istanze.

In molte applicazioni di visione artificiale, è essenziale conoscere l'area esatta occupata da ciascun oggetto in un'immagine o in un fotogramma video. Un buon esempio è il rilevamento dei componenti automobilistici nella produzione. In questo caso, i modelli devono identificare e delineare con precisione componenti come portiere, finestrini e fari, anche quando si sovrappongono o hanno forme complesse.

È qui che entra in gioco la segmentazione delle istanze. Consente ai modelli di rilevare ogni oggetto e mappare i suoi confini esatti a livello di pixel. Questo differisce dal semplice rilevamento degli oggetti, che utilizza riquadri di delimitazione.

Fig. 2. La segmentazione delle istanze può aiutare anche a distinguere le parti danneggiate di un'auto. (Fonte)

I riquadri di delimitazione forniscono solo regioni rettangolari approssimative intorno agli oggetti e spesso includono dello sfondo aggiuntivo, rendendo più difficile catturare forme irregolari o separare elementi sovrapposti.

L'annotazione poligonale svolge un ruolo fondamentale nel consentire questo livello di precisione. Tracciare la forma esatta di ogni oggetto nelle immagini del dataset crea dati di addestramento di alta qualità che riflettono i veri confini degli oggetti. Queste annotazioni dettagliate aiutano modelli come Ultralytics YOLO26 a comprendere meglio la struttura di ciascun componente, producendo risultati di segmentazione più accurati.

Limiti degli strumenti tradizionali di annotazione delle immagini#

Esaminiamo ora i limiti degli strumenti di annotazione tradizionali per capire la necessità di soluzioni più efficienti e scalabili come Ultralytics Platform.

Ecco alcune difficoltà comuni che gli annotatori incontrano quando utilizzano strumenti tradizionali di annotazione poligonale:

• Supporto limitato per i tipi di annotazione: alcuni strumenti si concentrano su una sola tecnica di annotazione, rendendo difficile lavorare con diversi tipi, come poligoni, riquadri di delimitazione e punti chiave, in un unico ambiente.
• Gestione inefficiente delle annotazioni complesse: gli strumenti potrebbero non disporre di funzionalità che facilitano l'annotazione accurata di oggetti complessi con dettagli minuziosi.
• Mancanza di funzionalità assistite dall'intelligenza artificiale: molti strumenti si affidano interamente al lavoro manuale, senza un supporto integrato dell'intelligenza artificiale per velocizzare l'annotazione.
• Gestione frammentata dei dataset: gestire dataset, versioni e annotazioni può essere difficile, soprattutto quando gli strumenti non forniscono un ambiente di lavoro centralizzato.

Ultralytics Platform affronta queste problematiche con funzionalità di annotazione assistita dall'intelligenza artificiale, basate sia sui Modelli Segment Anything (SAM) sia sui modelli YOLO. SAM consente agli utenti di generare maschere di segmentazione di alta qualità a partire da input semplici come i clic, che possono poi essere perfezionate in annotazioni poligonali precise.

Analogamente, l'annotazione intelligente basata su YOLO utilizza modelli YOLO preaddestrati o addestrati su misura per eseguire l'inferenza su un'immagine e aggiungere previsioni, come riquadri di delimitazione, maschere di segmentazione o riquadri di delimitazione orientati, come annotazioni, che possono poi essere esaminate e modificate secondo necessità. Insieme, queste funzionalità rendono il processo di annotazione più rapido, coerente e facile da scalare.

Diversi tipi di annotazione supportati da Ultralytics Platform#

Ultralytics Platform include un editor di annotazioni integrato che consente agli utenti di annotare le immagini direttamente nell'ambiente di lavoro. Questo facilita la creazione e la gestione dei dataset senza dover ricorrere a strumenti separati di etichettatura dei dati, spesso dispendiosi in termini di tempo.

Oltre alle annotazioni poligonali, Ultralytics Platform supporta diversi altri tipi di annotazione. Ecco una breve panoramica:

• Riquadri di delimitazione: gli annotatori possono disegnare semplici riquadri rettangolari intorno agli oggetti, facilitandone l'etichettatura e il rilevamento in un'immagine.
• Punti chiave: questo metodo viene utilizzato per contrassegnare punti specifici, come articolazioni del corpo o punti di riferimento, per attività come la stima della posa.
• Riquadri di delimitazione orientati (OBBs): consentono agli utenti di catturare con maggiore precisione gli oggetti ruotati o inclinati rispetto ai riquadri di delimitazione standard.
• Etichette di classificazione: per attività più semplici, gli utenti possono assegnare etichette a intere immagini invece di contrassegnare singoli oggetti.

Annotazione degli oggetti con poligoni su Ultralytics Platform#

Vediamo ora come creare annotazioni poligonali su Ultralytics Platform, manualmente o con strumenti assistiti dall'intelligenza artificiale.

Creazione manuale di annotazioni poligonali su Ultralytics Platform#

Ecco una breve guida passo passo alla creazione manuale di annotazioni poligonali:

• Passaggio 1 - Vai al tuo dataset: apri il dataset che contiene le immagini da annotare. Qui vengono archiviate e gestite le tue immagini e annotazioni.
• Passaggio 2 - Apri un'immagine: fai clic su un'immagine per aprirla nell'interfaccia di annotazione. Il flusso di lavoro di annotazione dipende dall'attività del dataset. Ad esempio, in un dataset di segmentazione delle istanze, le annotazioni vengono create utilizzando maschere poligonali.
• Passaggio 3 – Inizia a creare una maschera: fai clic sull'immagine per iniziare l'annotazione. Ogni clic aggiunge un vertice lungo il confine dell'oggetto.
• Passaggio 4 – Traccia il contorno dell'oggetto: continua a fare clic lungo i bordi dell'oggetto per definirne la forma.
• Passaggio 5 – Completa il poligono: puoi premere “Enter” oppure fare clic sul primo punto per completare il poligono e assegnare un'etichetta di classe.
• Passaggio 6 – Aggiungi altre annotazioni: ripeti il processo per creare altri poligoni per gli altri oggetti presenti nell'immagine.
• Passaggio 7 – Salva le annotazioni: le annotazioni vengono salvate automaticamente mentre le crei.

Fig. 3. Uno sguardo alla creazione manuale di annotazioni poligonali tramite Ultralytics Platform (Fonte)

Annotazione poligonale intelligente su Ultralytics Platform#

Esaminiamo ora le funzionalità di etichettatura assistita dall'intelligenza artificiale supportate da Ultralytics Platform, che velocizzano il processo di annotazione.

La piattaforma offre due approcci per l'annotazione intelligente: uno basato sui Modelli Segment Anything per la generazione interattiva di annotazioni tramite clic e un altro basato sui modelli YOLO per aggiungere direttamente le previsioni del modello come annotazioni. Entrambi gli approcci possono essere utilizzati per l'annotazione poligonale intelligente.

Annotazione intelligente tramite SAM su Ultralytics Platform#

L'annotazione assistita da SAM su Ultralytics Platform semplifica l'etichettatura manuale utilizzando il Modello Segment Anything (SAM) per generare maschere di segmentazione con un input minimo. Invece di tracciare gli oggetti punto per punto, gli utenti possono interagire con l'immagine usando semplici prompt, come i clic, per indicare cosa includere o escludere.

La piattaforma supporta diversi modelli SAM, tra cui SAM 2.1 e SAM 3, consentendo agli utenti di scegliere tra prestazioni più rapide o maggiore accuratezza in base alle proprie esigenze. In base all'input dell'utente, SAM genera maschere a livello di pixel in tempo reale. Queste maschere possono poi essere perfezionate e utilizzate come annotazioni poligonali, rendendo il processo più rapido, coerente e facile da scalare.

Ecco i passaggi per utilizzare SAM per l'annotazione poligonale in Ultralytics Platform:

• Passaggio 1 – Apri un'immagine: vai al tuo dataset e fai clic su un'immagine per aprire il visualizzatore a schermo intero.
• Passaggio 2 – Accedi alla modalità di annotazione: fai clic su “Edit”, quindi passa alla modalità Smart (oppure premi S) per abilitare SAM.
• Passaggio 3 – Seleziona un modello SAM: scegli un modello SAM dalla barra degli strumenti in base alle tue esigenze di velocità e accuratezza.
• Passaggio 4 – Fornisci i prompt: fai clic con il pulsante sinistro per aggiungere punti positivi (aree da includere) e con il pulsante destro per aggiungere punti negativi (aree da escludere).
• Passaggio 5 – Genera e applica la maschera: SAM predice una maschera di segmentazione in tempo reale. Premi “Enter” (oppure usa l'applicazione automatica) per applicare l'annotazione.
• Passaggio 6 – Perfeziona l'annotazione: aggiungi altri punti o modifica il risultato, se necessario, per migliorarne l'accuratezza prima del salvataggio.

Fig. 4. Annotazione poligonale assistita da SAM in Ultralytics Platform (Fonte)

Annotazione intelligente tramite YOLO su Ultralytics Platform#

L'annotazione intelligente basata su YOLO su Ultralytics Platform accelera l'etichettatura utilizzando modelli Ultralytics YOLO preaddestrati o modelli YOLO sottoposti a fine-tuning per generare previsioni su un'immagine e aggiungerle come annotazioni. Queste previsioni possono includere riquadri di delimitazione, maschere di segmentazione o riquadri di delimitazione orientati, a seconda dell'attività del dataset.

Gli utenti possono quindi esaminare e perfezionare queste annotazioni secondo necessità. Ecco una panoramica dei passaggi necessari per utilizzare l'annotazione intelligente basata su YOLO su Ultralytics Platform:

• Passaggio 1 – Apri un'immagine: vai al tuo dataset e seleziona un'immagine per aprirla nel visualizzatore a schermo intero.
• Passaggio 2 – Accedi alla modalità di annotazione: fai clic su “Edit”, quindi passa alla modalità Smart (oppure premi S).
• Passaggio 3 – Seleziona un modello YOLO: scegli un modello YOLO dal selettore dei modelli nella barra degli strumenti.
• Passaggio 4 – Esegui la previsione: fai clic su “Predict” per consentire al modello di generare automaticamente le annotazioni.
• Passaggio 5 – Esamina le annotazioni: controlla i riquadri di delimitazione, le maschere di segmentazione o gli OBB previsti aggiunti all'immagine.
• Passaggio 6 – Perfeziona e salva: modifica, regola o rimuovi le annotazioni errate secondo necessità, quindi salva le etichette finali.

Fig. 5. Uno sguardo all'utilizzo dell'annotazione intelligente YOLO (Fonte)

Casi d'uso reali dell'annotazione poligonale#

L'annotazione poligonale sta producendo un impatto concreto in diversi settori, dal controllo qualità nella produzione all'agricoltura e alla sanità. Esploriamo alcune applicazioni chiave nel mondo reale.

Identificazione delle infestazioni tramite la visione artificiale#

In agricoltura, monitorare la salute delle colture è fondamentale per migliorare la resa e ridurre le perdite. Rilevare le aree infestate da parassiti sulle foglie delle colture può essere complicato, poiché queste regioni hanno spesso forme irregolari e confini poco definiti.

Questo tipo di problema può essere affrontato utilizzando tecniche di segmentazione delle immagini come la segmentazione semantica, che assegna un'etichetta a tutti i pixel appartenenti a una classe (come le aree infette), o la segmentazione delle istanze, che separa i contorni degli oggetti in modo più preciso.

Con Ultralytics Platform, gli utenti possono utilizzare l'annotazione poligonale per tracciare la forma esatta di queste aree infette. Questo contribuisce a creare dataset più accurati e facilita il rilevamento di pattern sottili negli ambienti agricoli da parte degli algoritmi di intelligenza artificiale per la visione.

Di conseguenza, i team possono creare dati di addestramento migliori, che aiutano i modelli a identificare esattamente dove sono presenti le infestazioni. Questo è più efficace rispetto all'utilizzo di riquadri di delimitazione, che possono includere parti non colpite della foglia.

Analisi delle immagini mediche basata sulla segmentazione delle istanze#

Analogamente al rilevamento dei parassiti in agricoltura, anche piccole differenze nei confini possono influire sull'analisi di malattie come il cancro nelle immagini mediche. Questo è particolarmente importante per identificare anomalie cliniche come i tumori nelle scansioni TC.

I metodi di annotazione tradizionali possono non rilevare i bordi più fini o includere i tessuti circostanti, riducendo l'accuratezza. Con Ultralytics Platform, i team possono utilizzare l'annotazione poligonale per tracciare con precisione queste regioni nei dati di addestramento, aiutando i modelli a produrre una segmentazione dei tumori più accurata e affidabile.

Punti chiave#

L'annotazione poligonale è fondamentale quando i modelli devono comprendere con elevata precisione la forma degli oggetti nelle immagini. Aiuta a rappresentare le forme complesse in modo più accurato, soprattutto quando si utilizza Ultralytics Platform. Combinando precisione e strumenti potenti, i team possono creare modelli di intelligenza artificiale più affidabili e performanti.

Vuoi portare l'intelligenza artificiale per la visione nei tuoi progetti? Unisciti alla nostra community e scopri l'intelligenza artificiale nel settore automobilistico e l'intelligenza artificiale per la visione nella robotica. Esplora il nostro repository GitHub per saperne di più. Consulta le nostre opzioni di licenza per iniziare oggi stesso!