Una guida all'annotazione poligonale con Ultralytics Platform

Le tecnologie AI all'avanguardia si stanno facendo strada in una vasta gamma di settori, dalla guida autonoma all'agricoltura di precisione. Ad esempio, gli allevatori di bestiame utilizzano l'AI e l'analisi delle immagini per rilevare malattie nel bestiame. Problemi di salute come la zoppia possono essere monitorati osservando i cambiamenti nell'andatura e nella postura di un animale, come la schiena arcuata e il movimento asimmetrico.

Fig 1. Un esempio di monitoraggio delle mucche tramite AI e analisi delle immagini.

La computer vision, una branca dell'intelligenza artificiale, abilita tali applicazioni consentendo alle macchine di interpretare e analizzare dati visivi. Nello specifico, la instance segmentation è un compito di computer vision che identifica e segmenta ogni oggetto in un'immagine a livello di pixel, rendendo possibile rilevare e analizzare con precisione i singoli animali.

L'annotazione poligonale gioca un ruolo chiave in questo processo. È un metodo di annotazione dei dati utilizzato per tracciare accuratamente la forma esatta di un oggetto in un'immagine posizionando punti lungo i suoi bordi. A differenza delle semplici annotazioni di bounding box, questo approccio segue il vero contorno dell'oggetto, aiutando a creare dati di addestramento più precisi e consentendo ai modelli di vision AI di comprendere meglio i confini degli oggetti.

Oggi ci sono molti strumenti disponibili per creare annotazioni poligonali. Tuttavia, queste opzioni possono spesso sembrare frammentate, specialmente quando offrono un supporto incoerente o limitato per diversi tipi di annotazioni, rendendo più difficile gestire diverse esigenze di etichettatura all'interno di un unico flusso di lavoro.

La Ultralytics Platform, il nostro nuovo spazio di lavoro end-to-end per la vision AI che colma il divario tra gestione dei dataset, annotazione, addestramento, distribuzione e monitoraggio, risolve questo problema supportando molteplici tipi di annotazione e flussi di lavoro assistiti dall'AI in un unico spazio di lavoro fluido, semplificando l'intero processo di annotazione.

In questo articolo, esploreremo cosa sono le annotazioni poligonali e come crearle utilizzando la Ultralytics Platform. Iniziamo!

Link to this sectionUno sguardo più da vicino all'annotazione poligonale#

Prima di immergerci nella Ultralytics Platform e nelle sue funzionalità di annotazione poligonale, facciamo un passo indietro e comprendiamo cos'è l'annotazione poligonale.

L'image annotation è il processo di aggiunta di etichette ai dati visivi in modo che i modelli AI possano capire cosa stanno vedendo. Di solito comporta l'identificazione di oggetti in un'immagine e la loro marcatura in un modo da cui un modello possa imparare.

Uno dei metodi più comuni è disegnare scatole rettangolari attorno agli oggetti, note come bounding box. Tuttavia, le bounding box forniscono solo un contorno approssimativo di un oggetto. L'annotazione poligonale è un approccio più preciso.

Funziona delineando un oggetto (i suoi bordi) punto per punto anziché racchiuderlo in una scatola. Per fare ciò, gli annotatori posizionano più vertici (punti) lungo i bordi di un oggetto, tracciandone il contorno finché l'intera forma non è coperta.

Questi punti collegati formano un poligono che rispecchia il contorno naturale dell'oggetto. Poiché la forma segue da vicino il confine dell'oggetto, l'annotazione cattura dettagli che i metodi di etichettatura tradizionali spesso perdono. Questo è particolarmente utile quando gli oggetti hanno forme irregolari o bordi complessi, come foglie, sagome umane e oggetti sovrapposti.

Tale precisione nei dati aiuta i modelli di machine learning ad apprendere in modo più efficace durante l'addestramento. Quando le annotazioni catturano accuratamente i veri confini di un oggetto, i modelli possono comprendere meglio i pattern dell'oggetto a livello di pixel. Ciò porta a prestazioni migliori del modello, specialmente nei compiti di segmentazione che richiedono un'elevata precisione.

Link to this sectionIl ruolo delle annotazioni poligonali nei flussi di lavoro di computer vision#

Quindi, come vengono effettivamente utilizzate le annotazioni poligonali? Sono strettamente legate ai vision AI models che supportano compiti di segmentazione delle immagini come la instance segmentation.

In molte applicazioni di computer vision, è essenziale conoscere l'area esatta che ogni oggetto occupa in un'immagine o in un fotogramma video. Un buon esempio è il rilevamento di componenti automobilistiche nella produzione. In questo caso, i modelli devono identificare e delineare con precisione parti come portiere, finestrini e fari, anche quando si sovrappongono o hanno forme complesse.

È qui che entra in gioco la instance segmentation. Permette ai modelli di rilevare ogni oggetto e mappare i suoi confini esatti a livello di pixel. Questo è diverso dal classico object detection, che utilizza le bounding box.

Fig 2. La instance segmentation può anche aiutare a distinguere le parti danneggiate di un'auto. (Source)

Le bounding box forniscono solo regioni rettangolari approssimative attorno agli oggetti e spesso includono lo sfondo in eccesso, rendendo più difficile catturare forme irregolari o separare elementi sovrapposti.

L'annotazione poligonale gioca un ruolo vitale nell'abilitare questo livello di precisione. Tracciare la forma esatta di ogni oggetto nelle immagini del dataset crea dati di addestramento di alta qualità che riflettono i veri confini degli oggetti. Queste annotazioni dettagliate aiutano i modelli, come Ultralytics YOLO26, a comprendere meglio la struttura di ogni componente, portando a risultati di segmentazione più accurati.

Link to this sectionLimitazioni dei tradizionali strumenti di annotazione delle immagini#

Successivamente, esaminiamo le limitazioni degli strumenti di annotazione tradizionali per comprendere la necessità di soluzioni più efficienti e scalabili come la Ultralytics Platform.

Ecco alcune sfide comuni che gli annotatori affrontano quando utilizzano strumenti di annotazione poligonale tradizionali:

• Supporto limitato per i tipi di annotazione: Alcuni strumenti si concentrano su un'unica tecnica di annotazione, rendendo difficile lavorare con diversi tipi come poligoni, bounding box e keypoints in un unico posto.
• Gestione inefficiente di annotazioni complesse: Gli strumenti potrebbero mancare di funzionalità che rendono più facile annotare accuratamente oggetti complessi con dettagli fini.
• Mancanza di funzionalità assistite dall'AI: Molti strumenti si affidano interamente al lavoro manuale, senza supporto AI integrato per velocizzare l'annotazione.
• Gestione del dataset frammentata: Gestire dataset, versioni e annotazioni può essere difficile, specialmente quando gli strumenti non forniscono uno spazio di lavoro centralizzato.

La Ultralytics Platform affronta queste preoccupazioni con funzionalità di annotazione assistita dall'AI alimentate sia dai Segment Anything Models (SAM) che dai modelli YOLO. SAM consente agli utenti di generare maschere di segmentazione di alta qualità da semplici input come i clic, che possono poi essere perfezionate in precise annotazioni poligonali.

Analogamente, l'annotazione intelligente basata su YOLO utilizza modelli YOLO pre-addestrati o addestrati su misura per eseguire l'inferenza su un'immagine e aggiungere previsioni, come bounding box, maschere di segmentazione o bounding box orientate, come annotazioni, che possono poi essere riviste e regolate secondo necessità. Insieme, queste capacità rendono il processo di annotazione più veloce, più coerente e più facile da scalare.

Link to this sectionDiversi tipi di annotazioni supportate dalla Ultralytics Platform#

La Ultralytics Platform include un editor di annotazione integrato che consente agli utenti di annotare le immagini direttamente all'interno dello spazio di lavoro. Questo rende più facile costruire e gestire i dataset senza affidarsi a strumenti di etichettatura dati separati e spesso dispendiosi in termini di tempo.

Oltre alle annotazioni poligonali, la Ultralytics Platform supporta diversi altri tipi di annotazione. Ecco una rapida panoramica:

• Bounding box: Gli annotatori possono disegnare semplici scatole rettangolari attorno agli oggetti, rendendo facile etichettarli e rilevarli in un'immagine.
• Keypoints: Questo metodo viene utilizzato per contrassegnare punti specifici, come articolazioni del corpo o punti di riferimento, per attività come la stima della posa.
• Bounding box orientate (OBB): Queste consentono agli utenti di catturare oggetti ruotati o angolati in modo più accurato rispetto alle bounding box standard.
• Etichette di classificazione: Per attività più semplici, gli utenti possono assegnare etichette a intere immagini anziché contrassegnare i singoli oggetti.

Link to this sectionAnnotazione di oggetti con poligoni sulla Ultralytics Platform#

Ora, vediamo come creare annotazioni poligonali sulla Ultralytics Platform, manualmente o con strumenti assistiti dall'AI.

Link to this sectionCreazione manuale di annotazioni poligonali sulla Ultralytics Platform#

Ecco una rapida guida passo dopo passo per creare annotazioni poligonali manualmente:

• Passaggio 1 - Vai al tuo dataset: Apri il dataset che contiene le immagini che desideri annotare. È qui che le tue immagini e le annotazioni vengono archiviate e gestite.
• Passaggio 2 - Apri un'immagine: Clicca su un'immagine per aprirla nell'interfaccia di annotazione. Il flusso di lavoro di annotazione dipende dall'attività del dataset. Ad esempio, in un dataset di instance segmentation, le annotazioni vengono create utilizzando maschere poligonali.
• Passaggio 3 – Inizia a creare una maschera: Clicca sull'immagine per iniziare l'annotazione. Ogni clic aggiunge un vertice lungo il confine dell'oggetto.
• Passaggio 4 – Traccia il contorno dell'oggetto: Continua a cliccare attorno ai bordi dell'oggetto per definirne la forma.
• Passaggio 5 – Completa il poligono: Puoi premere "Invio" o cliccare sul primo punto per completare il poligono e assegnare un'etichetta di classe.
• Passaggio 6 – Aggiungi ulteriori annotazioni: Ripeti il processo per creare più poligoni per altri oggetti nell'immagine.
• Passaggio 7 – Salvataggio delle annotazioni: Le annotazioni vengono salvate automaticamente man mano che le crei.

Fig 3. Uno sguardo alla creazione manuale di annotazioni poligonali utilizzando la Ultralytics Platform (Source)

Link to this sectionAnnotazione poligonale intelligente sulla Ultralytics Platform#

Successivamente, diamo un'occhiata alle funzionalità di etichettatura assistita dall'AI supportate dalla Ultralytics Platform che velocizzano il processo di annotazione.

La piattaforma fornisce due approcci per l'annotazione intelligente: uno alimentato dai Segment Anything Models per la generazione di annotazioni interattive basate su clic, e un altro alimentato dai modelli YOLO per aggiungere previsioni del modello direttamente come annotazioni. Entrambi gli approcci possono essere utilizzati per l'annotazione poligonale intelligente.

Link to this sectionAnnotazione intelligente utilizzando SAM all'interno della Ultralytics Platform#

L'annotazione assistita da SAM sulla Ultralytics Platform semplifica l'etichettatura manuale utilizzando il Segment Anything Model (SAM) per generare maschere di segmentazione con un input minimo. Invece di tracciare gli oggetti punto per punto, gli utenti possono interagire con l'immagine utilizzando semplici prompt come i clic per indicare cosa includere o escludere.

La piattaforma supporta molteplici modelli SAM, inclusi SAM 2.1 e SAM 3, consentendo agli utenti di scegliere tra prestazioni più veloci o maggiore precisione a seconda delle proprie esigenze. In base all'input dell'utente, SAM genera maschere a livello di pixel in tempo reale. Queste maschere possono poi essere perfezionate e utilizzate come annotazioni poligonali, rendendo il processo più veloce, più coerente e più facile da scalare.

Ecco i passaggi per utilizzare SAM per l'annotazione poligonale nella Ultralytics Platform:

• Passaggio 1 – Apri un'immagine: Vai al tuo dataset e clicca su un'immagine per avviare il visualizzatore a schermo intero.
• Passaggio 2 – Entra nella modalità di annotazione: Clicca su "Modifica", quindi passa alla modalità Intelligente (o premi S) per abilitare SAM.
• Passaggio 3 – Seleziona un modello SAM: Scegli un modello SAM dalla barra degli strumenti in base alle tue esigenze di velocità e precisione.
• Passaggio 4 – Fornisci i prompt: Clicca con il tasto sinistro per aggiungere punti positivi (includi aree) e con il tasto destro per aggiungere punti negativi (escludi aree).
• Passaggio 5 – Genera e applica la maschera: SAM prevede una maschera di segmentazione in tempo reale. Premi "Invio" (o usa l'applicazione automatica) per applicare l'annotazione.
• Passaggio 6 – Perfeziona l'annotazione: Aggiungi più punti o regola il risultato se necessario per migliorare la precisione prima di salvare.

Fig 4. Annotazione poligonale assistita da SAM all'interno della Ultralytics Platform (Source)

Link to this sectionAnnotazione intelligente utilizzando YOLO all'interno della Ultralytics Platform#

L'annotazione intelligente basata su YOLO sulla Ultralytics Platform accelera l'etichettatura utilizzando modelli Ultralytics YOLO pre-addestrati o modelli YOLO ottimizzati per generare previsioni su un'immagine e aggiungerle come annotazioni. Queste previsioni possono includere bounding box, maschere di segmentazione o bounding box orientate, a seconda dell'attività del dataset.

Gli utenti possono poi rivedere e perfezionare queste annotazioni secondo necessità. Ecco una panoramica dei passaggi coinvolti nell'utilizzo dell'annotazione intelligente basata su YOLO sulla Ultralytics Platform:

• Passaggio 1 – Apri un'immagine: Vai al tuo dataset e seleziona un'immagine per aprirla nel visualizzatore a schermo intero.
• Passaggio 2 – Entra nella modalità di annotazione: Clicca su "Modifica", quindi passa alla modalità Intelligente (o premi S).
• Passaggio 3 – Seleziona un modello YOLO: Scegli un modello YOLO dal selettore di modelli nella barra degli strumenti.
• Passaggio 4 – Esegui la previsione: Clicca su "Prevedi" per consentire al modello di generare annotazioni automaticamente.
• Passaggio 5 – Rivedi le annotazioni: Esamina le bounding box, le maschere di segmentazione o gli OBB previsti aggiunti all'immagine.
• Passaggio 6 – Perfeziona e salva: Modifica, regola o rimuovi le annotazioni errate secondo necessità, quindi salva le tue etichette finali.

Fig 5. Uno scorcio sull'utilizzo dell'annotazione intelligente YOLO (Source)

Link to this sectionCasi d'uso nel mondo reale dell'annotazione poligonale#

L'annotazione poligonale sta avendo un impatto reale in tutti i settori, dal controllo qualità nella produzione all'agricoltura e all'assistenza sanitaria. Esploriamo alcune applicazioni chiave nel mondo reale.

Link to this sectionRilevamento di parassiti tramite computer vision#

In agricoltura, monitorare la salute delle colture è fondamentale per migliorare la resa e ridurre le perdite. Rilevare le aree infestate da parassiti sulle foglie delle colture può essere complicato poiché queste regioni hanno spesso forme irregolari e confini poco chiari.

Questo tipo di problema può essere affrontato utilizzando tecniche di segmentazione delle immagini come la segmentazione semantica, che etichetta tutti i pixel appartenenti a una classe (come le aree infette), o la instance segmentation, che separa i contorni degli oggetti in modo più preciso.

Con la Ultralytics Platform, gli utenti possono utilizzare l'annotazione poligonale per tracciare la forma esatta di queste aree infette. Questo aiuta a creare dataset più accurati e rende più facile per gli algoritmi di vision AI individuare sottili pattern in ambienti agricoli.

Di conseguenza, i team possono costruire dati di addestramento migliori che aiutano i modelli a identificare esattamente dove sono presenti le infestazioni di parassiti. Questo è più efficace rispetto all'uso delle bounding box, che possono includere parti della foglia che non sono interessate.

Link to this sectionAnalisi di immagini mediche potenziata dalla instance segmentation#

Simile al pest detection in agricoltura, anche piccole differenze nei confini possono influire sul modo in cui malattie come il cancro vengono analizzate nell'medical imaging. Questo è particolarmente cruciale quando si identificano anomalie sanitarie come i tumori nelle scansioni TC.

I metodi di annotazione tradizionali possono mancare bordi sottili o includere il tessuto circostante, il che può ridurre la precisione. Con la Ultralytics Platform, i team possono utilizzare l'annotazione poligonale per tracciare con precisione queste regioni nei dati di addestramento, aiutando i modelli a produrre una segmentazione dei tumori più accurata e affidabile.

Link to this sectionPunti chiave#

L'annotazione poligonale è fondamentale quando i modelli devono comprendere le forme degli oggetti nelle immagini con elevata precisione. Aiuta a rappresentare forme complesse in modo più accurato, specialmente quando si utilizza la Ultralytics Platform. Combinando la precisione con strumenti potenti, i team possono costruire modelli AI più affidabili e performanti.

Pronto a portare la vision AI nei tuoi progetti? Unisciti alla nostra community e scopri l'AI in the automotive e la vision AI in robotics. Esplora il nostro GitHub repository per saperne di più. Dai un'occhiata alle nostre licensing options per iniziare oggi stesso!