Capire perché l’annotazione human-in-the-loop è fondamentale

Vent'anni fa, se qualcuno avesse detto di stare pensando di procurarsi un robot per farsi aiutare in casa, sarebbe sembrato davvero assurdo. Tuttavia, siamo nel pieno del boom dell'AI e i robot vengono testati in scenari simili.

Un campo chiave dell'AI che sta guidando questo progresso è la visione artificiale, che dà alle macchine la capacità di comprendere immagini e video. In altre parole, i modelli di visione artificiale come Ultralytics YOLO11 e il prossimo Ultralytics YOLO26 possono essere addestrati su dataset costituiti da dati visivi e annotazioni.

Queste annotazioni aiutano il modello a comprendere i dati visivi. Ad esempio, i dataset per il rilevamento degli oggetti usano riquadri di delimitazione per tracciare rettangoli intorno agli oggetti di interesse. Questo consente al modello di rilevare e localizzare tali oggetti in nuove immagini, anche quando la scena è affollata o l'oggetto è parzialmente nascosto.

Altri compiti di visione artificiale dipendono da diversi tipi di annotazioni. I dataset di segmentazione indicano il contorno esatto di un oggetto a livello di pixel, mentre i dataset di keypoint contrassegnano punti di riferimento specifici, come le articolazioni di una persona.

Tuttavia, in tutti questi formati, un fattore cruciale è la qualità e la coerenza delle etichette. I modelli apprendono direttamente dai dati su cui vengono addestrati, quindi, se le etichette sono incoerenti o errate, il modello spesso trasferirà questi errori nelle sue previsioni.

Anche con l'automazione, i dataset annotati da persone restano fondamentali, soprattutto in ambiti ad alto rischio come l'imaging medico. Piccoli errori di etichettatura, come un confine tumorale impreciso o un'anomalia non rilevata, possono insegnare al modello lo schema sbagliato e portare in seguito a previsioni non sicure. Gli esperti umani forniscono la ground truth accurata e il giudizio richiesti da queste applicazioni.

Fig. 1. C'è bisogno di dataset annotati da persone. Immagine dell'autore.

In questo articolo analizzeremo più da vicino perché i dati annotati da persone sono essenziali, anche mentre l'AI continua a fare progressi.

La necessità di annotare immagini e video#

I modelli di visione artificiale apprendono in modo molto simile a noi, osservando molti esempi. La differenza è che apprendono attraverso l'addestramento su grandi dataset di immagini e video che le persone hanno etichettato in anticipo. Queste etichette fungono da ground truth e insegnano al modello concetti come: questo è un pedone, qui c'è il confine di un tumore, oppure quell'oggetto è un'auto.

Le immagini del mondo reale sono raramente pulite o coerenti. L'illuminazione può cambiare e far apparire diverso lo stesso oggetto. Persone e veicoli possono sovrapporsi o essere parzialmente nascosti. Gli sfondi possono essere affollati e fonte di distrazione. Quando i dataset includono etichette accurate e coerenti in queste situazioni, i modelli sono molto più preparati ad affrontare ciò che incontreranno al di fuori degli ambienti controllati.

L'annotazione dei dati non consiste solo nel disegnare riquadri o tracciare contorni. Comprende l'applicazione di linee guida e decisioni pratiche su cosa debba essere considerato l'oggetto, dove debba trovarsi il suo confine e cosa fare quando qualcosa non è chiaro. Questo giudizio umano mantiene i dati accurati e utilizzabili.

In definitiva, un sistema di visione artificiale offre prestazioni proporzionali alla qualità dei dati etichettati da cui apprende. In applicazioni ad alto impatto, come individuare il cancro nelle scansioni o rilevare pericoli stradali per le auto a guida autonoma, etichette precise fornite da persone esperte fanno davvero la differenza in termini di accuratezza e sicurezza.

La crescita dell'automazione nell'annotazione dei dati#

Con l'espansione della visione artificiale e la crescita dei dataset, l'automazione sta diventando un modo comune per velocizzare l'annotazione. Invece di etichettare tutto manualmente, i team usano modelli di AI per produrre una prima versione delle etichette.

Le persone esaminano poi i risultati, correggono gli errori e gestiscono i casi che il modello non riesce a etichettare con sicurezza. Questo approccio accelera l'annotazione mantenendo alta la qualità.

Ecco alcuni modi in cui l'automazione aiuta generalmente nell'annotazione dei dati:

• Segmentazione automatica: i modelli possono suggerire automaticamente i contorni degli oggetti o le maschere a livello di pixel, riducendo la quantità di tracciamento manuale che gli annotatori devono eseguire.
• Tracciamento del flusso ottico: nei video, i metodi di tracciamento possono seguire un oggetto in movimento attraverso i fotogrammi e trasferire in avanti la relativa etichetta, contribuendo a mantenere coerenti le annotazioni nel tempo.
• Interpolazione dei fotogrammi: gli strumenti possono compilare le etichette dei fotogrammi compresi tra due fotogrammi etichettati utilizzando indizi di movimento e tracciamento, così gli annotatori non devono etichettare ogni singolo fotogramma.
• Apprendimento attivo: le pipeline di addestramento possono identificare gli esempi che il modello considera incerti o insoliti e inviarli prima alle persone, così lo sforzo manuale viene concentrato sui dati che migliorano maggiormente le prestazioni.

Perché l'annotazione dei dati da parte delle persone è ancora così fondamentale#

Sebbene l'automazione possa velocizzare l'etichettatura, i modelli di AI hanno ancora bisogno del giudizio umano per rimanere accurati e affidabili.

Ecco alcune aree chiave in cui l'esperienza umana ha un impatto sull'annotazione dei dati:

• Comprendere il contesto: le immagini e i video reali sono spesso disordinati. Ombre, riflessi, sfocatura di movimento e oggetti sovrapposti possono confondere gli strumenti automatizzati. Gli annotatori umani possono interpretare ciò che sta realmente accadendo, rendendo le etichette più accurate.
• Mantenere coerenti le etichette: con la crescita dei dataset, le etichette automatizzate possono variare o discostarsi tra i diversi batch. Le persone possono verificare, correggere e uniformare le etichette, mantenendo coerente il dataset dall'inizio alla fine.
• Ridurre i bias e i danni: le persone sono più abili nell'individuare contenuti sensibili, sfumature culturali e schemi che potrebbero introdurre bias. La loro supervisione contribuisce a rendere i dataset più equi e a evitare danni imprevisti.
• Applicare competenze specialistiche: alcune attività richiedono conoscenze del settore, come l'identificazione di anomalie mediche o difetti industriali. Gli esperti possono fornire etichette precise e risolvere i casi ambigui, in modo che il modello apprenda i dettagli corretti.

Panoramica sull'annotazione human-in-the-loop#

Gli strumenti e le piattaforme di annotazione come Roboflow integrano l'automazione per velocizzare l'etichettatura, spesso utilizzando modelli di base come Segment Anything Model 3 o SAM3. SAM3 è il modello di base di segmentazione di Meta AI utilizzabile tramite prompt.

Può rilevare, segmentare e tracciare oggetti in immagini e video a partire da semplici prompt, come clic, riquadri di delimitazione o brevi frasi di testo, producendo maschere di segmentazione per gli oggetti corrispondenti senza richiedere un addestramento specifico per ogni nuova categoria.

Anche con questi approcci all'avanguardia, gli esperti umani sono ancora necessari per esaminare e finalizzare le annotazioni. Quando gli strumenti automatizzati producono una prima bozza e le persone la verificano, correggono e perfezionano, il flusso di lavoro è noto come annotazione human-in-the-loop. Questo mantiene l'annotazione rapida, garantendo al contempo che le etichette finali siano abbastanza accurate e coerenti da addestrare modelli affidabili.

Fig. 2. Uno sguardo all'annotazione human-in-the-loop. (Fonte)

Quando l'automazione dell'annotazione funziona e quando no#

L'annotazione automatizzata funziona meglio per i dati provenienti da ambienti controllati. Le immagini raccolte in fabbriche, magazzini o corsie di negozi presentano solitamente un'illuminazione stabile e viste chiare degli oggetti, quindi gli strumenti automatizzati possono etichettarle con precisione e aiutare i team a scalare più rapidamente con meno lavoro manuale.

I dati provenienti da ambienti meno controllati sono più complessi. Le riprese all'aperto cambiano in base all'ora del giorno e alle condizioni meteorologiche, mentre le scene di strade o abitazioni spesso includono disordine, sfocatura di movimento, oggetti che si ostacolano a vicenda e numerose sovrapposizioni. Gli oggetti piccoli, i contorni dettagliati o le situazioni rare aumentano ulteriormente il margine di errore. Un modello che funziona bene su dati indoor puliti può comunque avere difficoltà con immagini disordinate del mondo reale.

Ecco perché l'intervento umano è ancora importante. Le persone possono intervenire quando il modello è incerto, interpretare contesti complessi e correggere gli errori prima che finiscano nel dataset finale. L'annotazione human-in-the-loop aiuta l'automazione a rimanere ancorata alle condizioni del mondo reale e mantiene affidabili i modelli dopo la loro implementazione.

Dove può fare la differenza l'annotazione human-in-the-loop?#

Ora che abbiamo visto dove l'automazione funziona bene e dove mostra i suoi limiti, analizziamo alcune applicazioni in cui l'annotazione human-in-the-loop svolge un ruolo importante.

Rilevamento dei difetti nella produzione industriale#

Considera un nastro trasportatore di una fabbrica, dove ogni minuto centinaia di componenti passano sotto una telecamera. La maggior parte dei difetti è evidente, ma ogni tanto compare una crepa sottile con un'angolazione insolita o nascosta dal riflesso di una luce. Un sistema automatizzato potrebbe non rilevarla o etichettarla come innocua texture superficiale, mentre un revisore umano può individuare il difetto, correggere l'annotazione e assicurarsi che il modello impari la differenza.

Questo è il ruolo dell'annotazione human-in-the-loop nell'ispezione industriale. L'automazione può pre-etichettare i tipi di difetto comuni e gestire rapidamente grandi volumi di immagini, ma le persone devono comunque verificare i risultati, perfezionare i contorni e gestire gli errori rari che non compaiono spesso nei dati di addestramento.

Veicoli autonomi e trasporti intelligenti#

Allo stesso modo, i veicoli autonomi usano la visione artificiale per individuare i pedoni, leggere i segnali e muoversi nel traffico, ma le strade reali sono imprevedibili. Ad esempio, un pedone che sbuca di notte da dietro un'auto parcheggiata può essere parzialmente nascosto e difficile da vedere a causa del riverbero.

Fig. 3. Un esempio di utilizzo della visione artificiale per analizzare il traffico. (Fonte)

Gli annotatori umani possono etichettare questi casi limite rari e critici per la sicurezza durante l'addestramento, affinché i modelli imparino la risposta corretta, non solo in condizioni normali ma anche nei momenti più importanti. Questo passaggio human-in-the-loop è fondamentale per insegnare ai sistemi a gestire eventi poco frequenti, difficili da acquisire con la sola automazione.

Il futuro dei dataset annotati da persone#

L'annotazione human-in-the-loop sta diventando più collaborativa con l'avanzare della tecnologia. È interessante notare che i modelli di visione e linguaggio (VLMs), che apprendono sia dalle immagini sia dal testo, vengono ora utilizzati per creare una prima versione delle etichette e suggerire correzioni a partire da semplici prompt.

Quindi, invece di esaminare manualmente ogni immagine per decidere cosa etichettare, un annotatore può fornire a un VLM un prompt come «etichetta tutti i pedoni, le auto e i semafori» oppure «segmenta tutti i difetti su questo componente», ottenendo una bozza di annotazioni da esaminare.

Fig. 4. I grandi modelli multimodali possono lavorare con gli annotatori umani (Fonte)

Questo riduce i tempi di annotazione perché il modello può gestire in anticipo molti casi semplici, consentendo alle persone di concentrarsi sull'esame dei risultati, sulla correzione degli esempi complessi e sul mantenimento della coerenza del dataset. I grandi modelli multimodali stanno inoltre iniziando a indirizzare gli annotatori verso i campioni più incerti, rendendo più mirato lo sforzo umano e migliorando la qualità complessiva del dataset.

Punti chiave#

La visione artificiale aiuta le macchine a interpretare e reagire a ciò che vedono, ma funziona al meglio con l'esperienza umana nel ciclo. I dati annotati da persone mantengono i modelli ancorati alle condizioni del mondo reale e migliorano l'affidabilità delle loro prestazioni. Lavorando fianco a fianco, automazione e giudizio umano consentono ai team di costruire sistemi di visione di grande impatto.

Unisciti alla nostra community attiva ed esplora innovazioni come l'AI nella logistica e la Vision AI nella robotica. Visita il nostro repository GitHub per scoprire di più. Per iniziare oggi stesso con la visione artificiale, dai un'occhiata alle nostre opzioni di licenza.