Data Flywheel

Un volano dei dati è un ciclo che si autoalimenta, in cui un modello IA distribuito genera dati, inclusi input, previsioni, errori e feedback degli utenti, che vengono selezionati e organizzati in dati di addestramento migliori per la versione successiva. Ogni versione gestisce correttamente più casi, un prodotto migliore attira più utenti e un uso maggiore genera altri dati necessari alla versione successiva. Il nome deriva dal volano meccanico, che richiede uno sforzo iniziale per mettersi in moto e poi conserva lo slancio.

Nella visione artificiale, il ciclo si concentra sui casi difficili: i fotogrammi in cui un rilevatore non ha individuato un oggetto, ha generato un falso allarme o ha assegnato un punteggio di confidenza basso. Un sistema di ispezione visiva incontra nuovi materiali e riflessi dopo il lancio, mentre un modello per l'inventario retail si trova ad affrontare confezioni stagionali; vale quindi la pena etichettare proprio quelle immagini. Il team Autopilot di Tesla ha presentato una versione nota del sistema, che ha chiamato motore dei dati, durante l'Autonomy Day del 2019: i casi in cui la rete funzionava male venivano ricavati dalla flotta, etichettati e aggiunti all'addestramento. I prodotti basati su modelli linguistici di grandi dimensioni seguono lo stesso ciclo con valutazioni, modifiche e conversazioni, che alimentano insiemi di valutazione, fine-tuning e apprendimento per rinforzo dal feedback umano.

Come funziona un volano dei dati#

Ogni ciclo passa per l'acquisizione, la revisione, il riaddestramento e una decisione sul rilascio:

L'acquisizione determina quali dati di produzione entrano nel ciclo. Archiviare tutto è costoso e perlopiù ridondante, quindi i sistemi conservano gli input informativi: previsioni con bassa confidenza, disaccordi tra modelli, correzioni degli utenti, classi rare e input che segnalano il data drift. Selezionare gli esempi che consentiranno al modello di apprendere di più è il compito dell'apprendimento attivo.

La revisione trasforma gli input acquisiti in ground truth. Gli annotatori con supervisione umana nel ciclo confermano o correggono ogni etichetta, rimuovono i duplicati e i contenuti sensibili, e gli esempi approvati vengono aggiunti a un dataset versionato, così è possibile risalire dai modelli ai dati usati per addestrarli.

Il riaddestramento produce un candidato che, prima del rilascio, deve superare il modello corrente su un insieme di test fisso e tenuto da parte, spesso un dataset di riferimento selezionato. Il rilascio graduale e il monitoraggio del modello rilevano quindi le regressioni e avviano il ciclo successivo.

Ultralytics Platform automatizza la fase di acquisizione con gli Agenti, flussi di lavoro visivi il cui modello Collect Uncertain Detections esegue le immagini di un dataset tramite un modello distribuito, conserva le immagini con almeno un rilevamento in un intervallo di confidenza scelto, per esempio da 0.25 a 0.5, e le aggiunge senza etichette a un dataset di destinazione per la revisione nell'editor di annotazione.

Perché i volani si bloccano#

Un volano gira alla velocità della sua fase più lenta, che spesso è l'etichettatura umana. Reinserire le previsioni del modello come etichette senza revisione umana fa sì che i suoi errori si rafforzino da soli. Un sistema che agisce in base alle proprie previsioni influenza anche i dati che vedrà in seguito, quindi un sistema di raccomandazione impara solo dagli elementi che ha scelto di mostrare; nel 2015 i ricercatori di Google hanno elencato questi cicli di feedback tra le fonti di debito tecnico nascosto nei sistemi di machine learning. Valutare ogni versione su un insieme di test che cambia insieme ai dati in arrivo nasconde le regressioni, mentre spostare gli esempi di test nell'insieme di addestramento causa data leakage.

Volano dei dati e termini correlati#

• IA incentrata sui dati: la pratica di migliorare i modelli migliorando i dati. Un volano la applica in modo continuo, facendo arrivare i dati dalla produzione.
• Apprendimento continuo: aggiorna un modello nel tempo con nuovi dati, evitando che dimentichi in modo catastrofico le attività precedenti. La maggior parte dei volani, invece, riaddestra il modello sull'intero dataset in crescita a ogni rilascio.
• Operazioni di machine learning (MLOps): le pipeline e gli strumenti per il versionamento, l'addestramento, la distribuzione e il monitoraggio che rendono riproducibile ogni ciclo del volano.
• Effetti di rete: un prodotto acquista valore man mano che più persone lo usano. Un volano dei dati offre un vantaggio duraturo solo quando l'uso genera dati che i concorrenti non possono raccogliere facilmente.