Deriva dei dati

La deriva dei dati è una sfida comune nell'apprendimento automatico (ML) che si verifica quando le proprietà statistiche dei dati che un modello incontra in produzione cambiano nel tempo rispetto ai dati di addestramento su cui è stato costruito. Questo cambiamento significa che il modello sta operando su dati per i quali non era stato preparato, il che può portare a un silenzioso ma significativo degrado delle sue prestazioni predittive. Gestire efficacemente la deriva dei dati è una componente critica del ciclo di vita degli MLOps, che garantisce che i sistemi di intelligenza artificiale (AI) rimangano affidabili dopo l'implementazione del modello. Senza un monitoraggio proattivo del modello, questo problema può passare inosservato, portando a decisioni sbagliate e a risultati aziendali negativi.

Deriva dei dati vs. deriva dei concetti

È importante distinguere la deriva dei dati da un problema correlato, la deriva dei concetti. Sebbene entrambi possano degradare le prestazioni del modello, le loro cause sono diverse.

• Deriva dei dati: Conosciuta anche come deriva delle caratteristiche o delle covariate, si verifica quando la distribuzione dei dati di input cambia, ma la relazione sottostante tra input e output rimane costante. Ad esempio, un modello di visione computerizzata addestrato su immagini provenienti da un tipo di telecamera può avere scarse prestazioni su immagini provenienti da una nuova telecamera con proprietà del sensore diverse. La definizione degli oggetti da rilevare è la stessa, ma le caratteristiche dei dati di ingresso sono cambiate.
• Deriva del concetto: Si verifica quando le proprietà statistiche della variabile target cambiano nel tempo. La relazione fondamentale tra le caratteristiche di input e la variabile di output viene alterata. In un sistema di rilevamento delle frodi finanziarie, ad esempio, le tattiche utilizzate dai truffatori si evolvono, modificando ciò che costituisce una transazione "fraudolenta". Un'esplorazione dettagliata della deriva concettuale si trova nella letteratura accademica.

Esempi del mondo reale

1. Gestione dell'inventario al dettaglio: Un sistema di vendita al dettaglio guidato dall'intelligenza artificiale utilizza i feed delle telecamere e un modello di rilevamento degli oggetti come Ultralytics YOLO11 per monitorare le scorte a scaffale. Il modello viene addestrato su una serie specifica di confezioni di prodotti. Se un fornitore cambia il design della confezione o il negozio aggiorna l'illuminazione, si verifica una deriva dei dati. I nuovi dati visivi differiscono dal set di dati di addestramento originale, causando potenzialmente il mancato riconoscimento dei prodotti da parte del modello, con conseguenti conteggi imprecisi delle scorte.
2. Veicoli autonomi: Le auto a guida autonoma utilizzano modelli addestrati su vaste quantità di dati provenienti da sensori di specifiche località geografiche e condizioni atmosferiche. Se un'auto viene utilizzata in una nuova città o incontra per la prima volta un evento meteorologico raro come la neve, il suo sistema di percezione deve affrontare una deriva dei dati. La distribuzione degli input (ad esempio, segnaletica stradale, cartelli stradali, comportamento dei pedoni) differisce in modo significativo dall'esperienza di addestramento, il che può compromettere la sicurezza e richiedere un'attenzione immediata. Waymo e altre aziende di guida autonoma investono molto per rilevare e mitigare questo problema.

Rilevamento e mitigazione della deriva dei dati

Individuare e risolvere la deriva dei dati è un processo continuo che prevede una combinazione di strategie di monitoraggio e manutenzione.

Metodi di rilevamento

• Monitoraggio delle prestazioni: Il monitoraggio delle metriche chiave del modello, come precisione, richiamo e punteggio F1, nel corso del tempo, può indicare il degrado delle prestazioni potenzialmente causato dalla deriva. Strumenti come TensorBoard possono aiutare a visualizzare queste metriche.
• Monitoraggio statistico: Applicazione di test statistici per confrontare la distribuzione dei dati in entrata con i dati di formazione. I metodi più comuni includono il test di Kolmogorov-Smirnov, l'indice di stabilità della popolazione (PSI) o i test chi-quadro.
• Strumenti di monitoraggio: Utilizzo di piattaforme di osservabilità specializzate progettate per il monitoraggio dei modelli ML in produzione. Le opzioni open-source includono Prometheus e Grafana, mentre strumenti di ML dedicati come Evidently AI e NannyML offrono funzioni più specifiche di rilevamento delle derive. Anche i fornitori di cloud offrono soluzioni come AWS SageMaker Model Monitor e Vertex AI Model Monitoring di Google Cloud.

Strategie di mitigazione

• Riqualificazione: La strategia più semplice consiste nel riqualificare regolarmente il modello su dati freschi e recenti che riflettono l'ambiente di produzione attuale. Piattaforme come Ultralytics HUB facilitano la riqualificazione e i flussi di lavoro di distribuzione.
• Apprendimento online: Consiste nell'aggiornare il modello in modo incrementale man mano che arrivano nuovi dati. Deve essere usato con cautela, poiché può essere sensibile ai dati rumorosi e può causare una fluttuazione imprevedibile delle prestazioni del modello.
• Aumento dei dati: L'uso proattivo di tecniche di incremento dei dati durante la fase iniziale di addestramento può rendere il modello più robusto a certi tipi di variazioni, come i cambiamenti di illuminazione, scala o orientamento.
• Adattamento al dominio: Impiego di tecniche avanzate che cercano esplicitamente di adattare un modello addestrato su una distribuzione di dati di origine a una distribuzione di dati di destinazione diversa ma correlata. Si tratta di un'area attiva della ricerca sul ML.

Gestire efficacemente la deriva dei dati è fondamentale per garantire che i sistemi di intelligenza artificiale costruiti con framework come PyTorch o TensorFlow rimangano accurati e forniscano valore per tutta la loro durata operativa. Per saperne di più sulle migliori pratiche di manutenzione dei modelli, consultate il nostro blog.