Cos'è la distillazione di dataset? Una rapida panoramica

L'addestramento dei modelli potrebbe sembrare la parte che richiede più tempo nel lavoro di un data scientist. Ma gran parte del loro tempo, spesso dal 60% all'80%, è in realtà dedicato a preparare i dati: raccoglierli, pulirli e organizzarli per la modellazione. Con la crescita dei dataset, cresce anche questo tempo di preparazione, rallentando gli esperimenti e rendendo l'iterazione più difficile.

Per affrontare questo problema, i ricercatori hanno speso anni alla ricerca di modi per semplificare l'addestramento. Approcci come dati sintetici, compressione di dataset e migliori metodi di ottimizzazione mirano tutti a ridurre il costo e l'attrito del lavoro con dataset su larga scala e ad accelerare i flussi di lavoro di machine learning.

Una domanda chiave che ciò solleva è se possiamo ridurre drasticamente un dataset pur ottenendo le stesse prestazioni dell'addestramento di un modello sui dati completi. La distillazione di dataset è una risposta promettente.

Crea una versione compatta di un grande dataset di addestramento preservando i pattern essenziali di cui il modello ha bisogno per imparare efficacemente. Offre una via verso un addestramento più rapido, minori esigenze di calcolo e una sperimentazione più efficiente. Puoi immaginarlo come un foglio di ripasso per il modello, un piccolo insieme di esempi di dati sintetici progettati per insegnare gli stessi pattern fondamentali del dataset completo.

In questo articolo, esploreremo come funziona la distillazione di dataset e come supporta il machine learning e il deep learning scalabili in applicazioni del mondo reale. Iniziamo!

Comprendere la distillazione di dataset#

La distillazione di dataset è un processo in cui un ampio dataset di addestramento viene condensato in un insieme di dati molto più piccolo che insegna comunque a un modello quasi le stesse informazioni del dataset originale. Molti ricercatori si riferiscono a questo processo anche come condensazione di dataset, poiché l'obiettivo è catturare i pattern essenziali che appaiono nell'intero dataset.

Un dataset distillato è diverso da dati sintetici generati casualmente o dal semplice prelievo di un sottoinsieme più piccolo di immagini reali. Non è un falso dataset casuale o una copia ridotta dell'originale.

Al contrario, è deliberatamente ottimizzato per catturare i pattern più importanti. Durante questo processo, ogni pixel e caratteristica viene regolato e ottimizzato in modo che una rete neurale addestrata sui dati distillati impari quasi come se fosse stata addestrata sull'intero dataset.

This idea first appeared in a 2018 arXiv paper by Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba, and Alexei A. Efros. Early tests used simple datasets like MNIST and CIFAR-10, which made it easy to show that a few distilled samples could stand in for thousands of real images.

Fig 1. Utilizzo della distillazione dei dataset per i dati di immagine (Fonte)

Da allora, il lavoro di follow-up ha spinto ulteriormente la distillazione di dataset, inclusi metodi pubblicati a ICML e ICLR che rendono la condensazione più efficiente e scalabile.

Il significato della distillazione di dataset#

La distillazione di dataset migliora l'efficienza dell'addestramento e accelera i cicli di sviluppo. Riducendo la quantità di dati da cui un modello deve imparare, diminuisce i requisiti computazionali.

Questo è particolarmente utile per l'apprendimento continuo, dove i modelli si aggiornano nel tempo, la ricerca di architetture neurali, dove vengono testati molti modelli, e l'addestramento edge, dove i modelli vengono eseguiti su piccoli dispositivi con memoria e potenza limitate. Nel complesso, questi vantaggi rendono la distillazione di dataset un'ottima opzione per l'inizializzazione rapida, il fine-tuning veloce e la creazione di prototipi iniziali in molti flussi di lavoro di machine learning.

Una panoramica su come funziona la distillazione di dataset#

La distillazione di dataset crea campioni di addestramento sintetici, o generati artificialmente. Questi campioni aiutano un modello a imparare in un modo che assomiglia molto all'addestramento su dati reali. Funziona monitorando tre fattori chiave durante l'addestramento normale.

Il primo è la funzione di perdita, che è il punteggio di errore del modello che mostra quanto sono errate le sue previsioni. Il secondo sono i parametri del modello, che sono i pesi interni della rete che vengono aggiornati man mano che apprende.

Il terzo è la traiettoria di addestramento, che descrive come l'errore e i pesi cambiano passo dopo passo nel tempo. I campioni sintetici vengono quindi ottimizzati in modo che, quando un modello si addestra su di essi, il suo errore diminuisca e i suoi pesi si aggiornino allo stesso modo in cui farebbero con il dataset completo.

Uno sguardo passo dopo passo alla distillazione di dataset#

Ecco uno sguardo più da vicino a come funziona il processo di distillazione di dataset:

• Passo 1 - Inizializza i pixel sintetici: Il processo inizia con immagini sintetiche che agiscono come input apprendibili. All'inizio, queste immagini hanno poca struttura e sembrano fogli bianchi. Nel tempo, vengono ottimizzate in esempi informativi.
• Passaggio 2 - Ottimizza con gradient matching e backpropagation: Mentre il modello si addestra su queste immagini sintetiche, produce gradienti che indicano come ogni pixel dovrebbe cambiare per adattarsi meglio al comportamento di addestramento dei dati reali. La backpropagation è il metodo che la rete usa per imparare dagli errori. Invia l'errore all'indietro attraverso il modello per capire quali pixel e pesi l'hanno causato, quindi li aggiorna leggermente. Usando quei gradienti, la backpropagation regola le immagini sintetiche passo dopo passo affinché diventino più informative per l'addestramento.
• Passaggio 3 - Corrispondenza del comportamento attraverso i passaggi di addestramento: Il metodo abbina anche le traiettorie di addestramento, il che significa i cambiamenti passo dopo passo che il modello attraversa mentre impara. Ciò garantisce che il dataset distillato guidi il modello attraverso un percorso di apprendimento simile a quello che seguirebbe con il dataset completo.
• Passaggio 4 - Validazione e generalizzazione: Infine, il dataset distillato viene valutato su dati di validazione reali per vedere quanto bene il modello addestrato esegue su nuovi esempi. Questo verifica che i dati sintetici insegnino pattern ampi e funzionali anziché far memorizzare al modello campioni specifici.

Fig 2. Uno sguardo alla distillazione dei dataset (Fonte)

Principali metodologie di distillazione di dataset#

Tutti i metodi di distillazione di dataset sono costruiti sulla stessa idea centrale, anche se usano algoritmi diversi per arrivarci. La maggior parte degli approcci rientra in tre categorie: corrispondenza delle prestazioni, corrispondenza della distribuzione e corrispondenza dei parametri.

Successivamente, diamo un'occhiata a ciascuno di essi e vediamo come funziona.

Corrispondenza delle prestazioni#

La corrispondenza delle prestazioni nella distillazione di dataset si concentra sulla creazione di un set di addestramento minuscolo e ottimizzato che consente a un modello di raggiungere quasi la stessa precisione come se fosse stato addestrato sul dataset originale completo. Invece di scegliere un sottoinsieme casuale, i campioni distillati vengono ottimizzati in modo che un modello addestrato su di essi finisca con previsioni simili, un comportamento di perdita simile durante l'addestramento o una precisione finale simile a quella di un modello addestrato sul dataset originale.

Il meta learning è un metodo comune utilizzato per migliorare questo processo. Il dataset distillato viene aggiornato attraverso episodi di addestramento ripetuti, diventando così efficace in molte situazioni possibili.

Durante questi episodi, il metodo simula come un modello studente impara dai campioni distillati correnti, controlla quanto bene quello studente esegue sui dati reali, e poi regola i campioni distillati per essere insegnanti migliori. Nel tempo, il set distillato impara a supportare un apprendimento rapido e una forte generalizzazione, anche quando il modello studente parte da pesi iniziali diversi o usa un'architettura diversa. Questo rende il dataset distillato più affidabile e non legato a una singola esecuzione di addestramento.

Fig 3. Il processo di meta-apprendimento (Fonte)

Tecniche di corrispondenza della distribuzione#

Nel frattempo, la corrispondenza della distribuzione genera dati sintetici che corrispondono ai pattern statistici del dataset reale. Invece di concentrarsi solo sulla precisione finale di un modello, questo approccio si concentra sulle caratteristiche interne che una rete neurale genera durante l'apprendimento.

Successivamente, diamo un'occhiata alle due tecniche che guidano la corrispondenza della distribuzione.

Corrispondenza della distribuzione a singolo strato#

La corrispondenza della distribuzione a singolo strato si concentra su un singolo strato di una rete neurale e confronta le caratteristiche che produce per dati reali contro sintetici. Quelle caratteristiche, chiamate anche attivazioni, catturano ciò che il modello ha imparato a quel punto nella rete.

Facendo in modo che i dati sintetici producano attivazioni simili, il metodo incoraggia il dataset distillato a riflettere gli stessi pattern importanti del dataset originale. In pratica, i campioni sintetici vengono aggiornati ripetutamente finché le attivazioni a quello strato scelto non corrispondono strettamente a quelle delle immagini reali.

Questo approccio è relativamente semplice perché allinea solo un livello di rappresentazione alla volta. Può funzionare particolarmente bene su dataset più piccoli o compiti in cui non è necessario abbinare gerarchie di caratteristiche profonde e multistadio. Allineando chiaramente uno spazio delle caratteristiche, la corrispondenza a singolo strato fornisce un segnale stabile e significativo per l'apprendimento con il dataset distillato.

Corrispondenza della distribuzione multistrato#

La corrispondenza della distribuzione multistrato si basa sull'idea di confrontare dati reali e sintetici facendolo su diversi strati di una rete neurale invece di uno solo. Strati diversi catturano diversi tipi di informazioni, da bordi e texture semplici negli strati iniziali a forme e pattern più complessi in strati più profondi.

Abbinando le caratteristiche attraverso questi strati, il dataset distillato viene spinto a riflettere ciò che il modello impara a più livelli. Poiché allinea le caratteristiche in tutta la rete, questo approccio aiuta i dati sintetici a preservare segnali più ricchi su cui il modello fa affidamento per distinguere le classi.

Questo è particolarmente utile nella computer vision, ovvero le attività in cui i modelli imparano a comprendere immagini e video, perché i pattern utili sono distribuiti su molti livelli. Quando le distribuzioni delle feature corrispondono bene a diverse profondità, il dataset distillato funge da sostituto più forte e affidabile per i dati di addestramento originali.

Metodi di corrispondenza dei parametri#

Un'altra categoria chiave nella distillazione di dataset è la corrispondenza dei parametri. Invece di far corrispondere la precisione o le distribuzioni delle caratteristiche, fa corrispondere come cambiano i pesi di un modello durante l'addestramento. Rendendo l'addestramento sul dataset distillato in grado di produrre aggiornamenti dei parametri simili all'addestramento sui dati reali, il modello segue un percorso di apprendimento quasi identico.

Esamineremo i due principali metodi di corrispondenza dei parametri subito dopo.

Corrispondenza a singolo passaggio#

La corrispondenza a singolo passaggio confronta cosa succede ai pesi di un modello dopo un solo passaggio di addestramento su dati reali. Il dataset distillato viene quindi sintonizzato in modo che un modello addestrato su di esso per un passaggio produca un aggiornamento dei pesi molto simile. Poiché si concentra solo su questo singolo aggiornamento, il metodo è diretto e veloce da eseguire.

Il lato negativo è che un passaggio non riflette l'intero processo di apprendimento, specialmente per compiti più difficili in cui il modello ha bisogno di molti aggiornamenti per costruire caratteristiche più ricche. Per questo motivo, la corrispondenza a singolo passaggio tende a funzionare meglio su problemi più semplici o dataset più piccoli in cui i pattern utili possono essere colti rapidamente.

Corrispondenza dei parametri a passaggi multipli#

Al contrario, la corrispondenza dei parametri a passaggi multipli guarda a come cambiano i pesi di un modello su diversi passaggi di addestramento, non solo uno. Questa sequenza di aggiornamenti è la traiettoria di addestramento del modello.

Il dataset distillato è costruito in modo che, quando un modello si addestra sui campioni sintetici, la sua traiettoria segua da vicino quella che prenderebbe su dati reali. Abbinando un tratto più lungo di apprendimento, il set distillato cattura gran parte della struttura nel processo di addestramento originale.

Poiché riflette come l'apprendimento si svolge nel tempo, la corrispondenza a passaggi multipli solitamente funziona meglio per dataset più grandi o complessi in cui i modelli hanno bisogno di molti aggiornamenti per cogliere pattern utili. Richiede più calcolo poiché deve monitorare passaggi multipli, ma spesso produce dataset distillati che generalizzano meglio e offrono prestazioni migliori rispetto alla corrispondenza a singolo passaggio.

Come funzionano la generazione e l'ottimizzazione di dataset sintetici#

Con una migliore comprensione dei principali approcci di distillazione, possiamo ora guardare a come vengono creati i dati sintetici. Nella distillazione di dataset, i campioni sintetici vengono ottimizzati per catturare il segnale di apprendimento più importante, così un piccolo insieme può sostituire un dataset molto più grande.

Successivamente, vedremo come questi dati distillati vengono generati e valutati.

Creazione e valutazione di immagini distillate#

Durante la distillazione di dataset, i pixel sintetici vengono aggiornati su molti passaggi di addestramento. La rete neurale impara dalle immagini sintetiche correnti e invia un feedback basato sul gradiente, che mostra come ogni pixel dovrebbe cambiare per corrispondere meglio ai pattern nel dataset reale.

Questo funziona perché il processo è differenziabile (il che significa che ogni passaggio è fluido e ha gradienti ben definiti, quindi piccoli cambiamenti di pixel portano a cambiamenti prevedibili nella perdita), consentendo al modello di regolare agevolmente i dati sintetici durante la discesa del gradiente.

Man mano che l'ottimizzazione continua, le immagini sintetiche iniziano a formare una struttura significativa, inclusi forme e texture che il modello riconosce. Queste immagini sintetiche perfezionate vengono spesso utilizzate per attività di classificazione di immagini perché catturano gli indizi visivi chiave necessari a un classificatore per imparare.

I dataset distillati vengono valutati addestrando modelli su di essi e confrontando i risultati con modelli addestrati su dati reali. I ricercatori misurano la precisione di validazione e controllano se il set sintetico preserva le caratteristiche discriminative (i pattern o segnali su cui il modello fa affidamento per distinguere una classe dall'altra) necessarie per separare le classi. Testano anche la stabilità e la generalizzazione attraverso diverse esecuzioni o configurazioni di modello per assicurarsi che i dati distillati non portino a overfitting.

Applicazioni nel mondo reale della distillazione di dati#

Successivamente, daremo uno sguardo più da vicino ad esempi che mostrano come i dataset distillati accelerano l'addestramento e riducono i costi di calcolo pur mantenendo prestazioni elevate, anche quando i dati sono limitati o altamente specializzati.

Utilizzo della distillazione di dataset per applicazioni di computer vision#

Quando si parla di computer vision, l'obiettivo è addestrare modelli a comprendere dati visivi come immagini e video. Questi modelli imparano pattern come bordi, texture, forme e oggetti, e poi usano quei pattern per compiti come classificazione di immagini, rilevamento di oggetti o segmentazione. Poiché i problemi di visione hanno spesso un'enorme variazione di illuminazione, sfondi e punti di vista, i sistemi di computer vision di solito necessitano di dataset enormi per generalizzare bene, il che rende l'addestramento costoso e lento.

Fig 4. Un esempio di distillazione dei dataset (Fonte)

Quando si tratta di casi d'uso di classificazione di immagini come scansioni mediche, monitoraggio della fauna selvatica o rilevamento di difetti in fabbrica, i modelli spesso affrontano un difficile compromesso tra precisione e costo di addestramento. Questi compiti in genere coinvolgono dataset massicci.

La distillazione dei dataset può comprimere il set di addestramento originale in un piccolo numero di immagini sintetiche che contengono comunque gli indizi visivi più importanti per il classificatore. Su grandi benchmark come ImageNet, è stato dimostrato che i set distillati che utilizzano solo circa il 4,2% delle immagini originali mantengono una forte accuratezza di classificazione. Ciò significa che un minuscolo proxy sintetico può sostituire milioni di campioni reali con una potenza di calcolo di gran lunga inferiore.

Neural architecture search#

Neural architecture search, o NAS, è una tecnica che esplora automaticamente molti possibili design di rete neurale per trovare quello che funziona meglio per un compito. Poiché NAS deve addestrare e valutare un gran numero di modelli candidati, eseguirlo su dataset completi può essere lento e molto intensivo dal punto di vista computazionale.

La distillazione di dataset aiuta creando un minuscolo set di addestramento sintetico che contiene ancora il segnale di apprendimento principale dei dati originali, quindi ogni architettura candidata può essere testata molto più velocemente. Ciò consente a NAS di confrontare i design in modo efficiente mantenendo le classifiche dei buoni contro cattivi architetture ragionevolmente affidabili, riducendo il costo di ricerca senza sacrificare molto la qualità finale del modello.

Apprendimento continuo e distribuzione edge#

I sistemi di apprendimento continuo, ovvero i modelli che continuano ad aggiornarsi man mano che arrivano nuovi dati invece di essere addestrati una sola volta, necessitano di aggiornamenti rapidi ed efficienti in termini di memoria. I dispositivi edge come telecamere, telefoni e sensori affrontano limiti simili a causa dei loro rigidi budget di calcolo e archiviazione.

La distillazione dei dataset aiuta in entrambi i casi comprimendo un grande set di addestramento in uno sintetico piccolissimo, in modo che i modelli possano adattarsi o riaddestrarsi utilizzando un piccolo set di riproduzione anziché l'intero dataset. Ad esempio, il lavoro sul meta-apprendimento basato su kernel ha dimostrato che solo 10 campioni distillati possono raggiungere oltre il 64% di accuratezza su CIFAR-10, un benchmark standard di classificazione delle immagini. Poiché il set di riproduzione è così compatto, gli aggiornamenti diventano molto più rapidi e pratici, specialmente quando i modelli devono essere aggiornati frequentemente.

La distillazione di dataset può anche lavorare insieme alla distillazione della conoscenza per modelli di linguaggio di grandi dimensioni. Un piccolo dataset distillato può mantenere i segnali di compito più importanti dal modello insegnante, quindi un modello studente compresso può essere addestrato o aggiornato in modo più efficiente senza perdere molte prestazioni. Poiché questi dataset sono minuscoli, sono particolarmente utili per l'uso edge o on-device, dove l'archiviazione e il calcolo sono limitati ma desideri comunque che il modello rimanga accurato dopo gli aggiornamenti.

Pro e contro della distillazione di dati#

Ecco alcuni vantaggi dell'utilizzo della distillazione di dataset:

• Ottimo per esperimenti rapidi. Puoi testare nuove architetture, perdite o iperparametri senza riaddestrare su un dataset enorme ogni volta.
• Potenziale vantaggio per la privacy. Condividere campioni sintetici distillati può essere più sicuro rispetto alla condivisione di punti dati utente reali, poiché gli esempi grezzi non sono esposti direttamente.
• Spesso più forte del semplice prelievo di sottoinsiemi. Invece di selezionare solo esempi, la distillazione li ottimizza attivamente per essere massimamente informativi.

Mentre la distillazione di dataset offre diversi vantaggi, ecco alcune limitazioni da tenere a mente:

• Overfitting: I dati distillati spesso funzionano al meglio per l'architettura utilizzata durante la distillazione e potrebbero trasferirsi scarsamente a modelli molto diversi.
• Sensibile agli iperparametri. I risultati possono dipendere molto da fattori come il tasso di apprendimento, l'inizializzazione o il numero di passaggi di distillazione.
• Più difficile da scalare alla complessità del mondo reale. I metodi che funzionano bene sui benchmark possono perdere precisione su dataset grandi, disordinati o ad alta risoluzione.

Punti chiave#

La distillazione di dataset rende possibile per un piccolo set di campioni sintetici insegnare a un modello quasi in modo efficace quanto un dataset completo. Questo rende il machine learning più veloce, più efficiente e più facile da scalare. Man mano che i modelli crescono e richiedono più dati, i dataset distillati offrono un modo pratico per ridurre i costi di calcolo senza sacrificare la precisione.

Unisciti alla nostra community e dai un'occhiata al nostro repository GitHub per scoprire di più sull'IA. Se cerchi di costruire il tuo progetto di IA visiva, dai un'occhiata alle nostre opzioni di licenza. Scopri di più su applicazioni come l'IA nella sanità e l'IA visiva nel retail visitando le nostre pagine delle soluzioni.