Cos'è la distillazione di dataset? Una rapida panoramica

Addestrare modelli può sembrare la parte più dispendiosa in termini di tempo del lavoro di un data scientist. Ma la maggior parte del loro tempo, spesso dal 60% all'80%, è dedicata in realtà alla preparazione dei dati: raccolta, pulizia e organizzazione per la modellazione. Man mano che i dataset crescono, anche questo tempo di preparazione aumenta, rallentando gli esperimenti e rendendo più difficile l'iterazione.

Per affrontare questo problema, i ricercatori hanno speso anni alla ricerca di modi per semplificare l'addestramento. Approcci come dati sintetici, compressione di dataset e migliori metodi di ottimizzazione mirano tutti a ridurre il costo e l'attrito del lavoro con dataset su larga scala e ad accelerare i flussi di lavoro di machine learning.

Una domanda chiave che ciò solleva è se possiamo ridurre drasticamente un dataset pur ottenendo le stesse prestazioni dell'addestramento di un modello sui dati completi. La distillazione di dataset è una risposta promettente.

Crea una versione compatta di un dataset di addestramento di grandi dimensioni, preservando i pattern essenziali che il modello deve apprendere in modo efficace. Offre un percorso verso un addestramento più rapido, minori esigenze di calcolo e sperimentazioni più efficienti. Puoi pensarlo come un foglietto di appunti per il modello, un minuscolo insieme di esempi di dati sintetici progettati per insegnare gli stessi pattern fondamentali del dataset completo.

In questo articolo, esploreremo come funziona la distillazione di dataset e come supporta il machine learning e il deep learning scalabili in applicazioni del mondo reale. Iniziamo!

Link to this sectionComprendere la distillazione di dataset#

La distillazione di dataset è un processo in cui un ampio dataset di addestramento viene condensato in un insieme di dati molto più piccolo che insegna comunque a un modello quasi le stesse informazioni del dataset originale. Molti ricercatori si riferiscono a questo processo anche come condensazione di dataset, poiché l'obiettivo è catturare i pattern essenziali che appaiono nell'intero dataset.

Un dataset distillato è diverso da dati sintetici generati casualmente o dal semplice prelievo di un sottoinsieme più piccolo di immagini reali. Non è un falso dataset casuale o una copia ridotta dell'originale.

Al contrario, è deliberatamente ottimizzato per catturare i pattern più importanti. Durante questo processo, ogni pixel e caratteristica viene regolato e ottimizzato in modo che una rete neurale addestrata sui dati distillati impari quasi come se fosse stata addestrata sull'intero dataset.

Questa idea è apparsa per la prima volta in un articolo arXiv del 2018 di Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba e Alexei A. Efros. I primi test hanno utilizzato dataset semplici come MNIST e CIFAR-10, il che ha reso facile dimostrare che pochi campioni distillati potevano sostituire migliaia di immagini reali.

Fig 1. Utilizzo della distillazione di dataset per dati immagine (Fonte)

Da allora, il lavoro di follow-up ha spinto ulteriormente la distillazione di dataset, inclusi metodi pubblicati a ICML e ICLR che rendono la condensazione più efficiente e scalabile.

Link to this sectionIl significato della distillazione di dataset#

La distillazione di dataset migliora l'efficienza dell'addestramento e accelera i cicli di sviluppo. Riducendo la quantità di dati da cui un modello deve imparare, diminuisce i requisiti computazionali.

Questo è particolarmente utile per l'apprendimento continuo, dove i modelli si aggiornano nel tempo, la ricerca di architetture neurali, dove vengono testati molti modelli, e l'addestramento edge, dove i modelli vengono eseguiti su piccoli dispositivi con memoria e potenza limitate. Nel complesso, questi vantaggi rendono la distillazione di dataset un'ottima opzione per l'inizializzazione rapida, il fine-tuning veloce e la creazione di prototipi iniziali in molti flussi di lavoro di machine learning.

Link to this sectionUna panoramica su come funziona la distillazione di dataset#

La distillazione di dataset crea campioni di addestramento sintetici, o generati artificialmente. Questi campioni aiutano un modello a imparare in un modo che assomiglia molto all'addestramento su dati reali. Funziona monitorando tre fattori chiave durante l'addestramento normale.

Il primo è la funzione di perdita, che è il punteggio di errore del modello che mostra quanto sono errate le sue previsioni. Il secondo sono i parametri del modello, che sono i pesi interni della rete che vengono aggiornati man mano che apprende.

Il terzo è la traiettoria di addestramento, che descrive come l'errore e i pesi cambiano passo dopo passo nel tempo. I campioni sintetici vengono quindi ottimizzati in modo che, quando un modello si addestra su di essi, il suo errore diminuisca e i suoi pesi si aggiornino allo stesso modo in cui farebbero con il dataset completo.

Link to this sectionUno sguardo passo dopo passo alla distillazione di dataset#

Ecco uno sguardo più da vicino a come funziona il processo di distillazione di dataset:

• Passaggio 1 - Inizializza i pixel sintetici: Il processo inizia con immagini sintetiche che fungono da input apprendibili. All'inizio, queste immagini hanno poca struttura e sembrano fogli bianchi. Nel tempo, vengono ottimizzate in esempi informativi.
• Passaggio 2 - Ottimizza con gradient matching e backpropagation: Mentre il modello si addestra su queste immagini sintetiche, produce gradienti che indicano come ogni pixel dovrebbe cambiare per adattarsi meglio al comportamento di addestramento dei dati reali. La backpropagation è il metodo che la rete usa per imparare dagli errori. Invia l'errore all'indietro attraverso il modello per capire quali pixel e pesi l'hanno causato, quindi li aggiorna leggermente. Usando quei gradienti, la backpropagation regola le immagini sintetiche passo dopo passo affinché diventino più informative per l'addestramento.
• Passaggio 3 - Corrispondenza del comportamento attraverso i passaggi di addestramento: Il metodo abbina anche le traiettorie di addestramento, il che significa i cambiamenti passo dopo passo che il modello attraversa mentre impara. Ciò garantisce che il dataset distillato guidi il modello attraverso un percorso di apprendimento simile a quello che seguirebbe con il dataset completo.
• Passaggio 4 - Validazione e generalizzazione: Infine, il dataset distillato viene valutato su dati di validazione reali per vedere quanto bene il modello addestrato esegue su nuovi esempi. Questo verifica che i dati sintetici insegnino pattern ampi e funzionali anziché far memorizzare al modello campioni specifici.

Fig 2. Uno sguardo alla distillazione di dataset (Fonte)

Link to this sectionPrincipali metodologie di distillazione di dataset#

Tutti i metodi di distillazione di dataset sono costruiti sulla stessa idea centrale, anche se usano algoritmi diversi per arrivarci. La maggior parte degli approcci rientra in tre categorie: corrispondenza delle prestazioni, corrispondenza della distribuzione e corrispondenza dei parametri.

Successivamente, diamo un'occhiata a ciascuno di essi e vediamo come funziona.

Link to this sectionCorrispondenza delle prestazioni#

La corrispondenza delle prestazioni nella distillazione di dataset si concentra sulla creazione di un set di addestramento minuscolo e ottimizzato che consente a un modello di raggiungere quasi la stessa precisione come se fosse stato addestrato sul dataset originale completo. Invece di scegliere un sottoinsieme casuale, i campioni distillati vengono ottimizzati in modo che un modello addestrato su di essi finisca con previsioni simili, un comportamento di perdita simile durante l'addestramento o una precisione finale simile a quella di un modello addestrato sul dataset originale.

Meta-learning è un metodo comune usato per migliorare questo processo. Il dataset distillato viene aggiornato attraverso episodi di addestramento ripetuti, quindi diventa efficace in molte situazioni possibili.

Durante questi episodi, il metodo simula come un modello studente impara dai campioni distillati correnti, controlla quanto bene quello studente esegue sui dati reali, e poi regola i campioni distillati per essere insegnanti migliori. Nel tempo, il set distillato impara a supportare un apprendimento rapido e una forte generalizzazione, anche quando il modello studente parte da pesi iniziali diversi o usa un'architettura diversa. Questo rende il dataset distillato più affidabile e non legato a una singola esecuzione di addestramento.

Fig 3. Il processo di meta-learning (Fonte)

Link to this sectionTecniche di corrispondenza della distribuzione#

Nel frattempo, la corrispondenza della distribuzione genera dati sintetici che corrispondono ai pattern statistici del dataset reale. Invece di concentrarsi solo sulla precisione finale di un modello, questo approccio si concentra sulle caratteristiche interne che una rete neurale genera durante l'apprendimento.

Successivamente, diamo un'occhiata alle due tecniche che guidano la corrispondenza della distribuzione.

Link to this sectionCorrispondenza della distribuzione a singolo strato#

La corrispondenza della distribuzione a singolo strato si concentra su un singolo strato di una rete neurale e confronta le caratteristiche che produce per dati reali contro sintetici. Quelle caratteristiche, chiamate anche attivazioni, catturano ciò che il modello ha imparato a quel punto nella rete.

Facendo in modo che i dati sintetici producano attivazioni simili, il metodo incoraggia il dataset distillato a riflettere gli stessi pattern importanti del dataset originale. In pratica, i campioni sintetici vengono aggiornati ripetutamente finché le attivazioni a quello strato scelto non corrispondono strettamente a quelle delle immagini reali.

Questo approccio è relativamente semplice perché allinea solo un livello di rappresentazione alla volta. Può funzionare particolarmente bene su dataset più piccoli o compiti in cui non è necessario abbinare gerarchie di caratteristiche profonde e multistadio. Allineando chiaramente uno spazio delle caratteristiche, la corrispondenza a singolo strato fornisce un segnale stabile e significativo per l'apprendimento con il dataset distillato.

Link to this sectionCorrispondenza della distribuzione multistrato#

La corrispondenza della distribuzione multistrato si basa sull'idea di confrontare dati reali e sintetici facendolo su diversi strati di una rete neurale invece di uno solo. Strati diversi catturano diversi tipi di informazioni, da bordi e texture semplici negli strati iniziali a forme e pattern più complessi in strati più profondi.

Abbinando le caratteristiche attraverso questi strati, il dataset distillato viene spinto a riflettere ciò che il modello impara a più livelli. Poiché allinea le caratteristiche in tutta la rete, questo approccio aiuta i dati sintetici a preservare segnali più ricchi su cui il modello fa affidamento per distinguere le classi.

Questo è particolarmente utile nella computer vision, ovvero compiti in cui i modelli imparano a comprendere immagini e video, perché i pattern utili sono distribuiti su molti strati. Quando le distribuzioni delle caratteristiche corrispondono bene a diverse profondità, il dataset distillato agisce come un sostituto più forte e affidabile per i dati di addestramento originali.

Link to this sectionMetodi di corrispondenza dei parametri#

Un'altra categoria chiave nella distillazione di dataset è la corrispondenza dei parametri. Invece di far corrispondere la precisione o le distribuzioni delle caratteristiche, fa corrispondere come cambiano i pesi di un modello durante l'addestramento. Rendendo l'addestramento sul dataset distillato in grado di produrre aggiornamenti dei parametri simili all'addestramento sui dati reali, il modello segue un percorso di apprendimento quasi identico.

Esamineremo i due principali metodi di corrispondenza dei parametri subito dopo.

Link to this sectionCorrispondenza a singolo passaggio#

La corrispondenza a singolo passaggio confronta cosa succede ai pesi di un modello dopo un solo passaggio di addestramento su dati reali. Il dataset distillato viene quindi sintonizzato in modo che un modello addestrato su di esso per un passaggio produca un aggiornamento dei pesi molto simile. Poiché si concentra solo su questo singolo aggiornamento, il metodo è diretto e veloce da eseguire.

Il lato negativo è che un passaggio non riflette l'intero processo di apprendimento, specialmente per compiti più difficili in cui il modello ha bisogno di molti aggiornamenti per costruire caratteristiche più ricche. Per questo motivo, la corrispondenza a singolo passaggio tende a funzionare meglio su problemi più semplici o dataset più piccoli in cui i pattern utili possono essere colti rapidamente.

Link to this sectionCorrispondenza dei parametri a passaggi multipli#

Al contrario, la corrispondenza dei parametri a passaggi multipli guarda a come cambiano i pesi di un modello su diversi passaggi di addestramento, non solo uno. Questa sequenza di aggiornamenti è la traiettoria di addestramento del modello.

Il dataset distillato è costruito in modo che, quando un modello si addestra sui campioni sintetici, la sua traiettoria segua da vicino quella che prenderebbe su dati reali. Abbinando un tratto più lungo di apprendimento, il set distillato cattura gran parte della struttura nel processo di addestramento originale.

Poiché riflette come l'apprendimento si svolge nel tempo, la corrispondenza a passaggi multipli solitamente funziona meglio per dataset più grandi o complessi in cui i modelli hanno bisogno di molti aggiornamenti per cogliere pattern utili. Richiede più calcolo poiché deve monitorare passaggi multipli, ma spesso produce dataset distillati che generalizzano meglio e offrono prestazioni migliori rispetto alla corrispondenza a singolo passaggio.

Link to this sectionCome funzionano la generazione e l'ottimizzazione di dataset sintetici#

Con una migliore comprensione dei principali approcci di distillazione, possiamo ora guardare a come vengono creati i dati sintetici. Nella distillazione di dataset, i campioni sintetici vengono ottimizzati per catturare il segnale di apprendimento più importante, così un piccolo insieme può sostituire un dataset molto più grande.

Successivamente, vedremo come questi dati distillati vengono generati e valutati.

Link to this sectionCreazione e valutazione di immagini distillate#

Durante la distillazione di dataset, i pixel sintetici vengono aggiornati su molti passaggi di addestramento. La rete neurale impara dalle immagini sintetiche correnti e invia un feedback basato sul gradiente, che mostra come ogni pixel dovrebbe cambiare per corrispondere meglio ai pattern nel dataset reale.

Questo funziona perché il processo è differenziabile (il che significa che ogni passaggio è fluido e ha gradienti ben definiti, quindi piccoli cambiamenti di pixel portano a cambiamenti prevedibili nella perdita), consentendo al modello di regolare agevolmente i dati sintetici durante la discesa del gradiente.

Mentre l'ottimizzazione continua, le immagini sintetiche iniziano a formare una struttura significativa, inclusi forme e texture che il modello riconosce. Queste immagini sintetiche raffinate sono spesso utilizzate per compiti di classificazione di immagini perché catturano i segnali visivi chiave che un classificatore deve imparare.

I dataset distillati vengono valutati addestrando modelli su di essi e confrontando i risultati con modelli addestrati su dati reali. I ricercatori misurano la precisione di validazione e controllano se il set sintetico preserva le caratteristiche discriminative (i pattern o segnali su cui il modello fa affidamento per distinguere una classe dall'altra) necessarie per separare le classi. Testano anche la stabilità e la generalizzazione attraverso diverse esecuzioni o configurazioni di modello per assicurarsi che i dati distillati non portino a overfitting.

Link to this sectionApplicazioni nel mondo reale della distillazione di dati#

Successivamente, daremo uno sguardo più da vicino ad esempi che mostrano come i dataset distillati accelerano l'addestramento e riducono i costi di calcolo pur mantenendo prestazioni elevate, anche quando i dati sono limitati o altamente specializzati.

Link to this sectionUtilizzo della distillazione di dataset per applicazioni di computer vision#

Quando si parla di computer vision, l'obiettivo è addestrare modelli a comprendere dati visivi come immagini e video. Questi modelli imparano pattern come bordi, texture, forme e oggetti, e poi usano quei pattern per compiti come classificazione di immagini, rilevamento di oggetti o segmentazione. Poiché i problemi di visione hanno spesso un'enorme variazione di illuminazione, sfondi e punti di vista, i sistemi di computer vision di solito necessitano di dataset enormi per generalizzare bene, il che rende l'addestramento costoso e lento.

Fig 4. Un esempio di distillazione di dataset (Fonte)

Quando si tratta di casi d'uso di classificazione di immagini come scansioni mediche, monitoraggio della fauna selvatica o rilevamento di difetti in fabbrica, i modelli spesso affrontano un difficile compromesso tra precisione e costo di addestramento. Questi compiti in genere coinvolgono dataset massicci.

La distillazione di dataset può comprimere il set di addestramento originale in un piccolo numero di immagini sintetiche che contengono ancora i segnali visivi più importanti per il classificatore. Su benchmark di grandi dimensioni come ImageNet, set distillati che utilizzano solo circa il 4,2% dell'originale delle immagini hanno dimostrato di mantenere una forte precisione di classificazione. Ciò significa che un minuscolo proxy sintetico può sostituire milioni di campioni reali con molto meno calcolo.

Link to this sectionNeural architecture search#

Neural architecture search, o NAS, è una tecnica che esplora automaticamente molti possibili design di rete neurale per trovare quello che funziona meglio per un compito. Poiché NAS deve addestrare e valutare un gran numero di modelli candidati, eseguirlo su dataset completi può essere lento e molto intensivo dal punto di vista computazionale.

La distillazione di dataset aiuta creando un minuscolo set di addestramento sintetico che contiene ancora il segnale di apprendimento principale dei dati originali, quindi ogni architettura candidata può essere testata molto più velocemente. Ciò consente a NAS di confrontare i design in modo efficiente mantenendo le classifiche dei buoni contro cattivi architetture ragionevolmente affidabili, riducendo il costo di ricerca senza sacrificare molto la qualità finale del modello.

Link to this sectionApprendimento continuo e distribuzione edge#

I sistemi di apprendimento continuo, ovvero modelli che continuano ad aggiornarsi man mano che arrivano nuovi dati invece di essere addestrati una sola volta, necessitano di aggiornamenti veloci ed efficienti in termini di memoria. I dispositivi edge come fotocamere, telefoni e sensori affrontano limiti simili perché hanno budget di calcolo e archiviazione ristretti.

La distillazione di dataset aiuta in entrambi i casi comprimendo un ampio set di addestramento in uno sintetico minuscolo, in modo che i modelli possano adattarsi o riaddestrarsi usando un piccolo set di riproduzione invece dell'intero dataset. Ad esempio, il lavoro di meta-learning basato su kernel ha mostrato che solo 10 campioni distillati possono raggiungere oltre il 64% di precisione su CIFAR-10, un benchmark standard di classificazione di immagini. Poiché il set di riproduzione è così compatto, gli aggiornamenti diventano molto più rapidi e pratici, specialmente quando i modelli devono essere aggiornati spesso.

La distillazione di dataset può anche lavorare insieme alla distillazione della conoscenza per modelli di linguaggio di grandi dimensioni. Un piccolo dataset distillato può mantenere i segnali di compito più importanti dal modello insegnante, quindi un modello studente compresso può essere addestrato o aggiornato in modo più efficiente senza perdere molte prestazioni. Poiché questi dataset sono minuscoli, sono particolarmente utili per l'uso edge o on-device, dove l'archiviazione e il calcolo sono limitati ma desideri comunque che il modello rimanga accurato dopo gli aggiornamenti.

Link to this sectionPro e contro della distillazione di dati#

Ecco alcuni vantaggi dell'utilizzo della distillazione di dataset:

• Ottimo per esperimenti rapidi. Puoi testare nuove architetture, perdite o iperparametri senza riaddestrare su un dataset enorme ogni volta.
• Potenziale vantaggio per la privacy. Condividere campioni sintetici distillati può essere più sicuro rispetto alla condivisione di punti dati utente reali, poiché gli esempi grezzi non sono esposti direttamente.
• Spesso più forte del semplice prelievo di sottoinsiemi. Invece di selezionare solo esempi, la distillazione li ottimizza attivamente per essere massimamente informativi.

Mentre la distillazione di dataset offre diversi vantaggi, ecco alcune limitazioni da tenere a mente:

• Overfitting: I dati distillati spesso funzionano meglio per l'architettura utilizzata durante la distillazione e potrebbero trasferirsi male a modelli molto diversi.
• Sensibile agli iperparametri. I risultati possono dipendere molto da fattori come il tasso di apprendimento, l'inizializzazione o il numero di passaggi di distillazione.
• Più difficile da scalare alla complessità del mondo reale. I metodi che funzionano bene sui benchmark possono perdere precisione su dataset grandi, disordinati o ad alta risoluzione.

Link to this sectionPunti chiave#

La distillazione di dataset rende possibile per un piccolo set di campioni sintetici insegnare a un modello quasi in modo efficace quanto un dataset completo. Questo rende il machine learning più veloce, più efficiente e più facile da scalare. Man mano che i modelli crescono e richiedono più dati, i dataset distillati offrono un modo pratico per ridurre i costi di calcolo senza sacrificare la precisione.

Unisciti alla nostra community e dai un'occhiata al nostro repository GitHub per scoprire di più sull'AI. Se stai cercando di costruire il tuo progetto di vision AI, dai un'occhiata alle nostre opzioni di licenza. Esplora di più sulle applicazioni come AI nel settore sanitario e vision AI nel retail visitando le nostre pagine delle soluzioni.