Apprendimento federato

L'apprendimento federato (FL) è una tecnica di apprendimento automatico (ML) che consente di addestrare i modelli su più dispositivi o server decentralizzati che contengono campioni di dati locali, senza scambiare i dati stessi. Questo approccio risolve i problemi di privacy e sicurezza dei dati mantenendo i dati grezzi sul dispositivo dell'utente. Invece di riunire i dati in un server centrale per l'addestramento del modello, FL funziona inviando un modello globale ai dispositivi locali. Ogni dispositivo addestra il modello con i propri dati e solo gli aggiornamenti del modello risultanti - piccoli miglioramenti mirati - vengono inviati a un server centrale per essere aggregati. Questo processo collaborativo migliora il modello globale condiviso senza compromettere le informazioni dell'utente.

Come funziona l'apprendimento federato

Il processo di apprendimento federato comporta tipicamente un ciclo ripetuto di fasi orchestrate da un server centrale di coordinamento:

1. Distribuzione del modello: Il server centrale inizializza un modello globale di intelligenza artificiale, come una rete neurale, e lo distribuisce a una selezione di dispositivi client (ad esempio, telefoni cellulari o computer dell'ospedale).
2. Addestramento locale: Ogni dispositivo client addestra il modello sul proprio set di dati locali. Poiché questi dati non lasciano mai il dispositivo, rimangono privati. L'addestramento locale è una componente chiave dell'intelligenza on-device, spesso associata all'Edge AI.
3. Invio degli aggiornamenti: Dopo l'addestramento per alcune iterazioni, ogni client invia gli aggiornamenti del modello calcolati (come i gradienti o i pesi del modello) al server centrale. Si tratta di un carico utile molto più piccolo e sicuro dei dati grezzi stessi.
4. Aggregazione sicura: Il server centrale aggrega gli aggiornamenti di tutti i client, ad esempio calcolando una media, per migliorare il modello globale. Tecniche come la computazione multiparty sicura possono essere utilizzate per garantire che il server non possa effettuare il reverse-engineering dei singoli aggiornamenti.
5. Miglioramento del modello: Il modello globale perfezionato viene quindi rinviato ai clienti per il successivo ciclo di formazione. Questo processo iterativo continua finché le prestazioni del modello non raggiungono il livello di precisione desiderato.

Applicazioni del mondo reale

L'apprendimento federato non è solo un concetto teorico: è alla base di numerose applicazioni mainstream e sta trasformando i settori in cui la sensibilità dei dati è fondamentale.

• Previsioni sulle tastiere intelligenti: Aziende come Google utilizzano FL per migliorare il testo predittivo sulle tastiere mobili. Il telefono impara dalla cronologia di digitazione per suggerire la parola successiva, e queste conoscenze vengono condivise come aggiornamenti anonimi del modello per migliorare il motore predittivo per tutti gli utenti senza che i messaggi reali lascino mai il dispositivo.
• Ricerca medica collaborativa: FL consente agli ospedali e agli istituti di ricerca di collaborare alla creazione di potenti modelli diagnostici per attività come l'analisi delle immagini mediche per individuare i tumori. Ogni ospedale può addestrare un modello condiviso sui dati dei propri pazienti, protetti dalle leggi sulla privacy come l'HIPAA, senza esporre i dati sensibili dei pazienti ad altre istituzioni o a un archivio centrale. Ciò consente di creare modelli più robusti addestrati su set di dati diversi.

Apprendimento federato e concetti correlati

È importante distinguere il FL da altri paradigmi di apprendimento:

• Formazione centralizzata: L'approccio tradizionale in cui tutti i dati vengono raccolti in un unico luogo per la formazione. FL è l'esatto contrario, progettato appositamente per evitare la centralizzazione dei dati.
• Formazione distribuita: Anche questa tecnica utilizza più macchine per accelerare l'addestramento, ma presuppone che i dati di addestramento siano memorizzati in una posizione centrale e possano essere distribuiti liberamente tra i nodi di addestramento. FL, invece, lavora con dati che sono intrinsecamente decentralizzati e non possono essere spostati.
• Apprendimento attivo: Questo metodo si concentra sulla selezione efficiente dei punti dati più informativi da etichettare per ridurre i costi di annotazione. Mentre il FL si occupa di dove avviene l'addestramento, l'apprendimento attivo si occupa di quali dati vengono utilizzati. I due metodi possono essere combinati per migliorare ulteriormente la privacy e l'efficienza, come illustrato in questo blog sull'apprendimento attivo.

Sfide e quadri di riferimento

Nonostante i suoi vantaggi, FL deve affrontare sfide come gli alti costi di comunicazione, la gestione di dispositivi con diversa potenza di calcolo(CPU/GPU) e la gestione di dati non IID (non identicamente e indipendentemente distribuiti), che possono falsare il modello. Il sistema può anche essere vulnerabile agli attacchi avversari che mirano agli aggiornamenti del modello. Per affrontare queste complessità, sono stati sviluppati framework come TensorFlow Federated e PySyft da organizzazioni come OpenMined. Con la maturazione della tecnologia, la gestione dell'intero ciclo di vita di distribuzione e monitoraggio dei modelli diventa cruciale, un processo semplificato da piattaforme come Ultralytics HUB.