Model Merging

La fusione dei modelli è una tecnica innovativa nel machine learning (ML) che unisce i parametri appresi (pesi) di più modelli pre-addestrati in un unico modello unificato. A differenza delle configurazioni tradizionali multi-modello, la fusione unisce direttamente i pesi del modello nello spazio dei parametri. Questo consente ai professionisti di combinare la conoscenza specializzata di diversi modelli messi a punto su attività o dataset differenti senza incorrere nei costi di memoria e computazionali legati all'esecuzione simultanea di più modelli.

Applicando le operazioni direttamente ai pesi, la fusione dei modelli mantiene l'impronta architetturale di una singola rete. Questo è particolarmente prezioso quando si distribuiscono pipeline avanzate di computer vision (CV) su dispositivi edge, dove la riduzione della latenza di inferenza e il risparmio di memoria sono cruciali.

Distinguere la fusione di modelli#

È utile differenziare la fusione dei modelli da concetti correlati come Model Ensemble e Transfer Learning.

• Fusione di modelli vs. Model Ensemble: Un model ensemble mantiene le reti individuali separate, eseguendole ciascuna durante l'inferenza e mediando i loro output. Ciò aumenta l'accuratezza ma moltiplica il carico computazionale. La fusione di modelli combina i pesi effettivi prima dell'inferenza, ottenendo un unico modello che non richiede ulteriore potenza di calcolo in fase di esecuzione.
• Model Merging vs. Transfer Learning: Il transfer learning prevede di prendere un modello di base e di addestrarlo ulteriormente su un nuovo dataset. La fusione dei modelli non richiede alcun fine-tuning aggiuntivo; utilizza operazioni matematiche per fondere modelli già addestrati.

Tecniche comuni#

I ricercatori hanno sviluppato diversi metodi per combinare efficacemente i pesi senza distruggere le capacità sottostanti della rete, come esplorato in recenti ricerche accademiche su arXiv.

• Weight Averaging: Il metodo più semplice, che calcola la media dei pesi di più modelli che condividono la stessa architettura.
• Task Arithmetic: Una tecnica in cui i "vettori di task" (la differenza tra un modello ottimizzato e il suo modello di base) vengono sommati o sottratti per combinare o rimuovere comportamenti specifici.
• TIES-Merging: Un approccio avanzato che risolve l'interferenza dei parametri eliminando i valori ridondanti ed eleggendo segni coerenti tra i modelli, preservando le prestazioni su diversi task.

Applicazioni nel mondo reale#

La fusione di modelli è altamente efficace per costruire sistemi generalizzati senza dover riaddestrare tutto da zero.

• Autonomous Vehicles: Un'auto a guida autonoma potrebbe utilizzare un modello di base Ultralytics YOLO26. Gli ingegneri possono addestrare indipendentemente una versione del modello per rilevare movimenti sottili dei pedoni e un'altra per leggere segnali stradali complessi. La fusione di questi due modelli crea un rilevatore singolo e altamente capace che gestisce entrambe le attività contemporaneamente senza raddoppiare il tempo di inferenza.
• AI in Healthcare: Nell'imaging medico, diversi ospedali di ricerca potrebbero mettere a punto modelli su dataset locali specializzati (ad esempio, uno per scansioni MRI e uno per scansioni CT) a causa di rigide leggi sulla privacy dei dati. Fondendo i modelli in modo sicuro, i ricercatori possono creare uno strumento diagnostico completo che beneficia di diverse distribuzioni di dati.

Esempio: Semplice media dei pesi#

Puoi eseguire facilmente una fusione di modelli di base utilizzando PyTorch. Il seguente esempio dimostra come calcolare la media dei dizionari di stato di due modelli strutturati in modo identico.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Per i team che desiderano semplificare i flussi di lavoro complessi di annotazione, addestramento e distribuzione dei dataset, la Ultralytics Platform offre un'interfaccia intuitiva per gestire senza sforzo progetti di IA visiva end-to-end.