Model Merging

La fusione di modelli è una tecnica innovativa nell'machine learning (ML) che combina i parametri appresi (pesi) di diversi modelli pre-addestrati in un unico modello unificato. A differenza delle configurazioni tradizionali a più modelli, la fusione combina direttamente i model weights nello spazio dei parametri. Ciò permette agli sviluppatori di combinare la conoscenza specializzata di più modelli ottimizzati su compiti o dataset diversi senza incorrere nei costi di memoria e calcolo derivanti dall'esecuzione simultanea di più modelli.

Applicando le operazioni direttamente ai pesi, la fusione di modelli mantiene l'impronta architettonica di una singola rete. Questo è particolarmente utile durante la distribuzione di pipeline avanzate di computer vision (CV) su dispositivi edge, dove ridurre la inference latency e risparmiare memoria è fondamentale.

Link to this sectionDistinguere la fusione di modelli#

È utile differenziare la fusione di modelli da concetti correlati come il Model Ensemble e il Transfer Learning.

• Fusione di modelli vs. Model Ensemble: Un model ensemble mantiene le reti individuali separate, eseguendole ciascuna durante l'inferenza e mediando i loro output. Ciò aumenta l'accuratezza ma moltiplica il carico computazionale. La fusione di modelli combina i pesi effettivi prima dell'inferenza, ottenendo un unico modello che non richiede ulteriore potenza di calcolo in fase di esecuzione.
• Fusione di modelli vs. Transfer Learning: Il transfer learning prevede di prendere un modello di base e addestrarlo ulteriormente su un nuovo dataset. La fusione di modelli non richiede alcun fine-tuning aggiuntivo; utilizza operazioni matematiche per fondere modelli già addestrati.

Link to this sectionTecniche comuni#

I ricercatori hanno sviluppato diversi metodi per combinare efficacemente i pesi senza distruggere le capacità sottostanti della rete, come esplorato in recenti academic research on arXiv.

• Weight Averaging: Il metodo più semplice, che calcola la media dei pesi di più modelli che condividono la stessa architettura.
• Task Arithmetic: Una tecnica in cui i "vettori di task" (la differenza tra un modello ottimizzato e il suo modello di base) vengono sommati o sottratti per combinare o rimuovere comportamenti specifici.
• TIES-Merging: Un approccio avanzato che risolve l'interferenza dei parametri eliminando i valori ridondanti ed eleggendo segni coerenti tra i modelli, preservando le prestazioni su diversi task.

Link to this sectionApplicazioni nel mondo reale#

La fusione di modelli è altamente efficace per costruire sistemi generalizzati senza dover riaddestrare tutto da zero.

• Autonomous Vehicles: Un'auto a guida autonoma potrebbe utilizzare un modello di base Ultralytics YOLO26. Gli ingegneri possono addestrare indipendentemente una versione del modello per rilevare sottili movimenti dei pedoni e un'altra per leggere complessi segnali stradali. Unendo questi due modelli si crea un unico rilevatore altamente capace che gestisce entrambi i compiti simultaneamente senza raddoppiare il tempo di inferenza.
• AI in Healthcare: Nell'imaging medico, diversi ospedali di ricerca potrebbero ottimizzare i modelli su dataset locali specializzati (ad esempio, uno per le scansioni MRI e uno per le scansioni CT) a causa di severe leggi sulla privacy dei dati. Fondendo i modelli in modo sicuro, i ricercatori possono creare uno strumento diagnostico completo che beneficia di distribuzioni di dati diverse.

Link to this sectionEsempio: Semplice media dei pesi#

Puoi eseguire facilmente una fusione di modelli di base utilizzando PyTorch. Il seguente esempio dimostra come calcolare la media dei dizionari di stato di due modelli con struttura identica.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Per i team che cercano di semplificare i complessi flussi di lavoro di annotazione dei dataset, addestramento e distribuzione, la Ultralytics Platform fornisce un'interfaccia intuitiva per gestire progetti di visione AI end-to-end senza sforzo.