Model Merging

La fusione dei modelli è una tecnica innovativa nell'apprendimento automatico (ML) che combina i parametri appresi (pesi) di più modelli preaddestrati in un unico modello unificato. A differenza delle configurazioni tradizionali con più modelli, la fusione combina direttamente i [pesi del modello](https://ultralytics-translation-1.invalid nello spazio dei parametri. In questo modo, puoi combinare le conoscenze specializzate di diversi modelli sottoposti a fine-tuning per attività o set di dati differenti senza sostenere i costi di memoria e computazionali derivanti dall'esecuzione simultanea di più modelli.

Applicando le operazioni direttamente ai pesi, la fusione dei modelli mantiene l'ingombro architetturale di una singola rete. Questo è particolarmente utile quando distribuisci pipeline avanzate di visione artificiale (CV) su dispositivi edge, dove ridurre la latenza dell'inferenza e risparmiare memoria è fondamentale.

Distinguere la fusione dei modelli#

È utile distinguere la fusione dei modelli da concetti correlati come l'ensemble di modelli e il transfer learning.

• Fusione dei modelli vs. ensemble di modelli: un ensemble di modelli mantiene separate le singole reti, eseguendole durante l'inferenza e calcolando la media dei loro output. Questo aumenta la precisione, ma moltiplica il sovraccarico computazionale. La fusione dei modelli combina i pesi effettivi prima dell'inferenza, ottenendo un singolo modello che non richiede calcoli aggiuntivi in fase di esecuzione.
• Fusione dei modelli vs. transfer learning: il transfer learning consiste nel prendere un modello di base e addestrarlo ulteriormente su un nuovo set di dati. La fusione dei modelli non richiede ulteriore fine-tuning; utilizza operazioni matematiche per combinare modelli già addestrati.

Tecniche comuni#

I ricercatori hanno sviluppato diversi metodi per combinare efficacemente i pesi senza compromettere le capacità sottostanti della rete, come illustrato in recenti ricerche accademiche su arXiv.

• Media dei pesi: il metodo più semplice, che calcola la media dei pesi di più modelli con la stessa architettura.
• Aritmetica delle attività: una tecnica in cui i "vettori delle attività" (la differenza tra un modello sottoposto a fine-tuning e il relativo modello di base) vengono sommati o sottratti per combinare o rimuovere comportamenti specifici.
• TIES-Merging: un approccio avanzato che risolve l'interferenza tra i parametri eliminando i valori ridondanti e selezionando segni coerenti tra i modelli, preservando le prestazioni su attività diverse.

Applicazioni nel mondo reale#

La fusione dei modelli è molto efficace per creare sistemi generalizzati senza doverli riaddestrare da zero.

• Veicoli autonomi: un'auto a guida autonoma potrebbe utilizzare un modello di base Ultralytics YOLO26. Gli ingegneri possono addestrare separatamente una versione del modello per rilevare i movimenti impercettibili dei pedoni e un'altra per leggere segnali stradali complessi. La fusione di questi due modelli crea un singolo rilevatore altamente efficiente, in grado di gestire entrambe le attività contemporaneamente senza raddoppiare il tempo di inferenza.
• AI nel settore sanitario: nell'imaging medico, diversi ospedali di ricerca potrebbero sottoporre i modelli a fine-tuning utilizzando set di dati locali specializzati (ad esempio, uno per le scansioni MRI e uno per le scansioni CT) a causa delle rigide leggi sulla privacy dei dati. Unendo i modelli in modo sicuro, i ricercatori possono creare uno strumento diagnostico completo che trae vantaggio da distribuzioni di dati diversificate.

Esempio: semplice media dei pesi#

Puoi eseguire facilmente una fusione di base dei modelli utilizzando PyTorch. L'esempio seguente mostra come calcolare la media dei dizionari di stato di due modelli con struttura identica.

import torch

# Load the weights (state dicts) from two identical architectures
weights_a = torch.load("yolo26_task1.pt")["model"].state_dict()
weights_b = torch.load("yolo26_task2.pt")["model"].state_dict()

# Perform simple weight averaging
merged_weights = {k: (weights_a[k] + weights_b[k]) / 2.0 for k in weights_a.keys()}

# Save the newly merged model weights
torch.save({"model": merged_weights}, "yolo26_merged.pt")

Per i team che desiderano semplificare i complessi flussi di lavoro relativi all'annotazione dei set di dati, all'addestramento e alla distribuzione, la Ultralytics Platform offre un'interfaccia intuitiva per gestire facilmente progetti di AI per la visione end-to-end.