Model Soups

I Model Soups si riferiscono a una tecnica di machine learning in cui i pesi di più reti neurali, perfezionate a partire dallo stesso modello base pre-addestrato utilizzando diversi iperparametri, vengono mediati insieme per creare un singolo modello più robusto. Questo approccio consente agli sviluppatori di migliorare la precisione complessiva e la generalizzazione senza aumentare il costo computazionale durante l'inferenza.

Quando si esegue il fine-tuning di un modello, i professionisti eseguono in genere un'ampia ricerca di hyperparameter tuning per trovare la configurazione con le migliori prestazioni. Tradizionalmente, viene selezionato il singolo modello migliore e gli altri vengono scartati. Tuttavia, la creazione di un modello soup sfrutta le diverse caratteristiche apprese da tutti i modelli della ricerca. Mediante la media diretta dei loro model weights, la rete risultante spesso supera il singolo modello migliore, combinandone efficacemente i punti di forza e riducendo al minimo l'overfitting. Questo processo è altamente efficiente e può essere gestito facilmente all'interno di ambienti collaborativi come Ultralytics Platform.

Applicazioni nel mondo reale#

I Model Soups sono altamente efficaci in scenari in cui le risorse computazionali sono limitate, ma sono richieste un'elevata precisione e robustezza.

• Visione per veicoli autonomi: Quando si distribuiscono sistemi di object detection in auto a guida autonoma, i modelli devono generalizzare in diverse condizioni di illuminazione e meteorologiche. Facendo la media di più modelli addestrati con diverse data augmentation e tassi di apprendimento, gli ingegneri creano una soup altamente robusta che mantiene una bassa inference latency. Ciò garantisce che le velocità di elaborazione in tempo reale fondamentali per la autonomous navigation rimangano inalterate.
• Diagnostica medica mobile: Nelle applicazioni di edge AI, come l'esecuzione di image classification su smartphone per lo screening dermatologico iniziale, la potenza di calcolo è severamente limitata. Un modello soup fornisce l'accuratezza potenziata necessaria per l'affidabilità clinica, garantendo al contempo che il footprint finale si adatti facilmente ai mobile edge devices senza scaricare la batteria o richiedere connettività cloud.

Differenziare concetti correlati#

Per orientarsi nel panorama della deep learning optimization, è importante distinguere i Model Soups da tecniche simili:

• Model Ensemble: L'ensembling combina le previsioni (output) di più modelli indipendenti. Sebbene ciò migliori l'accuratezza, richiede l'esecuzione di ogni modello durante l'inferenza, moltiplicando il costo computazionale. I Model Soups calcolano la media dei pesi prima dell'inferenza, mantenendo il costo computazionale identico a quello di un singolo modello.
• Model Merging: Questo è un termine più ampio per la combinazione di modelli che potrebbero essere stati addestrati su attività o set di dati completamente diversi. I Model Soups sono un sottoinsieme specifico del merging in cui tutti i modelli derivano esattamente dalla stessa pre-trained base architecture e vengono sottoposti a fine-tuning sulla stessa attività di destinazione.

Esempio di Implementazione#

La creazione di un model soup uniforme comporta l'accesso al PyTorch state dictionary di più modelli addestrati e la media matematica dei loro tensor. Di seguito è riportato un esempio conciso di come ciò possa essere ottenuto utilizzando un flusso di lavoro Ultralytics YOLO26 supportato nativamente dal PyTorch framework.

import torch

# Load the PyTorch state dictionaries from two fine-tuned YOLO26 models
model1 = torch.load("yolo26_run1.pt")["model"].state_dict()
model2 = torch.load("yolo26_run2.pt")["model"].state_dict()

# Create a uniform model soup by averaging the model weights
soup_dict = {key: (model1[key] + model2[key]) / 2.0 for key in model1.keys()}

# The resulting soup_dict can now be loaded into a new YOLO26 instance

Sfruttando questa tecnica, i professionisti della visione artificiale possono facilmente incrementare le metriche di prestazione come le capacità di zero-shot learning e la robustezza generale senza sacrificare la velocità di distribuzione richiesta per le moderne architetture IA edge-first.