Model Ensemble

Un Insieme di modelli (Model Ensemble) è un approccio strategico nel machine learning in cui le previsioni di più modelli individuali vengono combinate per produrre un risultato finale spesso più accurato e robusto di quanto qualsiasi singolo modello potrebbe ottenere da solo. Proprio come un comitato di esperti che delibera per prendere una decisione migliore rispetto a un singolo individuo, un insieme di modelli sfrutta i punti di forza di diverse architetture per mitigare gli errori. Questa tecnica è ampiamente utilizzata per migliorare le prestazioni in attività complesse, ridurre il rischio di overfitting e gestire il bias-variance tradeoff intrinseco nella modellazione statistica.

Link to this sectionLa meccanica dell'ensembling#

Il principio fondamentale dietro un insieme di modelli è la "diversità". Addestrando più modelli, spesso definiti "base learners" o "weak learners", su diversi sottoinsiemi di training data o utilizzando algoritmi diversi, l'insieme garantisce che gli errori commessi da un modello vengano probabilmente corretti dagli altri. Nel contesto del deep learning, ciò comporta spesso l'esecuzione di più neural networks in parallelo durante l'inferenza.

I metodi comuni per combinare queste previsioni includono:

• Votazione: Utilizzata nella image classification, dove la classe selezionata dalla maggioranza dei modelli diventa la previsione finale.
• Media: Spesso utilizzata in attività di regressione, in cui i risultati numerici vengono mediati per eliminare il rumore.
• Fusione pesata: Nell'object detection, tecniche come la Weighted Box Fusion (WBF) uniscono i BBox di diversi rilevatori in base ai punteggi di confidence.

Link to this sectionApplicazioni nel mondo reale#

Gli insiemi di modelli sono essenziali in ambienti ad alto rischio in cui massimizzare l'accuracy è fondamentale e le risorse computazionali consentono di eseguire più modelli.

1. Diagnostica medica: Nell'medical image analysis, perdere una diagnosi può avere gravi conseguenze. I radiologi utilizzano spesso insiemi che combinano una Convolutional Neural Network (CNN) standard con un Vision Transformer (ViT). La CNN eccelle nell'analisi della trama locale, mentre il ViT cattura il contesto globale, consentendo al sistema di rilevare tumori con una sensibilità superiore a quella di ogni singola architettura.

2. Guida autonoma: I sistemi di percezione negli autonomous vehicles devono essere a prova di errore. Gli ingegneri implementano frequentemente un insieme di modelli di rilevamento, ad esempio, fondendo la velocità in tempo reale di YOLO26 con l'accuratezza basata su Transformer di RT-DETR. Ciò garantisce che pedoni o ostacoli vengano rilevati anche se un modello ha difficoltà con specifiche condizioni di illuminazione, come riflessi o ombre.

Link to this sectionImplementare insiemi con Python#

Sebbene sia possibile creare strategie di insieme complesse utilizzando librerie come Scikit-learn, puoi creare un insieme di inferenza di base per la computer vision semplicemente caricando più modelli ed elaborando lo stesso input. Il seguente esempio dimostra come caricare due distinti modelli Ultralytics YOLO per generare previsioni sulla stessa immagine.

from ultralytics import YOLO

# Load two different model variants to create a diverse ensemble
model_a = YOLO("yolo26n.pt")  # Nano model (Speed focused)
model_b = YOLO("yolo26s.pt")  # Small model (Higher accuracy)

# Perform inference on an image with both models
# In production, results are typically merged programmatically
results_a = model_a("https://ultralytics.com/images/bus.jpg")
results_b = model_b("https://ultralytics.com/images/bus.jpg")

print(f"Model A detected {len(results_a[0].boxes)} objects.")
print(f"Model B detected {len(results_b[0].boxes)} objects.")

Link to this sectionInsieme di modelli vs. Mixture of Experts#

È utile distinguere un insieme di modelli standard da una Mixture of Experts (MoE), un termine spesso visto nella ricerca moderna sui Large Language Model (LLM).

• Insieme di modelli: Tipicamente interroga ogni modello nella collezione per ogni input e aggrega i risultati. Ciò massimizza metriche come la mean average precision (mAP) ma aumenta significativamente l'inference latency e il costo computazionale. È un approccio brute-force alla qualità.
• Mixture of Experts: Utilizza una "gating network" per indirizzare i dati solo ad alcuni specifici sotto-modelli "esperti" più adatti all'input corrente. Ciò consente una scalabilità massiccia nei foundation models senza la penalità computazionale di eseguire ogni parametro per ogni token.

Link to this sectionVantaggi e considerazioni#

Il vantaggio principale dell'utilizzo di un insieme di modelli è l'aumento delle prestazioni. Gli insiemi dominano frequentemente le classifiche nelle sfide di data science come le Kaggle competitions perché possono modellare schemi complessi che i singoli modelli perdono. Tuttavia, ciò ha un costo: la distribuzione di insiemi richiede più memoria e potenza di calcolo.

Per i team che cercano di gestire queste richieste di risorse in modo efficiente, la Ultralytics Platform offre strumenti per addestrare, tracciare e confrontare diverse architetture di modelli. Confrontando facilmente le metriche di prestazione, gli sviluppatori possono decidere se il guadagno di accuratezza ottenuto da un insieme giustifica l'infrastruttura extra richiesta per l'implementazione in scenari di edge AI.