Model Ensemble

Un insieme di modelli è una tecnica sofisticata di apprendimento automatico (ML) in cui le previsioni di modelli indipendenti vengono combinati per generare un unico risultato finale di qualità superiore. Piuttosto che affidarsi alla capacità capacità decisionale di un solo algoritmo, un ensemble sfrutta il principio della "saggezza della folla" per migliorare l'accuratezza e la stabilità complessive. migliorare l'accuratezza e la stabilità complessive. Aggregando i risultati risultati di diversi modelli, gli ingegneri possono ridurre in modo significativo il rischio di di overfitting al set di addestramento e creare sistemi che sistemi molto più robusti contro il rumore dei dati dati di addestramento. Questo approccio è spesso utilizzato per risultati allo stato dell'arte in ambienti competitivi come le Kaggle.

Meccanismi dell'apprendimento insiemistico

L'efficacia di un insieme di modelli dipende dalla diversità delle parti che lo compongono. Se tutti i modelli hanno le stesse debolezze identiche, la loro combinazione non offre alcun miglioramento. Per questo motivo, i professionisti spesso introducono la diversità variando l'architettura della rete architettura della rete neurale, utilizzando diversi sottoinsiemi di dati diversi o applicando strategie strategie di incremento dei dati.

Esistono tre metodi principali per costruire gli ensemble:

• Bagging (aggregazione Bootstrap): Questo comporta l'addestramento di più versioni dello stesso modello, ad esempio un albero decisionale, su diversi campioni casuali di dati. dell'insieme di dati. L'esempio classico è l'algoritmo Random Forest, che calcola la media delle previsioni di molti alberi di molti alberi per attenuare la varianza, come descritto nella documentazione di Scikit-learn ensemble.
• Boosting: In questa tecnica iterativa, i modelli vengono addestrati in sequenza. Ogni nuovo modello si concentra sulla correggere gli errori commessi dai suoi predecessori. Le implementazioni più diffuse, come XGBoost e LightGBM utilizzano questo metodo per convertire gli apprendenti deboli in un modello composito modello composito altamente accurato.
• Accatastamento: Questo approccio avanzato addestra un "meta-apprendista" per combinare le previsioni di diversi modelli di base. diversi modelli di base, come la combinazione di una macchina vettoriale di supporto (SVM) con un modello di modello di apprendimento profondo. Il meta-apprendista ottimizza la ponderazione delle opinioni di ciascun esperto per minimizzare la funzione di perdita finale. funzione di perdita finale.

Applicazioni nel mondo reale

Gli ensemble di modelli sono fondamentali nei settori in cui la precisione è fondamentale e il costo dell'errore è elevato.

1. Analisi delle immagini mediche: La diagnosi di condizioni complesse richiede spesso l'analisi di schemi sottili nei dati di imaging. dati di imaging. Un sistema diagnostico potrebbe impiegare un insieme di modelli che combina una Rete neurale convoluzionale (CNN) specializzata nell'analisi delle texture con un Vision Transformer (ViT), che eccelle nella comprensione del contesto globale. Questa combinazione aiuta a individuare i tumori nelle immagini mediche con una sensibilità superiore a quella che potrebbe essere raggiunta da una singola architettura.
2. Sistemi autonomi: Per i veicoli autonomi veicoli autonomi, i sistemi di percezione devono essere a prova di errore. Gli ingegneri spesso eseguono un insieme di modelli di rilevamento degli oggetti, ad esempio fondendo le capacità di capacità ad alta velocità di YOLO11 con la precisione precisione basata su trasformatori di RT-DETR. Questo garantisce che pedoni o ostacoli anche se un modello ha difficoltà con l'illuminazione o l'occlusione specifica.

Ensemble vs. Miscela di esperti (MoE)

È importante distinguere un ensemble di modelli standard da una Miscela di esperti (MoE). Sebbene entrambi utilizzino più sottomodelli, operano in modo diverso durante l'inferenza:

• Ensemble di modelli: In genere interroga ogni modello della collezione per ogni input e unisce i risultati. i risultati. Questo massimizza l'accuratezza, ma aumenta latenza dell'inferenza e il costo computazionale.
• Miscela di esperti: Utilizza una rete di selezione per indirizzare i dati solo ad alcuni specifici "esperti" (sottomodelli) più adatti all'input corrente. (sottomodelli) più adatti all'input corrente. Ciò consente una scalabilità massiccia in modelli di base come Trasformatori di interruttori senza la penalizzazione computazionale di eseguire ogni parametro per ogni token.

Implementazione di ensemble con Ultralytics

Mentre le biblioteche come PyTorch consentono architetture di ensemble complesse è possibile ottenere un ensemble di base per l'inferenza semplicemente caricando più modelli ed elaborando lo stesso input. stesso input. L'esempio seguente mostra come caricare due modelli YOLO distinti utilizzando il metodo ultralytics pacchetto.

from ultralytics import YOLO

# Load two different model variants to create a diverse ensemble
model_a = YOLO("yolo11n.pt")  # Nano model
model_b = YOLO("yolo11s.pt")  # Small model

# Perform inference on an image with both models
# In a production ensemble, you would merge these results (e.g., via NMS)
results_a = model_a("https://ultralytics.com/images/bus.jpg")
results_b = model_b("https://ultralytics.com/images/bus.jpg")

print(f"Model A detections: {len(results_a[0].boxes)}")
print(f"Model B detections: {len(results_b[0].boxes)}")

L'implementazione degli ensemble richiede un'attenta considerazione delle risorse di MLOps, poiché la distribuzione di modelli multipli aumenta l'utilizzo della memoria. Tuttavia, per i compiti che richiedono le massime prestazioni possibili nella computer vision (CV), il compromesso è spesso giustificato. giustificato.