CatBoost

CatBoost (Categorical Boosting) è un algoritmo di machine learning open-source basato sul gradient boosting applicato agli alberi di decisione. Sviluppato da Yandex, è progettato per offrire prestazioni elevate con una preparazione minima dei dati, eccellendo specificamente nella gestione di dati categorici, ovvero variabili che rappresentano gruppi o etichette distinti invece di valori numerici. Mentre gli algoritmi tradizionali richiedono spesso tecniche di pre-elaborazione complesse come la one-hot encoding per convertire le categorie in numeri, CatBoost può elaborare queste caratteristiche direttamente durante l'addestramento. Questa capacità, combinata con quella di ridurre l'overfitting tramite l'ordered boosting, lo rende una scelta robusta per un'ampia gamma di attività di predictive modeling nella scienza dei dati.

Link to this sectionVantaggi principali e meccanismo#

CatBoost si distingue dagli altri metodi di ensemble grazie a diverse scelte architettoniche che danno priorità all'accuratezza e alla facilità d'uso.

• Supporto nativo per i dati categorici: L'algoritmo utilizza una tecnica chiamata ordered target statistics per convertire i valori categorici in numeri durante l'addestramento. Ciò previene il target leakage spesso riscontrato con i metodi di codifica standard, preservando l'integrità del processo di validazione.
• Ordered Boosting: I metodi di gradient boosting standard possono soffrire di prediction shift, un tipo di bias in AI. CatBoost affronta questo problema utilizzando un approccio basato sulle permutazioni per addestrare il modello, assicurando che non subisca overfitting rispetto alla specifica distribuzione dei dati di addestramento.
• Alberi simmetrici: A differenza di molte altre librerie di boosting che sviluppano alberi in profondità o per foglia, CatBoost costruisce alberi simmetrici (bilanciati). Questa struttura consente velocità di inferenza estremamente elevate, fondamentali per le applicazioni di real-time inference.

Link to this sectionCatBoost vs. XGBoost e LightGBM#

CatBoost viene spesso valutato insieme ad altre librerie di boosting popolari. Sebbene condividano lo stesso framework di base, presentano caratteristiche distinte.

• XGBoost: Una libreria estremamente flessibile e ampiamente utilizzata, nota per le sue prestazioni nelle data science competitions. Richiede solitamente un attento hyperparameter tuning e la codifica manuale delle variabili categoriche per raggiungere le massime prestazioni.
• LightGBM: Questa libreria utilizza una strategia di crescita basata sulle foglie (leaf-wise), che la rende eccezionalmente veloce per l'addestramento su enormi set di dati. Tuttavia, senza un'attenta regolarizzazione, può essere soggetta a overfitting su set di dati più piccoli rispetto ai robusti alberi simmetrici di CatBoost.
• CatBoost: Spesso fornisce la migliore accuratezza "out-of-the-box" con i parametri predefiniti. È generalmente la scelta preferita quando i set di dati contengono un numero significativo di feature categoriche, riducendo la necessità di un esteso feature engineering.

Link to this sectionApplicazioni nel mondo reale#

La robustezza di CatBoost lo rende uno strumento versatile in vari settori che gestiscono dati strutturati.

1. Valutazione del rischio finanziario: Banche e aziende fintech usano CatBoost per valutare l'idoneità ai prestiti e prevedere le insolvenze creditizie. Il modello può integrare perfettamente diversi tipi di dati, come la professione (categorico) e il livello di reddito (numerico) del richiedente, per creare profili di rischio accurati. Questa capacità è un pilastro della moderna AI in finance.

2. Raccomandazioni e-commerce: I rivenditori online sfruttano CatBoost per alimentare recommendation systems personalizzati. Analizzando i log del comportamento degli utenti, le categorie di prodotti e la cronologia degli acquisti, l'algoritmo prevede la probabilità che un utente clicchi su un articolo o lo acquisti, contribuendo direttamente all'ottimizzazione dell'AI in retail.

Link to this sectionIntegrazione con la computer vision#

Sebbene CatBoost sia principalmente uno strumento per dati tabulari, gioca un ruolo vitale nei flussi di lavoro di multi-modal model dove i dati visivi incontrano metadati strutturati. Un flusso di lavoro comune prevede l'utilizzo di un modello di computer vision per estrarre caratteristiche dalle immagini e quindi inserire tali caratteristiche in un classificatore CatBoost.

Ad esempio, un sistema di valutazione immobiliare potrebbe utilizzare Ultralytics YOLO26 per eseguire l'object detection sulle foto degli immobili, contando servizi come piscine o pannelli solari. I conteggi di questi oggetti vengono poi passati come feature numeriche a un modello CatBoost insieme ai dati sulla posizione e sulla metratura per prevedere il valore della casa. Gli sviluppatori possono gestire la componente di visione di queste pipeline utilizzando la Ultralytics Platform, che semplifica la gestione dei set di dati e il deployment dei modelli.

Il seguente esempio mostra come caricare un modello YOLO pre-addestrato per estrarre conteggi di oggetti da un'immagine, che potrebbero poi servire come feature di input per un modello CatBoost.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/property_image.jpg")

# Extract class counts (e.g., counting 'cars' or 'pools')
# This dictionary can be converted to a feature vector for CatBoost
class_counts = {}
for result in results:
    for cls in result.boxes.cls:
        class_name = model.names[int(cls)]
        class_counts[class_name] = class_counts.get(class_name, 0) + 1

print(f"Features for CatBoost: {class_counts}")