CatBoost

CatBoost (kategorielle Verstärkung) ist ein Open-Source-Algorithmus für maschinelles Lernen, der auf Gradient Boosting mit Entscheidungsbäumen basiert. Der von Yandex entwickelte Algorithmus ist darauf ausgelegt, mit minimaler Datenvorbereitung eine hohe Leistung zu erzielen, und eignet sich besonders für den Umgang mit kategorialen Daten – Variablen, die unterschiedliche Gruppen oder Bezeichnungen anstelle numerischer Werte darstellen. Während herkömmliche Algorithmen häufig komplexe Vorverarbeitungstechniken wie One-Hot-Kodierung benötigen, um Kategorien in Zahlen umzuwandeln, kann CatBoost diese Merkmale während des Trainings direkt verarbeiten. Diese Fähigkeit macht CatBoost zusammen mit der Möglichkeit, durch geordnetes Boosting eine Überanpassung zu reduzieren, zu einer robusten Wahl für eine Vielzahl von Aufgaben der prädiktiven Modellierung in der Datenwissenschaft.

Zentrale Vorteile und Funktionsweise#

CatBoost hebt sich durch mehrere architektonische Entscheidungen, die Genauigkeit und Benutzerfreundlichkeit in den Vordergrund stellen, von anderen Ensemble-Methoden ab.

• Native Unterstützung kategorialer Daten: Der Algorithmus verwendet eine Technik namens geordnete Zielstatistiken, um kategoriale Werte während des Trainings in Zahlen umzuwandeln. Dadurch wird das häufig bei Standardkodierungsverfahren auftretende Durchsickern von Zielinformationen verhindert und die Integrität des Validierungsprozesses gewahrt.
• Geordnetes Boosting: Standardmethoden des Gradient Boosting können unter einer Vorhersageverschiebung leiden, einer Form von Verzerrung in der KI. CatBoost begegnet diesem Problem mit einem permutationsgesteuerten Ansatz zum Trainieren des Modells und stellt so sicher, dass das Modell nicht an die spezifische Verteilung der Trainingsdaten überangepasst wird.
• Symmetrische Bäume: Im Gegensatz zu vielen anderen Boosting-Bibliotheken, die Bäume tiefenweise oder blattweise wachsen lassen, erstellt CatBoost symmetrische (ausgeglichene) Bäume. Diese Struktur ermöglicht extrem schnelle Inferenz, was für Anwendungen mit Echtzeitinferenz entscheidend ist.

CatBoost im Vergleich zu XGBoost und LightGBM#

CatBoost wird häufig zusammen mit anderen beliebten Boosting-Bibliotheken bewertet. Obwohl sie dasselbe zugrunde liegende Framework verwenden, weisen sie unterschiedliche Merkmale auf.

• XGBoost: Eine äußerst flexible und weit verbreitete Bibliothek, die für ihre Leistung bei Wettbewerben in der Datenwissenschaft bekannt ist. Um eine optimale Leistung zu erreichen, sind in der Regel eine sorgfältige Hyperparameterabstimmung und die manuelle Kodierung kategorialer Variablen erforderlich.
• LightGBM: Diese Bibliothek verwendet eine blattweise Wachstumsstrategie und ist dadurch beim Training mit sehr großen Datensätzen außergewöhnlich schnell. Ohne sorgfältige Regularisierung kann sie jedoch bei kleineren Datensätzen im Vergleich zu den stabilen symmetrischen Bäumen von CatBoost anfällig für Überanpassung sein.
• CatBoost: Liefert mit den Standardparametern häufig die beste Genauigkeit ohne umfangreiche Anpassungen. Die Bibliothek ist in der Regel die bevorzugte Wahl, wenn Datensätze eine beträchtliche Anzahl kategorialer Merkmale enthalten, da dadurch der Bedarf an umfangreichem Feature Engineering sinkt.

Anwendungen in der Praxis#

Die Robustheit von CatBoost macht das Verfahren zu einem vielseitig einsetzbaren Werkzeug in verschiedenen Branchen, die mit strukturierten Daten arbeiten.

1. Bewertung finanzieller Risiken: Banken und Fintech-Unternehmen verwenden CatBoost, um die Kreditwürdigkeit von Antragstellern zu bewerten und Zahlungsausfälle vorherzusagen. Das Modell kann unterschiedliche Datentypen nahtlos integrieren, etwa den Beruf eines Antragstellers (kategorial) und dessen Einkommenshöhe (numerisch), um genaue Risikoprofile zu erstellen. Diese Fähigkeit bildet eine Grundlage moderner KI im Finanzwesen.

2. Empfehlungen im E-Commerce: Onlinehändler setzen CatBoost für personalisierte Empfehlungssysteme ein. Durch die Analyse von Protokollen zum Nutzerverhalten, Produktkategorien und der Kaufhistorie sagt der Algorithmus die Wahrscheinlichkeit voraus, dass ein Nutzer auf einen Artikel klickt oder ihn kauft, und trägt so direkt zur Optimierung von KI im Einzelhandel bei.

Integration in Computer Vision#

Obwohl CatBoost in erster Linie ein Werkzeug für Tabellendaten ist, spielt es eine wichtige Rolle in multimodalen Modellen, bei denen visuelle Daten auf strukturierte Metadaten treffen. Ein typischer Ablauf besteht darin, ein Computer-Vision-Modell zum Extrahieren von Merkmalen aus Bildern zu verwenden und diese Merkmale anschließend einem CatBoost-Klassifikator zuzuführen.

So kann beispielsweise ein System zur Immobilienbewertung Ultralytics YOLO26 verwenden, um auf Immobilienfotos eine Objekterkennung durchzuführen und Ausstattungsmerkmale wie Pools oder Solarmodule zu zählen. Die Anzahl dieser Objekte wird anschließend zusammen mit Standort- und Wohnflächendaten als numerische Merkmale in ein CatBoost-Modell eingespeist, um den Wert der Immobilie vorherzusagen. Entwickler können die Bildverarbeitungskomponente solcher Pipelines mit der Ultralytics Platform verwalten, die das Verwalten von Datensätzen und die Bereitstellung von Modellen vereinfacht.

Das folgende Beispiel zeigt, wie ein vortrainiertes YOLO-Modell geladen wird, um Objektanzahlen aus einem Bild zu extrahieren, die anschließend als Eingangsmerkmale für ein CatBoost-Modell dienen könnten.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/property_image.jpg")

# Extract class counts (e.g., counting 'cars' or 'pools')
# This dictionary can be converted to a feature vector for CatBoost
class_counts = {}
for result in results:
    for cls in result.boxes.cls:
        class_name = model.names[int(cls)]
        class_counts[class_name] = class_counts.get(class_name, 0) + 1

print(f"Features for CatBoost: {class_counts}")