CatBoost

CatBoost (Categorical Boosting) — это алгоритм машинного обучения с открытым исходным кодом, основанный на градиентном бустинге над решающими деревьями. Разработанный компанией Яндекс, он создан для обеспечения высокой производительности с минимальной подготовкой данных, причем особенно эффективно справляется с категориальными данными — переменными, которые представляют собой отдельные группы или метки, а не числовые значения. В то время как традиционные алгоритмы часто требуют сложных методов предварительной обработки, таких как однократное кодирование для преобразования категорий в числа, CatBoost может обрабатывать эти признаки напрямую во время обучения. Эта возможность в сочетании со способностью уменьшать переобучение за счет упорядоченного бустинга делает его надежным выбором для широкого спектра задач прогнозирующего моделирования в науке о данных.

Основные преимущества и механизм#

CatBoost отличается от других ансамблевых методов благодаря нескольким архитектурным решениям, для которых в приоритете точность и простота использования.

• Нативная поддержка категориальных признаков: Алгоритм использует метод под названием «упорядоченная статистика целевой переменной» для преобразования категориальных значений в числа во время обучения. Это предотвращает утечку целевой переменной, часто наблюдаемую при использовании стандартных методов кодирования, сохраняя целостность процесса валидации.
• Упорядоченный бустинг: Стандартные методы градиентного бустинга могут страдать от смещения прогнозов, которое представляет собой разновидность предвзятости в ИИ. CatBoost решает эту проблему, используя подход на основе перестановок для обучения модели, что гарантирует отсутствие переобучения модели на распределении конкретных тренировочных данных.
• Симметричные деревья: В отличие от многих других библиотек бустинга, которые наращивают деревья в глубину или по листьям, CatBoost строит симметричные (сбалансированные) деревья. Такая структура обеспечивает чрезвычайно высокую скорость инференса, что критически важно для приложений инференса в реальном времени.

CatBoost против XGBoost и LightGBM#

CatBoost часто оценивают наряду с другими популярными библиотеками бустинга. Несмотря на то, что они используют одинаковую базовую структуру, у них есть свои отличительные характеристики.

• XGBoost: Высокогибкая и широко используемая библиотека, известная своей производительностью в соревнованиях по науке о данных. Обычно для достижения пиковой производительности она требует тщательной настройки гиперпараметров и ручного кодирования категориальных переменных.
• LightGBM: Эта библиотека использует стратегию роста по листьям, что делает ее исключительно быстрой для обучения на огромных наборах данных. Однако без тщательной регуляризации она может быть склонна к переобучению на меньших наборах данных по сравнению со стабильными симметричными деревьями CatBoost.
• CatBoost: Часто обеспечивает наилучшую точность «из коробки» с параметрами по умолчанию. Как правило, это предпочтительный выбор, когда наборы данных содержат значительное количество категориальных признаков, что снижает потребность в масштабной инженерии признаков.

Реальные приложения#

Надежность CatBoost делает его универсальным инструментом в различных отраслях, работающих со структурированными данными.

1. Оценка финансовых рисков: Банки и финтех-компании используют CatBoost для оценки права на получение кредита и прогнозирования дефолтов по кредитам. Модель может бесшовно интегрировать различные типы данных, такие как профессия заявителя (категориальная) и уровень дохода (числовая), для создания точных профилей риска. Эта способность является краеугольным камнем современного ИИ в финансах.

2. Рекомендации в электронной коммерции: Интернет-ритейлеры используют CatBoost для работы персонализированных рекомендательных систем. Анализируя журналы пользовательского поведения, категории продуктов и историю покупок, алгоритм прогнозирует вероятность того, что пользователь кликнет на товар или купит его, что напрямую способствует оптимизации ИИ в ритейле.

Интеграция с компьютерным зрением#

Хотя CatBoost в первую очередь является инструментом для работы с табличными данными, он играет жизненно важную роль в рабочих процессах моделей мультимодального типа, где визуальные данные сочетаются со структурированными метаданными. Типичный рабочий процесс включает использование модели компьютерного зрения для извлечения признаков из изображений с последующей передачей этих признаков в классификатор CatBoost.

Например, система оценки недвижимости может использовать Ultralytics YOLO26 для выполнения обнаружения объектов на фотографиях недвижимости, подсчитывая такие удобства, как бассейны или солнечные панели. Количество этих объектов затем передается в качестве числовых признаков в модель CatBoost наряду с данными о местоположении и площади для прогнозирования стоимости дома. Разработчики могут управлять компонентом компьютерного зрения в этих конвейерах с помощью платформы Ultralytics, что упрощает управление наборами данных и развертывание моделей.

Следующий пример демонстрирует, как загрузить предобученную модель YOLO для извлечения количества объектов из изображения, что затем может служить входными признаками для модели CatBoost.

from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("path/to/property_image.jpg")

# Extract class counts (e.g., counting 'cars' or 'pools')
# This dictionary can be converted to a feature vector for CatBoost
class_counts = {}
for result in results:
    for cls in result.boxes.cls:
        class_name = model.names[int(cls)]
        class_counts[class_name] = class_counts.get(class_name, 0) + 1

print(f"Features for CatBoost: {class_counts}")