LightGBM

LightGBM, что расшифровывается как Light Gradient Boosting Machine (легкая машина градиентного бустинга), — это высокопроизводительный фреймворк градиентного бустинга с открытым исходным кодом, разработанный Microsoft. Он разработан для скорости и эффективности, что делает его отличным выбором для задач машинного обучения (ML), которые включают большие наборы данных и требуют быстрого обучения. Основанный на алгоритмах деревьев решений, LightGBM использует новую стратегию роста дерева с листовой разверткой, которая позволяет ему сходиться намного быстрее, чем другие алгоритмы бустинга. Его эффективность в обработке больших данных сделала его популярным инструментом как в промышленных приложениях, так и в соревнованиях по анализу данных.

Как LightGBM достигает высокой производительности

Скорость и низкое потребление памяти LightGBM обусловлены несколькими ключевыми инновациями, которые отличают его от других методов градиентного бустинга. Эти методы работают вместе, чтобы оптимизировать процесс обучения без ущерба для точности.

• Полистовой рост дерева: В отличие от традиционных алгоритмов, которые выращивают деревья уровень за уровнем, LightGBM выращивает их лист за листом. Он выбирает лист с максимальным дельта-потерями для роста, что позволяет модели сходиться быстрее и часто приводит к меньшим потерям при том же количестве итераций.
• Gradient-based One-Side Sampling (GOSS) (односторонняя выборка на основе градиента): Этот метод фокусируется на экземплярах данных с большими градиентами (т. е. на тех, которые плохо предсказаны). Он сохраняет все экземпляры с большими градиентами и случайным образом выбирает из тех, у которых градиенты малы, обеспечивая баланс между точностью и скоростью обучения.
• Объединение эксклюзивных признаков (EFB): Для обработки многомерных, разреженных данных EFB объединяет взаимоисключающие признаки вместе. Это объединение уменьшает количество рассматриваемых признаков, что значительно ускоряет процесс обучения модели.

Для более глубокого технического анализа оригинальная научная статья о LightGBM содержит исчерпывающую информацию о ее архитектуре и алгоритмах.

Применение в реальном мире

Сильные стороны LightGBM делают его подходящим для различных приложений, связанных со структурированными или табличными данными.

1. Обнаружение мошенничества: В финансовом секторе LightGBM может быстро обрабатывать миллионы записей транзакций для выявления тонких закономерностей, указывающих на мошенническую деятельность, почти в реальном времени. Его скорость имеет решающее значение для своевременного вмешательства, и системы обнаружения мошенничества в значительной степени выигрывают от его эффективности в ИИ в финансах.
2. Прогнозное обслуживание: ИИ в производстве использует LightGBM для анализа данных датчиков оборудования. Обучаясь на исторических данных о производительности оборудования и сбоях, модель может предсказывать потенциальные поломки до их возникновения, что позволяет проводить профилактическое обслуживание и сокращать время простоя. Вы можете узнать больше об основных концепциях прогнозного обслуживания.

Другие распространенные приложения включают прогнозирование оттока клиентов, системы рекомендаций, прогнозирование рейтинга кликов и кредитный скоринг. Ее производительность сделала ее популярным выбором в соревнованиях по науке о данных, таких как те, которые проводятся на Kaggle.

LightGBM в сравнении с другими моделями

LightGBM является частью семейства моделей градиентного бустинга и следует отличать от других типов моделей машинного обучения.

• Сравнение с XGBoost и CatBoost: LightGBM часто сравнивают с XGBoost и CatBoost, поскольку все они являются мощными библиотеками градиентного бустинга. Основное различие заключается в алгоритме роста дерева; листовой рост LightGBM обычно быстрее, чем уровневый рост, используемый XGBoost. CatBoost превосходно справляется со встроенной обработкой категориальных признаков, в то время как LightGBM и XGBoost часто требуют предварительной обработки таких данных. Выбор между ними часто зависит от конкретного набора данных и требований к производительности.
• Сравнение с моделями глубокого обучения: Хотя LightGBM превосходно справляется с табличными данными для классических задач машинного обучения, он отличается от таких моделей, как Ultralytics YOLO. Модели YOLO - это специализированные архитектуры глубокого обучения (DL), разработанные для задач компьютерного зрения (CV), таких как обнаружение объектов, классификация изображений и сегментация изображений на неструктурированных данных изображений или видео. Платформы, такие как Ultralytics HUB, облегчают разработку и развертывание таких передовых моделей CV. LightGBM остается жизненно важным инструментом для задач со структурированными данными, где скорость и эффективность на больших наборах данных имеют первостепенное значение. Вы можете изучить официальную документацию LightGBM, чтобы начать работу с ее реализацией.