LightGBM

Light Gradient Boosting Machine의 약자인 LightGBM은 Microsoft에서 개발한 고성능 오픈 소스 그라데이션 부스팅 프레임워크입니다. 속도와 효율성을 위해 설계되어 대규모 데이터 세트가 포함되고 빠른 학습 시간이 필요한 머신 러닝(ML) 작업에 탁월한 선택이 될 수 있습니다. 의사 결정 트리 알고리즘을 기반으로 하는 LightGBM은 새로운 리프-와이즈 트리 성장 전략을 사용하므로 다른 부스팅 알고리즘보다 훨씬 빠르게 수렴할 수 있습니다. 빅 데이터를 효율적으로 처리하기 때문에 업계 애플리케이션과 데이터 과학 경연 대회에서 인기 있는 도구가 되었습니다.

LightGBM이 고성능을 달성하는 방법

LightGBM의 속도와 낮은 메모리 사용량은 다른 그라데이션 부스팅 방법과 차별화되는 몇 가지 주요 혁신 기술 덕분입니다. 이러한 기술이 함께 작동하여 정확도를 떨어뜨리지 않으면서도 훈련 과정을 최적화합니다.

• 잎 단위 나무 성장: 레벨 단위로 트리를 성장시키는 기존 알고리즘과 달리, LightGBM은 잎 단위로 트리를 성장시킵니다. 델타 손실이 가장 큰 잎을 선택하여 성장시키므로 모델이 더 빠르게 수렴하고 동일한 반복 횟수에서 더 적은 손실을 가져옵니다.
• 그래디언트 기반 일측 샘플링(GOSS): 이 방법은 기울기가 큰 데이터 인스턴스(즉, 예측이 잘 안 되는 데이터 인스턴스)에 초점을 맞춥니다. 기울기가 큰 인스턴스는 모두 유지하고 기울기가 작은 인스턴스는 무작위로 샘플링하여 정확도와 학습 속도 간의 균형을 맞춥니다.
• 독점 기능 번들링(EFB): 고차원의 희박한 데이터를 처리하기 위해 EFB는 상호 배타적인 특징을 함께 묶습니다. 이 번들링은 고려해야 할 특징의 수를 줄여 모델 학습 프로세스의 속도를 크게 높입니다.

기술적으로 더 자세히 알아보려면 원래의 LightGBM 연구 논문에서 아키텍처와 알고리즘에 대한 포괄적인 세부 정보를 확인할 수 있습니다.

실제 애플리케이션

LightGBM의 강점은 구조화된 데이터 또는 표 형식의 데이터와 관련된 다양한 애플리케이션에 적합합니다.

1. 사기 탐지: 금융 부문에서 LightGBM은 수백만 건의 거래 기록을 빠르게 처리하여 거의 실시간으로 사기 행위를 나타내는 미묘한 패턴을 식별할 수 있습니다. 적시에 개입하기 위해서는 속도가 매우 중요하며, 사기 탐지 시스템은 금융 분야에서 AI의 효율성을 통해 큰 이점을 얻을 수 있습니다.
2. 예측 유지보수: 제조업의 AI는 LightGBM을 사용하여 기계의 센서 데이터를 분석합니다. 이 모델은 장비 성능 및 고장에 대한 과거 데이터를 학습하여 고장이 발생하기 전에 잠재적인 고장을 예측함으로써 사전 예방적 유지보수를 가능하게 하고 다운타임을 줄일 수 있습니다. 예측 유지보수의 핵심 개념에 대해 자세히 알아보세요.

그 외에도 고객 이탈 예측, 추천 시스템, 클릭률 예측, 신용 점수 등 다양한 분야에서 활용되고 있습니다. 이러한 성능 덕분에 Kaggle에서 주최하는 데이터 과학 경연 대회에서 인기 있는 선택이 되었습니다.

LightGBM과 다른 모델 비교

LightGBM은 그라데이션 부스팅 모델 제품군의 일부이며 다른 유형의 ML 모델과 구별되어야 합니다.

• XGBoost 및 CatBoost와 비교: LightGBM은 강력한 그라데이션 부스팅 라이브러리이기 때문에 XGBoost 및 CatBoost와 자주 비교됩니다. 주요 차이점은 트리 성장 알고리즘에 있습니다. LightGBM의 잎 단위 성장은 일반적으로 XGBoost에서 사용하는 레벨 단위 성장보다 빠릅니다. CatBoost는 범주형 기능의 내장 처리 기능이 뛰어나지만, LightGBM과 XGBoost는 이러한 데이터에 대한 전처리가 필요한 경우가 많습니다. 이들 중 어떤 것을 선택할지는 특정 데이터 세트와 성능 요구 사항에 따라 달라집니다.
• 딥 러닝 모델과 비교: LightGBM은 고전적인 ML 작업을 위한 표 형식의 데이터에는 탁월하지만, Ultralytics YOLO와 같은 모델과는 차별화됩니다. YOLO 모델은 비정형 이미지 또는 비디오 데이터에서 객체 감지, 이미지 분류, 이미지 분할과 같은 컴퓨터 비전(CV) 작업을 위해 설계된 특수 딥 러닝(DL) 아키텍처입니다. Ultralytics HUB와 같은 플랫폼은 이러한 고급 CV 모델의 개발과 배포를 용이하게 합니다. 대규모 데이터 세트의 속도와 효율성이 가장 중요한 구조화된 데이터 문제에 있어 LightGBM은 여전히 중요한 도구입니다. 공식 LightGBM 설명서를 살펴보고 구현을 시작할 수 있습니다.