Glosario

LuzGBM

Descubra LightGBM, el marco de trabajo de refuerzo de gradiente rápido y eficiente para grandes conjuntos de datos, que ofrece una gran precisión en aplicaciones de aprendizaje automático.

LightGBM, abreviatura de Light Gradient Boosting Machine, es un marco de refuerzo de gradiente de código abierto y alto rendimiento desarrollado por Microsoft Research. Se utiliza ampliamente en el aprendizaje automático para tareas como la clasificación, la regresión y la clasificación, especialmente cuando se trata de grandes conjuntos de datos(Big Data). LightGBM es famoso por su velocidad y eficacia, y a menudo consigue una gran precisión consumiendo menos memoria que otros algoritmos de boosting. Se basa en conceptos encontrados en algoritmos de árboles de decisión y forma parte de la familia de métodos de refuerzo de gradiente, construyendo iterativamente un conjunto de aprendices débiles para crear un modelo predictivo fuerte.

Cómo consigue LightGBM velocidad y eficacia

LightGBM emplea varias técnicas innovadoras para optimizar el rendimiento y manejar datos a gran escala con eficacia:

  • Muestreo unilateral basado en gradientes (GOSS): Este método se centra en las instancias de datos con gradientes más grandes (las que actualmente se predicen mal) mientras que descarta aleatoriamente las instancias con gradientes pequeños. De este modo se mantiene la precisión y se reduce significativamente la cantidad de datos necesarios para entrenar cada árbol.
  • Agrupación de características exclusivas (EFB): Esta técnica agrupa características mutuamente excluyentes (características que rara vez toman valores distintos de cero simultáneamente), reduciendo eficazmente el número de características(reducción de la dimensionalidad) sin perder información significativa. Esto acelera el entrenamiento al reducir la complejidad de encontrar los mejores puntos de división.
  • Crecimiento de árboles hoja a hoja: A diferencia del crecimiento tradicional por niveles, que expande los árboles capa por capa, LightGBM hace crecer los árboles hoja por hoja. Elige la hoja con la máxima reducción de pérdidas para dividirla, lo que lleva a una convergencia más rápida y a árboles potencialmente más complejos, aunque a veces puede llevar a un ajuste excesivo si no se restringe adecuadamente. Puede obtener más información sobre el crecimiento hoja por hoja en la documentación oficial.

Estas optimizaciones, combinadas con implementaciones eficientes que aprovechan técnicas como los algoritmos basados en histogramas, hacen que LightGBM sea excepcionalmente rápido y eficiente en memoria, permitiendo el entrenamiento en conjuntos de datos masivos que podrían ser prohibitivos para otros marcos que utilizan algoritmos de optimización estándar.

Características principales de LightGBM

LightGBM ofrece varias ventajas a los profesionales del ML:

  • Velocidad y eficacia: Velocidad de entrenamiento significativamente más rápida y menor uso de memoria en comparación con muchos otros marcos de refuerzo.
  • Alta precisión: Suele ofrecer resultados de vanguardia en tareas con datos tabulares.
  • Compatible con GPU: Admite el entrenamiento en GPU para una mayor aceleración.
  • Formación paralela y distribuida: Capaz de manejar conjuntos de datos extremadamente grandes mediante formación distribu ida en varias máquinas.
  • Tratamiento de características categóricas: Puede manejar características categóricas directamente, a menudo eliminando la necesidad de una amplia ingeniería de características como la codificación de un solo disparo.
  • Regularización: Incluye parámetros para la regularización (como L1 y L2) para evitar el sobreajuste.
  • Manejo de datos a gran escala: Diseñado para trabajar eficientemente con conjuntos de datos muy grandes que pueden no caber en la memoria.
  • Ajuste de hiperparámetros: Ofrece varios parámetros que pueden ajustarse mediante la sintonización de hiperparámetros para optimizar el rendimiento en tareas específicas.

Consulte la documentación oficial de LightGBM y su repositorio de GitHub para obtener información detallada sobre el uso y las funciones avanzadas. Un preprocesamiento adecuado de los datos sigue siendo importante para obtener resultados óptimos.

Comparación con otros marcos de refuerzo

LightGBM se compara a menudo con otras librerías populares de gradient boosting como XGBoost y CatBoost. Las principales diferencias son:

  • Velocidad: LightGBM se considera generalmente más rápido que XGBoost, especialmente en grandes conjuntos de datos, debido a sus técnicas GOSS y EFB. La velocidad de CatBoost puede ser competitiva, sobre todo con características categóricas.
  • Uso de memoria: LightGBM suele utilizar menos memoria que XGBoost.
  • Características categóricas: CatBoost incorpora un sofisticado tratamiento de las características categóricas, que a menudo supera a LightGBM y XGBoost (que requieren un preprocesamiento como la codificación de un solo paso) en conjuntos de datos con muchas variables categóricas. LightGBM ofrece un tratamiento directo, pero puede ser menos robusto que el enfoque de CatBoost.
  • Crecimiento del árbol: LightGBM utiliza el crecimiento por hojas, mientras que XGBoost y CatBoost suelen utilizar el crecimiento por niveles (aunque XGBoost también ofrece una opción por hojas).
  • Hiperparámetros: Cada biblioteca tiene su propio conjunto de hiperparámetros que requieren ajuste. CatBoost suele requerir menos ajustes para obtener buenos resultados.

La elección entre ellos suele depender de las características específicas del conjunto de datos (tamaño, tipos de características) y de los requisitos del proyecto. Recursos como este artículo comparativo ofrecen más información.

Aplicaciones reales

Los puntos fuertes de LightGBM lo hacen adecuado para diversas aplicaciones que implican datos estructurados o tabulares:

  1. Detección de fraudes: En el sector financiero(IA en finanzas), LightGBM puede procesar rápidamente millones de registros de transacciones(modelado predictivo) para identificar patrones sutiles indicativos de actividad fraudulenta casi en tiempo real. Su rapidez es crucial para intervenir a tiempo. Los sistemas de detección de fraudes se benefician enormemente de su eficacia.
  2. Mantenimiento predictivo: Los fabricantes(IA en la fabricación) utilizan LightGBM para analizar los datos de los sensores de la maquinaria. Al entrenarse con datos históricos de rendimiento y fallos de los equipos, el modelo puede predecir posibles averías antes de que se produzcan, lo que permite realizar un mantenimiento proactivo y reducir el tiempo de inactividad. Más información sobre conceptos de mantenimiento predictivo.

Otras aplicaciones comunes son la predicción de la pérdida de clientes, los sistemas de recomendación, la predicción de la tasa de clics, la calificación crediticia y la previsión de la demanda. Su rendimiento lo ha convertido en una opción popular en concursos de ciencia de datos, como los organizados en Kaggle.

Aunque LightGBM destaca con datos tabulares para tareas clásicas de ML, es distinto de modelos como Ultralytics YOLO. Los modelos YOLO son arquitecturas especializadas de aprendizaje profundo (deep learning, DL) diseñadas para tareas de visión por ordenador (computer vision, CV) como la detección de objetos, la clasificación de imágenes y la segmentación de imágenes en datos de imagen o vídeo no estructurados. Plataformas como Ultralytics HUB facilitan el desarrollo y despliegue de estos modelos de CV. LightGBM sigue siendo una herramienta vital para problemas de datos estructurados en los que la velocidad y la eficiencia en grandes conjuntos de datos son primordiales. Puede consultar el artículo de investigación original sobre LightGBM para obtener más detalles técnicos.

Únase a la comunidad Ultralytics

Únase al futuro de la IA. Conecta, colabora y crece con innovadores de todo el mundo.

Únete ahora
Enlace copiado en el portapapeles