Explorando el aprendizaje por conjuntos y su papel en la IA y el ML

Para un recorrido visual de los conceptos cubiertos en este artículo, mira el vídeo a continuación.

Las innovaciones en IA, como los motores de recomendación y los sistemas de detección de fraudes, dependen de algoritmos y modelos de aprendizaje automático para realizar predicciones y tomar decisiones basadas en datos. Estos modelos pueden identificar patrones, prever tendencias y ayudar a automatizar tareas complejas.

Sin embargo, un único modelo puede tener dificultades para capturar todos los detalles en datos del mundo real. Puede funcionar bien en algunos casos, pero fallar en otros; por ejemplo, un modelo de detección de fraudes que no identifique nuevos tipos de transacciones.

Esta limitación es algo a lo que los ingenieros de IA se enfrentan a menudo al crear y desplegar modelos de aprendizaje automático. Algunos modelos presentan sobreajuste (overfitting) al aprender los datos de entrenamiento con demasiada precisión, mientras que otros presentan subajuste (underfitting) al pasar por alto patrones importantes. El aprendizaje por conjuntos es una técnica de IA que ayuda a abordar estos retos combinando múltiples modelos, conocidos como alumnos base, en un único sistema más potente.

Puedes pensar en ello como un equipo de expertos que trabajan juntos para resolver un problema. En este artículo, exploraremos qué es el aprendizaje por conjuntos, cómo funciona y dónde puede utilizarse. ¡Empecemos!

Link to this section¿Qué es el aprendizaje por conjuntos?#

El aprendizaje por conjuntos se refiere a un conjunto de técnicas que combinan múltiples modelos para resolver el mismo problema y producir un único resultado mejorado. Puede aplicarse tanto en el aprendizaje supervisado (donde los modelos aprenden de datos etiquetados) como en el aprendizaje no supervisado (donde los modelos encuentran patrones en datos no etiquetados).

En lugar de confiar en un solo modelo para realizar predicciones, un conjunto utiliza varios modelos que examinan los datos cada uno a su manera. Cuando sus resultados se combinan, la salida suele ser más precisa, estable y generalizable de lo que cualquier modelo por sí solo podría lograr.

Puedes compararlo con un panel de analistas que abordan el mismo problema. Cada analista o modelo individual interpreta los datos de forma diferente.

Uno puede centrarse en los patrones, otro en las anomalías y otro en el contexto. Al unir sus perspectivas, el grupo puede tomar una decisión más equilibrada y fiable que cualquier juicio individual.

Este enfoque también ayuda a abordar dos de los mayores retos del aprendizaje automático: el sesgo y la varianza. Un modelo con un sesgo alto es demasiado simple y pasa por alto patrones importantes, mientras que uno con una varianza alta es demasiado sensible y se ajusta demasiado a los datos de entrenamiento. Al combinar modelos, el aprendizaje por conjuntos encuentra un equilibrio entre ambos, mejorando el rendimiento del sistema con datos nuevos y desconocidos.

Link to this sectionEntender cómo funciona el aprendizaje por conjuntos#

Cada modelo de un conjunto se conoce como alumno base o modelo base. Pueden ser del mismo tipo de algoritmo o una mezcla de algoritmos diferentes, dependiendo de la técnica de conjunto utilizada.

Aquí tienes algunos ejemplos comunes de los diferentes modelos utilizados en el aprendizaje por conjuntos:

• Árboles de decisión: Estos modelos dividen los datos en ramas basadas en los valores de las características para tomar decisiones. Por ejemplo, en problemas de clasificación como predecir si un cliente comprará un producto, consideran factores como la edad, los ingresos y el historial de navegación.
• Redes neuronales: Inspiradas en cómo procesa la información el cerebro humano, forman la arquitectura básica detrás de la mayoría de los modelos modernos de IA y aprendizaje automático.
• Máquinas de vectores de soporte (SVMs): Estos algoritmos clasifican los datos encontrando un límite de decisión óptimo, llamado hiperplano, que maximiza el margen entre las diferentes clases. En otras palabras, la SVM dibuja la mejor línea posible que separa los grupos dejando el mayor hueco entre ellos. Por ejemplo, puede utilizarse para saber si un correo electrónico es spam o no basándose en patrones como la frecuencia y estructura de las palabras.
• Modelos de regresión logística: Estiman probabilidades y se utilizan a menudo para tareas de clasificación binaria. Un ejemplo típico es predecir si una transacción es fraudulenta o legítima.

Un conjunto de modelos combinado se denomina generalmente alumno fuerte porque integra los puntos fuertes de los alumnos base (también llamados modelos débiles) mientras minimiza sus debilidades. Lo hace combinando las predicciones de cada modelo de forma estructurada, utilizando votación mayoritaria para tareas de clasificación o promediado ponderado para tareas de regresión para producir un resultado final más preciso.

Fig 1. Un ejemplo de aprendizaje por conjuntos (Fuente)

Link to this sectionCuándo utilizar el aprendizaje por conjuntos#

Antes de profundizar en las diversas técnicas de aprendizaje por conjuntos, demos un paso atrás y entendamos cuándo debe utilizarse este tipo de enfoque en un proyecto de aprendizaje automático o IA.

El aprendizaje por conjuntos es más impactante cuando un único modelo tiene dificultades para realizar predicciones precisas o coherentes. También puede utilizarse en situaciones en las que los datos son complejos, ruidosos o impredecibles.

Aquí hay algunos casos comunes donde los métodos de conjunto son particularmente efectivos:

• Baja precisión del modelo: Cuando las predicciones de un modelo no son lo suficientemente fiables, combinar múltiples modelos puede mejorar significativamente la precisión y el rendimiento. Por ejemplo, en la calificación crediticia o en el diagnóstico médico, incluso pequeñas mejoras en la precisión de las predicciones pueden marcar una gran diferencia.
• Datos ruidosos o inconsistentes: Si un conjunto de datos contiene valores atípicos, errores o fluctuaciones aleatorias, el aprendizaje por conjuntos ayuda a suavizar esas irregularidades promediando o votando entre múltiples modelos.
• Necesidad de robustez: Los modelos de conjunto son menos sensibles a pequeños cambios en los datos, lo que los hace más estables y fiables para entornos de producción donde las entradas del mundo real pueden variar.
• Tareas de predicción complejas: En tareas como el reconocimiento de imágenes, la detección de fraudes o la previsión de series temporales, los conjuntos capturan una gama más amplia de patrones y relaciones que lo que un solo modelo podría hacer por sí solo.

También es más sencillo de entrenar, más fácil de interpretar y más rápido de mantener. Antes de utilizar un conjunto, es importante sopesar el beneficio de una mayor precisión frente al tiempo, la potencia de cálculo y la complejidad adicionales que requiere.

Link to this sectionUna visión general de las técnicas de aprendizaje por conjuntos#

A continuación, veamos las principales formas en que se puede aplicar el aprendizaje por conjuntos en proyectos de aprendizaje automático. Existen varias técnicas principales para combinar modelos, cada una de las cuales mejora el rendimiento a su manera. Los métodos de conjunto más comunes son bagging, boosting, stacking y blending.

Link to this sectionBagging#

Bagging, abreviatura de bootstrap aggregating, es un método de aprendizaje por conjuntos que ayuda a mejorar la estabilidad y la precisión del modelo entrenando múltiples versiones del mismo modelo en diferentes partes de los datos.

Cada subconjunto se crea utilizando un proceso llamado muestreo bootstrap, donde los puntos de datos se seleccionan aleatoriamente con reemplazo. Esto significa que después de elegir un punto de datos, se vuelve a colocar en el grupo antes de elegir el siguiente, por lo que el mismo punto puede aparecer más de una vez, mientras que otros pueden quedar fuera. Esta aleatoriedad garantiza que cada modelo se entrene en una versión ligeramente diferente del conjunto de datos.

Durante la inferencia, todos los modelos entrenados se ejecutan en paralelo para hacer predicciones sobre datos nuevos y no vistos. Cada modelo produce su propia salida basada en lo que aprendió, y estas predicciones individuales se combinan luego para formar el resultado final.

Para las tareas de regresión, como la predicción de precios de viviendas o previsiones de ventas, esto suele significar promediar las salidas de todos los modelos para obtener una estimación más suave. Para las tareas de clasificación, como identificar si una transacción es fraudulenta o no, el conjunto suele realizar una votación mayoritaria para decidir la clase final.

Link to this sectionBagging en acción: El algoritmo Random Forest#

Un buen ejemplo de dónde funciona bien el bagging es con los árboles de decisión, que pueden sobreajustarse fácilmente cuando se entrenan en un solo conjunto de datos. Al entrenar muchos árboles en muestras ligeramente diferentes y combinar sus resultados, el bagging reduce el sobreajuste y mejora la fiabilidad.

Considera el algoritmo Random Forest. Es un conjunto de árboles de decisión, donde cada árbol se entrena en un subconjunto aleatorio del conjunto de datos de entrenamiento, así como en un subconjunto aleatorio de características.

Esta aleatoriedad de características ayuda a garantizar que los árboles estén menos correlacionados y que el modelo general sea más estable y preciso. Un algoritmo Random Forest puede utilizarse para clasificar imágenes, detectar fraudes, predecir la pérdida de clientes, prever ventas o estimar precios de propiedades.

Fig 2. Un vistazo al algoritmo Random Forest (Fuente)

Link to this sectionBoosting#

Boosting es otra técnica de aprendizaje por conjuntos que se centra en mejorar los alumnos débiles (modelos) entrenándolos secuencialmente, uno tras otro, en lugar de en paralelo. El concepto central del boosting es que cada nuevo modelo aprende de los errores de los anteriores, mejorando gradualmente el rendimiento del modelo en general.

A diferencia del bagging, que reduce la varianza promediando modelos independientes, el boosting reduce el sesgo haciendo que cada nuevo modelo preste más atención a los casos difíciles con los que los modelos anteriores tuvieron dificultades.

Dado que los modelos de boosting se entrenan secuencialmente, la forma en que se combinan sus predicciones al final difiere ligeramente de otros métodos de conjunto. Cada modelo contribuye a la predicción final en proporción a su rendimiento durante el entrenamiento, recibiendo mayor peso los modelos más precisos.

Para las tareas de regresión, el resultado final suele ser una suma ponderada de todas las predicciones del modelo. Para las tareas de clasificación, el algoritmo combina los votos ponderados de los modelos para decidir la clase final. Este enfoque ayuda al boosting a crear un modelo general fuerte dando más peso a los modelos que son más precisos mientras sigue aprendiendo de los demás.

Estos son algunos tipos comunes de algoritmos de boosting:

• AdaBoost (Adaptive Boosting): Este método comienza entrenando un modelo simple, como un pequeño árbol de decisión, y luego aumenta el peso de los puntos de datos que fueron clasificados erróneamente. Estos pesos hacen que el siguiente modelo se centre más en los ejemplos difíciles. A través de múltiples iteraciones, los modelos se basan unos en otros, y sus predicciones combinadas forman un resultado más fuerte y preciso. Por ejemplo, AdaBoost puede mejorar la detección de spam o la precisión del reconocimiento facial.
• Gradient Boosting: En lugar de volver a ponderar las muestras, Gradient Boosting entrena a cada nuevo modelo para corregir los errores residuales, las diferencias entre los valores reales y los predichos, cometidos por los modelos anteriores. Este enfoque iterativo lo hace eficaz tanto para tareas de regresión como de clasificación, como la previsión de ventas y la calificación crediticia.
• XGBoost (Extreme Gradient Boosting): Esta versión avanzada del gradient boosting mejora tanto la velocidad como la precisión. Utiliza regularización, que penaliza ligeramente a los modelos demasiado complejos durante el entrenamiento para que se centren en patrones significativos en lugar de memorizar datos. Aunque los modelos se siguen entrenando secuencialmente, XGBoost acelera el proceso utilizando la paralelización durante la construcción del árbol. Puede evaluar muchos posibles puntos de división al mismo tiempo a través de diferentes núcleos de CPU. Esto hace que el entrenamiento sea mucho más rápido, especialmente en grandes conjuntos de datos, mientras mantiene un alto rendimiento predictivo.

Fig 3. Ejemplo de un clasificador basado en árboles de decisión (DTB) entrenado con un enfoque de boosting para la predicción del riesgo de diabetes. (Fuente)

Link to this sectionStacking#

Stacking, también llamado generalización apilada, lleva las cosas un paso más allá utilizando las predicciones de varios modelos como entrada para un modelo final conocido como meta-alumno. Puedes pensar en ello como tener un grupo de expertos que comparten su opinión, y luego un tomador de decisiones final aprende a sopesar esas opiniones para tomar la mejor decisión posible.

Por ejemplo, un modelo podría ser excelente para detectar fraudes mientras que otro es mejor para predecir la pérdida de clientes. El meta-alumno estudia cómo funciona cada uno y utiliza sus puntos fuertes juntos para realizar una predicción final más precisa.

Link to this sectionBlending#

Blending funciona de forma similar al stacking porque también combina las predicciones de varios modelos para tomar una decisión final, pero adopta un enfoque más sencillo y rápido. En lugar de utilizar la validación cruzada (un método que divide los datos en varias partes y los rota entre entrenamiento y prueba para hacer el modelo más fiable), como hace el stacking, el blending reserva una pequeña porción de los datos, llamada conjunto de retención (holdout set).

Los modelos base se entrenan con los datos restantes y luego hacen predicciones en el conjunto de retención, que no han visto antes. Esto produce dos piezas clave de información: las respuestas reales, o etiquetas verdaderas, y las predicciones hechas por cada modelo base.

Estas predicciones se pasan luego a otro modelo llamado modelo de blending o meta-modelo. Este modelo final estudia cuán precisas son las predicciones de cada modelo base y aprende a combinarlas de la mejor manera posible.

Debido a que el blending depende de solo una división de entrenamiento y prueba en lugar de repetir el proceso varias veces, se ejecuta más rápido y es más fácil de configurar. La compensación es que tiene un poco menos de información de la que aprender, lo que puede hacerlo un poco menos preciso.

Link to this sectionEvaluación de algoritmos de conjunto#

Una parte importante del aprendizaje por conjuntos es evaluar qué tan bien funciona un modelo en datos que no ha visto antes. No importa cuán avanzada sea una técnica, debe probarse para asegurar que puede generalizar, lo que significa que debe hacer predicciones precisas en ejemplos nuevos del mundo real en lugar de simplemente memorizar los datos de entrenamiento.

Aquí tienes algunas métricas de rendimiento comunes utilizadas para evaluar modelos de IA:

• Precisión (Accuracy): Esta métrica mide la proporción de predicciones correctas del total de predicciones realizadas por el modelo. Da una visión general rápida del rendimiento general.
• Precisión (Precision): Indica cuántas de las muestras predichas como positivas son realmente positivas. Una precisión alta significa que el modelo comete pocos errores de falsos positivos.
• Recall (Recuperación): Esta medida se centra en cuántos de los casos positivos reales fueron correctamente identificados por el modelo. Es especialmente importante en campos como la atención sanitaria, donde pasar por alto un caso positivo, como un diagnóstico de enfermedad, puede tener consecuencias graves.

Link to this sectionAplicaciones en el mundo real del aprendizaje por conjuntos#

Hasta ahora, hemos explorado cómo funciona el aprendizaje por conjuntos y las técnicas detrás de él. Ahora veamos dónde está impactando este enfoque.

Aquí hay algunas áreas clave donde se aplica comúnmente el aprendizaje por conjuntos:

• Análisis de datos y previsión: En los negocios y la analítica, los modelos de conjunto ayudan a las organizaciones a realizar mejores predicciones combinando ideas de múltiples modelos. Esto conduce a previsiones de ventas más precisas, una planificación de la demanda más inteligente y una comprensión más clara del comportamiento del cliente.
• Clasificación binaria: Tareas como la detección de spam, la prevención de fraudes y el diagnóstico médico a menudo requieren distinguir entre dos resultados posibles. Los modelos de conjunto ayudan a reducir los falsos positivos y falsos negativos, lo cual es especialmente crucial en áreas como la ciberseguridad y la atención sanitaria.
• Problemas de regresión: Al predecir valores continuos como precios de viviendas, ingresos por ventas o riesgo crediticio, los métodos de conjunto capturan relaciones complejas dentro de los datos. Esto resulta en predicciones más precisas que apoyan mejores decisiones financieras y operativas.

Link to this sectionYendo más allá de los datos estructurados con el aprendizaje por conjuntos#

Aunque el aprendizaje por conjuntos se utiliza más comúnmente con datos estructurados o tabulares, como hojas de cálculo que contienen información numérica o categórica, también puede aplicarse a datos no estructurados como texto, imágenes, audio y vídeo.

Estos tipos de datos son más complejos y difíciles de interpretar para los modelos, pero los métodos de conjunto ayudan a mejorar la precisión y la fiabilidad. Por ejemplo, en visión artificial, los conjuntos pueden mejorar tareas como la clasificación de imágenes y la detección de objetos.

Al combinar las predicciones de múltiples modelos de visión, como las redes neuronales convolucionales (CNNs), el sistema puede reconocer objetos con mayor precisión y manejar variaciones en la iluminación, el ángulo o el fondo que podrían confundir a un solo modelo.

Link to this sectionUn vistazo al conjunto de modelos Ultralytics YOLOv5#

Un ejemplo interesante de uso del aprendizaje por conjuntos en visión artificial es cuando un ingeniero combina múltiples modelos de detección de objetos para mejorar la precisión. Imagina a un ingeniero trabajando en un sistema de control de seguridad para una obra de construcción, donde la iluminación, los ángulos y los tamaños de los objetos cambian constantemente.

Un solo modelo podría pasar por alto a un trabajador en las sombras o confundir maquinaria en movimiento. Al utilizar un conjunto de modelos, cada uno con diferentes fortalezas, el sistema se vuelve más fiable y menos propenso a cometer esos errores.

En particular, modelos como Ultralytics YOLOv5 van de la mano con el conjunto de modelos. Los ingenieros pueden combinar diferentes variantes de YOLOv5, como YOLOv5x y YOLOv5l6, para hacer predicciones juntos. Cada modelo analiza la misma imagen y produce sus propias detecciones, que luego se promedian para generar un resultado final más fuerte y preciso.

Fig 4. Detección de objetos en una imagen usando YOLOv5. (Fuente)

Link to this sectionPros y contras del aprendizaje por conjuntos#

Estos son algunos beneficios clave de usar el aprendizaje por conjuntos:

• Resiliencia a datos ruidosos: Los conjuntos se ven menos afectados por valores atípicos o ruido aleatorio en el conjunto de datos, ya que dependen de múltiples modelos.
• Mejor generalización: Los conjuntos reducen el sobreajuste, ayudando a los modelos a funcionar bien con datos no vistos en lugar de simplemente memorizar ejemplos de entrenamiento.
• Flexibilidad entre algoritmos: Puedes combinar diferentes tipos de modelos, como árboles de decisión, redes neuronales y modelos lineales, para aprovechar sus fortalezas únicas.

Si bien el aprendizaje por conjuntos aporta varias ventajas, también hay algunos retos a considerar. Aquí tienes algunos factores a tener en cuenta:

• Mayor coste computacional: Entrenar y mantener múltiples modelos requiere más memoria, potencia de procesamiento y tiempo que un solo modelo.
• Interpretabilidad reducida: Dado que la salida final proviene de combinar múltiples modelos, puede ser difícil entender por qué se tomó una determinada decisión. Sin embargo, esto depende de los modelos utilizados porque cuando usas modelos interpretables, como árboles de decisión o máquinas de vectores de soporte, suele ser más fácil entender los resultados.
• Consideraciones de diseño de conjuntos: Construir un conjunto implica elegir la combinación correcta de modelos y asegurarse de que funcionen bien juntos. Sin embargo, también puede ser más sencillo en algunos casos porque no necesitas ajustar los hiperparámetros de cada modelo individual.

Link to this sectionConclusiones clave#

El aprendizaje por conjuntos demuestra cómo la combinación de múltiples modelos puede hacer que los sistemas de IA sean más precisos y fiables. Ayuda a reducir errores y a mejorar el rendimiento en diferentes tipos de tareas. A medida que el aprendizaje automático y la IA siguen creciendo, técnicas como esta están impulsando una adopción más amplia y soluciones de IA más prácticas y de alto rendimiento.

Únete a nuestra creciente comunidad y repositorio de GitHub para descubrir más sobre visión artificial. Explora nuestras páginas de soluciones para conocer aplicaciones de visión artificial en agricultura y IA en logística. ¡Echa un vistazo a nuestras opciones de licencia para empezar con tu propio modelo de visión artificial hoy mismo!