Glosario

Compensación entre sesgo y varianza

Domine el equilibrio entre sesgo y varianza en el aprendizaje automático. Aprenda técnicas para equilibrar precisión y generalización y obtener un rendimiento óptimo del modelo.

El equilibrio entre sesgo y varianza es un concepto central del aprendizaje automático supervisado (AM) que aborda el reto de crear modelos que funcionen bien no sólo con los datos con los que se han entrenado, sino también con datos nuevos y desconocidos. Describe una tensión inherente entre dos tipos de errores que puede cometer un modelo: errores debidos a suposiciones demasiado simplistas (sesgo) y errores debidos a una excesiva sensibilidad a los datos de entrenamiento (varianza). Para lograr una buena generalización es necesario encontrar un cuidadoso equilibrio entre estas dos fuentes de error.

Comprender los prejuicios

El sesgo se refiere al error introducido al aproximar un problema complejo del mundo real con un modelo potencialmente más simple. Un modelo con un sesgo elevado hace fuertes suposiciones sobre los datos, ignorando patrones potencialmente complejos. Esto puede dar lugar a un ajuste insuficiente, en el que el modelo no capta las tendencias subyacentes de los datos, lo que se traduce en un rendimiento deficiente tanto en los datos de entrenamiento como en los de prueba. Por ejemplo, intentar modelizar una relación muy curvada utilizando una regresión lineal simple probablemente daría lugar a un sesgo elevado. La reducción del sesgo a menudo implica aumentar la complejidad del modelo, como el uso de algoritmos más sofisticados que se encuentran en el aprendizaje profundo (Deep Learning, DL) o la adición de características más relevantes a través de la ingeniería de características.

Comprender la desviación

La varianza se refiere al error introducido porque el modelo es demasiado sensible a las fluctuaciones específicas, incluido el ruido, presentes en los datos de entrenamiento. Un modelo con una varianza elevada aprende demasiado bien los datos de entrenamiento, esencialmente memorizándolos en lugar de aprender los patrones generales. Esto lleva a un sobreajuste, en el que el modelo funciona excepcionalmente bien con los datos de entrenamiento, pero mal con datos nuevos que no se han visto, porque no ha aprendido a generalizar. Los modelos complejos, como las redes neuronales profundas (NN ) con muchos parámetros o la regresión polinómica de alto grado, son más propensos a una alta varianza. Entre las técnicas para reducir la varianza se incluyen la simplificación del modelo, la recopilación de datos de entrenamiento más diversos (consulte la guía Recopilación y anotación de datos) o el uso de métodos como la regularización.

El compromiso

El núcleo del equilibrio entre sesgo y varianza es la relación inversa entre sesgo y varianza en lo que respecta a la complejidad del modelo. A medida que se reduce el sesgo haciendo más complejo un modelo (por ejemplo, añadiendo capas a una red neuronal), suele aumentar su varianza. A la inversa, simplificar un modelo para reducir la varianza suele aumentar su sesgo. El modelo ideal encuentra el punto óptimo que minimiza el error total (una combinación de sesgo, varianza y error irreducible) en datos no observados. Este concepto es fundamental en el aprendizaje estadístico, como se detalla en textos como "The Elements of Statistical Learning".

Gestionar la compensación

Gestionar con éxito el equilibrio entre sesgo y varianza es clave para desarrollar modelos de ML eficaces. Hay varias técnicas que pueden ayudar:

Validación cruzada: Técnicas como la validación cruzada K-Fold ayudan a estimar cómo funcionará el modelo con datos desconocidos y a evaluar el impacto de la complejidad del modelo.
Regularización: Métodos como la regularización L1 y L2 añaden penalizaciones a la función de pérdida para desincentivar los modelos demasiado complejos, reduciendo así la varianza.
Métodos de conjunto: La combinación de predicciones de varios modelos (por ejemplo, Random Forests, Gradient Boosting) a menudo puede lograr un sesgo y una varianza menores que los modelos individuales. Véanse los conceptos de conjunto de modelos.
Selección de características/ingeniería: Elegir cuidadosamente las características relevantes o crear otras nuevas puede ayudar a simplificar la tarea de aprendizaje para el modelo, reduciendo potencialmente tanto el sesgo como la varianza. Explorar la extracción de características.
Aumento de datos: Aumentar artificialmente el tamaño y la diversidad del conjunto de datos de entrenamiento puede ayudar a los modelos a generalizar mejor y reducir la varianza. Más información sobre el uso de aumentos de Albumentations.
Ajuste de hiperparámetros: Optimizar hiperparámetros como la tasa de aprendizaje o la complejidad de la arquitectura del modelo ayuda a encontrar el mejor equilibrio. Ultralytics ofrece una guía de ajuste de hiperparámetros. Echa un vistazo a Consejos para el entrenamiento de modelos para obtener más información.

Ejemplos reales

Análisis de imágenes médicas: Al entrenar un modelo Ultralytics YOLO para el análisis de imágenes médicas, como la detección de tumores, los desarrolladores deben equilibrar la capacidad del modelo para identificar signos sutiles de enfermedad (bajo sesgo) sin ser demasiado sensible al ruido o a las variaciones entre exploraciones (baja varianza). Un modelo sobreajustado (alta varianza) podría funcionar bien con las imágenes del hospital de entrenamiento, pero fallar con imágenes de equipos diferentes, mientras que un modelo infraajustado (alto sesgo) podría pasar por alto indicadores críticos en las primeras fases. Este equilibrio es crucial para la fiabilidad de la IA en la sanidad.
Mantenimiento predictivo: En la IA en la fabricación, los modelos se utilizan para estrategias de mantenimiento predictivo. Un modelo que prediga el fallo de un equipo necesita un sesgo bajo para detectar señales de advertencia auténticas a partir de los datos de los sensores. Sin embargo, si tiene una alta varianza, podría activar falsas alarmas frecuentes debidas a fluctuaciones operativas normales o al ruido de los sensores, lo que reduciría la confianza y la eficacia. Alcanzar el equilibrio adecuado garantiza un mantenimiento oportuno sin interrupciones innecesarias. Los modelos de visión por ordenador (CV) pueden analizar el desgaste visual o los patrones térmicos, lo que requiere un equilibrio similar.

Conceptos relacionados

Es fundamental distinguir la compensación entre sesgo y varianza de otros tipos de sesgo analizados en la IA:

Prejuicios en la IA: Se refiere a los errores sistemáticos que conducen a resultados injustos o discriminatorios, a menudo derivados de prejuicios sociales reflejados en datos o elecciones de diseño algorítmico. Se refiere principalmente a la ética y la equidad en la IA.
Sesgo del conjunto de datos: Esto ocurre cuando los datos de entrenamiento no son representativos de la población del mundo real o del espacio del problema, lo que lleva al modelo a aprender patrones sesgados. Más información sobre el sesgo del conjunto de datos.
Sesgo algorítmico: Surge del propio algoritmo, que puede amplificar los sesgos presentes en los datos o introducir otros nuevos debido a su diseño.

Mientras que la compensación entre el sesgo y la varianza se centra en las propiedades estadísticas del error del modelo relacionadas con la complejidad y la generalización (que afectan a métricas como la precisión o el mAP), el sesgo de la IA, el sesgo del conjunto de datos y el sesgo algorítmico afectan a cuestiones de justicia, equidad y representación. Abordar la compensación tiene como objetivo optimizar el rendimiento predictivo (véase la guía de métricas de rendimiento YOLO), mientras que abordar otros sesgos tiene como objetivo garantizar resultados éticos y equitativos. Herramientas como Ultralytics HUB pueden ayudar a gestionar los conjuntos de datos y los procesos de formación(Formación en la nube), lo que indirectamente ayuda a supervisar aspectos relacionados tanto con el rendimiento como con posibles problemas con los datos.