Shortcut Learning

El aprendizaje de atajos se produce cuando un modelo resuelve su tarea de entrenamiento mediante una señal sencilla que predice la etiqueta en los datos de entrenamiento, pero no tiene nada que ver con el concepto que debía aprender. El modelo obtiene buenos resultados en cualquier conjunto de prueba que comparta esa señal y falla cuando esta desaparece. Robert Geirhos y sus colegas caracterizaron el problema en Shortcut Learning in Deep Neural Networks, una perspectiva de 2020 publicada en Nature Machine Intelligence, donde definieron los atajos como reglas de decisión que funcionan bien en referencias estándar, pero no se transfieren a condiciones más exigentes, como el uso en el mundo real. La analogía clásica es Clever Hans, el caballo que parecía hacer cálculos, pero leía el lenguaje corporal de su entrenador.

Atajos en modelos publicados#

Se han encontrado atajos en muchos modelos publicados:

• Marcas de hospitales en imágenes médicas: En un estudio de 2018 de John Zech y sus colegas, los clasificadores de neumonía entrenados con radiografías de tórax de varios sistemas hospitalarios podían identificar de qué hospital procedía una imagen y, como las tasas de enfermedad variaban entre hospitales, esa información de origen ayudaba a predecir el diagnóstico. El rendimiento solía ser inferior en hospitales ajenos a los datos de entrenamiento, un riesgo recurrente para la IA en radiología.
• Radiografías de COVID-19: En un análisis de 2021, Alex DeGrave y sus colegas descubrieron que los detectores de COVID-19 se basaban en marcadores de texto, la posición del paciente y las diferencias entre fuentes de datos, en lugar de los hallazgos pulmonares, y que perdían buena parte de su precisión con datos de hospitales nuevos.
• Fondos en fotos de cámaras trampa: El estudio de 2018 «Recognition in Terra Incognita», de Sara Beery y sus colegas, mostró que los modelos de clasificación de imágenes asociaban los animales con los lugares y fondos donde se habían fotografiado, por lo que la precisión caía en nuevos emplazamientos de cámaras; un problema conocido para la IA en la conservación de la fauna. El artículo empieza con una vaca en una playa que un clasificador de imágenes comercial no logró reconocer, mientras que las vacas en pastos alpinos se etiquetaban correctamente.
• La textura por encima de la forma: Las redes neuronales convolucionales entrenadas con ImageNet clasificaron como elefante una imagen con la forma de un gato y la textura de la piel de un elefante, como mostraron Geirhos y sus colegas en 2019.

Por qué la validación estándar no los detecta#

Una partición aleatoria entre entrenamiento y validación copia el atajo en ambas partes, así que la precisión en los datos de validación parece excelente. El fallo solo aparece con datos recogidos de forma distinta: de un nuevo centro, cámara, hospital, estación o periodo.

Esto es lo que diferencia el aprendizaje de atajos de los problemas relacionados:

• Sobreajuste: Memorizar ruido específico del entrenamiento, lo que se manifiesta como una diferencia entre las puntuaciones de entrenamiento y validación. Un atajo puede generalizar perfectamente a un conjunto de validación extraído de la misma fuente.
• Fuga de datos: Información que no existirá en el momento de la predicción se cuela en las características o las particiones. La fuga es una forma específica, a menudo accidental, de que un atajo entre en un conjunto de datos.
• Sesgo del conjunto de datos: El sesgo de los datos recopilados, por ejemplo, que todos los ejemplos positivos procedan de un mismo escáner, ofrece al modelo un atajo al que aferrarse.

Unas pocas líneas de scikit-learn reproducen el fallo con una regresión logística sobre dos características: una señal genuina débil y un atajo que casi siempre coincide con la etiqueta durante el entrenamiento.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

La precisión cae de 1,00 a 0,52 cuando se baraja el atajo. La señal genuina por sí sola permite alcanzar una precisión de alrededor del 70 %, pero el modelo asignó al atajo un coeficiente unas 18 veces mayor que el de la señal, por lo que apenas aprendió de la señal más difícil.

Cómo encontrar y eliminar atajos#

La prueba más fiable evalúa los datos a los que el atajo no puede adaptarse: se reservan centros, cámaras o periodos completos para las pruebas, en lugar de elegir imágenes al azar. Una gran diferencia entre esa puntuación y la obtenida en la distribución habitual apunta a señales de fondo, iluminación o sensor. La exploración de datos permite encontrar posibles atajos antes del entrenamiento. El panel de agrupación de Ultralytics Platform sitúa las imágenes visualmente similares cerca unas de otras en un mapa 2D y las colorea por clase, partición o anchura y altura de imagen, de modo que destaca una clase que forme su propia isla porque sus imágenes proceden de una sola cámara, antes de que un modelo YOLO26 aprenda la cámara en vez del objeto.

Las modificaciones contrafactuales ponen a prueba directamente una señal sospechosa. Cambiar el fondo, eliminar una superposición o recortar un marcador deja intacta una predicción correcta y cambia una predicción basada en un atajo. Los métodos de atribución de la IA explicable (XAI), como los mapas de saliencia, muestran qué píxeles influyen en una predicción; en el estudio sobre COVID-19, destacaron los bordes de la imagen y el texto, en lugar de los pulmones.

Corregir un atajo suele requerir cambiar los datos. Recopilar ejemplos en los que la señal y la etiqueta no coincidan, como piezas defectuosas fotografiadas en todas las bandejas y fondos, rompe la correlación. El aumento de datos que varía el color, la escala y la posición debilita las señales vinculadas a esas propiedades, y la aleatorización de dominios hace lo mismo con imágenes sintéticas al aleatorizar texturas, iluminación y fondos. Cuando se conocen los grupos que contienen un atajo, la optimización robusta frente a distribuciones por grupos minimiza la pérdida del grupo con peores resultados en vez de la pérdida media.