Contrastive Learning

El aprendizaje contrastivo es un paradigma de aprendizaje automático que enseña a los modelos a comprender los datos comparando muestras similares y disimiles. A diferencia del aprendizaje supervisado tradicional, que depende en gran medida de conjuntos de datos etiquetados manualmente, el aprendizaje contrastivo se utiliza a menudo en contextos de aprendizaje no supervisado. La idea central es sencilla pero potente: el modelo aprende a acercar las representaciones de elementos relacionados (pares positivos) en un espacio vectorial mientras aleja los elementos no relacionados (pares negativos). Este proceso permite a los algoritmos construir características robustas y generalizables a partir de grandes cantidades de datos sin etiquetar, lo cual es crucial para escalar los sistemas de inteligencia artificial (IA).

El mecanismo del aprendizaje contrastivo#

En el corazón del aprendizaje contrastivo se encuentra el concepto de aprender mediante comparación. En lugar de memorizar que una imagen específica es un "gato", el modelo aprende que dos fotos diferentes de un gato se parecen más entre sí que cualquiera de ellas a la foto de un perro. Esto se logra normalmente mediante el aumento de datos. Una imagen de entrada, a menudo llamada "ancla", se transforma en dos versiones diferentes utilizando técnicas como el recorte, la inversión o la fluctuación de color. Estas dos versiones forman un par positivo. A continuación, se entrena al modelo para que minimice la distancia entre sus incrustaciones (embeddings) y maximice la distancia con otras imágenes aleatorias (muestras negativas) del lote.

Este enfoque ayuda a la red neuronal a centrarse en características semánticas de alto nivel en lugar de en detalles de píxeles de bajo nivel. Por ejemplo, tanto si un coche es rojo como azul, o si mira hacia la izquierda o hacia la derecha, el concepto subyacente de "coche" sigue siendo el mismo. Al ignorar estas variaciones superficiales, el modelo desarrolla una comprensión más profunda del mundo visual, lo que beneficia significativamente a las tareas posteriores como la detección de objetos y la clasificación.

Aplicaciones en el mundo real#

El aprendizaje contrastivo se ha convertido en una piedra angular para muchas aplicaciones de IA de vanguardia, especialmente cuando los datos etiquetados son escasos o costosos de obtener.

1. Clasificación de imágenes Zero-Shot: Modelos como CLIP (Contrastive Language-Image Pre-training) utilizan el aprendizaje contrastivo para alinear imágenes y texto en un espacio de características compartido. Al entrenarse con millones de pares de imagen y texto, el modelo aprende a asociar conceptos visuales con descripciones en lenguaje natural. Esto permite el aprendizaje zero-shot, donde el modelo puede clasificar imágenes en categorías que nunca ha visto durante el entrenamiento simplemente haciendo coincidir la imagen con un texto de aviso.

2. Preentrenamiento robusto para imágenes médicas: En el sector sanitario, obtener exploraciones médicas etiquetadas por expertos es costoso y requiere mucho tiempo. Los investigadores utilizan el aprendizaje contrastivo para preentrenar modelos en grandes bases de datos de radiografías o resonancias magnéticas sin etiquetar. Este preentrenamiento no supervisado crea una potente columna vertebral (backbone) que se puede ajustar con un pequeño número de ejemplos etiquetados para detectar enfermedades como la neumonía o los tumores con gran precisión. Esta técnica aprovecha el aprendizaje por transferencia para mejorar las herramientas de diagnóstico en la IA en el sector sanitario.

Distinguir conceptos relacionados#

Es útil diferenciar el aprendizaje contrastivo de técnicas similares para comprender su papel único en el panorama del aprendizaje automático (ML).

• Frente a los autoencoders: Aunque ambos son métodos no supervisados, los autoencoders pretenden reconstruir los datos de entrada píxel a píxel, comprimiéndolos en una capa de cuello de botella. El aprendizaje contrastivo, por otro lado, no intenta recrear la imagen, sino que se centra exclusivamente en aprender representaciones discriminativas que separen los diferentes conceptos.
• Frente a las redes generativas adversarias (GANs): Las GANs implican un generador que crea datos falsos y un discriminador que intenta detectarlos. El aprendizaje contrastivo se centra en el aprendizaje de representaciones en lugar de en la generación de datos, lo que lo hace más adecuado para tareas como la búsqueda, la recuperación y la clasificación.
• Frente a la pérdida de tripletes: La pérdida de tripletes tradicional requiere explícitamente un ancla, una muestra positiva y una negativa. Los métodos contrastivos modernos, como SimCLR o MoCo, generalizan esto comparando un ancla con muchas muestras negativas simultáneamente dentro de un lote, a menudo utilizando una función de pérdida específica como InfoNCE.

Ejemplo práctico con embeddings#

Aunque entrenar un modelo contrastivo desde cero requiere muchos recursos, puedes utilizar fácilmente modelos preentrenados para extraer características. El siguiente ejemplo demuestra cómo cargar un modelo y extraer el vector de características (incrustación) de una imagen utilizando el paquete ultralytics. Esta incrustación representa el contenido semántico aprendido mediante técnicas similares al preentrenamiento contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Esta capacidad de extraer características ricas y significativas hace que el aprendizaje contrastivo sea esencial para construir sistemas modernos de visión por computador (CV), permitiendo una búsqueda de imágenes eficiente y análisis avanzados. Para gestionar conjuntos de datos y entrenar modelos personalizados que se beneficien de estas arquitecturas avanzadas, la Ultralytics Platform proporciona un entorno optimizado para el despliegue y la monitorización.