Contrastive Learning

El aprendizaje contrastivo es un paradigma de aprendizaje automático que enseña a los modelos a entender los datos comparando muestras similares y disimilares. A diferencia del supervised learning tradicional, que depende en gran medida de conjuntos de datos etiquetados manualmente, el aprendizaje contrastivo se utiliza a menudo en contextos de self-supervised learning. La idea fundamental es sencilla pero potente: el modelo aprende a acercar las representaciones de elementos relacionados (pares positivos) en un espacio vectorial mientras aleja los elementos no relacionados (pares negativos). Este proceso permite a los algoritmos construir características robustas y generalizables a partir de grandes cantidades de datos sin etiquetar, lo cual es crucial para escalar sistemas de artificial intelligence (AI).

Link to this sectionEl mecanismo del aprendizaje contrastivo#

En el núcleo del aprendizaje contrastivo se encuentra el concepto de aprender mediante comparación. En lugar de memorizar que una imagen específica es un "gato", el modelo aprende que dos fotos diferentes de un gato son más similares entre sí que cualquiera de ellas a la foto de un perro. Esto se consigue normalmente mediante data augmentation. Una imagen de entrada, a menudo llamada "ancla", se transforma en dos versiones diferentes mediante técnicas como el recorte, el volteo o el ajuste de color. Estas dos versiones forman un par positivo. A continuación, se entrena al modelo para minimizar la distancia entre sus embeddings mientras se maximiza la distancia respecto a otras imágenes aleatorias (muestras negativas) en el lote.

Este enfoque ayuda a la neural network a centrarse en características semánticas de alto nivel en lugar de en detalles de píxeles de bajo nivel. Por ejemplo, independientemente de si un coche es rojo o azul, o de si mira hacia la izquierda o hacia la derecha, el concepto subyacente de "coche" sigue siendo el mismo. Al ignorar estas variaciones superficiales, el modelo desarrolla una comprensión más profunda del mundo visual, lo que beneficia significativamente a tareas posteriores como la object detection y la clasificación.

Link to this sectionAplicaciones en el mundo real#

El aprendizaje contrastivo se ha convertido en una piedra angular para muchas aplicaciones de IA de vanguardia, especialmente cuando los datos etiquetados son escasos o costosos de obtener.

1. Clasificación de imágenes Zero-Shot: Modelos como CLIP (Contrastive Language-Image Pre-training) utilizan el aprendizaje contrastivo para alinear imágenes y texto en un espacio de características compartido. Al entrenarse con millones de pares imagen-texto, el modelo aprende a asociar conceptos visuales con descripciones en lenguaje natural. Esto permite el zero-shot learning, donde el modelo puede clasificar imágenes en categorías que nunca ha visto durante el entrenamiento simplemente haciendo coincidir la imagen con un prompt textual.

2. Pre-entrenamiento robusto para imágenes médicas: En el ámbito sanitario, obtener escáneres médicos etiquetados por expertos es costoso y requiere mucho tiempo. Los investigadores utilizan el aprendizaje contrastivo para pre-entrenar modelos en grandes bases de datos de radiografías o escáneres de resonancia magnética sin etiquetar. Este pre-entrenamiento no supervisado crea un backbone potente que puede ajustarse con un pequeño número de ejemplos etiquetados para detectar enfermedades como neumonía o tumores con gran precisión. Esta técnica aprovecha el transfer learning para mejorar las herramientas de diagnóstico en AI in healthcare.

Link to this sectionDistinguir conceptos relacionados#

Es útil diferenciar el aprendizaje contrastivo de técnicas similares para entender su papel único en el panorama del machine learning (ML).

• vs. Autoencoders: Aunque ambos son métodos no supervisados, los autoencoders tienen como objetivo reconstruir los datos de entrada píxel a píxel, comprimiéndolos en una capa de cuello de botella. El aprendizaje contrastivo, por otro lado, no intenta recrear la imagen, sino que se centra exclusivamente en aprender representaciones discriminativas que separen los diferentes conceptos.
• vs. Redes generativas antagónicas (GANs): Las GANs implican que un generador crea datos falsos y un discriminador intenta detectarlos. El aprendizaje contrastivo se centra en el aprendizaje de representaciones más que en la generación de datos, lo que lo hace más adecuado para tareas como la búsqueda, la recuperación y la clasificación.
• vs. Triplet Loss: La triplet loss tradicional requiere explícitamente un ancla, un positivo y una muestra negativa. Los métodos contrastivos modernos, como SimCLR o MoCo, generalizan esto comparando un ancla frente a muchas muestras negativas simultáneamente dentro de un lote, a menudo utilizando una loss function específica como InfoNCE.

Link to this sectionEjemplo práctico con embeddings#

Aunque entrenar un modelo contrastivo desde cero consume muchos recursos, puedes utilizar fácilmente modelos pre-entrenados para extraer características. El siguiente ejemplo demuestra cómo cargar un modelo y extraer el vector de características (embedding) de una imagen utilizando el paquete ultralytics. Este embedding representa el contenido semántico aprendido mediante técnicas similares al pre-entrenamiento contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Esta capacidad de extraer características ricas y significativas hace que el aprendizaje contrastivo sea esencial para construir sistemas modernos de computer vision (CV), permitiendo una image search eficiente y analíticas avanzadas. Para gestionar conjuntos de datos y entrenar modelos personalizados que se beneficien de estas arquitecturas avanzadas, la Ultralytics Platform proporciona un entorno optimizado para el despliegue y la monitorización.