Contrastive Learning

El aprendizaje contrastivo es un paradigma del aprendizaje automático que enseña a los modelos a comprender los datos comparando muestras similares y diferentes. A diferencia del aprendizaje supervisado tradicional, que depende en gran medida de conjuntos de datos etiquetados manualmente, el aprendizaje contrastivo se utiliza a menudo en contextos de aprendizaje autosupervisado. La idea central es sencilla, pero potente: el modelo aprende a acercar entre sí las representaciones de elementos relacionados (pares positivos) en un espacio vectorial, mientras aleja los elementos no relacionados (pares negativos). Este proceso permite a los algoritmos crear características robustas y generalizables a partir de grandes cantidades de datos sin etiquetar, algo crucial para ampliar los sistemas de inteligencia artificial (AI).

Mecanismo del aprendizaje contrastivo#

En el centro del aprendizaje contrastivo se encuentra el concepto de aprender mediante la comparación. En lugar de memorizar que una imagen concreta es un «gato», el modelo aprende que dos fotos diferentes de un gato son más similares entre sí que cualquiera de ellas a una foto de un perro. Esto se consigue normalmente mediante la aumentación de datos. Una imagen de entrada, a menudo denominada «ancla», se transforma en dos versiones diferentes mediante técnicas como el recorte, el volteo o la variación aleatoria del color. Estas dos versiones forman un par positivo. A continuación, se entrena el modelo para minimizar la distancia entre sus embeddings y maximizar la distancia con respecto a otras imágenes aleatorias (muestras negativas) del lote.

Este enfoque ayuda a la red neuronal a centrarse en características semánticas de alto nivel en lugar de en detalles de los píxeles de bajo nivel. Por ejemplo, tanto si un coche es rojo o azul como si está orientado hacia la izquierda o hacia la derecha, el concepto subyacente de «coche» sigue siendo el mismo. Al ignorar estas variaciones superficiales, el modelo desarrolla una comprensión más profunda del mundo visual, lo que beneficia significativamente a tareas posteriores como la detección de objetos y la clasificación.

Aplicaciones en el mundo real#

El aprendizaje contrastivo se ha convertido en un pilar fundamental de muchas aplicaciones de AI de última generación, especialmente cuando los datos etiquetados son escasos o costosos de obtener.

1. Clasificación de imágenes sin ejemplos: Los modelos como CLIP (preentrenamiento contrastivo de lenguaje e imagen) utilizan el aprendizaje contrastivo para alinear imágenes y texto en un espacio de características compartido. Al entrenarse con millones de pares de imágenes y textos, el modelo aprende a asociar conceptos visuales con descripciones en lenguaje natural. Esto permite el aprendizaje sin ejemplos, en el que el modelo puede clasificar imágenes en categorías que nunca ha visto durante el entrenamiento simplemente relacionando la imagen con una indicación textual.

2. Preentrenamiento robusto para imágenes médicas: En el ámbito sanitario, obtener exploraciones médicas etiquetadas por expertos es costoso y requiere mucho tiempo. Los investigadores utilizan el aprendizaje contrastivo para preentrenar modelos con grandes bases de datos de radiografías o exploraciones de MRI sin etiquetar. Este preentrenamiento no supervisado crea un backbone potente que puede ajustarse con un pequeño número de ejemplos etiquetados para detectar enfermedades como la neumonía o tumores con gran precisión. Esta técnica aprovecha el aprendizaje por transferencia para mejorar las herramientas de diagnóstico en la AI en el ámbito sanitario.

Diferenciación de conceptos relacionados#

Para comprender su función única en el panorama del aprendizaje automático (ML), resulta útil diferenciar el aprendizaje contrastivo de técnicas similares.

• Frente a los autoencoders: Aunque ambos son métodos no supervisados, los autoencoders tienen como objetivo reconstruir los datos de entrada píxel a píxel, comprimiéndolos en una capa de cuello de botella. El aprendizaje contrastivo, en cambio, no intenta recrear la imagen, sino que se centra exclusivamente en aprender representaciones discriminativas que separen conceptos diferentes.
• Frente a las redes generativas antagónicas (GANs): Las GANs implican que un generador cree datos falsos y que un discriminador intente detectarlos. El aprendizaje contrastivo se centra en el aprendizaje de representaciones en lugar de en la generación de datos, por lo que resulta más adecuado para tareas como la búsqueda, la recuperación y la clasificación.
• Frente a la pérdida triplete: La pérdida triplete tradicional requiere explícitamente un ancla, una muestra positiva y una negativa. Los métodos contrastivos modernos, como SimCLR o MoCo, generalizan este enfoque comparando simultáneamente un ancla con muchas muestras negativas dentro de un lote, a menudo mediante una función de pérdida específica como InfoNCE.

Ejemplo práctico con embeddings#

Aunque entrenar un modelo contrastivo desde cero requiere muchos recursos, puedes utilizar fácilmente modelos preentrenados para extraer características. El siguiente ejemplo muestra cómo cargar un modelo y extraer el vector de características (embedding) de una imagen mediante el paquete ultralytics. Este embedding representa el contenido semántico aprendido mediante técnicas similares al preentrenamiento contrastivo.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

Esta capacidad para extraer características ricas y significativas hace que el aprendizaje contrastivo sea esencial para crear sistemas modernos de visión por ordenador (CV), ya que permite realizar búsquedas de imágenes eficientes y análisis avanzados. Para gestionar conjuntos de datos y entrenar modelos personalizados que se beneficien de estas arquitecturas avanzadas, la plataforma Ultralytics proporciona un entorno simplificado para el despliegue y la supervisión.