Aprendizaje autosupervisado

Cómo funciona el aprendizaje autosupervisado

La idea central de SSL es la tarea de pretexto, un problema de creación propia que el modelo debe resolver. Las etiquetas para esta tarea se derivan directamente de los datos de entrada. Al resolver la tarea de pretexto, la red neuronal aprende representaciones valiosas, o incrustaciones, que captan las características esenciales de los datos.

Entre las tareas de pretexto habituales en visión por ordenador se incluyen:

• Predecir la rotación de una imagen: Se muestra al modelo una imagen que ha sido rotada al azar (por ejemplo, 0, 90, 180 o 270 grados) y debe predecir el ángulo de rotación. Para hacerlo correctamente, debe reconocer la orientación original del objeto.
• Inpainting de imágenes: Se enmascara o elimina una parte de una imagen y el modelo debe predecir la parte que falta. Esto anima al modelo a aprender sobre el contexto y la textura de las imágenes.
• Aprendizaje contrastivo: Se enseña al modelo a acercar las representaciones de imágenes similares (aumentadas) y a alejar las representaciones de imágenes diferentes. Marcos como SimCLR son ejemplos populares de este enfoque.

Este preentrenamiento con datos no etiquetados da como resultado unos pesos de modelo robustos que pueden utilizarse como punto de partida para tareas más específicas.

SSL frente a otros paradigmas de aprendizaje

Es crucial diferenciar SSL de los paradigmas de aprendizaje automático relacionados:

• Aprendizaje supervisado: Se basa totalmente en datos etiquetados, en los que cada entrada se empareja con una salida correcta. SSL, por el contrario, genera sus propias etiquetas a partir de los propios datos, lo que reduce significativamente la necesidad de etiquetar manualmente los datos.
• Aprendizaje no supervisado: Su objetivo es encontrar patrones (como la agrupación) o reducir la dimensionalidad en datos no etiquetados sin tareas de pretexto predefinidas. Aunque el SSL utiliza datos sin etiquetar como el aprendizaje no supervisado, se diferencia en que crea señales de supervisión explícitas mediante tareas de pretexto para guiar el aprendizaje de representaciones.
• Aprendizaje semisupervisado: Utiliza una combinación de una pequeña cantidad de datos etiquetados y una gran cantidad de datos sin etiquetar. El preentrenamiento SSL puede ser a menudo un paso preliminar antes del perfeccionamiento semisupervisado.
• Aprendizaje activo: Se centra en la selección inteligente de los puntos de datos más informativos de un conjunto sin etiquetar que deben ser etiquetados por un humano. SSL aprende de todos los datos sin etiquetar sin intervención humana. Estos dos métodos pueden ser complementarios en un flujo de trabajo de IA centrado en los datos.

Aplicaciones reales

SSL ha hecho avanzar significativamente las capacidades de Inteligencia Artificial (IA) en diversos ámbitos:

1. Avance de los modelos de visión por ordenador: El preentrenamiento SSL permite que modelos como Ultralytics YOLO aprendan características visuales sólidas a partir de conjuntos masivos de datos de imágenes sin etiquetar antes de ser ajustados para tareas como la detección de objetos en vehículos autónomos o el análisis de imágenes médicas. El uso de pesos preentrenados derivados de SSL suele mejorar el rendimiento y acelerar la convergencia durante el entrenamiento del modelo.
2. Alimentación de grandes modelos lingüísticos (LLM): Los modelos básicos como GPT-4 y BERT dependen en gran medida de tareas de pretexto SSL (como el modelado de lenguaje enmascarado) durante su fase de preentrenamiento en vastos corpus de texto. Esto les permite comprender la estructura del lenguaje, la gramática y el contexto, lo que potencia aplicaciones que van desde sofisticados chatbots y traducción automática hasta el resumen de textos.

SSL reduce significativamente la dependencia de costosos conjuntos de datos etiquetados, democratizando el desarrollo de potentes modelos de IA. Herramientas como PyTorch y TensorFlow, junto con plataformas como Ultralytics HUB, proporcionan entornos que permiten aprovechar las técnicas SSL para construir y desplegar soluciones de IA de vanguardia. Puede encontrar las últimas investigaciones sobre SSL en las principales conferencias sobre IA, como NeurIPS e ICML.