Self-Supervised Learning

El aprendizaje autosupervisado (SSL) entrena un modelo con una tarea cuyas etiquetas proceden de los propios datos, como predecir la siguiente palabra de una frase, completar parches de imagen ocultos o reconocer como coincidentes dos recortes de la misma foto, para que pueda aprender a partir de grandes cantidades de datos sin etiquetar. El aprendizaje supervisado está limitado por el etiquetado de datos, que es lento y caro, mientras que abundan las imágenes, los vídeos, el audio y el texto sin procesar. SSL los utiliza para preentrenar un codificador de propósito general; después, el ajuste fino o un pequeño cabezal entrenado lo adapta a una tarea posterior, como la clasificación de imágenes o la detección de objetos, con muchas menos etiquetas. Todos los modelos de lenguaje grandes (LLM) modernos se preentrenan de esta forma, prediciendo el siguiente token del texto, como los modelos GPT, y el DINOv3 de Meta amplió el preentrenamiento autosupervisado de imágenes a un modelo de 7000 millones de parámetros entrenado con 1700 millones de imágenes.

Cómo funciona el aprendizaje autosupervisado#

Un método SSL define una tarea de pretexto: oculta o transforma parte de cada entrada y entrena la red para recuperar lo eliminado o reconocer lo que se ha mantenido igual. La propia tarea de pretexto rara vez resulta útil. Lo importante es que, al resolverla, la red se ve obligada a aprender la estructura de los datos, como las formas de los objetos, las texturas y las relaciones entre las partes; estas características se transfieren a tareas con etiquetas. Tras el preentrenamiento, el codificador se evalúa o se utiliza mediante sondeo lineal sobre características congeladas, o ajustando todos sus pesos:

Principales familias de métodos#

• Predicción enmascarada: Oculta parte de la entrada y entrena el modelo para reconstruirla. BERT predice palabras enmascaradas al azar, y los autoencodificadores enmascarados ocultan el 75 % de los parches de una imagen y reconstruyen sus píxeles. Predecir el siguiente token de una secuencia aplica la misma idea al texto.
• Aprendizaje contrastivo: Crea dos versiones aumentadas de cada imagen y entrena las representaciones vectoriales para que las versiones de una misma imagen coincidan y las de imágenes distintas no lo hagan. SimCLR y MoCo son los ejemplos más conocidos.
• Autodestilación: Una red estudiante aprende a reproducir la salida de una red docente, un promedio de la estudiante que se actualiza lentamente, en distintos recortes de la misma imagen, sin pares negativos. BYOL y DINO utilizan este enfoque, y DINOv2 y DINOv3 lo amplían a conjuntos de datos seleccionados de más de 100 millones de imágenes.
• Predicción de representaciones conjuntas: Predice las representaciones vectoriales de las regiones ocultas a partir de las visibles, para que el modelo aprenda el contenido abstracto sin dedicar capacidad a los detalles de los píxeles. I-JEPA y V-JEPA de Meta aplican este método a imágenes y vídeos.

La elección determina las características. La reconstrucción enmascarada conserva los detalles espaciales finos y responde bien al ajuste fino, mientras que los métodos contrastivos y de autodestilación generan características que funcionan bien congeladas, por eso los codificadores de la familia DINO son populares como redes troncales para la estimación de profundidad y la segmentación semántica.

Aprendizaje autosupervisado en visión artificial#

Los transformadores de visión y SSL se complementan: enmascarar parches completos se adapta directamente a las entradas de tokens de un ViT, y los ViT se benefician de disponer de más datos de entrenamiento de los que ofrecen los conjuntos de datos etiquetados. Muchos modelos fundacionales parten de codificadores autosupervisados. SAM 2 de Meta, disponible en el paquete Ultralytics para la segmentación de imágenes y vídeos mediante instrucciones, se basa en un codificador de imágenes Hiera preentrenado como autoencodificador enmascarado antes de cualquier entrenamiento de segmentación.

Aplicaciones#

• Imágenes médicas: Los hospitales guardan muchas más imágenes que las que los radiólogos pueden anotar. El preentrenamiento con radiografías, TC o RM sin etiquetar proporciona un codificador que después aprende tareas como la detección de tumores a partir de un pequeño conjunto de etiquetas expertas.
• Imágenes por satélite: Meta entrenó una variante de DINOv3 con 493 millones de imágenes por satélite, y el World Resources Institute la utiliza para cartografiar la altura de la cubierta arbórea. En una región de Kenia, redujo de 4,1 a 1,2 metros el error medio de altura de mapas anteriores basados en DINOv2.
• Reconocimiento del habla: wav2vec 2.0 se preentrenó con 53 000 horas de audio sin etiquetar y, tras ajustarse con solo 10 minutos de habla transcrita, alcanzó tasas de error de palabra del 4,8 % y el 8,2 % en los conjuntos de prueba limpio y otros de LibriSpeech.

Aprendizaje autosupervisado y términos relacionados#

• Aprendizaje no supervisado: Aprendizaje sin etiquetas humanas en general, que incluye la agrupación y la estimación de densidad. El SSL suele considerarse una forma de aprendizaje no supervisado que se entrena como el aprendizaje supervisado, con objetivos generados a partir de los datos.
• Aprendizaje semisupervisado: Entrena al mismo tiempo con un pequeño conjunto etiquetado y otro grande sin etiquetar. El SSL preentrena solo con datos sin etiquetar, y ambos enfoques se combinan bien: SimCLRv2 ajustó un modelo autosupervisado grande con el 1 % de las etiquetas de ImageNet y después lo destiló con las imágenes sin etiquetar.
• Aprendizaje por transferencia: Reutiliza un modelo preentrenado para una tarea nueva. El SSL es una forma de obtener ese modelo preentrenado sin etiquetas.
• Aumento de datos: Recortes aleatorios, cambios de color y volteos que amplían un conjunto de datos etiquetado. En el SSL contrastivo, las mismas transformaciones determinan qué versiones cuentan como una misma imagen, así que deciden qué aprende a ignorar el codificador.