Descubra cómo el aprendizaje autosupervisado aprovecha los datos no etiquetados para un entrenamiento eficiente, transformando la IA en visión por ordenador, PNL y mucho más.
El aprendizaje autosupervisado (SSL) es un método de aprendizaje automático que permite a los modelos aprender a partir de grandes cantidades de datos no etiquetados. A diferencia del aprendizaje supervisado, que depende en gran medida de datos meticulosamente etiquetados, el SSL crea ingeniosamente sus propias señales de supervisión directamente a partir de los propios datos de entrada. Esto lo hace excepcionalmente valioso en campos como la visión por ordenador (CV) y el procesamiento del lenguaje natural (PLN), donde abundan los datos sin etiquetar, pero el coste y el esfuerzo del etiquetado manual(anotación de datos) pueden ser prohibitivos.
El mecanismo central de SSL consiste en diseñar una "tarea pretexto". Se trata de una tarea auxiliar autogenerada en la que el modelo debe predecir ciertas propiedades de los datos que se han ocultado o alterado intencionadamente. Al resolver esta tarea de pretexto, el modelo se ve obligado a aprender estructuras y representaciones subyacentes significativas(incrustaciones) de los datos sin etiquetas proporcionadas por humanos. Esta fase inicial de entrenamiento se conoce como preentrenamiento.
Por ejemplo, en visión por ordenador, una tarea de pretexto podría implicar:
En PNL, una tarea de pretexto muy conocida es el modelado de lenguaje enmascarado, utilizado por modelos como BERT. En este caso, el modelo aprende a predecir palabras que se han enmascarado (ocultado) aleatoriamente dentro de las frases.
Tras el preentrenamiento en grandes conjuntos de datos sin etiquetar, el modelo captura representaciones ricas en características. A continuación, este modelo preentrenado puede adaptarse a tareas posteriores específicas -como la detección de objetos, la clasificación de imágenes o el análisis de sentimientos- medianteun proceso denominado ajuste fino. El ajuste fino suele requerir una cantidad mucho menor de datos etiquetados en comparación con el entrenamiento de un modelo desde cero, lo que convierte a SSL en un factor clave para un aprendizaje por transferencia eficaz.
Es crucial diferenciar SSL de los paradigmas de ML relacionados:
SSL ha avanzado significativamente en las capacidades de Inteligencia Artificial (IA):
SSL reduce significativamente la dependencia de costosos conjuntos de datos etiquetados, democratizando el desarrollo de potentes modelos de IA. Herramientas como PyTorch y TensorFlow, junto con plataformas como Ultralytics HUB, proporcionan entornos que permiten aprovechar las técnicas SSL para construir y desplegar soluciones de IA de vanguardia.