Masked Autoencoders (MAE)

Los autoencoders enmascarados (MAE) representan un enfoque altamente eficiente y escalable para el aprendizaje autosupervisado dentro del campo más amplio de la visión artificial. Introducido como método para entrenar redes neuronales con un gran número de parámetros sin necesitar conjuntos de datos ampliamente etiquetados, un MAE funciona ocultando intencionadamente una gran parte aleatoria de una imagen de entrada y entrenando el modelo para reconstruir los píxeles que faltan. Al predecir correctamente la información visual oculta, la red aprende de forma inherente una comprensión profunda y semántica de las formas, las texturas y las relaciones espaciales.

Esta técnica se inspira en gran medida en el éxito del modelado de lenguaje enmascarado en sistemas basados en texto, pero adaptado a la naturaleza de alta dimensionalidad de los datos de imagen. La arquitectura se basa en el popular marco Transformer, utilizando una estructura asimétrica de encoder-decoder.

Cómo funcionan los autoencoders enmascarados#

La innovación principal del MAE reside en su eficiencia de procesamiento. Durante el entrenamiento, la imagen de entrada se divide en una cuadrícula de parches. Un porcentaje elevado de estos parches (a menudo hasta el 75 %) se enmascara y descarta de forma aleatoria. El encoder, normalmente un Transformer de visión (ViT), solo procesa los parches visibles y no enmascarados. Como el encoder omite por completo las partes enmascaradas, necesita muchos menos recursos computacionales y memoria, lo que hace que el proceso de entrenamiento sea extraordinariamente rápido.

Después de que el encoder genere representaciones latentes de los parches visibles, interviene un decoder ligero. El decoder recibe los parches visibles codificados junto con «tokens de máscara» (marcadores de posición para los datos que faltan) e intenta reconstruir la imagen original. Como el decoder solo se utiliza durante esta fase de preentrenamiento, puede mantenerse muy pequeño, lo que reduce aún más la sobrecarga computacional. Una vez completado el preentrenamiento, el decoder se descarta y se conserva el potente encoder para las aplicaciones posteriores.

Diferenciación de términos relacionados#

Para comprender plenamente los MAE, resulta útil entender en qué se diferencian de conceptos anteriores o más amplios de aprendizaje profundo:

• Autoencoder: Un autoencoder tradicional comprime una entrada completa en un espacio latente más pequeño y después la reconstruye para aprender codificaciones eficientes de los datos. Sin embargo, un MAE obliga a la red a predecir los datos que faltan, en lugar de limitarse a comprimir y descomprimir toda la entrada.
• Aprendizaje autosupervisado: Es el paradigma de entrenamiento general en el que un modelo aprende de los propios datos sin etiquetas anotadas por personas. MAE es una implementación arquitectónica específica de este concepto.
• Modelo fundacional: Los MAE se utilizan a menudo para preentrenar modelos fundacionales visuales, que después se ajustan para tareas especializadas.

Aplicaciones en el mundo real#

Como los MAE aprenden representaciones extraordinariamente robustas de los datos visuales, son puntos de partida ideales para sistemas de IA complejos y del mundo real.

• Preentrenamiento para detección avanzada de objetos: Las completas capacidades de extracción de características aprendidas mediante el preentrenamiento con MAE pueden aumentar considerablemente el rendimiento de los sistemas posteriores de detección de objetos. Por ejemplo, las características aprendidas mediante MAE pueden utilizarse al entrenar modelos como Ultralytics YOLO26 con conjuntos de datos personalizados y especializados en los que escasean los datos etiquetados.
• Análisis de imágenes médicas: En campos como la radiología, recopilar grandes conjuntos de datos de resonancias magnéticas o tomografías computarizadas anotadas es caro y está restringido por las leyes de privacidad. Los investigadores utilizan MAE para preentrenar modelos con grandes colecciones de imágenes médicas sin etiquetar, publicadas en la literatura académica reciente de arXiv, antes de ajustarlos para detectar tumores o anomalías con muy pocos ejemplos etiquetados.

Gestión de datos y despliegue#

Una vez preentrenado un backbone mediante un enfoque MAE, el siguiente paso consiste en ajustar y desplegar el modelo para tareas específicas como la clasificación de imágenes o la segmentación de imágenes. Los ecosistemas modernos en la nube hacen que esta transición sea fluida. Por ejemplo, los equipos pueden aprovechar la Ultralytics Platform para anotar fácilmente conjuntos de datos específicos de cada tarea, coordinar el entrenamiento en la nube y desplegar los modelos resultantes, listos para producción, en dispositivos edge o servidores. Esto elimina gran parte del trabajo de infraestructura repetitivo que suele asociarse a las operaciones de aprendizaje automático (MLOps).

Ejemplo de código: simulación del enmascaramiento de parches#

Aunque entrenar un MAE completo requiere una arquitectura Transformer completa, el concepto principal del enmascaramiento de parches puede visualizarse fácilmente mediante operaciones con tensores de PyTorch. Este sencillo fragmento muestra cómo se podrían seleccionar aleatoriamente parches visibles de un tensor de entrada.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Para los desarrolladores que buscan integrar capacidades visuales potentes y preentrenadas en sus flujos de trabajo sin escribir arquitecturas desde cero, explorar la amplia documentación de Ultralytics ofrece excelentes puntos de partida para aplicar modelos de visión de última generación a tus retos específicos. Además, los principales frameworks, como TensorFlow, también proporcionan ecosistemas sólidos para implementar investigaciones punteras de aprendizaje automático en entornos de producción escalables.