Masked Autoencoders (MAE)

Os Autoencoders Mascarados (MAE) representam uma abordagem altamente eficiente e escalável à aprendizagem auto-supervisionada no campo mais abrangente da visão computacional. Introduzido como um método para treinar redes neurais com um elevado número de parâmetros sem exigir conjuntos de dados extensivamente anotados, um MAE funciona ocultando intencionalmente uma grande parte aleatória da imagem de entrada e treinando o modelo para reconstruir os píxeis em falta. Ao prever com sucesso a informação visual oculta, a rede aprende intrinsecamente uma compreensão profunda e semântica de formas, texturas e relações espaciais.

Esta técnica é fortemente inspirada pelo sucesso da modelação de linguagem mascarada em sistemas baseados em texto, mas adaptada à natureza de alta dimensionalidade dos dados de imagem. A arquitetura baseia-se no popular framework Transformer, utilizando uma estrutura assimétrica de codificador-descodificador.

Como funcionam os Autoencoders Mascarados#

A principal inovação do MAE reside na sua eficiência de processamento. Durante o treino, a imagem de entrada é dividida numa grelha de patches. Uma elevada percentagem destes patches (frequentemente até 75%) é mascarada aleatoriamente e descartada. O codificador, normalmente um Transformador de Visão (ViT), processa apenas os patches visíveis e não mascarados. Como o codificador ignora completamente as partes mascaradas, necessita de significativamente menos capacidade computacional e memória, tornando o processo de treino extraordinariamente rápido.

Depois de o codificador gerar representações latentes dos patches visíveis, entra em ação um descodificador leve. O descodificador recebe os patches visíveis codificados juntamente com "tokens de máscara" (espaços reservados para os dados em falta) e tenta reconstruir a imagem original. Como o descodificador só é utilizado durante esta fase de pré-treino, pode ser mantido muito pequeno, reduzindo ainda mais a sobrecarga computacional. Após a conclusão do pré-treino, o descodificador é descartado e o poderoso codificador é mantido para aplicações posteriores.

Distinguir Termos Relacionados#

Para compreender plenamente os MAEs, é útil perceber como diferem de conceitos mais antigos ou abrangentes de aprendizagem profunda:

• Autoencoder: Um autoencoder tradicional comprime toda a entrada num espaço latente mais pequeno e, em seguida, reconstrói-a para aprender codificações eficientes dos dados. Um MAE, contudo, força a rede a prever dados em falta, em vez de simplesmente comprimir e descomprimir toda a entrada.
• Aprendizagem Auto-Supervisionada: Este é o paradigma de treino abrangente em que um modelo aprende a partir dos próprios dados, sem rótulos anotados por humanos. O MAE é uma implementação arquitetural específica deste conceito.
• Modelo de Base: Os MAEs são frequentemente utilizados para pré-treinar modelos de base visuais, que depois são ajustados para tarefas especializadas.

Aplicações no mundo real#

Como os MAEs aprendem representações extraordinariamente robustas de dados visuais, são pontos de partida ideais para sistemas de IA complexos do mundo real.

• Pré-treino para Deteção Avançada de Objetos: As capacidades avançadas de extração de características aprendidas através do pré-treino com MAE podem aumentar significativamente o desempenho de sistemas posteriores de deteção de objetos. Por exemplo, as características aprendidas através do MAE podem ser utilizadas ao treinar modelos como o Ultralytics YOLO26 em conjuntos de dados personalizados e específicos, nos quais os dados anotados são escassos.
• Análise de Imagens Médicas: Em áreas como a radiologia, a recolha de grandes conjuntos de dados de exames de MRI ou CT anotados é dispendiosa e está limitada por leis de privacidade. Os investigadores utilizam MAEs para pré-treinar modelos em grandes conjuntos de imagens médicas não anotadas, publicados na literatura académica recente no arXiv, antes de os ajustarem para detetar tumores ou anomalias com muito poucos exemplos anotados.

Gestão de Dados e Implementação#

Depois de um backbone ser pré-treinado através de uma abordagem MAE, o passo seguinte envolve ajustar e implementar o modelo para tarefas específicas, como classificação de imagens ou segmentação de imagens. Os ecossistemas modernos de cloud tornam esta transição simples. Por exemplo, as equipas podem utilizar a Ultralytics Platform para anotar facilmente conjuntos de dados específicos da tarefa, orquestrar o treino na cloud e implementar os modelos resultantes, prontos para produção, em dispositivos edge ou servidores. Isto elimina grande parte do trabalho de infraestrutura padrão normalmente associado às operações de aprendizagem automática (MLOps).

Exemplo de Código: Simulação de Mascaramento de Patches#

Embora o treino de um MAE completo exija uma arquitetura Transformer completa, o conceito central do mascaramento de patches pode ser facilmente visualizado utilizando operações com tensores PyTorch. Este pequeno fragmento demonstra como se poderiam selecionar aleatoriamente patches visíveis a partir de um tensor de entrada.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

Para os programadores que procuram integrar capacidades visuais avançadas e pré-treinadas nos seus fluxos de trabalho sem escrever arquiteturas de raiz, explorar a extensa documentação da Ultralytics oferece excelentes pontos de partida para aplicar modelos de visão de última geração aos seus desafios específicos. Além disso, frameworks importantes como o TensorFlow também disponibilizam ecossistemas robustos para implementar investigação de ponta em aprendizagem automática em ambientes de produção escaláveis.