Masked Autoencoders (MAE)

Masked Autoencoders (MAE) represent a highly efficient and scalable approach to self-supervised learning within the broader field of computer vision. Introduced as a method to train heavily parameterized neural networks without requiring extensively labeled datasets, an MAE functions by intentionally obscuring a large, random portion of an input image and training the model to reconstruct the missing pixels. By successfully predicting the hidden visual information, the network inherently learns a deep, semantic understanding of shapes, textures, and spatial relationships.

이 기술은 텍스트 기반 시스템에서의 masked language modeling 성공 사례에서 크게 영감을 받았으나, 이미지 데이터의 고차원적 특성에 맞춰 조정되었습니다. 이 아키텍처는 비대칭적인 인코더-디코더 구조를 활용하며 매우 대중적인 transformer 프레임워크에 의존합니다.

Link to this sectionMasked Autoencoders의 작동 원리#

MAE의 핵심 혁신은 처리 효율성에 있습니다. 학습 중에 입력 이미지는 패치 격자로 나뉩니다. 이 패치 중 높은 비율(종종 최대 75%)이 무작위로 마스킹되어 폐기됩니다. 일반적으로 Vision Transformer (ViT)인 인코더는 마스킹되지 않은 가시적인 패치만 처리합니다. 인코더는 마스킹된 부분을 완전히 건너뛰기 때문에 연산 및 메모리 요구 사항이 훨씬 적으며 학습 과정을 놀라울 정도로 빠르게 만듭니다.

인코더가 가시적인 패치의 latent representation을 생성한 후, 경량 디코더가 이를 이어받습니다. 디코더는 인코딩된 가시적 패치와 함께 "mask tokens"(누락된 데이터에 대한 플레이스홀더)를 수신하여 원본 이미지를 재구축하려고 시도합니다. 디코더는 이 사전 학습 단계에서만 사용되기 때문에 매우 작게 유지될 수 있어 컴퓨팅 오버헤드를 더욱 줄입니다. 사전 학습이 완료되면 디코더는 폐기되고 강력한 인코더는 다운스트림 애플리케이션을 위해 보존됩니다.

Link to this section관련 용어 구분#

MAE를 완전히 이해하려면 MAE가 이전의 또는 더 광범위한 deep learning 개념과 어떻게 다른지 파악하는 것이 도움이 됩니다.

• Autoencoder: 전통적인 오토인코더는 전체 입력을 더 작은 latent space로 압축한 다음 이를 재구성하여 효율적인 데이터 코딩을 학습합니다. 그러나 MAE는 네트워크가 단순히 전체 입력을 압축 및 압축 해제하는 대신 누락된 데이터를 예측하도록 강제합니다.
• Self-Supervised Learning: 이는 모델이 사람이 주석을 단 라벨 없이 데이터 자체로부터 학습하는 전반적인 학습 패러다임입니다. MAE는 이 개념의 구체적인 아키텍처 구현체입니다.
• Foundation Model: MAE는 종종 시각적 파운데이션 모델을 사전 학습하는 데 사용되며, 이후 전문화된 작업을 위해 미세 조정(fine-tuning)됩니다.

Link to this section실제 애플리케이션 사례#

MAE는 시각적 데이터에 대한 매우 강력한 표현을 학습하므로 복잡한 실제 AI 시스템을 위한 이상적인 출발점이 됩니다.

• 고급 객체 탐지를 위한 사전 학습: MAE 사전 학습을 통해 학습된 풍부한 특징 추출 기능은 다운스트림 object detection 시스템의 성능을 크게 향상시킬 수 있습니다. 예를 들어, MAE를 통해 학습된 특징은 라벨이 지정된 데이터가 부족한 사용자 지정 및 틈새 데이터셋에서 Ultralytics YOLO26과 같은 모델을 학습할 때 활용될 수 있습니다.
• Medical Image Analysis: 방사선학과 같은 분야에서 MRI 또는 CT 스캔에 주석이 달린 방대한 데이터셋을 수집하는 것은 비용이 많이 들고 개인정보 보호법에 의해 제한됩니다. 연구자들은 MAE를 사용하여 recent academic literature on arXiv에 게시된 라벨이 지정되지 않은 대규모 의료 이미지 풀에서 모델을 사전 학습시킨 후, 매우 적은 수의 라벨이 지정된 예제로 종양이나 이상 징후를 감지하도록 미세 조정합니다.

Link to this section데이터 관리 및 배포#

MAE 접근 방식을 사용하여 백본이 사전 학습되면 다음 단계는 image classification 또는 image segmentation과 같은 특정 작업을 위해 모델을 미세 조정하고 배포하는 것입니다. 최신 클라우드 생태계는 이러한 전환을 원활하게 만듭니다. 예를 들어, 팀은 Ultralytics Platform을 활용하여 작업별 데이터셋을 쉽게 주석 처리하고, 클라우드 학습을 오케스트레이션하며, 결과적으로 완성된 프로덕션용 모델을 엣지 디바이스나 서버에 배포할 수 있습니다. 이는 일반적으로 machine learning operations (MLOps)와 관련된 많은 정형 인프라 작업을 제거합니다.

Link to this section코드 예제: 패치 마스킹 시뮬레이션#

전체 MAE를 학습하려면 완전한 transformer 아키텍처가 필요하지만, 패치 마스킹의 핵심 개념은 PyTorch tensor operations를 사용하여 쉽게 시각화할 수 있습니다. 이 간단한 스니펫은 입력 텐서에서 가시적인 패치를 무작위로 선택하는 방법을 보여줍니다.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

처음부터 아키텍처를 작성하지 않고도 강력한 사전 학습된 시각적 기능을 워크플로우에 통합하려는 개발자는 방대한 Ultralytics documentation을 탐색함으로써 최첨단 비전 모델을 고유한 과제에 적용하기 위한 훌륭한 출발점을 찾을 수 있습니다. 또한 TensorFlow와 같은 주요 프레임워크는 최첨단 machine learning 연구를 확장 가능한 프로덕션 환경으로 구현하기 위한 강력한 생태계를 제공합니다.