Masked Autoencoders (MAE)

마스크드 오토인코더(MAE)는 컴퓨터 비전이라는 더 넓은 분야에서 매우 효율적이고 확장 가능한 자기지도 학습 접근 방식을 제공합니다. 광범위하게 라벨이 지정된 데이터셋 없이도 매개변수가 많은 신경망을 학습시키는 방법으로 도입된 MAE는 입력 이미지의 크고 무작위적인 일부를 의도적으로 가린 다음, 모델이 누락된 픽셀을 재구성하도록 학습합니다. 네트워크는 숨겨진 시각 정보를 성공적으로 예측함으로써 형태, 텍스처 및 공간적 관계에 대한 깊은 의미론적 이해를 자연스럽게 학습합니다.

이 기법은 텍스트 기반 시스템에서 마스크드 언어 모델링이 거둔 성공에서 큰 영감을 받았지만, 이미지 데이터의 고차원적 특성에 맞게 조정되었습니다. 이 아키텍처는 널리 사용되는 트랜스포머 프레임워크를 기반으로 하며, 비대칭 인코더-디코더 구조를 활용합니다.

마스크드 오토인코더의 작동 방식#

MAE의 핵심 혁신은 처리 효율성에 있습니다. 학습 중에 입력 이미지는 패치 그리드로 나뉩니다. 이러한 패치 중 높은 비율(흔히 최대 75%)이 무작위로 마스킹되고 제외됩니다. 일반적으로 Vision Transformer (ViT)인 인코더는 보이는 마스킹되지 않은 패치만 처리합니다. 인코더는 마스킹된 부분을 완전히 건너뛰므로 필요한 연산량과 메모리가 크게 줄어들어 학습 과정이 매우 빨라집니다.

인코더가 보이는 패치의 잠재 표현을 생성하면 경량 디코더가 그 역할을 이어받습니다. 디코더는 인코딩된 보이는 패치와 함께 누락된 데이터를 위한 자리 표시자인 "마스크 토큰"을 입력받아 원본 이미지를 재구성하려고 시도합니다. 디코더는 이 사전 학습 단계에서만 사용되므로 매우 작게 유지할 수 있으며, 이를 통해 계산 오버헤드를 더욱 줄일 수 있습니다. 사전 학습이 완료되면 디코더는 제거되고, 강력한 인코더는 후속 애플리케이션에 사용됩니다.

관련 용어 구분#

MAE를 완전히 이해하려면 기존 또는 더 광범위한 딥러닝 개념과 어떻게 다른지 살펴보는 것이 도움이 됩니다.

• 오토인코더: 전통적인 오토인코더는 전체 입력을 더 작은 잠재 공간으로 압축한 다음 이를 재구성하여 효율적인 데이터 인코딩을 학습합니다. 그러나 MAE는 전체 입력을 단순히 압축하고 압축 해제하는 대신 네트워크가 누락된 데이터를 예측하도록 합니다.
• 자기지도 학습: 이는 모델이 사람이 주석을 단 라벨 없이 데이터 자체에서 학습하는 포괄적인 학습 패러다임입니다. MAE는 이 개념을 구체적으로 구현한 아키텍처입니다.
• 파운데이션 모델: MAE는 시각 파운데이션 모델을 사전 학습하는 데 자주 사용되며, 이러한 모델은 이후 전문화된 작업에 맞게 파인튜닝됩니다.

실제 적용 사례#

MAE는 시각 데이터에 대한 매우 견고한 표현을 학습하므로 복잡한 실제 AI 시스템을 구축하기 위한 이상적인 출발점입니다.

• 고급 객체 검출을 위한 사전 학습: MAE 사전 학습을 통해 학습된 풍부한 특징 추출 기능은 후속 객체 검출 시스템의 성능을 크게 향상할 수 있습니다. 예를 들어, MAE를 통해 학습된 특징은 라벨링된 데이터가 부족한 맞춤형 틈새 데이터셋에서 Ultralytics YOLO26과 같은 모델을 학습할 때 활용할 수 있습니다.
• 의료 영상 분석: 방사선학과 같은 분야에서는 주석이 달린 대규모 MRI 또는 CT 스캔 데이터셋을 수집하는 데 많은 비용이 들며 개인정보 보호법의 제한도 받습니다. 연구자들은 arXiv에 발표된 최신 학술 문헌에 소개된 것처럼 대규모 비라벨 의료 이미지 모음으로 MAE를 사용해 모델을 사전 학습한 후, 매우 적은 수의 라벨링된 예제로 종양이나 이상을 검출하도록 파인튜닝합니다.

데이터 관리 및 배포#

MAE 방식으로 백본을 사전 학습한 후에는 이미지 분류 또는 이미지 세그멘테이션과 같은 특정 작업에 맞게 모델을 파인튜닝하고 배포해야 합니다. 최신 클라우드 생태계는 이러한 전환을 원활하게 지원합니다. 예를 들어 팀은 Ultralytics Platform을 활용하여 작업별 데이터셋에 쉽게 주석을 추가하고, 클라우드 학습을 오케스트레이션하며, 그 결과로 얻은 프로덕션 배포가 가능한 모델을 엣지 디바이스 또는 서버에 배포할 수 있습니다. 이를 통해 일반적으로 머신러닝 운영(MLOps)과 관련된 상용구 인프라 작업을 상당 부분 줄일 수 있습니다.

코드 예제: 패치 마스킹 시뮬레이션#

전체 MAE를 학습하려면 완전한 트랜스포머 아키텍처가 필요하지만, 패치 마스킹의 핵심 개념은 PyTorch 텐서 연산을 사용하여 쉽게 시각화할 수 있습니다. 이 간단한 코드 조각은 입력 텐서에서 보이는 패치를 무작위로 선택하는 방법을 보여줍니다.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

아키텍처를 처음부터 작성하지 않고도 강력한 사전 학습 시각 기능을 워크플로에 통합하려는 개발자에게는 광범위한 Ultralytics 문서를 살펴보는 것이 고유한 과제에 최첨단 비전 모델을 적용하기 위한 훌륭한 출발점이 됩니다. 또한 TensorFlow와 같은 주요 프레임워크는 최첨단 머신러닝 연구를 확장 가능한 프로덕션 환경에 구현하기 위한 강력한 생태계도 제공합니다.