마스크 오토인코더(MAE)

마스크 오토인코더(MAE)는 컴퓨터 비전이라는 광범위한 분야 내에서 자기 지도 학습을 위한 매우 효율적이고 확장성이 뛰어난 접근 방식입니다. 광범위하게 라벨링된 데이터셋 없이도 매개변수가 많은 신경망을 훈련할 수 있는 방법으로 도입된 MAE는 입력 이미지의 무작위적인 큰 부분을 의도적으로 가린 후, 모델이 누락된 픽셀을 재구성하도록 훈련하는 방식으로 작동합니다. 숨겨진 시각적 정보를 성공적으로 예측함으로써, 네트워크는 본질적으로 형태, 질감, 공간적 관계에 대한 심층적이고 의미론적인 이해를 학습하게 됩니다.

이 기법은 텍스트 기반 시스템에서 마스크 언어 모델링이 거둔 성공에서 큰 영감을 받았으나, 이미지 데이터의 고차원적 특성에 맞게 조정되었습니다. 이 아키텍처는 널리 사용되는 트랜스포머 프레임워크를 기반으로 하며, 비대칭적인 인코더-디코더 구조를 활용합니다.

마스크드 오토인코더의 작동 원리

MAE의 핵심 혁신은 처리 효율성에 있습니다. 훈련 과정에서 입력 이미지는 패치 격자로 나뉩니다. 이러한 패치 중 상당 부분(종종 최대 75%)이 무작위로 마스킹되어 제거됩니다. 일반적으로 비전 트랜스포머(ViT)로 구현되는 인코더는 가시적인, 마스킹되지 않은 패치만 처리합니다. 인코더가 마스킹된 부분을 완전히 건너뛰기 때문에 필요한 연산 및 메모리 자원이 현저히 줄어들어, 훈련 과정이 매우 빠르게 진행됩니다.

인코더가 가시 영역의 잠재 표현을 생성한 후에는 경량 디코더가 작업을 이어받습니다. 디코더는 인코딩된 가시 영역과 “마스크 토큰”(누락된 데이터를 나타내는 자리 표시자)을 함께 입력으로 받아 원본 이미지를 재구성합니다. 디코더는 이 사전 학습 단계에서만 사용되므로, 크기를 매우 작게 유지할 수 있어 계산 부하를 더욱 줄일 수 있습니다. 사전 학습이 완료되면 디코더는 폐기되고, 강력한 인코더는 후속 응용 분야를 위해 유지됩니다.

관련 용어 구분하기

MAE를 완전히 이해하려면, MAE가 기존이나 더 광범위한 딥러닝 개념들과 어떻게 다른지 파악하는 것이 도움이 됩니다:

• 오토인코더: 기존의 오토인코더는 전체 입력 데이터를 더 작은 잠재 공간으로 압축한 다음, 이를 재구성하여 효율적인 데이터 인코딩 방식을 학습합니다. 반면 MAE는 네트워크가 단순히 전체 입력 데이터를 압축하고 압축을 해제하는 대신, 누락된 데이터를 예측하도록 유도합니다.
• 자가 지도 학습: 이는 모델이 사람이 직접 라벨을 부여한 데이터 없이 데이터 자체로부터 학습하는 포괄적인 훈련 패러다임입니다. MAE는 이 개념을 구체적으로 구현한 아키텍처입니다.
• 기반 모델: MAE는 시각 기반 모델을 사전 학습하는 데 자주 사용되며, 이후 이러한 모델은 특정 작업에 맞게 미세 조정됩니다.

실제 애플리케이션

MAE는 시각적 데이터에 대한 놀라울 정도로 견고한 표현을 학습하기 때문에, 복잡하고 실제 환경에 적용되는 AI 시스템을 구축하는 데 있어 이상적인 출발점이 됩니다.

• 고급 물체 탐지를 위한 사전 학습: MAE 사전 학습을 통해 습득된 풍부한 특징 추출 능력은 후속 물체 탐지 시스템의 성능을 획기적으로 향상시킬 수 있습니다. 예를 들어, MAE를 통해 학습된 특징은 라벨링된 데이터가 부족한 맞춤형 틈새 데이터셋에서 Ultralytics 같은 모델을 훈련할 때 활용될 수 있습니다.
• 의료 영상 분석: 방사선학과 같은 분야에서는 주석이 달린 MRI 또는 CT 스캔의 방대한 데이터셋을 수집하는 데 비용이 많이 들 뿐만 아니라 개인정보 보호법의 제약을 받습니다. 연구자들은 MAE(의료 영상 분석)를 활용해 arXiv에 게재된 최근 학술 문헌에 수록된 대량의 비표주 의료 영상 데이터로 모델을 사전 훈련한 후, 극히 적은 수의 표주 예시를 바탕으로 detect 모델을 미세 조정합니다.

데이터 및 배포 관리

MAE 접근 방식을 사용하여 백본 모델을 사전 학습한 후, 다음 단계에서는 이미지 분류나 이미지 분할과 같은 특정 작업을 위해 모델을 미세 조정하고 배포합니다. 현대적인 클라우드 생태계는 이러한 전환을 원활하게 만들어 줍니다. 예를 들어, 팀은 Ultralytics 활용하여 작업별 데이터셋에 쉽게 라벨을 지정하고, 클라우드 훈련을 조정하며, 그 결과로 생성된 생산 환경용 모델을 엣지 디바이스나 서버에 배포할 수 있습니다. 이를 통해 일반적으로 머신러닝 운영(MLOps)과 관련된 반복적인 인프라 작업의 상당 부분을 제거할 수 있습니다.

코드 예제: 패치 마스킹 시뮬레이션

완전한 MAE를 훈련하려면 전체 트랜스포머 아키텍처가 필요하지만, 패치 마스킹의 핵심 개념은 PyTorch tensor 통해 쉽게 시각화할 수 있습니다. 이 간단한 코드 예제는 tensor 가시 영역을 무작위로 선택하는 방법을 보여줍니다.

import torch


def create_random_mask(batch_size, num_patches, mask_ratio=0.75):
    """Generates a random mask to simulate MAE patch dropping."""
    # Calculate how many patches to keep visible
    num_keep = int(num_patches * (1 - mask_ratio))

    # Generate random noise to determine patch shuffling
    noise = torch.rand(batch_size, num_patches)

    # Sort noise to get random indices
    ids_shuffle = torch.argsort(noise, dim=1)

    # Select the indices of the patches that remain visible
    ids_keep = ids_shuffle[:, :num_keep]

    return ids_keep


# Simulate a batch of 4 images, each divided into 196 patches
visible_patches = create_random_mask(batch_size=4, num_patches=196)
print(f"Visible patch indices shape: {visible_patches.shape}")

아키텍처를 처음부터 직접 설계하지 않고도 강력하고 사전 훈련된 비전 기능을 워크플로에 통합하고자 하는 개발자라면, 방대한 Ultralytics 살펴보는 것이 최첨단 비전 모델을 여러분의 고유한 과제에 적용하는 데 훌륭한 출발점이 될 것입니다. 또한, 다음과 같은 주요 프레임워크들 TensorFlow 와 같은 주요 프레임워크들도 최첨단 머신러닝 연구 결과를 확장 가능한 운영 환경에 구현할 수 있는 견고한 생태계를 제공합니다.