Self-Supervised Learning

자기 지도 학습(SSL)은 문장의 다음 단어 예측, 이미지에서 가려진 패치 복원, 같은 사진을 자른 두 이미지가 서로 일치하는지 인식하기와 같이 데이터 자체에서 레이블을 얻는 작업으로 모델을 학습하여 대량의 레이블 없는 데이터를 활용할 수 있게 합니다. 지도 학습은 느리고 비용이 많이 드는 데이터 라벨링에 제약을 받지만, 원시 이미지와 동영상, 오디오, 텍스트는 풍부하게 존재합니다. SSL은 이러한 데이터를 활용해 범용 인코더를 사전 학습하고, 미세 조정이나 소규모 학습 헤드를 통해 훨씬 적은 레이블로 이미지 분류 또는 객체 감지와 같은 다운스트림 작업에 적용합니다. 모든 최신 대규모 언어 모델(LLM)은 GPT 모델처럼 텍스트에서 다음 토큰을 예측하는 방식으로 사전 학습됩니다. Meta의 DINOv3는 자기 지도 이미지 사전 학습을 확장해 이미지 17억 장으로 70억 매개변수 모델을 학습했습니다.

자기 지도 학습 작동 방식#

SSL 방법은 프리텍스트 작업을 정의합니다. 각 입력의 일부를 가리거나 변환한 다음, 제거된 부분을 복원하거나 변환 후에도 동일하게 유지된 요소를 인식하도록 네트워크를 학습합니다. 프리텍스트 작업 자체는 실제로 유용한 경우가 드뭅니다. 중요한 점은 이 작업을 해결하는 과정에서 네트워크가 객체의 형태와 질감, 부분 간 관계와 같은 데이터의 구조를 학습하고, 이러한 특징이 레이블이 있는 작업으로 전이된다는 것입니다. 사전 학습 후에는 인코더를 평가하거나 고정된 특징에 대한 선형 프로빙을 통해 사용하거나, 모든 가중치를 미세 조정합니다:

주요 방법 계열#

• 마스크 예측: 입력의 일부를 가리고 모델이 이를 재구성하도록 학습합니다. BERT는 무작위로 마스킹된 단어를 예측하고, 마스크드 오토인코더는 이미지 패치의 75%를 가린 뒤 픽셀을 복원합니다. 시퀀스의 다음 토큰을 예측하는 방식도 텍스트에 같은 아이디어를 적용합니다.
• 대조 학습: 각 이미지의 증강된 뷰 두 개를 만들고, 같은 이미지의 뷰는 서로 일치하고 다른 이미지의 뷰는 일치하지 않도록 임베딩을 학습합니다. SimCLR과 MoCo가 대표적인 예입니다.
• 자기 증류: 학생 네트워크는 같은 이미지의 서로 다른 크롭에 대해 교사 네트워크의 출력을 모방하도록 학습합니다. 교사 네트워크는 학생 네트워크의 업데이트를 느리게 반영한 평균이며, 음성 쌍은 사용하지 않습니다. BYOL과 DINO가 이 방법을 사용하고, DINOv2와 DINOv3는 이를 이미지 1억 장이 넘는 정제된 데이터셋으로 확장합니다.
• 공동 임베딩 예측: 보이는 영역의 임베딩을 바탕으로 가려진 영역의 임베딩을 예측하므로, 모델은 픽셀 세부 정보에 용량을 쓰지 않고 추상적인 내용을 학습합니다. Meta의 I-JEPA와 V-JEPA는 이 방법을 이미지와 동영상에 적용합니다.

방법에 따라 학습되는 특징이 달라집니다. 마스크 복원은 세밀한 공간 정보를 보존하고 미세 조정에 잘 대응하는 반면, 대조 학습과 자기 증류 방법은 고정된 상태로도 잘 작동하는 특징을 생성합니다. 이 때문에 DINO 계열 인코더는 깊이 추정과 시맨틱 분할에 널리 사용되는 백본입니다.

컴퓨터 비전에서의 자기 지도 학습#

비전 트랜스포머와 SSL은 서로 잘 맞습니다. 패치 전체를 마스킹하는 방식은 ViT의 토큰 입력에 바로 적용되며, ViT는 레이블이 있는 데이터셋보다 더 많은 학습 데이터의 이점을 얻습니다. 많은 파운데이션 모델은 자기 지도 인코더를 기반으로 시작합니다. 분할 프롬프트를 입력할 수 있는 이미지 및 동영상 분할을 Ultralytics 패키지에서 실행하는 Meta의 SAM 2는 분할 학습을 시작하기 전에 마스크드 오토인코더 방식으로 사전 학습한 Hiera 이미지 인코더를 기반으로 합니다.

응용 분야#

• 의료 영상: 병원에는 영상의학과 전문의가 주석을 달 수 있는 양보다 훨씬 많은 스캔 데이터가 있습니다. 레이블 없는 X선, CT 또는 MRI 스캔으로 사전 학습하면 소량의 전문가 레이블만으로도 종양 감지와 같은 작업을 학습하는 인코더를 만들 수 있습니다.
• 위성 영상: Meta는 위성 이미지 4억 9,300만 장으로 DINOv3 변형 모델을 학습했고, 세계자원연구소는 이를 사용해 수관 높이를 지도로 작성합니다. 케냐의 한 지역에서는 이전 DINOv2 기반 지도의 평균 높이 오차를 4.1m에서 1.2m로 낮췄습니다.
• 음성 인식: wav2vec 2.0은 레이블 없는 오디오 53,000시간으로 사전 학습한 뒤, 전사된 음성 10분만으로 미세 조정했습니다. 그 결과 LibriSpeech의 clean 및 other 테스트 세트에서 각각 단어 오류율 4.8%와 8.2%를 기록했습니다.

자기 지도 학습과 관련 용어 비교#

• 비지도 학습: 군집화와 밀도 추정을 포함해 인간이 만든 레이블 없이 학습하는 일반적인 방법입니다. SSL은 일반적으로 데이터에서 생성한 목표를 사용해 지도 학습과 같은 방식으로 학습하는 비지도 학습의 한 형태로 간주됩니다.
• 준지도 학습: 레이블이 있는 소규모 데이터셋과 레이블 없는 대규모 데이터셋을 동시에 사용해 학습합니다. SSL은 레이블 없는 데이터만으로 사전 학습하며, 두 방법은 잘 결합됩니다. SimCLRv2는 ImageNet 레이블의 1%만 사용해 대규모 자기 지도 모델을 미세 조정한 다음, 레이블 없는 이미지로 증류했습니다.
• 전이 학습: 사전 학습된 모델을 새로운 작업에 재사용합니다. SSL은 레이블 없이 사전 학습 모델을 만드는 한 가지 방법입니다.
• 데이터 증강: 무작위 크롭, 색상 변경, 뒤집기 등을 통해 레이블이 있는 데이터셋을 확장합니다. 대조 SSL에서는 동일한 변환을 적용해 어떤 뷰를 같은 이미지로 간주할지 정의하므로, 인코더가 무시하도록 학습할 요소를 결정합니다.