Self-Supervised Learning

자기지도 학습(Self-Supervised Learning, SSL)은 외부에서 사람이 제공한 라벨에 의존하는 대신, 데이터 자체에서 자체적으로 감독 신호를 생성하여 시스템이 데이터를 이해하는 방식을 학습하는 머신러닝 패러다임입니다. 전통적인 **Supervised Learning**에서는 모델을 생성하는 데 비용이 많이 들고 시간이 소요될 수 있는 "고양이" 또는 "개"로 라벨이 지정된 이미지와 같이 수많은 수동 주석 데이터가 필요합니다. SSL은 모델이 입력 데이터의 숨겨진 부분이나 누락된 부분을 예측해야 하는 "프텍스트 태스크(pretext tasks)"를 생성하여 이 병목 현상을 우회하며, object detection 및 분류와 같은 복잡한 작업에 필요한 기본 구조와 특징을 효과적으로 스스로 학습합니다.

자기지도 학습의 핵심 메커니즘#

SSL의 근본적인 아이디어는 데이터의 일부를 마스킹하거나 숨기고 **neural network (NN)**가 이를 재구성하거나 동일한 데이터의 서로 다른 뷰 간의 관계를 예측하도록 강제하는 것입니다. 이 프로세스는 나중에 특정 다운스트림 애플리케이션을 위해 미세 조정할 수 있는 풍부하고 범용적인 표현을 생성합니다.

SSL에는 두 가지 주요 접근 방식이 있습니다:

• 생성형 방법: 모델은 빈칸을 채우기 위해 픽셀이나 단어를 생성하는 법을 학습합니다. **Natural Language Processing (NLP)**의 고전적인 예로는 문장에서 다음 단어를 예측하는 것이 있습니다. 컴퓨터 비전에서는 **Masked Autoencoders (MAE)**와 같은 기술이 이미지의 무작위 패치를 가리고 모델에 누락된 픽셀을 재구성하는 작업을 부여하여 시각적 컨텍스트를 "이해"하도록 강제합니다.
• 대조 학습: 이 방법은 모델이 유사한 데이터 포인트와 유사하지 않은 데이터 포인트를 구별하도록 가르칩니다. 이미지에 자르기, 색상 지터링, 회전 등의 data augmentation 기법을 적용함으로써 모델은 이러한 수정된 버전이 동일한 객체를 나타낸다는 것(양성 쌍)을 학습하는 동시에 다른 이미지를 다른 객체로 취급(음성 쌍)합니다. **SimCLR**과 같은 인기 있는 프레임워크는 이 원칙에 크게 의존합니다.

실제 애플리케이션 사례#

자기지도 학습은 다양한 도메인에서 강력한 **foundation models**을 구축하기 위한 초석이 되었습니다. 대규모의 라벨이 지정되지 않은 데이터를 활용하는 능력 덕분에 확장성이 매우 높습니다.

• 의학 영상: 전문가가 라벨을 지정한 의료 스캔을 얻는 것은 어렵고 비용이 많이 듭니다. SSL을 사용하면 모델이 라벨이 지정되지 않은 수천 개의 엑스레이 또는 MRI 스캔으로 사전 학습을 수행하여 일반적인 해부학적 특징을 학습할 수 있습니다. 이 사전 학습된 모델은 소수의 라벨이 지정된 예제로 미세 조정되어 tumor detection 또는 질병 진단에서 높은 정확도를 달성할 수 있습니다.
• 자율 주행: 자율주행차는 매일 테라바이트 규모의 비디오 데이터를 생성합니다. SSL을 사용하면 이러한 시스템이 프레임별 주석 없이 원시 비디오 영상에서 시간적 역학 및 공간적 이해를 학습할 수 있습니다. 이는 미래 프레임이나 객체 모션을 예측하여 lane detection 및 장애물 회피를 개선하는 데 도움이 됩니다.

SSL과 관련 용어의 구분#

SSL을 **Unsupervised Learning**과 구별하는 것은 중요합니다. 두 방법 모두 라벨이 지정되지 않은 데이터를 활용하지만, 비지도 학습은 일반적으로 특정 예측 작업 없이 숨겨진 패턴이나 그룹화(클러스터링)를 찾는 데 중점을 둡니다. 반면 SSL은 데이터 구조 자체에서 라벨이 자동으로 생성되는 지도 학습 작업으로 학습 프로세스를 구성합니다. 또한 Semi-Small-Supervised Learning(※ 원문 유지: Semi-Supervised Learning)은 소량의 라벨이 지정된 데이터와 대량의 라벨이 지정되지 않은 데이터를 결합하는 반면, 순수 SSL은 미세 조문이 발생하기 전에 라벨이 없는 데이터 세트에서 완전히 자체 라벨을 생성합니다.

Ultralytics에서 사전 학습된 가중치 활용하기#

Ultralytics 생태계에서 **YOLO26**과 같은 모델은 ImageNet 또는 **COCO**와 같은 대규모 데이터셋에 대한 사전 학습 단계에서 종종 SSL과 유사한 원리를 통합하는 고급 학습 전략으로부터 큰 이점을 얻습니다. 이를 통해 사용자가 특정 작업을 위해 모델을 배포할 때 특징 추출기가 이미 견고함을 보장합니다.

사용자는 **Ultralytics Platform**을 사용하여 이러한 강력한 사전 학습된 표현을 활용해 자신의 커스텀 데이터셋에서 모델을 미세 조정할 수 있습니다.

사전 학습된 Ultralytics YOLO26 모델을 로드하고 초기 대규모 학습 과정에서 학습된 기능을 활용하여 새로운 데이터셋에서 파인튜닝을 시작하는 방법을 보여주는 간단한 예제는 다음과 같습니다:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

SSL의 미래#

Meta AI 및 **Google DeepMind**와 같은 주요 연구소의 연구원들이 이러한 기술을 지속적으로 개선함에 따라, SSL은 Generative AI 및 컴퓨터 비전에서 가능한 것의 한계를 넓히고 있습니다. 라벨이 지정된 데이터에 대한 의존도를 낮춤으로써 SSL은 고성능 AI에 대한 접근을 민주화하여 소규모 팀이 wildlife conservation 또는 **industrial inspection**과 같은 틈새 애플리케이션을 위한 정교한 모델을 구축할 수 있도록 지원합니다.