Self-Supervised Learning

자기지도 학습(SSL)은 외부에서 사람이 제공하는 라벨에 의존하는 대신, 데이터 자체에서 스스로 지도 신호를 생성하여 시스템이 데이터를 이해하도록 학습하는 머신러닝 패러다임입니다. 기존의 **지도 학습(Supervised Learning)**에서는 모델이 "고양이"나 "개"와 같이 사람이 일일이 주석을 단 방대한 양의 데이터를 필요로 하며, 이는 제작에 많은 비용과 시간이 소요될 수 있습니다. SSL은 모델이 입력 데이터의 숨겨진 부분이나 누락된 부분을 예측해야 하는 '프리텍스트 작업(pretext tasks)'을 생성함으로써 이러한 병목 현상을 우회하며, 객체 탐지(object detection) 및 분류와 같은 복잡한 작업을 수행하는 데 필요한 기본 구조와 특징을 효과적으로 스스로 학습합니다.

Link to this section자기지도 학습의 핵심 메커니즘#

SSL의 근본적인 아이디어는 데이터의 일부를 마스킹하거나 숨겨서 **신경망(NN)**이 이를 재구성하거나 동일한 데이터의 서로 다른 뷰 사이의 관계를 예측하도록 강제하는 것입니다. 이 과정은 나중에 특정 다운스트림 애플리케이션을 위해 미세 조정(fine-tuning)할 수 있는 풍부하고 범용적인 표현(representation)을 생성합니다.

SSL에는 두 가지 주요 접근 방식이 있습니다:

• 생성적 방법(Generative Methods): 모델이 빈칸을 채우기 위해 픽셀이나 단어를 생성하는 방법을 학습합니다. **자연어 처리(NLP)**의 고전적인 예로 문장에서 다음 단어를 예측하는 것이 있습니다. 컴퓨터 비전에서는 **Masked Autoencoders (MAE)**와 같은 기술을 사용하여 이미지의 임의 패치를 가리고 모델이 누락된 픽셀을 재구성하도록 하여 시각적 맥락을 "이해"하도록 합니다.
• 대조 학습(Contrastive Learning): 이 방법은 모델이 유사한 데이터 포인트와 그렇지 않은 데이터 포인트를 구별하도록 가르칩니다. 이미지에 크롭, 색상 지터링, 회전과 같은 데이터 증강(data augmentation) 기술을 적용함으로써, 모델은 이러한 수정된 버전들이 동일한 객체를 나타낸다는 것(긍정 쌍)을 학습하고 다른 이미지는 서로 다른 객체로 취급(부정 쌍)하게 됩니다. **SimCLR**과 같은 인기 있는 프레임워크는 이 원리에 크게 의존합니다.

Link to this section실제 애플리케이션 사례#

자기지도 학습은 다양한 분야에서 강력한 **기반 모델(foundation models)**을 구축하는 초석이 되었습니다. 방대한 양의 라벨링되지 않은 데이터를 활용하는 능력 덕분에 확장성이 매우 뛰어납니다.

• 의료 영상: 전문가가 라벨을 단 의료 스캔을 얻는 것은 어렵고 비용이 많이 듭니다. SSL을 사용하면 모델이 수천 개의 라벨링되지 않은 X-레이나 MRI 스캔으로 사전 학습하여 일반적인 해부학적 특징을 학습할 수 있습니다. 이렇게 사전 학습된 모델은 소수의 라벨링된 예제로 미세 조정되어 **종양 탐지(tumor detection)**이나 질병 진단에서 높은 정확도를 달성할 수 있습니다.
• 자율 주행: 자율 주행 자동차는 매일 테라바이트 단위의 영상 데이터를 생성합니다. SSL은 이러한 시스템이 프레임별 주석 없이도 원본 영상 데이터에서 시간적 역학 및 공간적 이해를 학습할 수 있게 합니다. 이는 미래의 프레임이나 객체 움직임을 예측함으로써 차선 탐지(lane detection) 및 장애물 회피 성능을 향상하는 데 도움이 됩니다.

Link to this sectionSSL과 관련 용어의 구분#

SSL을 **비지도 학습(Unsupervised Learning)**과 구분하는 것이 중요합니다. 두 방법 모두 라벨링되지 않은 데이터를 활용하지만, 비지도 학습은 일반적으로 특정 예측 작업 없이 숨겨진 패턴이나 그룹화(클러스터링)를 찾는 데 초점을 맞춥니다. 반면 SSL은 라벨이 데이터 구조 자체에서 자동으로 생성되는 지도 학습 작업으로 학습 과정을 구성합니다. 또한 **준지도 학습(Semi-Supervised Learning)**은 소량의 라벨링된 데이터와 대량의 라벨링되지 않은 데이터를 결합하는 반면, 순수 SSL은 미세 조정이 발생하기 전에 라벨링되지 않은 데이터셋에서 완전히 자체적인 라벨을 생성합니다.

Link to this sectionUltralytics에서 사전 학습된 가중치 활용하기#

Ultralytics 생태계 내에서 **YOLO26**과 같은 모델은 **ImageNet**이나 **COCO**와 같은 방대한 데이터셋에 대한 사전 학습 단계에서 SSL과 유사한 원리를 통합한 고급 학습 전략의 혜택을 크게 받습니다. 이는 사용자가 특정 작업을 위해 모델을 배포할 때 특징 추출기가 이미 견고한 상태임을 보장합니다.

사용자는 **Ultralytics Platform**을 사용하여 이러한 강력한 사전 학습 표현을 활용하고 자신의 커스텀 데이터셋에서 모델을 미세 조정할 수 있습니다.

다음은 사전 학습된 YOLO26 모델을 로드하고 초기 대규모 학습 과정에서 배운 특징을 활용하여 새로운 데이터셋에서 미세 조정을 시작하는 방법에 대한 간략한 예시입니다:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

Link to this sectionSSL의 미래#

Meta AI 및 **Google DeepMind**와 같은 주요 연구소의 연구자들이 이러한 기술을 지속적으로 개선함에 따라, SSL은 **생성형 AI(Generative AI)**와 컴퓨터 비전 분야에서 가능한 영역을 넓히고 있습니다. 라벨링된 데이터에 대한 의존도를 줄임으로써 SSL은 고성능 AI에 대한 접근성을 민주화하고 있으며, 소규모 팀도 **야생 동물 보호(wildlife conservation)**나 **산업 검사(industrial inspection)**와 같은 니치 애플리케이션을 위한 정교한 모델을 구축할 수 있게 합니다.