자기 주도 학습

자기 주도 학습의 작동 방식

SSL의 핵심 메커니즘은 "구실 작업"을 설계하는 것과 관련이 있습니다. 이 작업은 모델이 의도적으로 숨겨지거나 변경된 데이터의 특정 속성을 예측해야 하는 보조적인 자체 생성 작업입니다. 이 구실 과제를 해결함으로써 모델은 사람이 제공한 레이블 없이도 데이터의 의미 있는 기본 구조와 표현(임베딩)을 학습하도록 강제됩니다. 이 초기 훈련 단계를 일반적으로 사전 훈련이라고 합니다.

예를 들어 컴퓨터 비전에서는 구실 작업이 포함될 수 있습니다:

• 셔플된 이미지 패치의 상대적 위치를 예측합니다.
• 그레이 스케일 이미지 컬러화하기.
• 이미지의 누락된 부분을 채우기(채우기).
• 동일한 이미지의 서로 다른 증강 보기를 대조하여 표현을 학습하는 기법으로, SimCLR 및 MoCo와 같은 대조 학습 방법에서 사용됩니다.

NLP에서 잘 알려진 구실 작업은 BERT와 같은 모델에서 사용하는 것으로 유명한 마스크드 언어 모델링입니다. 여기서 모델은 문장 내에서 무작위로 마스킹(숨김)된 단어를 예측하는 방법을 학습합니다.

라벨이 지정되지 않은 대규모 데이터 세트에 대한 사전 학습을 거친 후 모델은 풍부한 특징 표현을 캡처합니다. 이렇게 사전 학습된 모델은 미세 조정이라는 프로세스를 통해 객체 감지, 이미지 분류 또는 감정 분석과같은 특정 다운스트림 작업에 맞게 조정할 수 있습니다. 미세 조정에는 일반적으로 모델을 처음부터 훈련하는 것에 비해 훨씬 적은 양의 레이블이 지정된 데이터가 필요하므로 SSL은 효과적인 전이 학습을 가능하게 하는 핵심 요소입니다.

SSL과 다른 학습 패러다임

SSL을 관련 ML 패러다임과 차별화하는 것이 중요합니다:

• 지도 학습: 각 입력이 올바른 출력과 짝을 이루는 레이블이 지정된 데이터에 전적으로 의존합니다. 반대로 SSL은 데이터 자체에서 레이블을 생성합니다.
• 비지도 학습: 미리 정의된 전제 작업 없이 라벨이 없는 데이터에서 패턴(예: 클러스터링)을 찾거나 차원을 줄이는 것을 목표로 합니다. SSL은 비지도 학습과 마찬가지로 레이블이 없는 데이터를 사용하지만, 표현 학습을 안내하기 위해 구실 작업을 통해 명시적인 감독 신호를 생성한다는 점에서 다릅니다.
• 반지도 학습: 소량의 레이블이 지정된 데이터와 대량의 레이블이 지정되지 않은 데이터를 조합하여 사용합니다. SSL 사전 학습은 종종 반지도 학습 미세 조정 전의 예비 단계가 될 수 있습니다.

실제 애플리케이션

SSL은 인공지능(AI) 기능이 크게 발전했습니다:

1. 컴퓨터 비전 모델 발전: SSL 사전 학습을 통해 다음과 같은 모델을 사용할 수 있습니다. Ultralytics YOLO11 와 같은 모델은 자율 주행 차량의 물체 감지나 의료 이미지 분석과 같은 작업을 위해 미세 조정되기 전에 레이블이 지정되지 않은 대규모 이미지 데이터 세트에서 강력한 시각적 특징을 학습할 수 있습니다. SSL에서 파생된 사전 학습된 가중치를 사용하면 모델 학습 중에 더 나은 성능과 더 빠른 수렴을 얻을 수 있습니다.
2. 대규모 언어 모델(LLM) 지원: GPT-4 및 BERT와 같은 기초 모델은 방대한 텍스트 코퍼스에 대한 사전 학습 단계에서 SSL 사전 작업(예: 마스킹 언어 모델링)에 크게 의존합니다. 이를 통해 언어 구조, 문법 및 문맥을 이해하여 정교한 챗봇과 기계 번역에서 텍스트 요약에 이르는 다양한 애플리케이션을 지원할 수 있습니다.

SSL은 값비싼 레이블이 지정된 데이터 세트에 대한 의존도를 크게 줄여 강력한 AI 모델 개발을 대중화합니다. 다음과 같은 도구 PyTorch 및 TensorFlow와 같은 도구와 Ultralytics HUB와 같은 플랫폼은 최첨단 AI 솔루션 구축 및 배포를 위해 SSL 기술을 활용할 수 있는 환경을 제공합니다.