자기 지도 학습

자율 지도 학습(SSL)은 모델이 방대한 양의 레이블이 지정되지 않은 데이터로부터 학습할 수 있도록 하는 머신 러닝 기술입니다. 사람이 제공한 레이블에 의존하는 대신 SSL은 "pretext task"를 생성하고 해결하여 데이터 자체에서 레이블을 자동으로 생성합니다. 이 프로세스를 통해 모델은 이미지의 텍스처 및 모양 또는 텍스트의 문법 구조와 같은 데이터의 의미 있는 기본 패턴과 특징을 학습할 수 있습니다. 이러한 학습된 특징은 강력한 기반을 만들어 모델이 미세 조정 단계에서 훨씬 적은 레이블이 지정된 데이터로 다운스트림 작업에서 매우 뛰어난 성능을 발휘할 수 있도록 합니다. SSL은 데이터에 굶주린 완전한 지도 학습과 덜 지시적일 수 있는 순수한 비지도 학습 간의 간극을 메웁니다.

자기 지도 학습 작동 방식

SSL의 핵심 아이디어는 모델이 해결해야 하는 자체 생성 문제인 pretext task입니다. 이 작업에 대한 레이블은 입력 데이터에서 직접 파생됩니다. Pretext task를 해결함으로써 신경망은 데이터의 필수 특성을 캡처하는 귀중한 표현 또는 임베딩을 학습합니다.

컴퓨터 비전의 일반적인 프리텍스트 작업은 다음과 같습니다.

• 이미지 회전 예측: 모델은 임의로 회전된 이미지(예: 0, 90, 180 또는 270도)를 표시하고 회전 각도를 예측해야 합니다. 이를 올바르게 수행하려면 객체의 원래 방향을 인식해야 합니다.
• 이미지 복원(Image Inpainting): 이미지의 일부를 마스크 처리하거나 제거한 다음, 모델이 누락된 부분을 예측해야 합니다. 이는 모델이 이미지의 컨텍스트와 텍스처에 대해 학습하도록 유도합니다.
• 대조 학습: 모델은 유사한(증강된) 이미지의 표현을 더 가깝게 당기고 다른 이미지의 표현을 더 멀리 밀어내도록 학습됩니다. SimCLR과 같은 프레임워크는 이 접근 방식의 널리 사용되는 예입니다.

레이블이 지정되지 않은 데이터에 대한 이러한 사전 훈련은 보다 구체적인 작업의 시작점으로 사용할 수 있는 강력한 모델 가중치를 생성합니다.

SSL vs. 기타 학습 패러다임

SSL을 관련 머신러닝 패러다임과 구별하는 것이 중요합니다.

• 지도 학습: 각 입력이 올바른 출력과 쌍을 이루는 레이블이 지정된 데이터에 전적으로 의존합니다. 반대로 SSL은 수동 데이터 레이블링의 필요성을 크게 줄이면서 데이터 자체에서 자체 레이블을 생성합니다.
• 비지도 학습(Unsupervised Learning): 사전 정의된 pretext 작업 없이 레이블이 지정되지 않은 데이터에서 패턴(클러스터링과 같은)을 찾거나 차원을 줄이는 것을 목표로 합니다. SSL은 비지도 학습과 같이 레이블이 지정되지 않은 데이터를 사용하지만 표현 학습을 안내하기 위해 pretext 작업을 통해 명시적인 지도 신호를 생성한다는 점에서 다릅니다.
• 준지도 학습: 소량의 레이블이 지정된 데이터와 대량의 레이블이 지정되지 않은 데이터의 조합을 사용합니다. SSL 사전 학습은 종종 준지도 미세 조정 전의 예비 단계가 될 수 있습니다.
• 활성 학습: 사람이 레이블을 지정할 수 있도록 레이블이 지정되지 않은 풀에서 가장 유익한 데이터 포인트를 지능적으로 선택하는 데 중점을 둡니다. SSL은 루프에서 사람의 개입 없이 모든 레이블이 지정되지 않은 데이터에서 학습합니다. 이러한 두 가지 방법은 데이터 중심 AI 워크플로에서 상호 보완적일 수 있습니다.

실제 애플리케이션

SSL은 다양한 영역에서 인공 지능(AI) 기능을 크게 발전시켰습니다.

1. 컴퓨터 비전 모델 발전(Advancing Computer Vision Models): SSL 사전 훈련을 통해 Ultralytics YOLO와 같은 모델은 자율 주행 차량의 객체 감지 또는 의료 영상 분석과 같은 작업에 대해 미세 조정되기 전에 대규모 레이블이 지정되지 않은 이미지 데이터 세트에서 강력한 시각적 특징을 학습할 수 있습니다. SSL에서 파생된 사전 훈련된 가중치를 사용하면 모델 훈련 중에 더 나은 성능과 더 빠른 수렴으로 이어지는 경우가 많습니다.
2. 대규모 언어 모델(LLM) 강화: GPT-4 및 BERT와 같은 파운데이션 모델은 방대한 텍스트 말뭉치에 대한 사전 훈련 단계에서 SSL pretext task(예: 마스크 언어 모델링)에 크게 의존합니다. 이를 통해 정교한 챗봇 및 기계 번역에서 텍스트 요약에 이르기까지 다양한 애플리케이션을 지원하는 언어 구조, 문법 및 컨텍스트를 이해할 수 있습니다.

SSL은 비용이 많이 드는 레이블링된 데이터 세트에 대한 의존도를 크게 줄여 강력한 AI 모델 개발을 민주화합니다. PyTorch 및 TensorFlow와 같은 도구와 Ultralytics HUB와 같은 플랫폼은 최첨단 AI 솔루션을 구축하고 배포하기 위해 SSL 기술을 활용할 수 있는 환경을 제공합니다. NeurIPS 및 ICML과 같은 최고의 AI 컨퍼런스에서 SSL에 대한 최신 연구를 찾을 수 있습니다.