자기 지도 학습

자기 지도 학습(SSL)은 다음과 같은 분야에서 혁신적인 접근 방식입니다. 인공 지능(AI) 시스템에서 사람의 명시적인 주석 없이도 레이블이 없는 데이터로부터 학습할 수 있게 해주는 혁신적인 접근 방식입니다. 기존의 지도 학습은 수동으로 레이블이 지정된 방대한 데이터 세트에 크게 의존하는 기존의 지도 학습과 달리, SSL은 데이터 자체에서 직접 자체 감독 신호( 을 데이터 자체에서 직접 도출합니다. "구실 작업"을 생성하고 해결함으로써(예: 문장에서 누락된 단어를 채우거나 문장이나 이미지의 회전을 예측하는 등의 "구실 작업"을 생성하고 해결함으로써 모델은 입력의 기본 구조, 문맥, 그리고 입력의 특징을 이해하는 방법을 학습합니다. 이 기능은 강력하고 정교한 기초 모델 강력한 파운데이션 모델을 최소한의 추가 교육만으로 다양한 다운스트림 작업에 적용할 수 있습니다.

자기 지도 학습 작동 방식

SSL의 핵심 메커니즘은 사용 가능한 데이터의 일부를 제거하여 신경망(NN) 에 재구성하는 것입니다. 이 프로세스를 통해 모델은 고품질 표현을 학습하거나 임베딩을 학습하도록 합니다. 연구와 산업에서 사용되는 구실 작업에는 크게 두 가지 범주가 있습니다:

• 생성 방법: 이 모델은 손상되거나 마스킹된 데이터를 복구합니다. 예를 들어 자연어 처리(NLP)에서는 BERT와 같은 모델이 특정 단어를 마스킹하고 주변 문맥을 기반으로 예측을 시도합니다. 비전 분야에서는 다음과 같은 기술 마스킹 자동 인코더(MAE) 제거 패치를 제거하고 누락된 픽셀을 재구성합니다.
• 대조 학습: 이 접근 방식은 모델이 유사한 데이터 요소와 그렇지 않은 데이터 포인트를 구별하도록 모델을 학습시킵니다. 다음과 같은 알고리즘 SimCLR 적용 데이터 증강 (자르기 색상 지터링)을 이미지에 적용하고 네트워크가 이러한 수정된 버전이 동일한 객체를 나타내는 것으로 인식하도록 객체를 표현하고 다른 이미지의 표현을 밀어내도록 네트워크를 훈련합니다.

실제 애플리케이션

자가 지도 학습은 큐레이션되지 않은 방대한 데이터 세트의 가치를 실현하여 업계에 혁신을 가져왔습니다. 다음은 그 영향력을 보여주는 두 가지 구체적인 사례를 소개합니다:

1. 의료 이미지 분석: 레이블이 지정된 의료 데이터를 얻는 데는 비용이 많이 들고 전문 방사선 전문의가 필요합니다. SSL을 사용하면 모델이 라벨이 없는 라벨이 없는 수천 개의 엑스레이 또는 MRI 스캔을 사전 학습하여 일반적인 해부학적 특징을 학습할 수 있습니다. 이러한 사전 학습은 나중에 모델이 나중에 다음과 같은 특정 작업을 위해 라벨이 지정된 소규모 데이터 세트에 대해 모델을 미세 조정할 때 성능을 향상시킵니다. 종양 탐지제한된 감독으로 진단 정확도를 향상시킵니다.
2. 자율주행 차량: 자율 주행 자동차는 매일 테라바이트의 비디오 데이터를 생성합니다. 모든 프레임에 라벨을 붙이는 것은 불가능합니다. SSL을 사용하면 이러한 시스템이 시간적 역학을 학습하고 깊이 추정 원시 비디오로부터 피드에서 향후 프레임을 예측하거나 시간 경과에 따른 객체 일관성을 평가하여 학습할 수 있습니다. 이를 통해 다음을 개선할 수 있습니다. 객체 추적 및 환경 이해를 개선하는 데 도움이 됩니다.

SSL과 관련 개념의 구분

SSL을 완전히 이해하려면 유사한 학습 패러다임과 구분하는 것이 도움이 됩니다:

• 대 비지도 학습: 둘 다 레이블이 없는 데이터를 활용합니다, 비지도 학습 은 일반적으로 고객 클러스터링이나 차원 축소와 같은 숨겨진 패턴을 찾는 데 중점을 둡니다. SSL 은 특히 다른 작업으로 이전할 수 있는 표현을 학습하는 것을 목표로 하며, 지도 학습처럼 효과적으로 작동합니다. 지도 학습처럼 효과적으로 작동하지만 자체 생성된 레이블을 사용합니다.
• 대 반지도 학습: 반지도 학습: 반지도 학습 은 동일한 학습 단계에서 소량의 레이블이 지정된 데이터와 대량의 레이블이 지정되지 않은 데이터를 결합합니다. In 반면, SSL은 라벨링되지 않은 데이터에 대해서만 "사전 학습" 단계로 사용되는 경우가 많습니다. 미세 조정 을 수행합니다.

사전 학습된 모델 활용

실제로 대부분의 개발자는 다음을 활용하여 SSL을 활용합니다. 모델 가중치 모델 가중치를 이미 사전 학습된 모델 가중치를 활용합니다. 예를 들어 Ultralytics YOLO11 아키텍처의 장점 광범위한 훈련을 통해 연마된 심층 특징 추출 기능의 이점을 활용합니다. YOLO 감독되는 동안, 시각적 특징을 이해하는 모델을 새로운 작업에 적용하는 전이 학습(시각적 특징을 이해하는 모델을 가져와 새로운 작업에 적용하는 것)은 SSL 연구의 주요 SSL 연구의 다운스트림 이점입니다.

다음 Python 예제는 사전 학습된 모델을 로드하고 특정 데이터 세트에서 미세 조정하는 방법을 보여줍니다. 이 워크플로는 초기 사전 학습 단계에서 학습한 특징 표현에 의존합니다.

from ultralytics import YOLO

# Load a pre-trained YOLO11 model (weights act as the learned representation)
model = YOLO("yolo11n.pt")

# Fine-tune the model on a specific task, leveraging its existing visual knowledge
# This transfer learning process is highly efficient due to robust pre-training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640)

# Perform inference to verify the model detects objects correctly
model.predict("https://ultralytics.com/images/bus.jpg", save=True)

자기 주도 학습의 미래

연구자들이 암기보다는 관찰을 통해 인간처럼 학습하는 모델을 추구함에 따라 SSL 은 여전히 혁신의 선두에 서 있습니다. 주요 연구소는 다음과 같습니다. Google 딥마인드 와 Meta AI는 레이블이 지정된 데이터에 대한 의존도를 낮추는 획기적인 기술을 계속해서 발표하고 있습니다. Ultralytics 이러한 발전을 이러한 발전된 기술을 R&D에 통합하고 있습니다. YOLO26다양한 분야에 걸쳐 효과적으로 일반화할 수 있는 더 빠르고, 더 작고, 더 정확한 모델을 제공하는 것을 목표로 하고 있습니다. 컴퓨터 비전(CV) 작업을 효과적으로 일반화하는 것을 목표로 합니다. 다음과 같은 도구 PyTorch 및 곧 출시될 Ultralytics Platform과 같은 도구는 실제 프로덕션 환경에서 이러한 고급 기능을 그 어느 때보다 쉽게 배포할 수 있게 해줍니다.