반지도 학습

반지도 학습의 작동 방식

SSL 알고리즘은 라벨이 붙은 데이터와 라벨이 붙지 않은 데이터 사이의 관계에 대한 특정 가정을 통해 작동합니다. 일반적인 가정에는 '평활성 가정'(서로 가까운 지점은 라벨을 공유할 가능성이 높음) 또는 '클러스터 가정'(데이터는 별개의 클러스터를 형성하는 경향이 있으며, 같은 클러스터 내의 지점은 라벨을 공유할 가능성이 높음)이 포함됩니다. 라벨이 지정된 데이터에 대해 초기 모델을 학습시킨 다음, 신뢰도가 높은 예측을 기반으로 라벨이 지정되지 않은 데이터에 대한 의사 라벨을 생성하는 데 사용하는 기법이 주로 사용됩니다. 그런 다음 모델은 원래 라벨이 지정된 데이터와 새로 의사 라벨이 지정된 데이터 모두에 대해 재학습됩니다. 또 다른 접근 방식은 일관성 정규화로, 입력이 약간 교란되더라도 레이블이 없는 예제에 대해 동일한 출력을 생성하도록 모델이 권장되며, 종종 데이터 증강을 통해 이루어집니다. 이러한 방법을 통해 모델은 라벨이 지정되지 않은 대규모 샘플 풀에 내재된 패턴과 분포로부터 학습할 수 있습니다. 더 고급 기법은 SSL에 관한Google AI 블로그 게시물과 같은 리소스에서 살펴볼 수 있습니다.

다른 학습 패러다임과의 비교

반지도 학습은 다른 기본 학습 유형 사이에 독특한 공간을 차지합니다:

• 지도 학습: 전적으로 레이블이 지정된 학습 데이터에 의존합니다. SSL은 레이블이 지정된 데이터가 부족할 때 잠재적으로 성능을 개선하기 위해 레이블이 지정되지 않은 데이터를 통합한다는 점에서 차이가 있습니다.
• 비지도 학습: 레이블이 없는 데이터만 사용하여 클러스터링이나 차원 축소와 같은 패턴이나 구조를 찾습니다. SSL은 레이블이 없는 데이터를 사용하지만 분류 또는 회귀와 같은 작업을 수행하기 위해 레이블이 지정된 작은 예제 세트로 학습 프로세스를 안내합니다.
• 자기 지도 학습(SSL): 입력 데이터 자체에서 라벨이 자동으로 생성되는 비지도 학습의 한 유형입니다(예: 이미지의 마스킹된 부분 예측). 레이블이 없는 데이터를 사용하지만, 지도를 생성하는 메커니즘은 사전 레이블이 있는 데이터와 레이블이 없는 데이터를 명시적으로 결합하는 일반적인 반지도 방식과는 다릅니다.

실제 애플리케이션

SSL은 라벨링이 병목 현상을 일으키는 도메인에서 매우 효과적입니다:

1. 웹 페이지 분류: 소수의 웹사이트(예: '스포츠', '뉴스', '기술')에 수동으로 라벨을 붙이는 것은 가능하지만 수십억 개의 웹사이트에 라벨을 붙이는 것은 비현실적입니다. SSL은 라벨이 지정되지 않은 방대한 수의 웹사이트를 사용하여 텍스트 콘텐츠와 링크 구조에서 학습함으로써 분류기의 정확도와 견고성을 향상시킬 수 있습니다(웹 콘텐츠 마이닝 개요).
2. 음성 인식: 오디오를 전사하려면 사람의 상당한 노력이 필요합니다. SSL을 사용하면 시스템이 전사된 소량의 오디오와 전사되지 않은 대량의 오디오 데이터를 함께 학습하여 다양한 억양과 말하기 스타일(음성 처리 연구)에 대한 인식을 향상시킬 수 있습니다.
3. 의료 이미지 분석: 종양 감지를 위한 MRI나 CT 스캔과 같은 의료 스캔에 전문가 주석을 달려면 비용이 많이 들고 전문 지식이 필요합니다. SSL은 라벨이 없는 수많은 스캔을 활용하여 제한된 주석이 달린 이미지 세트에서 학습된 진단 모델의 성능을 향상시켜 잠재적으로 의료 분야에서 더 나은 AI 솔루션으로 이어질 수 있습니다.
4. 컴퓨터 비전(CV)의객체 감지: 수천 개의 이미지에서 객체에 대한 정확한 경계 상자를 만드는 것은 노동 집약적인 작업입니다(데이터 수집 및 주석 가이드). SSL 기술은 레이블이 없는 풍부한 이미지 또는 비디오 프레임을 더 작은 레이블 데이터 세트와 함께 활용하여 다음과 같은 모델의 검출기 성능을 향상시킬 수 있습니다. Ultralytics YOLO.

장점과 과제

SSL의 가장 큰 장점은 라벨이 지정된 대규모 데이터 세트에 대한 의존성을 줄여 데이터 라벨링과 관련된 시간과 리소스를 절약할 수 있다는 점입니다. 또한 라벨링되지 않은 샘플의 정보를 활용하여 제한된 데이터로 훈련된 순수 지도 모델에 비해 더 나은 모델 일반화를 이끌어내는 경우가 많습니다. 그러나 SSL의 성공 여부는 데이터가 정확하다는 기본 가정에 크게 의존합니다. 이러한 가정이 맞지 않는 경우(예: 라벨링되지 않은 데이터 분포가 라벨링된 데이터와 매우 다른 경우) SSL 방법은 성능이 저하될 수도 있습니다. SSL 기술을 신중하게 선택하고 구현하는 것은 매우 중요하며, 종종 MLOps 관행에 대한 전문 지식이 필요합니다.

도구 및 교육

다음과 같은 많은 최신 딥 러닝(DL) 프레임워크가 있습니다. PyTorchPyTorch 공식 사이트) 및 TensorFlowTensorFlow 공식 사이트)를 포함한 많은 최신TensorFlow 프레임워크는 SSL 알고리즘을 구현하기 위한 기능을 제공하거나 이를 조정할 수 있습니다. Scikit-learn과 같은 라이브러리는 일부 SSL 방법을 제공합니다. Ultralytics HUB와 같은 플랫폼은 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터가 혼합되어 있을 수 있는 데이터 세트Ultralytics HUB 데이터 세트 설명서)의 관리를 용이하게 하고, 이러한 데이터 구조를 활용하도록 설계된 모델의 교육Ultralytics HUB 클라우드 교육) 및 배포(모델 배포 옵션 가이드)를 간소화하여 프로세스를 간소화합니다. SSL에 대한 연구는 계속해서 발전하고 있으며, NeurIPS 및 ICML과 같은 주요 AI 컨퍼런스에서 종종 발표되고 있습니다.