준지도 학습

준지도 학습(SSL)은 머신 러닝(ML) 기술로, 지도 학습과 비지도 학습 간의 간극을 좁힙니다. 소량의 레이블이 지정된 데이터와 함께 대량의 레이블이 지정되지 않은 데이터를 활용하여 학습 정확도를 향상시킵니다. 많은 실제 시나리오에서 레이블이 지정되지 않은 데이터를 획득하는 것은 저렴하지만, 데이터 레이블링 프로세스는 비용이 많이 들고 시간이 오래 걸립니다. SSL은 모델이 더 작은 레이블이 지정된 세트에서 제공하는 구조와 정보에 따라 안내되어 광대한 레이블이 지정되지 않은 예제 풀에서 학습할 수 있도록 하여 이러한 문제를 해결합니다. 이 접근 방식은 모델이 높은 성능을 달성하기 위해 막대한 데이터 세트를 필요로 하는 딥 러닝(DL)에서 특히 강력합니다.

준지도 학습 작동 방식

SSL의 핵심 아이디어는 레이블이 지정된 데이터를 사용하여 초기 모델을 구축한 다음 이 모델을 사용하여 레이블이 지정되지 않은 데이터에 대한 예측을 수행하는 것입니다. 모델의 가장 자신 있는 예측은 'pseudo-labels'로 취급되어 훈련 세트에 추가됩니다. 그런 다음 모델은 원래 레이블과 신뢰도가 높은 pseudo-labels의 조합으로 다시 훈련됩니다. 이 반복적인 프로세스를 통해 모델은 작은 레이블이 지정된 부분뿐만 아니라 전체 데이터 세트의 기본 구조를 학습할 수 있습니다.

일반적인 SSL 기술은 다음과 같습니다.

• 일관성 정규화: 이 방법은 입력 데이터가 약간 섭동되더라도 모델의 예측이 일관성을 유지해야 한다는 아이디어를 적용합니다. 예를 들어, 사소한 데이터 증강이 있는 이미지는 동일한 분류를 생성해야 합니다.
• 생성 모델: GAN(Generative Adversarial Networks)과 같은 기술은 실제 데이터 분포와 유사한 데이터를 생성하도록 학습하여 클래스 간의 의사 결정 경계를 더 잘 정의하는 데 도움이 될 수 있습니다.
• Graph-Based Methods: 이러한 방법은 데이터 포인트를 그래프의 노드로 나타내고 레이블이 지정된 노드에서 레이블이 지정되지 않은 노드로 근접성 또는 유사성을 기반으로 레이블을 전파합니다. 기술 개요는 학술 조사에서 확인할 수 있습니다.

실제 애플리케이션

SSL은 레이블링이 병목 현상인 영역에서 매우 효과적입니다. 두 가지 주요 예는 다음과 같습니다.

1. 의료 영상 분석: 종양 검출을 위해 MRI나 CT와 같은 의료 스캔에 라벨을 붙이려면 전문 방사선 전문의가 필요하며 비용이 매우 많이 듭니다. SSL을 사용하면 라벨이 붙은 수백 개의 스캔으로 모델을 학습시킨 다음 병원 아카이브에 있는 수천 개의 라벨이 없는 스캔을 사용하여 모델을 개선할 수 있습니다. 이를 통해 훨씬 적은 수작업으로 강력한 이미지 분류 및 세분화 모델을 개발할 수 있습니다.
2. 웹 콘텐츠 및 문서 분류: 수십억 개의 웹 페이지, 뉴스 기사 또는 고객 리뷰를 수동으로 분류하는 것은 비현실적입니다. SSL은 수동으로 분류된 작은 문서 세트를 사용하여 초기 텍스트 분류기를 학습시킬 수 있습니다. 그런 다음 모델은 레이블이 지정되지 않은 대규모 코퍼스를 분류하고 자체 예측을 사용하여 감성 분석 또는 주제 분류와 같은 작업에서 시간이 지남에 따라 성능을 향상시킵니다.

다른 학습 패러다임과의 비교

SSL을 관련된 인공 지능(AI) 개념과 구별하는 것이 중요합니다.

• 자기 주도 학습(SSL): 약어는 같지만 자기 지도 학습은 다릅니다. 비지도 학습의 한 유형으로, 사전 작업(예: 문장에서 가려진 단어 예측)을 통해 데이터 자체에서 레이블을 생성하는 방식입니다. 수동으로 레이블이 지정된 데이터를 사용하지 않는 반면, 준지도 학습은 모델 학습 과정을 안내하기 위해 명시적으로 레이블이 지정된 작은 데이터 세트가 필요합니다.
• 능동적 학습: 이 기법 역시 라벨링 비용을 줄이는 것을 목표로 합니다. 그러나 능동형 학습 모델은 라벨이 지정되지 않은 모든 데이터를 사용하는 대신 인간 주석가에게 지능적으로 쿼리하여 가장 유익한 데이터 포인트에 라벨을 지정합니다. 반면 SSL은 일반적으로 학습 중에 사람의 직접적인 개입 없이 라벨링되지 않은 데이터를 활용합니다.
• 이전 학습: 이는 대규모 데이터 세트(예: 이미지넷)에서 사전 학습된 모델을 사용한 다음 더 작은 작업별 데이터 세트에서 미세 조정하는 것을 포함합니다. 둘 다 기존 지식을 활용하지만, SSL은 대상 작업 자체의 레이블이 없는 데이터에서 학습하는 반면, 전이 학습은 다른(종종 관련성이 있지만) 작업의 지식을 활용합니다.

도구 및 훈련

PyTorch(PyTorch 공식 사이트) 및 TensorFlow(TensorFlow 공식 사이트)를 포함한 많은 최신 딥러닝(DL) 프레임워크는 SSL 알고리즘을 구현하기 위한 기능들을 제공하거나 이를 적용할 수 있도록 지원합니다. Scikit-learn과 같은 라이브러리는 일부 SSL 방법들을 제공합니다. Ultralytics HUB와 같은 플랫폼은 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터의 혼합을 포함할 수 있는 데이터 세트 관리를 용이하게 하여 이러한 데이터 구조를 활용하도록 설계된 모델의 학습 및 배포 프로세스를 간소화합니다. SSL 연구는 계속 발전하고 있으며, NeurIPS 및 ICML과 같은 주요 AI 컨퍼런스에서 결과가 발표되기도 합니다.