Contrastive Learning

대조 학습은 유사한 샘플과 유사하지 않은 샘플을 비교하여 모델이 데이터를 이해하도록 가르치는 머신러닝 패러다임입니다. 수동으로 라벨이 지정된 데이터셋에 크게 의존하는 기존의 지도 학습(supervised learning)과는 달리, 대조 학습은 종종 자기 지도 학습(self-supervised learning) 맥락에서 사용됩니다. 핵심 아이디어는 간단하면서도 강력합니다. 모델은 관련 항목(긍정적 쌍)의 표현은 벡터 공간에서 더 가깝게 만들고, 관련 없는 항목(부정적 쌍)은 더 멀어지게 학습합니다. 이 과정은 알고리즘이 방대한 양의 라벨 없는 데이터로부터 견고하고 일반화 가능한 특징을 구축하게 하며, 이는 인공지능(AI) 시스템 확장에 필수적입니다.

Link to this section대조 학습의 메커니즘#

대조 학습의 핵심은 비교를 통한 학습 개념입니다. 특정 이미지를 "고양이"라고 외우는 대신, 모델은 고양이 사진 두 장이 서로 다른 사진보다 개 사진과 비교할 때 더 유사하다는 것을 학습합니다. 이는 일반적으로 데이터 증강(data augmentation)을 통해 이루어집니다. "앵커(anchor)"라고 불리는 입력 이미지는 크롭, 뒤집기, 색상 지터링과 같은 기술을 사용하여 두 가지 다른 버전으로 변환됩니다. 이 두 버전이 하나의 긍정적 쌍을 형성합니다. 이후 모델은 배치 내의 다른 무작위 이미지(부정적 샘플)와의 거리를 최대화하면서 이들 간의 임베딩(embeddings) 거리를 최소화하도록 학습됩니다.

이러한 접근 방식은 신경망(neural network)이 낮은 수준의 픽셀 상세 정보보다는 높은 수준의 의미적 특징에 집중하도록 돕습니다. 예를 들어, 자동차가 빨간색인지 파란색인지, 혹은 왼쪽을 보는지 오른쪽을 보는지와 상관없이 "자동차"라는 근본적인 개념은 동일하게 유지됩니다. 이러한 표면적인 변형을 무시함으로써 모델은 시각적 세계에 대한 더 깊은 이해를 발달시키며, 이는 객체 탐지(object detection) 및 분류와 같은 하류 작업(downstream tasks)에 크게 기여합니다.

Link to this section실제 애플리케이션 사례#

대조 학습은 특히 라벨링된 데이터를 확보하기 어렵거나 비용이 많이 드는 분야에서 많은 최첨단 AI 애플리케이션의 초석이 되었습니다.

1. 제로샷 이미지 분류(Zero-Shot Image Classification): CLIP(Contrastive Language-Image Pre-training)과 같은 모델은 대조 학습을 사용하여 이미지와 텍스트를 공유 특징 공간에 정렬합니다. 수백만 개의 이미지-텍스트 쌍으로 훈련함으로써 모델은 시각적 개념을 자연어 설명과 연관시키는 법을 배웁니다. 이를 통해 모델이 훈련 중에 본 적 없는 카테고리의 이미지를 단순히 텍스트 프롬프트와 일치시키는 것만으로 분류할 수 있는 제로샷 학습(zero-shot learning)이 가능해집니다.

2. 의료 영상 분야의 강력한 사전 훈련(Pre-training): 헬스케어 분야에서 전문가가 라벨링한 의료 스캔 자료를 얻는 것은 비용이 많이 들고 시간이 오래 걸립니다. 연구자들은 대조 학습을 활용하여 라벨이 없는 대규모 X-레이나 MRI 스캔 데이터베이스로 모델을 사전 훈련합니다. 이러한 비지도 사전 훈련은 소수의 라벨링된 예제만으로도 폐렴이나 종양과 같은 질병을 높은 정확도로 탐지하도록 미세 조정할 수 있는 강력한 백본(backbone)을 생성합니다. 이 기술은 전이 학습(transfer learning)을 활용하여 의료 AI(AI in healthcare) 도구의 진단 능력을 향상시킵니다.

Link to this section관련 개념 구분#

머신러닝(ML) 환경에서 대조 학습의 고유한 역할을 이해하기 위해 유사한 기술들과 차별화하는 것이 도움이 됩니다.

• vs. 오토인코더(Autoencoders): 둘 다 비지도 학습 방법이지만, 오토인코더는 입력 데이터를 픽셀 단위로 재구성하여 병목 계층으로 압축하는 것을 목표로 합니다. 반면 대조 학습은 이미지를 재현하려 하지 않으며, 서로 다른 개념을 분리하는 판별적 표현을 학습하는 데에만 집중합니다.
• vs. 적대적 생성 신경망(GANs): GANs은 가짜 데이터를 생성하는 생성자와 이를 탐지하려는 판별자를 포함합니다. 대조 학습은 데이터 생성보다는 표현 학습에 중점을 두므로 검색, 추출, 분류와 같은 작업에 더 적합합니다.
• vs. 트리플릿 손실(Triplet Loss): 전통적인 트리플릿 손실은 앵커, 긍정적 샘플, 부정적 샘플을 명시적으로 요구합니다. SimCLR 또는 MoCo와 같은 현대적인 대조 학습 방법은 배치 내에서 앵커를 여러 부정적 샘플과 동시에 비교함으로써 이를 일반화하며, 종종 InfoNCE와 같은 특정 손실 함수(loss function)를 사용합니다.

Link to this section임베딩을 사용한 실습 예제#

대조 모델을 처음부터 훈련하는 것은 자원 집약적이지만, 사전 훈련된 모델을 사용하여 특징을 추출하는 것은 쉽게 할 수 있습니다. 다음 예제는 ultralytics 패키지를 사용하여 모델을 로드하고 이미지에 대한 특징 벡터(임베딩)를 추출하는 방법을 보여줍니다. 이 임베딩은 대조적 사전 훈련과 유사한 기술을 통해 학습된 의미론적 내용을 나타냅니다.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

이처럼 풍부하고 의미 있는 특징을 추출하는 능력은 최신 컴퓨터 비전(CV) 시스템을 구축하는 데 대조 학습을 필수적으로 만듭니다. 이는 효율적인 이미지 검색과 고급 분석을 가능하게 합니다. 이러한 고급 아키텍처의 이점을 활용하여 데이터셋을 관리하고 사용자 지정 모델을 훈련하기 위해 Ultralytics Platform은 배포 및 모니터링을 위한 간소화된 환경을 제공합니다.