CLIP (Contrastive Language-Image Pre-training)

CLIP (Contrastive Language-Image Pre-training)은 시각 데이터와 자연어 간의 간극을 좁히기 위해 OpenAI에서 개발한 혁신적인 neural network 아키텍처입니다. 고정된 카테고리 세트를 위해 노동 집약적인 data labeling이 필요한 전통적인 computer vision (CV) 시스템과 달리, CLIP은 인터넷에서 수집된 수백만 개의 이미지-텍스트 쌍으로 학습하여 이미지를 이해하는 법을 배웁니다. 이 접근 방식을 통해 모델은 텍스트 설명만 읽으면 학습 중에 명시적으로 본 적이 없는 객체, 개념 또는 스타일을 식별할 수 있는 zero-shot learning을 수행할 수 있습니다. 시각적 정보와 언어적 정보를 공유 피처 공간에 매핑함으로써 CLIP은 광범위한 태스크별 fine-tuning 없이도 다양한 다운스트림 태스크를 위한 강력한 foundation model 역할을 합니다.

아키텍처 작동 원리#

CLIP의 핵심 메커니즘은 두 개의 병렬 인코더, 즉 주로 Vision Transformer (ViT) 또는 ResNet을 기반으로 하는 이미지 인코더와 최신 large language models (LLMs)에 사용되는 것과 유사한 텍스트 Transformer로 구성됩니다. contrastive learning으로 알려진 프로세스를 통해 시스템은 배치 내에서 어떤 텍스트 스니펫이 어떤 이미지와 일치하는지 예측하도록 학습됩니다.

학습 중에 모델은 일치하는 이미지-텍스트 쌍의 벡터 embeddings는 서로 더 가깝게 당기고 일치하지 않는 쌍은 멀어지도록 파라미터를 최적화합니다. 이를 통해 "골든 리트리버" 이미지의 수학적 표현이 "개 사진"이라는 텍스트 임베딩 근처에 공간적으로 위치하는 다중 모달 latent space가 생성됩니다. 이러한 벡터 간의 cosine similarity를 계산하여 모델은 이미지가 자연어 프롬프트와 얼마나 잘 일치하는지 수치화할 수 있으며, 이를 통해 유연한 image classification 및 검색이 가능합니다.

실제 애플리케이션 사례#

비전과 언어를 연결하는 능력 덕분에 CLIP은 현대 AI 애플리케이션의 핵심 기술이 되었습니다:

• 지능형 Semantic Search: CLIP을 사용하면 사용자는 복잡한 natural language processing (NLP) 쿼리를 사용하여 대규모 이미지 데이터베이스를 검색할 수 있습니다. 예를 들어, AI in retail 분야에서 쇼핑객은 이미지에 특정 메타데이터 태그가 없더라도 "빈티지 플로럴 여름 드레스"를 검색하여 시각적으로 정확한 결과를 얻을 수 있습니다. 이는 종종 고성능 vector databases를 통해 구동됩니다.
• 생성형 AI 제어: Stable Diffusion 같은 모델은 CLIP을 사용하여 사용자 프롬프트를 해석하고 생성 프로세스를 유도합니다. CLIP은 생성된 시각적 결과물이 텍스트 설명과 얼마나 잘 일치하는지 평가하는 채점자 역할을 하며, 이는 고품질 text-to-image 합성에 필수적입니다.
• 오픈 어휘 Object Detection: YOLO-World와 같은 고급 아키텍처는 CLIP 임베딩을 통합하여 임의의 텍스트 입력을 기반으로 객체를 감지합니다. 이를 통해 재학습 없이 새로운 장비나 이상 징후를 식별해야 하는 AI in healthcare 같은 분야에서 동적 감지가 가능합니다.

Ultralytics에서 CLIP 기능 사용하기#

표준 객체 감지기는 학습 클래스로 제한되지만, CLIP 기반 기능을 사용하면 오픈 어휘 감지가 가능합니다. 다음 Python 코드는 ultralytics 패키지를 사용하여 사용자 지정 텍스트 프롬프트로 객체를 감지하는 방법을 보여줍니다:

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model utilizing CLIP features
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference on an image to detect the text-defined objects
results = model.predict("travelers.jpg")

# Display the results
results[0].show()

관련 개념 구분#

CLIP의 구체적인 용도를 이해하기 위해 다른 일반적인 AI 패러다임과 구분하는 것이 도움이 됩니다:

• CLIP 대 Supervised Learning: 전통적인 지도 학습 모델은 모든 범주(예: "고양이", "자동차")에 대해 엄격한 정의와 레이블이 지정된 예제를 요구합니다. CLIP은 웹에서 찾은 원시 텍스트-이미지 쌍으로부터 학습하므로 더 큰 유연성을 제공하고, 종종 Ultralytics Platform과 같은 도구를 통해 관리되는 수동 어노테이션의 병목 현상을 없애줍니다.
• CLIP 대 YOLO26: CLIP이 개념에 대한 일반화된 이해를 제공하는 반면, YOLO26은 속도와 정밀한 위치 파악에 최적화된 특화된 실시간 객체 감지기입니다. CLIP은 주로 피처 추출기나 제로샷 분류기로 사용되는 반면, YOLO26은 프로덕션 환경에서 고속 real-time inference를 위한 엔진입니다.
• CLIP 대 표준 대조 학습: SimCLR 같은 메서드는 일반적으로 동일한 이미지의 두 가지 증강된 보기를 비교하여 피처를 학습합니다. CLIP은 이미지를 텍스트 설명과 대조하여 단일 모달이 아닌 두 개의 서로 다른 데이터 양식을 연결합니다.