Zero-Shot Learning

Zero-Shot Learning (ZSL)은 인공지능 모델이 학습 단계에서 한 번도 접하지 못한 객체를 인식, 분류 또는 탐지할 수 있도록 지원하는 머신러닝 패러다임입니다. 전통적인 supervised learning에서는 모델이 식별해야 하는 모든 특정 범주에 대해 수천 개의 레이블이 지정된 예제가 필요합니다. ZSL은 텍스트 설명, 의미론적 속성 또는 embeddings과 같은 보조 정보를 활용하여 학습된 클래스와 학습되지 않은 클래스 간의 격차를 해소함으로써 이러한 엄격한 의존성을 제거합니다. 이러한 기능 덕분에 인공지능(AI) 시스템은 훨씬 더 유연하고 확장 가능하며, 가능한 모든 객체에 대해 방대한 데이터를 수집하는 것이 비현실적인 동적 환경에서도 처리할 수 있게 됩니다.

Link to this sectionZero-Shot Learning의 작동 원리#

ZSL의 핵심 메커니즘은 공유된 의미론적 공간을 사용하여 익숙한 개념에서 익숙하지 않은 개념으로 지식을 전이하는 것입니다. 모델은 단순히 검은색과 흰색 줄무늬의 픽셀 패턴을 암기하여 '얼룩말'을 인식하는 대신, natural language processing (NLP)에서 도출된 시각적 특징과 의미론적 속성(예: '말과 유사한 형태', '줄무늬 패턴', '네 개의 다리') 간의 관계를 학습합니다.

이 과정은 종종 이미지와 텍스트 표현을 정렬하는 multi-modal models에 의존합니다. 예를 들어 OpenAI's CLIP과 같은 기초 연구는 모델이 자연어 감독을 통해 시각적 개념을 어떻게 학습할 수 있는지 보여줍니다. ZSL 모델이 학습되지 않은 객체를 접하면 시각적 특징을 추출하여 의미론적 벡터 사전과 비교합니다. 시각적 특징이 새로운 클래스의 의미론적 설명과 일치하면, 모델은 이를 정확하게 분류하여 사실상 '제로샷' 예측을 수행하게 됩니다. 이러한 접근 방식은 방대한 작업 범위에서 일반화되는 현대 foundation models의 기초가 됩니다.

Link to this section실제 애플리케이션 사례#

Zero-Shot Learning은 시스템이 초기 학습 데이터를 넘어 일반화할 수 있도록 함으로써 다양한 산업 분야에서 혁신을 주도하고 있습니다.

1. Open-Vocabulary Object Detection: Modern architectures like YOLO-World utilize ZSL to detect objects based on user-defined text prompts. This allows for object detection in scenarios where defining a fixed list of classes beforehand is impossible, such as searching for specific items in vast video archives. Researchers at Google Research continue to push the boundaries of these open-vocabulary capabilities.

2. 의료 진단: AI in healthcare 분야에서 희귀 질환에 대한 레이블이 지정된 데이터를 얻는 것은 종종 어렵고 비용이 많이 듭니다. ZSL 모델은 일반적인 질환과 PubMed와 같은 데이터베이스에서 발견되는 의학 문헌의 희귀 증상 설명을 바탕으로 학습될 수 있으며, 이를 통해 시스템은 방대한 양성 사례 데이터셋 없이도 의료 영상에서 잠재적인 희귀 이상 징후를 식별할 수 있습니다.

3. 야생동물 보호: AI in agriculture 및 생태학 분야에서 좀처럼 사진을 찍기 힘든 멸종 위기 종을 식별하는 것은 매우 중요합니다. ZSL을 통해 환경 보호론자들은 Encyclopedia of Life와 같은 생물학적 데이터베이스에 정의된 속성 기반 설명을 사용하여 이러한 동물을 탐지할 수 있습니다.

Link to this sectionUltralytics를 활용한 Zero-Shot 탐지#

Ultralytics YOLO-World 모델은 실제로 적용된 Zero-Shot Learning의 대표적인 사례입니다. 사용자는 모델을 재학습할 필요 없이 런타임에 동적으로 사용자 정의 클래스를 정의할 수 있습니다. 이는 강력한 탐지 백본과 자연어를 이해하는 텍스트 인코더를 연결하여 달성됩니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 표준 학습 세트에 명시적으로 포함되지 않은 객체를 YOLO-World로 탐지하는 방법을 보여줍니다.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Link to this section관련 개념과의 차이점#

ZSL을 완전히 이해하려면 computer vision (CV)에서 사용되는 유사한 학습 전략과 구분하는 것이 도움이 됩니다.

• Few-Shot Learning (FSL): ZSL은 대상 클래스의 예제가 전혀 필요하지 않지만, FSL은 적응을 위해 모델에 매우 적은 수의 서포트 세트(보통 1~5개 예제)를 제공합니다. ZSL은 시각적 예제가 아닌 의미론적 추론에 전적으로 의존하므로 일반적으로 더 어려운 것으로 간주됩니다.
• One-Shot Learning: 모델이 정확히 하나의 레이블이 지정된 예제로부터 학습하는 FSL의 하위 집합입니다. ZSL은 새로운 범주의 이미지가 단 한 장도 없는 상태에서 작동하므로 근본적으로 다릅니다.
• Transfer Learning: 이 광범위한 용어는 한 작업에서 다른 작업으로 지식을 전이하는 것을 의미합니다. ZSL은 새로운 데이터에 대한 전통적인 fine-tuning 없이 의미론적 속성을 사용하여 학습되지 않은 클래스로 지식을 전이하는 특정 유형의 전이 학습입니다.

Link to this section도전 과제 및 향후 전망#

ZSL은 엄청난 잠재력을 제공하지만, 학습 중에 학습된 의미론적 속성이 학습되지 않은 클래스의 시각적 모습과 완벽하게 일치하지 않는 도메인 시프트 문제와 같은 과제에 직면해 있습니다. 또한 ZSL 모델은 학습된 클래스에 대한 예측 정확도가 학습되지 않은 클래스보다 훨씬 높은 편향 문제를 겪을 수 있습니다.

Stanford University's AI Lab 및 IEEE Computer Society와 같은 조직의 연구는 이러한 한계를 해결하기 위해 계속되고 있습니다. computer vision tools가 더욱 견고해짐에 따라 ZSL은 방대한 data labeling 노력에 대한 의존도를 줄이며 표준 기능이 될 것으로 예상됩니다. 고급 모델을 배포하기 전에 데이터셋을 효율적으로 관리하려는 팀을 위해 Ultralytics Platform은 주석 및 데이터셋 관리를 위한 포괄적인 도구를 제공합니다.