Zero-Shot 학습

제로 샷 러닝(ZSL)은 머신 러닝의 강력한 패러다임으로 머신러닝(ML)의 강력한 패러다임으로, 인공 인공지능 모델이 학습 데이터 단계에서 한 번도 접해보지 않은 물체를 인식, classify 또는 detect 수 있게 해주는 학습 데이터 단계. 기존의 지도 학습에서는 모델을 학습시키기 위해 식별해야 하는 모든 특정 카테고리에 대해 수천 개의 레이블이 지정된 이미지를 학습해야 합니다. ZSL은 다음과 같은 방법으로 이러한 제약을 제거합니다. 보조 정보(일반적으로 텍스트 설명, 속성, 또는 시맨틱 임베딩을 활용하여보이는 것과 보이지 않는 것 사이의 간극을 메웁니다 . 클래스 간의 격차를 해소합니다. 이 기능을 사용하면 인공 지능(AI) 시스템 훨씬 더 유연하고 확장 가능하며 동적인 환경을 처리할 수 있습니다. 가능한 모든 객체에 대한 데이터를 수집하는 것이 비현실적인 동적 환경을 처리할 수 있습니다.

제로 샷 학습의 작동 방식

ZSL의 핵심 메커니즘은 공유된 의미 공간을 사용하여 익숙한 개념에서 낯선 개념으로 지식을 이전하는 것입니다. 시맨틱 공간을 사용하는 것입니다. 픽셀 패턴만 암기하여 '고양이'를 인식하는 법을 배우는 대신, 이 모델은 은 시각적 특징과 의미론적 속성(예: "털", "털복숭이", "수염" "수염", "네 다리" 등)의 관계를 학습합니다. 자연어 처리(NLP).

이 프로세스는 종종 다음 사항에 의존합니다. 이미지와 텍스트를 정렬하는 멀티 모달 모델 표현을 정렬하는 멀티모달 모델에 의존합니다. 예를 들어, 다음과 같은 기초 연구는 OpenAI의 CLIP은 모델이 시각적 개념을 학습하는 방법을 보여줍니다. 시각적 개념을 학습하는 방법을 보여줍니다. ZSL 모델은 희귀 조류와 같이 눈에 보이지 않는 물체를 발견하면, 시각적 특징을 추출하여 시각적 특징을 추출하고 이를 의미 벡터 사전과 비교합니다. 시각적 특징이 새 클래스의 의미적 설명과 일치하면 시맨틱 설명과 일치하면 모델은 이를 정확하게 classify 효과적으로 "제로 샷" 예측을 효과적으로 수행할 수 있습니다.

관련 개념과의 차이점

ZSL을 완전히 이해하려면 다음에서 사용되는 유사한 학습 전략과 구별하는 것이 도움이 됩니다. 컴퓨터 비전(CV):

• 소수점 학습(FSL): 반면 ZSL은 대상 클래스의 예제가 필요하지 않지만, FSL은 모델에 매우 작은 지원 세트(일반적으로 1~5개의 예제)를 제공하여 (일반적으로 1~5개의 예제)를 모델에 제공합니다. ZSL은 시각적 예시보다는 의미론적 추론에 전적으로 의존하기 때문에 시각적 예시보다는 의미 추론에 전적으로 의존하기 때문에 더 어렵습니다.
• 원샷 학습: 의 하위 집합 FSL의 하위 집합으로, 모델이 정확히 하나의 레이블이 지정된 예제에서 학습합니다. ZSL은 새로운 카테고리의 이미지 하나 없이도 없이 작동한다는 점에서 근본적으로 다릅니다.
• 이전 학습: 이 광범위한 용어는 한 작업에서 다른 작업으로 지식을 이전하는 것을 의미합니다. ZSL은 특정 유형의 전이 학습입니다. 시맨틱 속성을 사용하여 기존에는 볼 수 없었던 클래스에 지식을 전달합니다. 새로운 데이터에 대한 미세 조정.

실제 애플리케이션

제로 샷 학습은 시스템이 초기 교육을 넘어 일반화할 수 있도록 지원함으로써 다양한 산업 분야에서 혁신을 주도하고 있습니다. 일반화할 수 있도록 지원합니다.

1. 개방형 어휘 개체 감지: 다음과 같은 최신 아키텍처 YOLO 같은 최신 아키텍처는 ZSL을 사용하여 다음을 기반으로 객체를 detect . 사용자 정의 텍스트 프롬프트를 기반으로 객체를 감지합니다. 이를 통해 다음을 수행할 수 있습니다. 객체 감지가 가능합니다. 고정된 클래스 목록을 미리 정의하는 것이 불가능한 시나리오에서 객체 감지가 가능합니다. Google 리서치 및 기타 기관의 연구원들은 이러한 개방형 어휘를 적극적으로 이러한 개방형 어휘 기능을 개선하고 있습니다.
2. 의료 진단: In 의료 분야의 AI, 희귀 질환에 대한 라벨링된 데이터 확보 희귀 질환에 대한 라벨 데이터를 얻는 것은 어렵고 비용이 많이 듭니다. ZSL 모델은 일반적인 질환과 희귀 질환의 설명에 대해 학습할 수 있습니다. 의학 교과서(예: PubMed 논문)의 일반적인 증상과 설명을 학습하여 방대한 양의 양성 데이터 세트 없이도 엑스레이 또는 MRI 스캔에서 잠재적인 희귀 이상을 표시하는 시스템 사례.
3. 야생동물 보호: 대상 농업 및 생태학 분야의 AI, 사진 촬영이 어려운 멸종 위기에 처한 종을 식별하는 것은 매우 중요합니다. ZSL을 사용하면 환경 보호론자들이 이러한 동물을 detect 수 있습니다. 다음과 같은 생물학적 데이터베이스에 정의된 속성 기반 설명(예: 특정 털 패턴 또는 뿔 모양)을 사용하여 이러한 동물을 탐지할 수 있습니다. 생명 백과사전.

Ultralytics 통한 제로 샷 탐지

Ultralytics YOLO 모델은 제로 샷의 예시입니다. 학습을 실제로 보여줍니다. 사용자는 모델을 재학습하지 않고도 런타임에 사용자 지정 클래스를 동적으로 정의할 수 있습니다. 이 는 YOLO11 감지 백본과 클립 기반 텍스트 인코더.

다음 Python 예제는 YOLO 사용하여 표준에 포함되지 않은 객체를 detect 방법을 보여줍니다. COCO 데이터 세트에 속하지 않은 객체(예: 특정 옷의 색상)를 탐지하는 방법을 보여줍니다. ultralytics 패키지입니다.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes for Zero-Shot detection using text prompts
# The model will now look for these specific descriptions
model.set_classes(["blue backpack", "red apple", "person wearing sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("path/to/image.jpg")

# Show the results
results[0].show()

과제 및 향후 전망

ZSL은 엄청난 잠재력을 제공하지만, 학습 중에 학습한 의미론적 속성이 학습 중에 학습한 의미론적 속성이 보이지 않는 클래스의 시각적 모양에 완벽하게 매핑되지 않는 문제와 같은 문제에 직면해 있습니다. 또한, ZSL 모델은 보이지 않는 클래스에 비해 보이는 클래스에 대한 예측 정확도가 훨씬 더 높은 편향이 발생할 수 있습니다. 보이지 않는 클래스(일반화된 제로 샷 학습)에 비해 예측 정확도가 훨씬 더 높습니다.

스탠포드 대학교의 AI 연구실 및 IEEE 컴퓨터 학회와 같은 기관의 연구는 이러한 한계를 계속해서 해결하고 있습니다. 기초 모델이 기반 모델이 더욱 견고해짐에 따라, ZSL은 컴퓨터 비전 도구의 표준 기능이 될 것으로 예상됩니다. 컴퓨터 비전 도구의 표준 기능이 될 것으로 예상됩니다. 데이터 라벨링 노력과 고급 AI 기능에 대한 액세스를 고급 AI 기능에 대한 액세스를 민주화할 것으로 기대됩니다.