소수 정예 학습

소수 정예 학습의 작동 방식

소수점 학습 기법은 사전 지식을 활용하여 제한된 데이터에서 새로운 개념을 빠르게 학습하는 것을 목표로 합니다. 일반적인 전략은 다음과 같습니다:

• 메타 학습: 흔히 '학습을 위한 학습'으로 설명되는 메타 학습은 메타 트레이닝 단계에서 다양한 학습 과제에 대해 모델을 훈련하는 것을 포함합니다. 이를 통해 모델은 몇 가지 예제만으로 새로운 작업에 빠르게 적응할 수 있는 효율적인 학습 알고리즘이나 초기 매개변수를 학습할 수 있습니다. 이를 위해 여러 메타 학습 알고리즘이 개발되었습니다.
• 전이 학습: FSL은 대규모 데이터 세트(예: ImageNet 또는 COCO)에 대해 사전 학습된 모델로 시작하여 전이 학습을 활용하는 경우가 많습니다. 대규모 데이터 세트의 일반적인 특징을 이미 이해하고 있는 이 사전 학습된 모델은 특정 목표 작업에 대해 사용 가능한 소수의 예제를 사용하여 미세 조정됩니다. 이 접근 방식은 모델 가중치에 포함된 일반적인 지식을 활용합니다.
• 데이터 증강: 데이터 증강 기술을 사용하여 사용 가능한 몇 가지 훈련 샘플의 변형을 생성하면 제한된 데이터 세트를 확장하는 데 도움이 될 수 있지만, 데이터 수가 극히 적은 환경에서는 그 효과가 달라질 수 있습니다. 고급 증강 전략이 필요할 수도 있습니다.

이러한 방법을 통해 신경망(NN) 은 최소한의 작업별 데이터로도 합리적인 성능을 달성할 수 있습니다.

단발성 학습과 관련 개념 비교

FSL을 유사한 학습 패러다임과 구별하는 것이 중요합니다:

• 제로 샷 학습(ZSL): ZSL은 훈련 중에 본 적이 없는 클래스의 인스턴스를 분류하는 것을 목표로 합니다. 이는 일반적으로 텍스트 설명이나 보이지 않는 클래스의 속성과 같은 보조 정보를 사용하여 보이는 데이터와 보이지 않는 데이터 사이의 간극을 메우는 방식으로 이루어집니다. 반면, FSL은 새로운 클래스마다 최소한 몇 개의 레이블이 지정된 예시가 필요합니다. ZSL, FSL 및 전이 학습에 대한 개요에서 자세한 내용을 확인할 수 있습니다.
• 원샷 학습(OSL): OSL은 라벨이 지정된 하나의 예시만으로 모델이 새로운 클래스를 인식하는 방법을 학습해야 하는 FSL의 극단적인 변형입니다. FSL과 동일한 목표를 공유하지만 훨씬 더 엄격한 데이터 제약 조건에서 작동합니다.
• 전이 학습: FSL은 종종 전이 학습을 하나의 기법으로 사용하지만, 이 두 용어는 서로 바꿔 사용할 수 없습니다. 전이 학습은 소스 작업의 지식을 활용하여 목표 작업의 성과를 개선하는 보다 광범위한 개념입니다. FSL은 특히 목표 작업에 레이블이 지정된 데이터가 극히 제한되어 있을 때 효과적으로 학습해야 하는 문제를 해결합니다.

소수점 학습의 응용

FSL은 대규모 데이터 세트가 비실용적이거나 확보가 불가능한 시나리오에서 AI 애플리케이션을 가능하게 합니다:

• 희귀 질환 진단: 의료 이미지 분석에서 진단 모델 학습을 위한 수많은 희귀 질환 사례를 확보하는 것은 어려운 일입니다. FSL을 사용하면 모델이 소량의 환자 이미지 세트에서 이러한 상태(예: 스캔에서 특정 유형의 종양)를 식별하는 방법을 학습할 수 있으므로 진단 및 연구 속도를 높일 수 있습니다. 이는 의료 분야에서 AI의 핵심 분야로, Radiology와 같은 저널에 연구가 발표되기도 했습니다 : 인공 지능.
• 맞춤형 객체 감지: 제조 라인에서 새로 디자인된 제품이나 야생동물 보호 영상에서 희귀종을 식별하기 위해 객체 감지 모델이 필요하다고 가정해 보세요. 수천 개의 라벨이 붙은 이미지를 수집하는 것은 불가능할 수 있습니다. FSL을 사용하면 다음과 같은 맞춤형 모델을 훈련할 수 있습니다. Ultralytics YOLO 모델을 적용하는 것과 같은 맞춤형 모델을 훈련할 수 있으며, 새로운 개체 클래스당 몇 개의 예제만 있으면 됩니다. 따라서 특수한 컴퓨터 비전(CV) 작업의 배포 속도가 빨라집니다.
• 리소스가 적은 언어 번역: 디지털 텍스트가 제한된 언어에 대한 번역 모델을 학습하려면 자연어 처리(NLP) 내의 FSL 기술이 필요합니다.
• 로보틱스: 로봇(로보틱스)이 최소한의 노출을 기반으로 낯선 환경에서 새로운 물체를 인식하고 상호 작용하는 방법을 빠르게 학습할 수 있도록 하는 것도 ICRA와 같은 컨퍼런스에서 발표된 연구에서 살펴본 또 다른 응용 분야입니다.

과제 및 향후 방향

이러한 장점에도 불구하고 FSL은 제공된 몇 가지 특정 사례에 대한 모델 민감도와 해당 사례를 넘어서는 강력한 일반화를 보장해야 하는 등의 과제에 직면해 있습니다. 제한된 데이터로 과적합을 극복하는 것은 중요한 장애물입니다. 현재 진행 중인 연구는 보다 강력한 메타러닝 알고리즘을 개발하고, 사전 학습을 위해 비지도 학습 또는 자기지도 학습을 더 잘 활용하며, 데이터가 적은 환경에서 일반화를 이해하기 위한 이론적 프레임워크를 만드는 데 초점을 맞추고 있습니다. Google AI 및 Meta AI와 같은 조직은 AI 시스템의 유연성을 높이고 데이터 사용량을 줄이는 것을 목표로 FSL 기술을 발전시키는 데 적극적으로 기여하고 있습니다.