퓨샷 학습, 제로샷 학습, 전이 학습 이해하기

인공지능(AI) 시스템은 얼굴 인식, 이미지 분류, 자동차 주행과 같은 복잡한 작업을 사람의 개입을 최소화한 상태로 처리할 수 있습니다. AI 시스템은 데이터를 학습하고 패턴을 인식한 다음, 이러한 패턴을 사용해 예측하거나 의사 결정을 내립니다. AI가 발전하면서 AI 모델이 놀라운 효율성으로 학습하고 적응하며 작업을 수행하는 방식도 점점 더 정교해지고 있습니다.

예를 들어 컴퓨터 비전은 기계가 세상의 시각 정보를 해석하고 이해할 수 있도록 하는 데 중점을 둔 AI 분야입니다. 기존 컴퓨터 비전 모델 개발은 학습을 위해 대규모 주석이 달린 데이터셋에 크게 의존합니다. 이러한 데이터를 수집하고 라벨링하는 데는 많은 시간과 비용이 들 수 있습니다.

이러한 문제를 해결하기 위해 연구자들은 제한된 예시로 학습하는 소수 샷 학습(FSL), 보지 못한 객체를 식별하는 제로샷 학습(ZSL), 사전 학습된 모델의 지식을 새로운 작업에 적용하는 전이 학습(TL)과 같은 혁신적인 접근 방식을 도입했습니다.

이 문서에서는 이러한 학습 패러다임의 작동 방식과 주요 차이점을 살펴보고 실제 애플리케이션을 알아보겠습니다.

학습 패러다임 개요#

컴퓨터 비전에서 소수 샷 학습, 제로샷 학습, 전이 학습이 무엇이며 어떻게 작동하는지 살펴보겠습니다.

소수 샷 학습#

소수 샷 학습은 시스템이 적은 수의 예시만으로 새로운 객체를 인식하도록 학습하는 방법입니다. 예를 들어 모델에 펭귄, 펠리컨, 퍼핀의 사진 몇 장을 보여주면, 모델은 이 새들의 생김새를 학습합니다. 이 소규모 예시 집합을 "지원 집합"이라고 합니다.

나중에 펭귄과 같은 새 이미지를 새로 보여주면 모델은 새 이미지를 지원 집합에 있는 이미지와 비교해 가장 가까운 항목을 선택합니다. 대량의 데이터를 수집하기 어려울 때 이 방법을 사용하면 예시가 몇 개뿐이어도 시스템이 학습하고 적응할 수 있어 유용합니다.

그림 1. 소수 샷 학습의 작동 방식 개요입니다.

제로샷 학습#

제로샷 학습은 기계가 예시를 제공받지 않고도 한 번도 본 적 없는 대상을 인식하도록 하는 방법입니다. 설명과 같은 의미 정보를 사용해 연관성을 파악하도록 돕습니다.

예를 들어 기계가 “작고 복슬복슬함”, “큰 야생 고양잇과 동물”, “긴 얼굴”과 같은 특징을 이해해 고양이, 사자, 말 등의 동물에 대해 학습했다면, 이 지식을 활용해 호랑이와 같은 새로운 동물을 식별할 수 있습니다. 호랑이를 한 번도 본 적이 없어도 “어두운 줄무늬가 있는 사자 같은 동물”이라는 설명을 사용해 호랑이를 정확하게 식별할 수 있습니다. 따라서 기계는 많은 예시 없이도 더 쉽게 학습하고 적응할 수 있습니다. YOLOE와 같은 오픈 보캐뷸러리 탐지기는 텍스트 프롬프트만으로 객체를 찾는 객체 탐지에 같은 아이디어를 적용합니다.

그림 2. 제로샷 학습은 설명을 사용해 새로운 객체를 식별합니다.

전이 학습#

전이 학습은 한 작업에서 학습한 내용을 유사한 새로운 작업을 해결하는 데 활용하는 학습 패러다임입니다. 이 기법은 객체 탐지, 이미지 분류, 패턴 인식과 같은 컴퓨터 비전 작업에 특히 유용합니다.

예를 들어 컴퓨터 비전에서 사전 학습된 모델은 동물과 같은 일반적인 객체를 인식한 다음, 전이 학습을 통해 파인튜닝하여 다양한 개 품종과 같은 구체적인 대상을 식별할 수 있습니다. 이전 작업에서 습득한 지식을 재사용하면 더 작은 데이터셋으로 컴퓨터 비전 모델을 더 쉽게 학습시킬 수 있어 시간과 노력을 절약할 수 있습니다.

그림 3. 전이 학습 작동 방식 개요.

전이 학습을 지원하는 모델이 무엇인지 궁금하실 수 있습니다. Ultralytics YOLO11(이후 Ultralytics YOLO26이 후속 모델로 출시됨)은 전이 학습이 가능한 컴퓨터 비전 모델의 좋은 예입니다. 이 최첨단 객체 탐지 모델은 먼저 규모가 크고 일반적인 데이터셋으로 사전 학습됩니다. 이후 특정 작업을 위해 더 작고 전문화된 데이터셋으로 파인튜닝하고 커스텀 학습할 수 있습니다.

학습 패러다임 비교#

소수 샷 학습, 제로샷 학습, 전이 학습에 대해 살펴보았으니, 이제 차이점을 비교해 보겠습니다.

그림 4. 소수 샷 학습, 제로샷 학습, 전이 학습의 주요 차이점입니다. 이미지 제공: 저자.

소수 샷 학습은 라벨링된 데이터가 적을 때 유용합니다. AI 모델이 몇 개의 예시만으로 학습할 수 있게 해줍니다. 반면 제로샷 학습에는 라벨링된 데이터가 전혀 필요하지 않습니다. 대신 설명이나 맥락을 사용해 시스템이 새로운 작업을 처리하도록 돕습니다. 한편 전이 학습은 사전 학습된 모델의 지식을 활용하는 다른 접근 방식을 취하므로, 추가 데이터가 거의 없어도 새로운 작업에 빠르게 적응할 수 있습니다. 각 방법은 다루는 데이터와 작업의 유형에 따라 고유한 장점이 있습니다.

다양한 학습 패러다임의 실제 활용 사례#

이러한 학습 패러다임은 이미 다양한 분야에서 혁신적인 해결책으로 복잡한 문제를 해결하며 변화를 이끌고 있습니다. 실제 환경에서 어떻게 적용되는지 자세히 살펴보겠습니다.

소수 샷 학습을 활용한 희귀 질환 진단#

퓨샷 학습은 의료 분야, 특히 의료 영상에서 매우 유용합니다. 대량의 데이터가 없어도 몇 가지 예시나 설명만으로 의사가 희귀 질환을 진단하도록 도울 수 있습니다. 희귀 질환에 관한 대규모 데이터셋은 수집하기 어려운 경우가 많으므로, 데이터가 제한적인 상황에서 특히 유용합니다.

예를 들어 SHEPHERD는 소수 샷 학습과 생의학 지식 그래프를 사용해 희귀 유전 질환을 진단합니다. SHEPHERD는 증상과 검사 결과 등 환자 정보를 알려진 유전자 및 질병 네트워크에 매핑합니다. 이를 통해 데이터가 제한적이어도 발병 가능성이 높은 유전적 원인을 찾아내고 유사한 사례를 확인할 수 있습니다.

그림 5. SHEPHERD 모델은 최소한의 데이터로 희귀 질환을 진단합니다.

제로샷 학습을 활용한 식물 질병 감지 개선#

농업에서는 식물 질병을 신속하게 식별하는 일이 중요합니다. 감지가 늦어지면 농작물에 광범위한 피해가 발생하고 수확량이 감소하며 상당한 재정적 손실로 이어질 수 있기 때문입니다. 기존 방법은 대규모 데이터셋과 전문가의 지식에 의존하는 경우가 많지만, 특히 외딴 지역이나 자원이 부족한 지역에서는 이러한 요소를 항상 확보할 수 있는 것은 아닙니다. 이때 제로샷 학습과 같은 AI의 발전이 중요한 역할을 합니다.

농부가 토마토와 감자를 재배하다가 잎이 노랗게 변하거나 갈색 반점이 생기는 등의 증상을 발견했다고 가정해 보겠습니다. 제로샷 학습은 대규모 데이터셋 없이도 감자 역병과 같은 질병을 식별하는 데 도움이 됩니다. 증상에 대한 설명을 사용하면 모델이 이전에 본 적 없는 질병도 분류할 수 있습니다. 이 접근 방식은 빠르고 확장성이 뛰어나 다양한 식물 문제를 감지할 수 있게 해줍니다. 농부는 이를 통해 작물의 건강 상태를 더 효율적으로 모니터링하고 적시에 조치를 취해 손실을 줄일 수 있습니다.

그림 6. 제로샷 학습을 사용한 식물 질병 식별.

자율주행차와 전이 학습#

자율주행차는 안전하게 주행하기 위해 다양한 환경에 적응해야 하는 경우가 많습니다. 전이 학습을 사용하면 학습을 처음부터 다시 시작하지 않고도 기존 지식을 활용해 새로운 조건에 빠르게 적응할 수 있습니다. 차량이 시각 정보를 해석하도록 돕는 컴퓨터 비전과 결합하면 이러한 기술을 통해 다양한 지형과 기상 조건에서도 더 원활하게 주행할 수 있어 자율주행의 효율성과 신뢰성이 향상됩니다.

이를 실제로 보여주는 좋은 예는 Ultralytics YOLO11을 사용해 주차 공간을 모니터링하는 주차 관리 시스템입니다. 사전 학습된 객체 탐지 모델인 YOLO11은 전이 학습을 사용해 파인튜닝하여 비어 있거나 점유된 주차 공간을 실시간으로 식별할 수 있습니다. 주차장 이미지로 구성된 소규모 데이터셋을 사용해 모델을 학습시키면 빈 공간, 주차된 차량이 있는 공간, 예약 구역까지 정확하게 감지하도록 학습할 수 있습니다.

그림 7. Ultralytics YOLO11을 활용한 주차 관리.

다른 기술과 통합하면 이 시스템은 운전자를 가장 가까운 빈 주차 공간으로 안내하여 주차 공간을 찾는 시간과 교통 혼잡을 줄일 수 있습니다. 전이 학습은 Ultralytics YOLO11의 기존 객체 탐지 기능을 활용해 처음부터 시작하지 않고도 주차 관리의 구체적인 요구 사항에 맞게 조정할 수 있도록 하므로 이를 가능하게 합니다. 이 접근 방식은 시간과 리소스를 절약하면서 주차 운영을 개선하고 전반적인 사용자 경험을 높이는 효율적이고 확장성 높은 솔루션을 제공합니다.

새롭게 부상하는 학습 패러다임의 트렌드#

컴퓨터 비전 학습 패러다임의 미래는 더 지능적이고 지속 가능한 비전 AI 시스템을 개발하는 방향으로 나아가고 있습니다. 특히 퓨샷 학습, 제로샷 학습, 전이 학습을 결합하는 하이브리드 접근 방식의 활용이 증가하는 추세입니다. 이러한 방법의 장점을 결합하면 모델은 최소한의 데이터로 새로운 작업을 학습하고 여러 분야에 지식을 적용할 수 있습니다.

흥미로운 예로는 조정된 딥 임베딩을 사용해 이전 작업에서 얻은 지식과 소량의 새 데이터로 모델을 미세 조정하여 제한된 데이터셋을 더 쉽게 활용하는 방법이 있습니다.

마찬가지로 X-shot 학습은 데이터 양이 서로 다른 작업을 처리하도록 설계되었습니다. 모델은 제한적이거나 노이즈가 있는 레이블로 학습하는 약한 지도 학습과 명확한 지침을 활용해, 사전 예제가 거의 없거나 전혀 없어도 빠르게 적응할 수 있습니다. 이러한 하이브리드 접근 방식은 여러 학습 방법을 통합하면 AI 시스템이 과제를 더 효과적으로 해결하는 데 도움이 될 수 있음을 보여줍니다.

핵심 요점#

퓨샷 학습, 제로샷 학습, 전이 학습은 각각 컴퓨터 비전의 특정 과제를 해결하므로 서로 다른 작업에 적합합니다. 적절한 접근 방식은 구체적인 애플리케이션과 사용 가능한 데이터의 양에 따라 달라집니다. 예를 들어 퓨샷 학습은 데이터가 제한적일 때 효과적이며, 제로샷 학습은 학습되지 않았거나 익숙하지 않은 클래스를 처리하는 데 적합합니다.

앞으로는 비전, 언어, 오디오를 통합하는 하이브리드 모델을 만들기 위해 이러한 방법을 결합하는 것이 핵심 연구 주제가 될 가능성이 높습니다. 이러한 발전은 AI 시스템을 더 유연하고 효율적으로 만들어 복잡한 문제를 해결할 수 있도록 하고, 해당 분야의 혁신을 위한 새로운 가능성을 열어 줄 것입니다.

커뮤니티에 참여하고 GitHub 리포지토리를 확인해 AI에 대해 더 알아보세요. 자율주행차의 AI와 농업 분야의 컴퓨터 비전이 미래를 어떻게 바꾸고 있는지 알아보세요. 프로젝트를 시작하려면 이용 가능한 YOLO 라이선스 옵션을 확인해 보세요!