퓨샷, 제로샷 및 전이 학습 이해하기

인공지능(AI) 시스템은 최소한의 인간 개입만으로 얼굴 인식, 이미지 분류, 자동차 주행과 같은 복잡한 작업을 처리할 수 있습니다. AI는 데이터를 연구하고 패턴을 인식하며, 해당 패턴을 활용해 예측하거나 결정을 내리는 방식으로 이를 수행합니다. AI가 발전함에 따라, AI 모델이 놀라운 효율성으로 학습하고 적응하며 작업을 수행하는 더욱 정교한 방식들이 등장하고 있습니다.

예를 들어, computer vision은 기계가 현실 세계의 시각적 정보를 해석하고 이해할 수 있도록 하는 데 초점을 맞춘 AI의 한 분야입니다. 전통적인 computer vision 모델 개발은 학습을 위해 대규모의 레이블이 지정된 datasets에 크게 의존합니다. 이러한 데이터를 수집하고 레이블을 지정하는 작업은 시간이 오래 걸리고 비용이 많이 들 수 있습니다.

이러한 문제를 해결하기 위해 연구자들은 제한된 예시로부터 학습하는 Few-shot 학습(FSL), 보지 못한 객체를 식별하는 Zero-shot 학습(ZSL), 그리고 사전 학습된 모델의 지식을 새로운 작업에 적용하는 전이 학습(TL)과 같은 혁신적인 접근 방식을 도입했습니다.

이 글에서는 이러한 학습 패러다임이 어떻게 작동하는지 살펴보고, 주요 차이점을 강조하며, 실제 적용 사례를 확인해 보겠습니다. 그럼 시작해 볼까요!

학습 패러다임 개요#

컴퓨터 비전과 관련하여 Few-shot 학습, Zero-shot 학습, 전이 학습이 무엇이며 어떻게 작동하는지 알아보겠습니다.

Few-shot 학습#

Few-shot learning은 시스템이 아주 적은 수의 예시만 사용하여 새로운 객체를 인식하는 방법입니다. 예를 들어, 펭귄, 펠리칸, 퍼핀의 사진 몇 장을 모델에 보여주면(이 작은 그룹을 "서포트 세트"라고 부릅니다) 모델은 이 새들이 어떻게 생겼는지 학습합니다.

나중에 모델에 펭귄과 같은 새로운 사진을 보여주면, 모델은 이 새로운 사진을 서포트 세트의 사진들과 비교하여 가장 가까운 일치 항목을 선택합니다. 대량의 데이터를 수집하기 어려울 때, 시스템이 적은 예시로도 여전히 학습하고 적응할 수 있기 때문에 이 방법이 유용합니다.

Fig 1. 퓨샷 학습의 작동 방식 개요.

Zero-shot 학습#

Zero-shot learning은 기계가 예시 없이도 이전에 본 적이 없는 항목을 인식할 수 있는 방법입니다. 연결을 만드는 데 도움이 되도록 설명과 같은 시맨틱 정보를 사용합니다.

예를 들어, 기계가 "작고 털이 많은", "큰 야생 고양이", "긴 얼굴"과 같은 특징을 이해하여 고양이, 사자, 말과 같은 동물에 대해 학습했다면, 이 지식을 활용하여 호랑이와 같은 새로운 동물을 식별할 수 있습니다. 호랑이를 한 번도 본 적이 없더라도 "검은 줄무늬가 있는 사자 같은 동물"이라는 설명을 사용하여 정확하게 식별할 수 있습니다. 이를 통해 기계는 많은 예시 없이도 더 쉽게 학습하고 적응할 수 있습니다.

Fig 2. 제로샷 학습이 설명을 사용하여 새로운 객체를 식별하는 모습.

전이 학습#

Transfer learning은 모델이 한 작업에서 학습한 내용을 활용하여 유사하고 새로운 작업을 해결하는 데 도움을 주는 학습 패러다임입니다. 이 기법은 객체 감지, 이미지 분류, 패턴 인식 같은 computer vision tasks와 관련하여 특히 유용합니다.

예를 들어 computer vision에서 사전 학습된 모델은 동물과 같은 일반적인 객체를 인식할 수 있으며, 이후 transfer learning을 통해 미세 조정되어 다양한 개와 같은 특정 품종을 식별할 수 있습니다. 이전 작업의 지식을 재사용함으로써 transfer learning은 더 작은 dataset에서 computer vision models을 더 쉽게 학습시킬 수 있게 해주며, 시간과 노력을 절약해 줍니다.

Fig 3. 전이 학습의 작동 방식 개요.

어떤 종류의 모델이 transfer learning을 지원하는지 궁금하실 것입니다. Ultralytics YOLO11은 이를 수행할 수 있는 computer vision 모델의 훌륭한 예시입니다. 대규모의 일반적인 dataset으로 먼저 사전 학습된 최첨단 객체 감지 모델입니다. 그 후, 특정 작업을 위해 더 작고 특화된 dataset에서 미세 조정 및 custom-trained될 수 있습니다.

학습 패러다임 비교#

Few-shot 학습, Zero-shot 학습, 전이 학습에 대해 살펴보았으니, 이제 이들이 어떻게 다른지 비교해 보겠습니다.

그림 4. Few-shot, Zero-shot, 전이 학습 간의 주요 차이점. 이미지 작성자 제공.

Few-shot 학습은 라벨링된 데이터가 적을 때 유용합니다. AI 모델이 단 몇 가지 예시만으로 학습할 수 있게 해줍니다. 반면 Zero-shot 학습은 라벨링된 데이터를 전혀 요구하지 않습니다. 대신 설명이나 맥락을 사용하여 시스템이 새로운 작업을 처리하도록 돕습니다. 한편, 전이 학습은 사전 학습된 모델의 지식을 사용하여 최소한의 추가 데이터로도 새로운 작업에 빠르게 적응할 수 있도록 하는 다른 접근 방식을 취합니다. 각 방법은 사용하는 데이터 유형과 작업에 따라 고유한 강점을 가집니다.

다양한 학습 패러다임의 실제 적용 사례#

이러한 학습 패러다임은 이미 많은 분야에서 변화를 일으키며 혁신적인 솔루션으로 복잡한 문제를 해결하고 있습니다. 실제 환경에서 어떻게 적용될 수 있는지 더 자세히 살펴보겠습니다.

Few-shot 학습을 통한 희귀 질환 진단#

Few-shot learning은 특히 medical imaging 분야에서 헬스케어 부문의 판도를 바꾸고 있습니다. 방대한 양의 데이터 없이도 몇 가지 예시나 설명만으로 의사가 희귀 질환을 진단하는 데 도움을 줄 수 있습니다. 이는 희귀 질환에 대한 대규모 dataset을 수집하는 것이 어려울 수 있기 때문에 데이터가 제한적인 경우에 특히 유용합니다.

예를 들어 SHEPHERD는 few-shot learning과 생명 의학 지식 그래프를 사용하여 희귀 유전 질환을 진단합니다. 증상 및 검사 결과와 같은 환자 정보를 알려진 유전자 및 질환 네트워크에 매핑합니다. 이를 통해 데이터가 제한된 경우에도 가능한 유전적 원인을 정확히 찾아내고 유사한 사례를 찾을 수 있습니다.

Fig 5. 최소한의 데이터를 사용하여 희귀 질환을 진단하는 Shepherd 모델.

Zero-shot 학습을 통한 식물 질병 탐지 개선#

농업에서 식물 질병을 신속하게 식별하는 것은 매우 중요합니다. 탐지가 지연되면 광범위한 작물 피해, 수확량 감소, 상당한 재정적 손실로 이어질 수 있기 때문입니다. 전통적인 방법은 종종 대규모 데이터셋과 전문가 지식에 의존하는데, 특히 원격지나 자원이 제한된 지역에서는 항상 활용하기 어려울 수 있습니다. 바로 이때 Zero-shot 학습과 같은 AI의 발전이 중요한 역할을 합니다.

농부가 토마토와 감자를 재배하다가 잎이 노랗게 변하거나 갈색 반점이 생기는 증상을 발견했다고 가정해 보겠습니다. Zero-shot 학습은 대규모 데이터셋 없이도 역병과 같은 질병을 식별하는 데 도움을 줄 수 있습니다. 증상에 대한 설명을 사용하여 모델은 이전에 본 적 없는 질병을 분류할 수 있습니다. 이 접근 방식은 빠르고 확장 가능하며, 농부들이 다양한 식물 문제를 탐지할 수 있게 해줍니다. 이는 작물 건강을 더 효율적으로 모니터링하고, 적시에 조치를 취하며, 손실을 줄이는 데 도움을 줍니다.

Fig 6. 제로샷 학습을 사용하여 식물 질병 식별하기.

자율주행 차량과 전이 학습#

자율주행 차량은 안전하게 주행하기 위해 다양한 환경에 적응해야 하는 경우가 많습니다. 전이 학습은 차량이 처음부터 학습을 시작하지 않고도 이전 지식을 활용하여 새로운 조건에 빠르게 적응하도록 돕습니다. 차량이 시각 정보를 해석하도록 돕는 컴퓨터 비전과 결합하여, 이러한 기술은 다양한 지형과 기상 조건에서 더 원활한 주행을 가능하게 하며 자율주행의 효율성과 신뢰성을 높여줍니다.

실제 활용되는 좋은 예는 Ultralytics YOLO11을 사용하여 주차 공간을 모니터링하는 parking management system입니다. 사전 학습된 객체 감지 모델인 YOLO11은 transfer learning을 사용하여 실시간으로 비어 있는 주차 공간과 점유된 주차 공간을 식별하도록 미세 조정될 수 있습니다. 주차장 이미지의 더 작은 dataset으로 모델을 학습시킴으로써 빈 공간, 꽉 찬 자리, 심지어 예약된 구역까지 정확하게 감지하는 법을 학습합니다.

Fig 7. Ultralytics YOLO11을 활용한 주차 관리.

다른 기술과 통합된 이 시스템은 운전자를 가장 가까운 빈 주차 공간으로 안내하여 검색 시간과 교통 체증을 줄이는 데 도움을 줄 수 있습니다. 전이학습(Transfer learning)은 Ultralytics YOLO11의 기존 object detection 기능을 기반으로 구축되어 처음부터 다시 시작하지 않고도 주차 관리의 특정 요구 사항에 적응할 수 있도록 하여 이를 가능하게 합니다. 이 접근 방식은 시간과 리소스를 절약하는 동시에 주차 운영을 개선하고 전반적인 사용자 경험을 향상시키는 매우 효율적이고 확장 가능한 솔루션을 만듭니다.

학습 패러다임의 떠오르는 트렌드#

computer vision에서 학습 패러다임의 미래는 더욱 지능적이고 지속 가능한 비전 AI 시스템 개발로 향하고 있습니다. 특히 한 가지 성장하는 추세는 few-shot learning, zero-shot learning, transfer learning을 결합하는 hybrid approaches를 사용하는 것입니다. 이러한 방법의 강점을 혼합함으로써 모델은 최소한의 데이터로 새로운 작업을 학습하고 다양한 영역에 지식을 적용할 수 있습니다.

흥미로운 예시로는 adapted deep embeddings을 사용하여 이전 작업의 지식과 소량의 새로운 데이터를 바탕으로 모델을 미세 조정함으로써 제한된 dataset으로 더 쉽게 작업할 수 있도록 만드는 것이 있습니다.

마찬가지로 X-shot learning은 데이터 양이 다른 작업을 처리하도록 설계되었습니다. 제한적이거나 노이가 있는 레이블에서 학습하는 약한 지도 학습(weak supervision)과 명확한 지침을 사용하여 사전에 예시가 거의 없거나 전혀 없는 경우에도 빠르게 적응할 수 있도록 돕습니다. 이러한 하이브리드 접근 방식은 다양한 학습 방법을 통합하여 AI 시스템이 과제를 더욱 효과적으로 해결하는 데 어떻게 도움이 되는지 보여줍니다.

핵심 요약#

Few-shot 학습, Zero-shot 학습, 전이 학습은 각각 컴퓨터 비전의 특정 문제를 해결하며, 이에 따라 서로 다른 작업에 적합합니다. 올바른 접근 방식은 특정 애플리케이션과 사용 가능한 데이터 양에 따라 다릅니다. 예를 들어, Few-shot 학습은 데이터가 제한적일 때 잘 작동하며, Zero-shot 학습은 본 적 없거나 익숙하지 않은 클래스를 처리하는 데 훌륭합니다.

앞으로 이러한 방법을 결합하여 비전, 언어, 오디오를 통합하는 하이브리드 모델을 만드는 것이 주요 초점이 될 것으로 보입니다. 이러한 발전은 AI 시스템을 더욱 유연하고 효율적으로 만들고 복잡한 문제를 해결할 수 있게 하여, 이 분야에서 혁신을 위한 새로운 가능성을 열어줄 것입니다.

our community에 가입하고 our GitHub repository를 확인하여 AI에 대해 더 자세히 알아보세요. AI in self-driving cars 및 computer vision in agriculture가 미래를 어떻게 재정립하고 있는지 알아보세요. 시작하려면 YOLO license 사용 가능한 옵션을 확인하세요!