기초 모델

기초 모델은 라벨이 지정되지 않은 방대한 양의 광범위한 데이터로 학습된 대규모 머신러닝(ML) 모델로, 다양한 다운스트림 작업에 적용될 수 있습니다. 스탠포드 인간 중심 AI 연구소에서 만든 핵심 개념은 '이머전 속성'으로, 이 모델은 학습된 데이터에서 패턴, 구문 및 의미론에 대한 놀랍도록 다양한 이해를 발전시킵니다. 이러한 범용성 덕분에 미세 조정이라는 프로세스를 통해 보다 전문화된 모델을 만들기 위한 강력한 출발점, 즉 '기초' 역할을 할 수 있습니다.

주요 특성 및 애플리케이션

기초 모델의 가장 큰 특징은 전이 학습 패러다임에서 비롯된 적응성입니다. 개발자는 모든 문제에 대해 처음부터 새 모델을 학습하는 대신, 미리 학습된 기초 모델을 사용하여 훨씬 더 작은 작업별 데이터 세트로 조정할 수 있습니다. 이를 통해 고성능 AI 시스템을 구축하는 데 필요한 데이터, 계산, 시간을 획기적으로 줄일 수 있습니다.

실제 애플리케이션을 통해 다양한 활용성을 확인할 수 있습니다:

1. 고급 챗봇 및 가상 비서: OpenAI의 GPT-4와 같은 대규모 언어 모델(LLM) 은 언어의 기초 모델 역할을 합니다. 이 모델은 문법, 사실, 추론 능력을 이해하기 위해 방대한 인터넷 텍스트 코퍼스에 대해 사전 학습을 거칩니다. 그런 다음 기업은 내부 문서와 고객 상호 작용 로그를 통해 이를 미세 조정하여 제품이나 서비스에 대한 특정 질문에 높은 정확도로 답변할 수 있는 전문 챗봇을 만들 수 있습니다.
2. 의료 이미지 분석: 컴퓨터 비전에서 메타 AI의 SAM(Segment Anything Model) 과 같은 모델은 이미지 분할을 위한 기본 모델입니다. 이 모델은 사전 컨텍스트 없이도 모든 이미지에서 물체를 식별하고 윤곽을 그릴 수 있습니다. 그런 다음 의료 연구자들은 이 모델을 더 작은 MRI 또는 CT 스캔 세트에서 미세 조정하여 특정 장기를 정확하게 분할하거나 종양과 같은 이상을 감지하여 의료 이미지 분석을 위한 진단을 가속화할 수 있습니다.

파운데이션 모델과 다른 모델

기초 모델과 관련 개념을 구분하는 것이 중요합니다:

• 작업별 모델: 기존에는 물류에서 패키지를 감지하기 위한 Ultralytics YOLO 모델 학습과 같이 단일 목적을 위해 처음부터 모델을 학습해야 했습니다. 이 접근 방식은 효과적이기는 하지만, 새로운 작업마다 상당한 레이블이 지정된 데이터가 필요합니다. 기초 모델은 보다 효율적인 대안을 제공합니다.
• 대규모 언어 모델(LLM): LLM은 언어 작업에 초점을 맞춘 대표적인 기초 모델 유형입니다. 그러나 "기초 모델"이라는 용어는 "기초 모델의 기회와 위험"이라는 획기적인 백서에 자세히 설명된 대로 시각, 오디오 및 기타 데이터 양식에 대한 모델을 포괄하는 더 넓은 의미의 용어입니다.
• 특수 비전 모델: 비전 트랜스포머(ViT) 와 같은 대형 비전 모델은 기본 모델로 간주되지만, 많은 전문 CV 모델은 그렇지 않습니다. 예를 들어, 자동차의 AI와 같은 특정 애플리케이션에 맞게 미세 조정된 YOLO11 모델은 전문화된 모델입니다. 그러나 COCO와 같은 대규모 데이터 세트에서 파생된 기초 지식을 구현하는 사전 학습된 백본을 활용합니다.

교육 및 향후 중요성

기초 모델을 사전 학습하는 작업은 리소스 집약적인 작업으로 수천 대의 GPU와 대규모 엔지니어링 노력이 필요한 경우가 많으며, 일반적으로 Google AI 및 DeepMind와 같은 대규모 조직에서 수행합니다. 하지만 일단 학습이 완료되면 이러한 모델을 더 폭넓게 사용할 수 있습니다.

Ultralytics HUB와 같은 플랫폼은 사용자 지정 모델을 학습하고, 데이터 세트를 관리하고, 솔루션을 배포하는 워크플로우를 간소화하여 사용자가 이러한 기본 기능을 조정할 수 있는 도구를 제공하며, 종종 신중한 하이퍼파라미터 조정을 통해 이러한 기본 기능을 조정할 수 있습니다.

재단 모델은 강력한 기능에 대한 액세스를 민주화함으로써 AI 환경을 변화시키고 있습니다. 또한 이러한 모델의 부상은 AI 윤리, 데이터 세트 편향성, 컴퓨팅 격차에 대한 중요한 논의를 불러일으키고 있습니다. 미래에는 텍스트, 이미지, 사운드의 정보를 동시에 이해하고 처리할 수 있는 더욱 강력하고 효율적인 멀티모달 모델이 등장하여 차세대 AI 사용 사례를 주도할 것입니다.