기반 모델

기반 모델은 광범위하고 레이블이 지정되지 않은 방대한 양의 데이터로 훈련된 대규모 머신 러닝(ML) 모델로, 광범위한 다운스트림 작업에 적용할 수 있습니다. Stanford Institute for Human-Centered AI에서 만든 핵심 개념은 모델이 훈련된 데이터에서 패턴, 구문 및 의미에 대한 놀랍도록 다재다능한 이해를 개발하는 "창발적 속성"입니다. 이러한 범용성 덕분에 미세 조정이라는 프로세스를 통해 보다 전문화된 모델을 만들기 위한 강력한 시작점 또는 "기반" 역할을 할 수 있습니다.

주요 특징 및 응용 분야

파운데이션 모델의 가장 큰 특징은 전이 학습 패러다임에서 비롯되는 적응성입니다. 모든 문제에 대해 새로운 모델을 처음부터 학습시키는 대신, 개발자는 사전 학습된 파운데이션 모델을 가져와 훨씬 더 작은 작업별 데이터 세트로 조정할 수 있습니다. 이를 통해 고성능 AI 시스템을 구축하는 데 필요한 데이터, 컴퓨팅 및 시간을 획기적으로 줄일 수 있습니다.

실제 응용 분야는 다재다능함을 보여줍니다.

1. 고급 챗봇 및 가상 어시스턴트(Advanced Chatbots and Virtual Assistants): LLM(Large Language Model)은 언어의 기초 모델 역할을 합니다. 문법, 사실 및 추론 능력을 이해하기 위해 방대한 인터넷 텍스트 코퍼스로 사전 훈련됩니다. 그런 다음 회사는 내부 문서 및 고객 상호 작용 로그로 미세 조정하여 제품 또는 서비스에 대한 특정 질문에 높은 정확도로 답변할 수 있는 특수 챗봇을 만들 수 있습니다.
2. 의료 영상 분석: 컴퓨터 비전에서 Meta AI의 Segment Anything Model(SAM)과 같은 모델은 이미지 분할을 위한 기초 모델입니다. 사전 컨텍스트 없이 모든 이미지에서 객체를 식별하고 윤곽을 그릴 수 있습니다. 그런 다음 의료 연구원은 MRI 또는 CT 스캔의 더 작은 세트에서 이 모델을 미세 조정하여 특정 장기를 정확하게 분할하거나 종양과 같은 이상 징후를 감지하여 의료 영상 분석을 위한 진단을 가속화할 수 있습니다.

기반 모델 vs. 기타 모델

파운데이션 모델을 관련 개념과 구별하는 것이 중요합니다.

• 작업별 모델: 전통적으로 ML은 물류에서 패키지를 탐지하기 위해서만 Ultralytics YOLO 모델을 훈련하는 것과 같이 단일 목적을 위해 처음부터 모델을 훈련하는 것을 포함했습니다. 효과적이긴 하지만 이 접근 방식에는 각 새로운 작업에 대해 상당한 양의 레이블이 지정된 데이터가 필요합니다. 파운데이션 모델은 보다 효율적인 대안을 제공합니다.
• 대규모 언어 모델(LLM): LLM은 언어 작업에 중점을 둔 주요 유형의 기초 모델입니다. 그러나 "기초 모델"이라는 용어는 랜드마크 논문 "기초 모델의 기회와 위험에 대해"에 자세히 설명된 대로 비전, 오디오 및 기타 데이터 양식에 대한 모델을 포괄하는 더 광범위한 용어입니다.
• 특수 비전 모델: Vision Transformer(ViT)와 같은 대규모 비전 모델은 기초 모델로 간주되지만 많은 특수 CV 모델은 그렇지 않습니다. 예를 들어 자동차 분야의 AI와 같은 특정 응용 프로그램을 위해 미세 조정된 YOLO11 모델은 특수 모델입니다. 그러나 COCO와 같은 대규모 데이터 세트에서 파생된 기초 지식을 구현하는 사전 훈련된 백본을 활용합니다.

학습 및 미래 중요성

기반 모델을 사전 훈련하는 것은 리소스 집약적인 작업으로, 일반적으로 수천 개의 GPU와 막대한 엔지니어링 노력이 필요하며, 주로 Google AI 및 DeepMind와 같은 대규모 조직에서 수행합니다. 그러나 일단 훈련되면 이러한 모델은 더 널리 사용할 수 있게 됩니다.

Ultralytics HUB와 같은 플랫폼은 워크플로우를 간소화하여 사용자가 이러한 기본 기능을 조정할 수 있도록 지원하는 도구를 제공하며, 여기에는 맞춤형 모델 학습, 데이터 세트 관리, 신중한 하이퍼파라미터 튜닝을 통한 솔루션 배포 등이 포함됩니다.

기반 모델은 강력한 기능에 대한 접근성을 높여 AI 환경을 변화시키고 있습니다. 또한 AI 윤리, 데이터 세트 편향 및 계산 격차에 대한 중요한 논의를 불러일으키고 있습니다. 미래는 텍스트, 이미지 및 사운드의 정보를 동시에 이해하고 처리할 수 있는 더욱 강력하고 효율적인 멀티 모달 모델을 지향하며, 이는 AI 사용 사례의 다음 물결을 주도할 것입니다.