Foundation Model

기반 모델은 광범위한 데이터로 대규모 학습을 수행하고 다양한 다운스트림 작업에 맞게 조정할 수 있는 대규모 머신러닝 모델입니다. 스탠퍼드 연구진은 2021년 보고서 기반 모델의 기회와 위험에서 이 용어를 소개했습니다. 여러 애플리케이션의 중심이 되지만 자체적으로는 불완전한 모델이라는 점을 설명하기 위해 "기반"이라는 표현을 선택했습니다. 이전 모델은 대개 레이블이 지정된 데이터셋 하나로 작업 하나를 학습했습니다. 기반 모델은 비용이 많이 드는 사전 학습을 통해 일반적인 패턴을 한 번 학습한 다음, 해당 모델을 직접 학습하지 않는 팀이 구축하는 챗봇, 검색, 번역, 이미지 분류, 분할 및 여러 애플리케이션의 출발점으로 사용합니다. GPT, Claude, Gemini, Llama와 같은 대규모 언어 모델(LLM)뿐 아니라 CLIP, DINOv3, Meta의 Segment Anything Model(SAM)과 같은 비전 모델도 기반 모델입니다.

기반 모델의 작동 방식#

사전 학습은 사람의 레이블이 필요 없는 목표를 사용하므로 학습 세트는 텍스트 수조 단어 또는 이미지 수십억 장 규모로 확장할 수 있습니다. 언어 모델은 다음 토큰을 예측하며, 비전 인코더는 마스크 이미지 모델링 및 자기 증류와 같은 자기 지도 학습 방법을 사용하고, 비전-언어 모델은 이미지-캡션 쌍에 대한 대조 학습을 수행합니다. 거의 모든 기반 모델은 Transformer 아키텍처를 사용하며, 스케일링 법칙에 설명된 대로 파라미터, 데이터, 연산량이 증가하면 성능이 예측 가능한 방식으로 향상됩니다.

사전 학습 후에는 여러 방법 중 하나를 사용해 동일한 모델을 각 작업에 맞게 조정합니다. 프롬프팅은 지시나 예시로 모델을 유도하며 학습은 수행하지 않습니다. 파인튜닝이나 파라미터 효율적 파인튜닝(PEFT)은 작업 데이터로 가중치를 업데이트합니다. 고정된 임베딩에 대해 학습한 소형 헤드를 추가하면 분류기나 검색기로 만들 수 있습니다:

보고서는 이러한 패턴이 가져오는 두 가지 결과를 강조했습니다. 창발성은 GPT-3가 프롬프트의 몇 가지 예시만으로 새 작업을 수행하는 법을 학습한 것처럼, 직접 학습하지 않은 능력이 규모가 커지면서 나타나는 현상을 의미합니다. 동질화는 이제 많은 애플리케이션이 소수의 모델을 기반으로 구축되어, 모델의 오류와 편향이 해당 모델을 기반으로 조정된 모든 결과에 전파되는 현상을 뜻합니다. 규제 기관도 이러한 모델을 직접 다루기 시작했습니다. EU AI Act는 이를 범용 AI 모델이라고 부르며, 해당 모델 제공업체에 대한 의무는 2025년 8월 2일부터 적용되었습니다.

컴퓨터 비전의 기반 모델#

비전 기반 모델은 특정 작업용 감지기보다 훨씬 크고 폭넓은 데이터로 학습됩니다. CLIP은 이미지-캡션 쌍 4억 개를 학습했으며 텍스트로만 이름을 지정한 범주에 이미지를 분류합니다. 이는 비전 분야의 제로샷 학습의 기반입니다. Meta의 DINOv3는 레이블 없는 이미지 17억 장으로 학습한 70억 파라미터 모델을 통해 깊이 추정, 분할, 위성 지도 제작에 사용할 고정 특징을 생성합니다. 저자들이 이미지 분할용 기반 모델이라고 설명한 SAM은 이미지 1,100만 장과 마스크 11억 개로 구성된 SA-1B 데이터셋으로 학습되었으며 점이나 박스로 지정한 모든 객체를 분할합니다. SAM 3는 텍스트 프롬프트를 추가해 이름이 지정된 개념의 모든 인스턴스를 찾습니다. 비전-언어-행동 모델은 이 패턴을 로보틱스로 확장하여 카메라 이미지와 지시를 로봇 동작에 매핑합니다.

Ultralytics Platform은 이러한 모델로 데이터 주석 작업을 가속합니다. 스마트 주석에서는 클릭 한 번으로 SAM 2.1, SAM 3 또는 SAM 3.1에 객체 마스크를 요청할 수 있습니다. 탐지 데이터셋에서는 SAM 3.1 Text 및 Grounding DINO와 같은 클래스 프롬프트 모델이 클래스 이름을 바탕으로 해당 클래스의 모든 객체를 찾습니다. VLM 리더보드는 이러한 클래스 프롬프트 모델과 생성형 VLM이 실제 탐지 데이터셋에 자동 주석을 얼마나 정확하게 지정하는지 비교합니다. Meta의 SAM 2.1은 Ultralytics Python 패키지에서도 실행할 수 있으며, 박스 프롬프트를 사용하면 작업별 학습이 필요하지 않습니다.

from ultralytics import SAM

# 세그먼테이션 기반 모델인 Meta의 SAM 2.1은 학습 없이 그대로 사용됩니다.
model = SAM("sam2.1_b.pt")

# 버스 주변의 박스 프롬프트가 작업을 정의하고, 모델은 해당 객체의 마스크를 반환합니다.
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

기반 모델과 관련 용어 비교#

• 대규모 언어 모델(LLM): 텍스트를 위한 기반 모델입니다. 기반 모델은 이미지, 비디오, 오디오, 표 형식 데이터, 로봇 제어도 다룹니다.
• 생성형 AI: 텍스트, 이미지, 오디오 또는 비디오를 생성하는 시스템입니다. 많은 생성형 AI 시스템은 기반 모델을 토대로 구축되며, DINOv3 및 SAM과 같은 일부 기반 모델은 새 콘텐츠 대신 특징과 마스크를 생성합니다.
• 전이 학습: 사전 학습 모델을 새 작업에 재사용하는 기법입니다. 기반 모델은 여러 작업에서 이런 방식으로 재사용하도록 만든 사전 학습 모델입니다. 반면 클래스 80개를 가진 COCO 객체 감지기처럼 고정된 레이블 집합을 사용하는 단일 작업용 모델은 주로 밀접하게 관련된 작업으로 전이됩니다.
• 프런티어 AI 모델: 특정 시점에 가장 높은 역량을 지닌 기반 모델입니다. EU AI Act에 따라 10²⁵회를 초과하는 부동소수점 연산으로 학습된 범용 AI 모델은 시스템적 위험을 초래하는 것으로 추정되어 추가 의무가 부과됩니다.