기반 모델

파운데이션 모델은 대규모 머신 러닝(ML) 시스템으로, 다양한 다운스트림 작업에 적용할 수 있는 광범위한 다운스트림 작업에 적용할 수 있는 방대한 양의 데이터를 기반으로 학습된 대규모 머신 러닝 시스템입니다. 다음 기관에서 만든 스탠포드 인간 중심 AI(HAI) 연구소에서 만든 이 모델은 인공지능( AI)의 패러다임 전환을 나타냅니다. 인공 지능(AI)의 패러다임 변화를 나타냅니다. 리소스 집약적인 사전 학습 단계에서 단일 모델이 일반적인 패턴, 구문 및 의미 관계를 학습하는 방식 단계에서 학습합니다. 일단 학습이 완료되면 이 '기초'는 개발자가 미세 조정을 통해 특정 애플리케이션을 수정할 수 있는 미세 조정을 통해 특정 애플리케이션에 맞게 수정할 수 있습니다, 처음부터 전문화된 모델을 구축할 필요성을 크게 줄일 수 있습니다.

핵심 특성 및 메커니즘

파운데이션 모델의 힘은 그 규모와 전이 학습 방법론에 있습니다. 특정 목적(예: 특정 꽃 종 분류)을 위해 학습된 기존 모델과 달리, 기초 모델은 특정 꽃 종을 분류하는 등 특정 목적을 위해 학습된 텍스트, 이미지 또는 오디오를 포함하는 방대한 데이터 세트를 수집하고 자체 지도 학습 기법을 사용합니다. 이 "신흥 속성"을 발휘하여 명시적으로 프로그래밍되지 않은 작업을 수행할 수 있도록 합니다. 수행할 수 있습니다.

주요 메커니즘은 다음과 같습니다:

• 사전 교육: 이 모델은 수천 개의 GPU에서 실행되어 테라바이트급 데이터를 처리합니다, 정보의 기본 구조를 학습합니다.
• 적응력: 적응성: 다음을 통해 매개변수 효율적인 미세 조정(PEFT)을 통해 기본 모델에 대한 광범위한 지식을 다음과 같은 특정 작업에 탁월하도록 좁혀줍니다. 의료 이미지 분석 또는 법률 문서 검토.
• 트랜스포머 아키텍처: 대부분의 최신 파운데이션 모델은 트랜스포머 아키텍처를 사용하는데, 이는 주의 집중 메커니즘을 사용하여 다양한 입력 부분의 중요도를 효율적으로 평가합니다.

실제 애플리케이션

파운데이션 모델이 붐을 일으켰습니다. 생성 AI의 붐을 일으켰으며 다양한 산업을 변화시키고 있습니다:

1. 자연어 처리(NLP):다음과 같은 모델 OpenAI의 GPT-4와 같은 모델은 텍스트의 기초 모델로 작동합니다. 이러한 모델은 코딩이 가능한 가상 비서 번역 및 창의적인 글쓰기가 가능한 가상 비서를 지원합니다. 이러한 모델을 미세 조정함으로써 기업은 다음을 생성할 수 있습니다. 고객 지원 또는 기술 문서에 맞춤화된 문서화.
2. 컴퓨터 비전(CV):시각적 영역에서는 다음과 같은 모델이 사용됩니다. 비전 트랜스포머(ViT) 또는 CLIP (대비 언어-이미지 사전 훈련)과 같은 모델이 기초 역할을 합니다. 예를 들어, 강력한 사전 학습된 백본은 다음을 가능하게 합니다. Ultralytics YOLO11 이 객체 감지를 위한 기본 도구로 사용할 수 있습니다. 물류 회사는 사전 학습된 이 기능을 세밀하게 조정하여 구체적으로 컨베이어 벨트 위의 패키지를detect , 모델의 사전 지식을 활용하여 모델의 모양과 질감에 대한 사전 지식을 활용하여 최소한의 라벨링 데이터로 높은 정확도를 달성할 수 있습니다.

기초 모델과 관련 개념 비교

AI 환경에서 기초 모델을 유사한 용어와 구별하는 것이 중요합니다:

• 대 대규모 언어 모델(LLM)을 비교합니다: An LLM은 특정 유형의 텍스트 및 언어 작업 전용으로 설계된 기초 모델입니다. "기초 모델"이라는 용어는 더 광범위하며 이미지, 오디오, 센서 데이터를 처리하는 멀티 모달 모델을 포함합니다, 오디오 및 센서 데이터를 처리하는 멀티모달 모델을 포함합니다.
• 인공 일반 지능(AGI)과 비교합니다: 기초 모델은 일반 지능의 일부 측면을 모방하지만 지능의 일부 측면을 모방하지만 AGI. 기초 모델은 훈련 데이터에서 학습한 통계적 패턴에 의존하며 진정한 의식이나 추론이 부족하지만, 구글 딥마인드의 연구자들은 이러한 경계를 계속 탐구하고 있습니다. Google 딥마인드의 연구원들은 이러한 경계를 계속 탐구하고 있습니다.
• 기존 ML: 기존 지도 학습은 종종 무작위 초기화에서 모델을 훈련해야 하는 경우가 많습니다. 파운데이션 모델은 "지식이 있는" 시작 상태를 제공함으로써 AI를 민주화합니다. 상태를 제공하여 고성능 애플리케이션을 만들기 위한 진입 장벽을 크게 낮춥니다.

실제 구현

기초 모델을 사용하면 일반적으로 사전 학습된 가중치를 로드하고 더 작은 사용자 지정 데이터 세트에 대해 추가 학습을 수행합니다. 데이터 세트에서 추가로 훈련합니다. 데이터 세트의 ultralytics 라이브러리는 비전 작업을 위한 이 프로세스를 간소화하여 사용자가 YOLO11의 기본 기능인 활용할 수 있습니다.

다음 예는 사전 학습된 YOLO11 모델(기초)을 로드하고 특정 탐지 작업에 맞게 미세 조정하는 방법을 보여줍니다. 특정 탐지 작업을 위해 미세 조정하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load a pre-trained YOLO11 model (acts as the foundation)
# 'yolo11n.pt' contains weights learned from the massive COCO dataset
model = YOLO("yolo11n.pt")

# Fine-tune the model on a specific dataset (Transfer Learning)
# This adapts the model's general vision capabilities to new classes
model.train(data="coco8.yaml", epochs=5)

과제 및 향후 전망

강력하지만, 기초 모델은 다음과 같은 문제를 안고 있습니다. 데이터 세트 편향과 높은 계산 비용에 대한 트레이닝. 기초 모델에 관한 중요한 논문은 기초 모델의 결함이 모든 후속 적응에 전파되는 동질화의 위험을 강조합니다. 파운데이션의 결함이 모든 다운스트림 적응에 전파되는 동질화의 위험을 강조합니다. 결과적으로 AI 윤리 및 안전 연구가 개발의 중심이 되고 있습니다. 개발의 중심이 되고 있습니다. 앞으로 업계는 다음과 같은 방향으로 나아가고 있습니다. 단일 기반 모델이 비디오, 텍스트, 오디오, 비디오 비디오, 텍스트, 오디오를 원활하게 추론하여 보다 포괄적인 자율주행 차량과 로봇 공학.