파라미터 효율적 미세 조정 (PEFT)

매개변수 효율적 미세 조정(PEFT)은 전체 모델을 재학습할 필요 없이 대규모 사전 학습 모델을 새로운 특정 작업에 적용하기 위해 머신 러닝에서 사용되는 기술 집합입니다. 자연어 처리(NLP) 및 컴퓨터 비전(CV)과 같은 분야의 기반 모델이 수십억 개의 매개변수로 증가함에 따라 전체 미세 조정은 계산 비용이 많이 들고 각 새 작업에 대해 상당한 데이터 스토리지가 필요합니다. PEFT는 사전 학습된 모델의 가중치의 대부분을 고정하고 소수의 추가 또는 기존 매개변수만 학습하여 이 문제를 해결합니다. 이 접근 방식은 계산 및 스토리지 비용을 획기적으로 줄이고, 치명적인 망각(모델이 원래 기능을 잊어버리는 경우)의 위험을 낮추고, 많은 다양한 애플리케이션에 대해 단일 대규모 모델을 사용자 정의할 수 있도록 합니다.

PEFT는 어떻게 작동하나요?

PEFT의 핵심 원칙은 사전 훈련된 모델에 대해 목표화되고 최소한의 변경을 가하는 것입니다. 모든 파라미터를 업데이트하는 대신 PEFT 방법은 훈련 중에 업데이트할 작은 훈련 가능한 파라미터 세트를 도입하거나 기존 파라미터의 작은 하위 세트를 선택합니다. 이는 효율성을 위해 최적화하는 전이 학습의 한 형태입니다. 여러 가지 인기 있는 PEFT 방법이 있으며 각 방법마다 다른 전략이 있습니다.

• LoRA (Low-Rank Adaptation): 이 기술은 사전 훈련된 모델의 레이어, 종종 주의 메커니즘 내에 작고 훈련 가능한 낮은 순위의 행렬을 삽입합니다. 이러한 "어댑터" 행렬은 원래 가중치 행렬보다 훨씬 작아 훈련이 빠르고 효율적입니다. 원래 LoRA 연구 논문은 더 자세한 기술적 세부 사항을 제공합니다.
• 프롬프트 튜닝(Prompt Tuning): 이 방법은 모델 아키텍처를 수정하는 대신 모델을 완전히 고정 상태로 유지하고 "소프트 프롬프트" 또는 학습 가능한 임베딩 벡터 세트를 학습합니다. 이러한 벡터는 기본 논문에 자세히 설명된 대로 특정 작업에 대한 모델의 출력을 유도하기 위해 입력 시퀀스에 추가됩니다.
• 어댑터 튜닝(Adapter Tuning): 이 방법은 사전 훈련된 모델의 레이어 사이에 "어댑터"라고 하는 소형의 완전 연결 신경망 모듈을 삽입하는 것을 포함합니다. 이러한 새로운 어댑터의 파라미터만 훈련됩니다.

이러한 방법과 다른 방법은 구현을 단순화하는 Hugging Face PEFT 라이브러리와 같은 프레임워크를 통해 널리 액세스할 수 있습니다.

PEFT와 관련 개념 비교

PEFT를 다른 모델 적응 전략과 구별하는 것이 중요합니다.

• 전체 미세 조정: PEFT와는 대조적으로 전체 미세 조정은 사전 훈련된 모델의 모든 가중치를 업데이트합니다. 이는 리소스 집약적이며 강력한 GPU와 각 미세 조정된 모델 버전에 대한 대용량 스토리지가 필요합니다.
• 프롬프트 엔지니어링(Prompt Engineering): 이 기술은 모델의 동작을 유도하기 위해 효과적인 텍스트 기반 프롬프트를 수동으로 설계하는 것을 포함합니다. 여기에는 훈련 또는 매개변수 업데이트가 포함되지 않으며, 고정된 모델에서 원하는 출력을 얻기 위해 입력을 만드는 데 전적으로 집중합니다.
• 지식 증류(Knowledge Distillation): 여기에는 더 작은 "학생" 모델을 훈련하여 더 큰 사전 훈련된 "교사" 모델의 동작을 모방하는 것이 포함됩니다. 더 작은 모델을 만들지만 프로세스 자체는 여전히 계산 집약적일 수 있습니다.

실제 애플리케이션

PEFT는 다양한 도메인에서 대규모 모델의 실제 적용을 가능하게 합니다.

• 자연어 처리(NLP): 회사는 PEFT를 사용하여 GPT-4 또는 BERT와 같은 범용 모델을 조정하여 내부 지식 베이스를 위한 특수 챗봇을 만들 수 있습니다. 비용이 많이 드는 전체 재훈련 대신 LoRA와 같은 방법을 사용하여 모델에 회사별 용어 및 절차를 가르쳐 고객 서비스 또는 내부 지원에 대한 응답의 정확도를 높일 수 있습니다. Stanford NLP Group과 같은 연구 그룹은 이러한 유형의 애플리케이션을 탐구합니다.
• 컴퓨터 비전 (CV): PEFT는 특정 시각적 인식 작업을 위해 Vision Transformers (ViT) 또는 Ultralytics YOLO 모델과 같은 대규모 비전 모델을 사용자 정의할 수 있습니다. 예를 들어 광범위한 COCO 데이터 세트에서 사전 훈련된 모델은 제조 품질 관리에서 고유한 결함을 정확하게 객체 탐지하거나, 의료 영상 분석을 위해 특수 이미지 분할을 수행하거나, 야생 동물 보호 카메라 트랩에서 특정 동물 종을 식별하는 데 PEFT를 사용하여 조정할 수 있습니다. Ultralytics HUB와 같은 플랫폼은 이러한 조정된 모델 및 실험을 관리하는 데 도움이 될 수 있습니다.

본질적으로 파라미터 효율적인 미세 조정은 최첨단 AI 모델을 보다 다재다능하고 비용 효율적으로 조정하여 광범위한 특정 애플리케이션에 대한 강력한 AI 기능에 대한 액세스를 민주화합니다.