프롬프트 튜닝

프롬프트 튜닝은 대규모 언어 모델(LLM)과 같은 대규모 사전 훈련된 모델을 원래 모델의 가중치를 변경하지 않고도 새로운 작업에 적용하기 위한 강력하고 효율적인 기술입니다. 이는 기본 모델에서 수십억 개의 파라미터를 고정 상태로 유지하고 대신 작업별 "소프트 프롬프트"의 작은 세트를 학습하는 파라미터 효율적 미세 조정(PEFT)의 한 형태입니다. 이러한 소프트 프롬프트는 사람이 읽을 수 있는 텍스트가 아니라 입력에 추가되는 학습 가능한 임베딩으로, 고정된 모델이 특정 다운스트림 작업에 대해 원하는 출력을 생성하도록 안내합니다. 이 접근 방식은 원래 Google AI 연구 논문에 문서화된 대로 작업별 적응에 필요한 계산 비용과 스토리지를 획기적으로 줄입니다.

핵심 아이디어는 수십억 개의 파라미터를 가질 수 있는 전체 모델을 재훈련하거나 미세 조정하는 대신 작업당 수천 또는 수백만 개의 추가 파라미터(소프트 프롬프트)만 훈련하는 것입니다. 이를 통해 전체 모델 사본을 만들지 않고도 단일 사전 훈련된 모델에 대해 서로 다른 작업에 맞게 조정된 많은 특수 '프롬프트 모듈'을 만들 수 있습니다. 이 방법은 또한 새로운 작업에 대해 훈련할 때 모델이 이전에 학습한 정보를 잊어버리는 재앙적 망각을 완화하는 데 도움이 됩니다.

실제 애플리케이션

프롬프트 튜닝을 통해 광범위한 특수 애플리케이션을 위해 강력한 기반 모델을 사용자 정의할 수 있습니다.

• 맞춤형 감성 분석: 회사는 특정 제품에 대한 고객 피드백을 분석하려고 합니다. 일반적인 감성 분석 모델은 업계별 용어를 이해하지 못할 수 있습니다. 프롬프트 튜닝을 사용하여 회사는 자체 레이블이 지정된 고객 리뷰에 대한 작은 소프트 프롬프트 세트를 훈련하여 BERT와 같은 대규모 모델을 조정할 수 있습니다. 결과 모델은 전체 모델 훈련 없이도 피드백을 정확하게 분류하여 보다 미묘한 통찰력을 제공할 수 있습니다.
• 특수 의료 챗봇: 의료 기관은 특정 질병에 대한 환자의 질문에 답변하는 챗봇을 구축하는 것을 목표로 합니다. 대규모 의료 LLM을 완전히 훈련하는 데는 많은 리소스가 필요합니다. 대신 GPT-4와 같은 사전 훈련된 모델에서 프롬프트 튜닝을 사용할 수 있습니다. 선별된 의료 데이터 세트에서 작업별 프롬프트를 훈련함으로써 챗봇은 해당 도메인에 대한 정확하고 컨텍스트를 인식하는 답변을 제공하는 방법을 학습하여 강력한 의료 분야의 AI에 더 쉽게 접근할 수 있도록 합니다.

프롬프트 튜닝 vs. 관련 개념

프롬프트 튜닝을 유사한 기술과 구별하는 것이 중요합니다.

• Fine-tuning: 이 방법은 새로운 데이터 세트에서 사전 훈련된 모델의 매개변수 대부분 또는 전부를 업데이트합니다. 계산 집약적이지만 모델의 내부 표현을 심층적으로 조정하여 때로는 더 높은 성능을 달성할 수 있습니다. 모델 훈련 팁에서는 종종 미세 조정에 대한 내용을 다룹니다.
• 프롬프트 엔지니어링: 이는 고정된 사전 훈련된 모델을 안내하기 위해 효과적인 텍스트 기반 프롬프트(하드 프롬프트)를 수동으로 설계하는 데 중점을 둡니다. 여기에는 입력 텍스트 자체 내에서 지침과 예제를 작성하는 것이 포함되며 새로운 파라미터를 학습하는 것은 포함되지 않습니다. chain-of-thought 프롬프팅과 같은 기술이 이 범주에 속합니다.
• 프롬프트 보강(Prompt Enrichment): 이 기술은 검색 증강 생성(RAG)을 사용하여 AI 모델에 보내기 전에 컨텍스트를 추가하여 사용자 프롬프트를 자동으로 개선합니다. 프롬프트 튜닝과는 달리, 새로운 파라미터를 학습시키지 않고 입력 쿼리를 개선합니다.
• LoRA(Low-Rank Adaptation): 사전 훈련된 모델의 기존 레이어(예: 어텐션 메커니즘)에 작고 학습 가능한 저순위 행렬을 삽입하는 또 다른 PEFT 기술입니다. 프롬프트 튜닝(입력 임베딩에만 집중)과 비교하여 모델의 다른 부분을 업데이트합니다. 둘 다 Hugging Face PEFT 라이브러리와 같은 라이브러리에서 자주 볼 수 있습니다.

프롬프트 튜닝은 주로 자연어 처리(NLP)의 LLM에 적용되지만, 효율적인 적응이라는 핵심 원칙은 인공 지능(AI) 전반에 걸쳐 관련이 있습니다. 컴퓨터 비전(CV)에서는 객체 탐지와 같은 작업을 위해 사용자 지정 데이터 세트에 대한 Ultralytics YOLO와 같은 모델의 전체 미세 조정이 일반적이지만, PEFT 방법은 특히 대규모 멀티모달 모델에서 인기를 얻고 있습니다. Ultralytics HUB와 같은 플랫폼은 다양한 AI 모델의 훈련 및 배포 프로세스를 간소화하여 향후 이러한 효율적인 기술을 통합할 수 있습니다.