프롬프트 튜닝

프롬프트 튜닝의 작동 방식

프롬프트 튜닝의 핵심 아이디어는 사전 학습된 모델의 매개변수 대부분을 고정하는 것입니다. 감정 분석이나 텍스트 생성과 같은 작업에 맞게 모델을 조정할 때 수십억 개의 weights and biases 를 조정하는 대신 작은 프롬프트 파라미터 세트(소프트 프롬프트 임베딩)만 그라데이션 하강을 사용하여 학습합니다. 이렇게 학습된 임베딩은 지침 또는 컨텍스트 역할을 하여 고정된 모델이 특정 작업에 대해 원하는 출력을 생성하도록 안내합니다. 이는 일종의 매개변수 효율적 미세 조정(PEFT)으로, 대규모 기초 모델을 전문화하기 위한 장벽을 크게 낮춥니다.

프롬프트 튜닝의 이점

프롬프트 튜닝은 몇 가지 장점이 있습니다:

• 계산 효율성: 훈련 중 극히 일부 파라미터만 업데이트되므로 전체 미세 조정에 비해 훨씬 적은 계산과 메모리가 필요합니다.
• 저장 공간 감소: 각 작업에 대해 미세 조정된 모델의 전체 사본이 아닌 작은 프롬프트 임베딩 세트만 저장하면 됩니다.
• 더 빠른 적응: 작업별 프롬프트를 학습하는 것이 전체 모델을 미세 조정하는 것보다 훨씬 빠릅니다.
• 치명적 망각 완화: 원래 모델 매개 변수는 변경되지 않으므로 모델은 사전 학습 중에 학습한 일반적인 기능을 유지하므로 한 작업에 대한 미세 조정으로 인해 다른 작업의 성능이 저하되는 문제(치명적인 간섭)를 피할 수 있습니다.
• 간소화된 배포: 하나의 공유 코어 모델에 여러 작업별 프롬프트를 사용할 수 있어 MLOps 파이프라인에서 모델 배포 및 관리가 간소화됩니다.

실제 애플리케이션

프롬프트 튜닝은 특수 애플리케이션을 위한 대규모 언어 모델을 사용자 지정하는 데 특히 효과적입니다:

1. 맞춤형 고객 서비스 챗봇: 회사는 GPT-4와 같이 사전 학습된 일반 LLM을 사용하여 프롬프트 튜닝을 통해 다양한 지원 영역(예: 청구, 기술 지원, 제품 문의)에 대한 특수 프롬프트를 만들 수 있습니다. 각 프롬프트는 별도의 미세 조정 모델 없이도 기본 모델이 회사별 언어와 지식을 사용하여 특정 컨텍스트 내에서 적절하게 응답하도록 안내합니다. 이를 통해 챗봇 기능을 효율적으로 확장할 수 있습니다.
2. 전문화된 콘텐츠 생성: 마케팅 대행사는 프롬프트 튜닝을 사용하여 대규모 텍스트 생성 모델을 조정하여 특정 브랜드 목소리 또는 스타일(예: 공식 보고서, 캐주얼 블로그 게시물, 눈에 띄는 광고 문구)로 콘텐츠를 만들 수 있습니다. 각 스타일에 대해 별도의 프롬프트가 학습되므로 OpenAI 또는 Google AI와 같은 조직의 강력한 기본 모델을 다양한 고객 요구 사항에 맞게 다양하게 활용할 수 있습니다.

프롬프트 튜닝과 관련 개념 비교

프롬프트 튜닝과 유사한 기술을 구별하는 것이 중요합니다:

• 미세 조정: 새로운 데이터 세트에 대해 사전 학습된 모델 매개변수의 상당 부분 또는 전체를 업데이트하는 작업입니다. 계산 집약적이지만 모델의 내부 표현을 심층적으로 조정하여 더 높은 성능을 달성할 수 있는 경우도 있습니다. 모델 훈련 팁에는 종종 미세 조정에 대한 내용이 포함되어 있습니다.
• 프롬프트 엔지니어링: 사전 학습된 고정된 모델에서 원하는 동작을 이끌어내기 위해 효과적인 텍스트 기반 프롬프트(하드 프롬프트)를 수동으로 디자인하는 데 중점을 둡니다. 여기에는 입력 텍스트 자체에 지침과 예제를 만드는 작업이 포함되며 새로운 매개변수를 학습시키지 않습니다. 연쇄 사고 프롬프트와 같은 기법이 이 범주에 속합니다.
• 프롬프트 강화: AI 모델에서 처리하기 전에 컨텍스트 또는 관련 정보(예: 검색 증강 생성(RAG) 사용)를 추가하여 사용자의 입력 프롬프트를 자동으로 향상시킵니다. 프롬프트 튜닝과 달리 모델이나 학습 매개변수를 수정하지 않고 입력 쿼리를 개선합니다.
• LoRA(로우랭크 적응): 사전 학습된 모델의 기존 레이어( 주의 메커니즘 등)에 작고 훈련 가능한 낮은 순위의 행렬을 주입하는 또 다른 PEFT 기법입니다. 입력 임베딩에만 초점을 맞추는 프롬프트 튜닝에 비해 모델의 다른 부분을 업데이트합니다. 두 가지 모두 Hugging Face PEFT 라이브러리와 같은 라이브러리에서 흔히 볼 수 있습니다.

프롬프트 튜닝은 주로 자연어 처리(NLP)의 LLM에 적용되지만, 효율적인 적응이라는 핵심 원칙은 인공 지능(AI) 전반에 걸쳐 적용됩니다. 컴퓨터 비전(CV)에서는 다음과 같은 모델에 대한 전체 미세 조정이 이루어지지만 Ultralytics YOLO 와 같은 모델을 사용자 지정 데이터 세트에서 완전히 미세 조정하는 것이 객체 감지와 같은 작업에서 일반적이지만, 특히 대규모 멀티모달 모델의 경우 PEFT 방법이 주목을 받고 있습니다. Ultralytics HUB와 같은 플랫폼은 다양한 AI 모델을 훈련하고 배포하는 프로세스를 간소화하여 향후 이러한 효율적인 기술을 통합할 가능성이 있습니다.

요약하자면, 프롬프트 튜닝은 다양한 작업을 위해 LLM과 같이 사전 학습된 대규모 모델을 전문화하여 성능과 계산 가능성의 균형을 맞출 수 있는 강력하고 효율적인 방법을 제공합니다. 이는 강력한 AI 모델의 적응성과 접근성을 높이는 데 있어 중요한 발전입니다.