프롬프트 튜닝

프롬프트 튜닝은 사전 학습된 특정 다운스트림 작업에 맞게 전체 네트워크를 재학습하는 계산 비용 없이 특정 다운스트림 작업에 적용하는 전략입니다. 다음과 같은 형태로 파라미터 효율적 미세 조정(PEFT)의 한 형태인 이 기술은 원래 모델의 방대한 파라미터를 동결하고 학습 가능한 작은 집합의 벡터만을 최적화합니다. 사람이 읽을 수 있는 텍스트와 달리 프롬프트 엔지니어링에 사용되는 사람이 읽을 수 있는 텍스트와 달리, 소프트 프롬프트는 숫자 임베딩을 입력 데이터에 추가하는 것입니다. 이러한 학습된 벡터는 고정된 모델이 원하는 출력을 생성하도록 안내하여 전체 모델 학습에 비해 저장 공간과 메모리 요구 사항을 크게 줄여줍니다. 이 접근 방식 을 사용하면 하나의 공유된 핵심 모델을 사용하여 다양한 특수 작업을 수행할 수 있습니다.

프롬프트 튜닝의 작동 방식

프롬프트 튜닝의 메커니즘은 모델 아키텍처가 아닌 입력 수정이라는 개념에 의존합니다. In 일반적인 머신 러닝(ML) 워크플로 대규모 언어 모델(LLM) 또는 비전 언어 모델과 관련된 일반적인 ML 워크플로에서는 입력 텍스트나 이미지가 일련의 숫자 벡터로 변환됩니다. 프롬프트 튜닝에서는 추가로 학습 가능한 벡터(소프트 프롬프트)가 이 시퀀스의 시작 부분에 삽입됩니다.

트레이닝의 역전파 단계에서는 경사 하강 알고리즘은 이러한 새로운 벡터만 업데이트하고, 백본의 수십억 개의 모델 가중치를 백본은 그대로 유지합니다. 이 방법은 다음과 같은 연구에서 강조되었습니다. Google AI의 연구에서 모델이 커질수록 신속한 튜닝이 전체 미세 조정의 성능과 맞먹을 수 있음을 보여줍니다.

실제 애플리케이션

신속한 튜닝으로 산업을 혁신하는 프롬프트 튜닝 인공 지능(AI)을 더 쉽게 접근성과 확장성을 높여 산업을 변화시키고 있습니다.

• 맞춤형 고객 지원: 대기업은 종종 다양한 부서에 다양한 부서를 위한 챗봇을 배포해야 하는 경우가 많습니다(예: 청구, 기술 지원, 영업 등). 각 기능에 대해 별도의 대형 모델을 호스팅하는 대신 하나의 고정된 GPT-4 스타일 모델을 사용하고 부서별로 학습된 가벼운 소프트 부서별로 훈련된 지식 기반. 이렇게 하면 추론 대기 시간 및 인프라 비용을 줄입니다.
• 전문 의료 분석: In 의료 분야의 AI, 개인정보 보호 및 데이터 부족은 도전 과제입니다. 병원은 범용 의료 영상 분석 모델을 가지고 의료 이미지 분석 모델을 가져와서 희귀 종양과 같은 특정 질환에 대한 작은 소프트 프롬프트를 학습시킬 수 있습니다. 이렇게 하면 핵심 모델의 일반적인 진단 기능을 유지하면서 틈새 작업에 적응할 수 있으며, 전이 학습 원리를 활용하여 전이 학습 원리를 효율적으로 활용합니다.

관련 용어와 프롬프트 튜닝의 차별화

신속한 튜닝과 유사한 적응 기술을 구별하는 것이 중요합니다:

• 프롬프트 엔지니어링: 여기에는 모델을 안내하는 텍스트 입력(하드 프롬프트)을 수동으로 제작하는 작업이 포함됩니다. 교육이나 매개변수 업데이트가 필요하지 않습니다. 이와는 대조적으로 프롬프트 튜닝은 자동화된 프로세스로서 지도 학습을 통해 최적의 숫자 임베딩을 학습하는 자동화된 프로세스입니다.
• 미세 조정: 기존의 미세 조정은 모델 매개변수의 전부 또는 대부분을 업데이트하므로 모든 작업에 대해 모델 사본이 필요합니다. 작업마다 모델의 복사본이 필요합니다. 신속한 튜닝은 백본을 고정된 상태로 유지하여 저장 공간을 절약합니다.
• LoRA(로우랭크 적응): 둘 다 PEFT 방식이지만, LoRA는 훈련 가능한 낮은 순위 행렬을 모델의 내부 레이어에 주입합니다(종종 주의 메커니즘), 반면 프롬프트 튜닝은 은 입력 임베딩 레이어에만 집중합니다.

구현 개념

프롬프트 튜닝은 다음 분야에서 가장 유명하지만 자연어 처리(NLP), 큰 백본을 동결하고 작은 tensor최적화하는 기본 기계적 개념은 범용적으로 딥 러닝(DL)에서 보편적으로 사용됩니다. 다음과 같은 PyTorch 스니펫은 기본 로직을 보여줍니다. 모델 파라미터를 고정하고 학습 가능한 프롬프트 파라미터를 생성하는 기본 로직을 보여줍니다.

import torch
import torch.nn as nn

# Initialize a hypothetical pre-trained layer (the frozen backbone)
backbone = nn.Linear(768, 10)

# Freeze the backbone parameters so they don't update during training
for param in backbone.parameters():
    param.requires_grad = False

# Create a 'soft prompt' embedding that IS trainable
# This represents the learnable vectors prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 768), requires_grad=True)

# Setup an optimizer that only targets the soft prompt
optimizer = torch.optim.Adam([soft_prompt], lr=0.001)

이 코드는 개발자가 시스템에서 학습할 부분을 제어하는 방법, 즉 신경망 최적화의 핵심 요소인 신경망 최적화. 표준 컴퓨터 비전 작업의 경우, 다음과 같은 효율적인 모델 Ultralytics YOLO11 과 같은 효율적인 모델은 일반적으로 사용자 지정 데이터 세트에 대한 표준 미세 조정을 사용하여 학습됩니다, 하지만 효율성의 원칙은 다음과 같은 미래 아키텍처의 개발을 주도합니다. YOLO26.

컴퓨터 비전과의 관련성

프롬프트 튜닝은 다음과 같은 분야에서 점점 더 중요해지고 있습니다. 컴퓨터 비전(CV) 의 부상과 함께 멀티 모달 모델의 등장으로 CLIP. 연구원들은 학습 가능한 픽셀 패치 또는 토큰을 입력 이미지에 추가하여 적응시키는 '시각적 프롬프트 튜닝'을 탐색하고 있습니다. 새로운 물체 감지 작업에 맞게 비전 트랜스포머를 새로운 물체 감지 작업에 맞게 비전 트랜스포머를 조정하는 방법을 연구하고 있습니다. 이는 언어 모델에서 볼 수 있는 효율성 향상을 반영하며, 업계 트렌드인 업계 트렌드와 일치합니다. 친환경 AI 학습 중 에너지 소비를 최소화합니다.