Prompt Tuning

프롬프트 튜닝은 전체 네트워크를 재훈련하는 데 드는 연산 비용 없이, 사전 훈련된 foundation models을 특정 다운스트림 작업에 적응시키는 데 사용되는 리소스 효율적인 기법입니다. 모델의 모든 또는 대부분의 매개변수를 업데이트하는 전통적인 fine-tuning과 달리, 프롬프트 튜닝은 사전 훈련된 model weights를 고정하고 입력 데이터 앞에 추가되는 "소프트 프롬프트"라는 소수의 학습 가능한 벡터 집합만 최적화합니다. 이 접근 방식을 통해 단일의 거대한 backbone이 여러 특화된 애플리케이션을 동시에 지원할 수 있으며, 스토리지 요구 사항과 inference latency 전환 비용을 크게 줄일 수 있습니다.

Prompt Tuning의 메커니즘#

표준 machine learning (ML) 워크플로에서는 텍스트나 이미지 등의 입력이 embeddings라고 알려진 수치 표현으로 변환됩니다. 프롬프트 튜닝은 이 입력 시퀀스에 추가적인 학습 가능 임베딩 벡터를 삽입합니다. 훈련 단계 동안 시스템은 backpropagation을 사용하여 그래디언트를 계산하지만, 최적화 알고리즘은 소프트 프롬프트의 값만 업데이트하고 거대한 모델 구조는 그대로 유지합니다.

이 방법은 Parameter-Efficient Fine-Tuning (PEFT)의 한 형태입니다. 이러한 연속적인 벡터를 학습함으로써 모델이 원하는 출력 방향으로 "유도"됩니다. 이 개념은 Natural Language Processing (NLP)에서 유래했지만, 시각적 프롬프트 튜닝(VPT)이라고도 불리는 Computer Vision (CV) 작업에 성공적으로 적응되었습니다.

관련 개념 구분#

Prompt tuning의 효용을 이해하기 위해서는 AI 환경에서 유사한 용어들과 구별하는 것이 필수적입니다.

• Prompt Engineering: 이는 generative AI 모델을 안내하기 위해 사람이 읽을 수 있는 텍스트 지침(하드 프롬프트)을 수동으로 작성하는 것을 포함합니다. 코딩이나 훈련이 필요하지 않습니다. 반면 프롬프트 튜닝은 자동화된 supervised learning을 사용하여 자연어 단어와 일치하지 않을 수 있는 최적의 수치 임베딩을 찾습니다.
• 풀 파인 튜닝: 전통적인 방법은 전체 신경망을 업데이트하며, 이는 종종 원래 훈련의 "파국적 망각"으로 이어집니다. 프롬프트 튜닝은 모델의 원래 기능을 보존하므로, 서로 다른 작업 간에 transfer learning을 더 쉽게 활용할 수 있습니다.
• Few-Shot Learning: 이는 대개 LLM의 컨텍스트 창에서 몇 가지 예를 제공하는 것을 의미합니다. 프롬프트 튜닝은 단순히 임시 컨텍스트를 제공하는 것이 아니라, 저장되고 재사용되는 매개변수를 영구적으로 학습한다는 점에서 차이가 있습니다.

실제 애플리케이션 사례#

프롬프트 튜닝을 통해 리소스가 제한된 환경에서 AI를 확장 가능하게 배포할 수 있으며, 이는 모델 관리를 위한 Ultralytics Platform이 공유하는 핵심 철학입니다.

1. 다국어 고객 지원: 글로벌 기업은 중앙의 고정된 단일 언어 모델을 사용할 수 있습니다. 스페인어, 일본어, 독일어에 대한 경량 soft prompt를 학습시킴으로써 시스템은 언어를 즉시 전환할 수 있습니다. 이는 기가바이트 크기의 모델 3개를 별도로 호스팅하는 막대한 비용을 피하고, 대신 킬로바이트 크기의 prompt 파일을 사용하여 해결할 수 있습니다.

2. AI in Healthcare: 의료 이미징은 종종 데이터 부족 문제를 겪습니다. 연구원들은 범용 비전 백본(Vision Transformer 등)을 가져와 프롬프트 튜닝을 사용해 망막 질환이나 종양과 같은 특정 이상을 감지하도록 적응시킬 수 있습니다. 이를 통해 환자 데이터 프라이버시를 유지하고 전체 모델 재훈련 없이 새로운 의료 장비에 빠르게 적응할 수 있습니다.

구현 예시#

다음 PyTorch 예제는 핵심적인 기계적 개념, 즉 모델의 메인 레이어를 고정하고 출력에 영향을 미치도록 최적화된 별도의 훈련 가능한 매개변수("소프트 프롬프트")를 생성하는 방식을 보여줍니다.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

최신 Edge AI와의 관련성#

모델이 커짐에 따라 저렴한 비용으로 모델을 적응시키는 능력은 매우 중요해지고 있습니다. YOLO26과 같은 아키텍처는 이미 효율성에 최적화되어 있지만, 백본 고정과 효율적인 적응 원칙은 Edge AI의 미래에 핵심적입니다. 프롬프트 튜닝과사 유사한 기법을 통해 메모리가 제한된 디바이스에서도 거대한 신경망을 다시 로드하는 대신 작은 구성 파일을 교체하는 것만으로 object detection부터 세분화까지 다양한 작업을 수행할 수 있습니다.

효율적으로 훈련하고 배포하려는 개발자의 경우 Ultralytics Platform과 같은 도구를 활용하면 현대적인 MLOps의 모범 사례를 활용하여 특정 하드웨어 타겟에 맞게 모델이 최적화되도록 보장할 수 있습니다.