Prompt Tuning

Prompt tuning은 전체 네트워크를 재학습하는 계산 비용 없이 사전 학습된 foundation models을 특정 다운스트림 작업에 맞게 조정하는 데 사용되는 자원 효율적인 기술입니다. 모델의 모든 매개변수 또는 대부분을 업데이트하는 기존의 fine-tuning과 달리, prompt tuning은 사전 학습된 model weights를 고정하고 입력 데이터 앞에 추가되는 "soft prompts"라 불리는 학습 가능한 소규모 벡터 세트만을 최적화합니다. 이 접근 방식은 단일 대규모 backbone이 여러 전문화된 애플리케이션을 동시에 지원할 수 있게 하여, 저장 공간 요구 사항과 inference latency 전환 비용을 크게 줄여줍니다.

Link to this sectionPrompt Tuning의 메커니즘#

표준 machine learning (ML) 워크플로우에서 텍스트나 이미지와 같은 입력은 embeddings라고 하는 수치적 표현으로 변환됩니다. Prompt tuning은 이 입력 시퀀스에 추가적인 학습 가능 임베딩 벡터를 삽입합니다. 학습 단계 동안 시스템은 backpropagation을 사용하여 기울기를 계산하지만, 최적화 알고리즘은 soft prompt의 값만 업데이트하며 거대한 모델 구조는 그대로 유지합니다.

이 방법은 Parameter-Efficient Fine-Tuning (PEFT)의 한 형태입니다. 이러한 연속 벡터를 학습함으로써 모델은 원하는 출력 방향으로 "유도(steered)"됩니다. 이 개념은 Natural Language Processing (NLP)에서 시작되었지만, Visual Prompt Tuning(VPT)이라 불리는 Computer Vision (CV) 작업에도 성공적으로 적용되었습니다.

Link to this section관련 개념 구분#

Prompt tuning의 효용을 이해하기 위해서는 AI 환경에서 유사한 용어들과 구별하는 것이 필수적입니다.

• Prompt Engineering: 이는 generative AI 모델을 안내하기 위해 사람이 읽을 수 있는 텍스트 지침(hard prompts)을 수동으로 만드는 것을 포함합니다. 여기에는 코딩이나 학습이 필요하지 않습니다. 반대로 prompt tuning은 자연어 단어와 일치하지 않을 수 있는 최적의 수치 임베딩을 찾기 위해 자동화된 supervised learning을 사용합니다.
• Full Fine-Tuning: 기존 방식은 신경망 전체를 업데이트하므로 종종 원래 학습했던 내용을 "파괴적 망각(catastrophic forgetting)"하는 결과를 초래합니다. Prompt tuning은 모델의 원래 기능을 보존하므로 서로 다른 작업 간에 transfer learning을 더 쉽게 활용할 수 있게 합니다.
• Few-Shot Learning: 이는 일반적으로 LLM의 컨텍스트 윈도우에 몇 가지 예제를 제공하는 것을 의미합니다. Prompt tuning은 일시적인 컨텍스트를 제공하는 대신 저장되고 재사용되는 매개변수를 영구적으로 학습한다는 점에서 차이가 있습니다.

Link to this section실제 애플리케이션 사례#

Prompt tuning은 자원이 제한된 환경에서 AI의 확장 가능한 배포를 가능하게 하며, 이는 모델 관리를 위한 Ultralytics Platform이 공유하는 핵심 철학입니다.

1. 다국어 고객 지원: 글로벌 기업은 중앙의 고정된 단일 언어 모델을 사용할 수 있습니다. 스페인어, 일본어, 독일어에 대한 경량 soft prompt를 학습시킴으로써 시스템은 언어를 즉시 전환할 수 있습니다. 이는 기가바이트 크기의 모델 3개를 별도로 호스팅하는 막대한 비용을 피하고, 대신 킬로바이트 크기의 prompt 파일을 사용하여 해결할 수 있습니다.

2. AI in Healthcare: 의료 영상 분야는 데이터 부족 문제에 시달리는 경우가 많습니다. 연구자들은 범용 비전 백본(예: Vision Transformer)을 활용하고 prompt tuning을 사용하여 망막 질환이나 종양과 같은 특정 이상 징후를 감지하도록 조정할 수 있습니다. 이는 환자 데이터 개인정보 보호를 유지하면서 전체 모델 재학습 없이 새로운 의료 장비에 신속하게 적응할 수 있게 합니다.

Link to this section구현 예시#

다음 PyTorch 예제는 핵심적인 기계적 개념을 보여줍니다. 즉, 모델의 메인 레이어를 고정하고 출력을 결정하는 데 영향을 주도록 최적화된 별도의 학습 가능한 매개변수("soft prompt")를 생성하는 것입니다.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Link to this section최신 Edge AI와의 관련성#

모델이 커짐에 따라 저렴하게 모델을 조정하는 능력이 중요해지고 있습니다. YOLO26과 같은 아키텍처는 이미 효율성에 최적화되어 있지만, 백본을 고정하고 효율적으로 적응시키는 원칙은 Edge AI의 미래에 근본적인 요소입니다. Prompt tuning과 유사한 기술을 사용하면 메모리가 제한된 장치에서도 거대한 신경망을 새로 로드하는 대신 작은 구성 파일만 교체하여 object detection부터 세그멘테이션까지 다양한 작업을 수행할 수 있습니다.

효율적으로 학습 및 배포하려는 개발자들에게 Ultralytics Platform과 같은 도구를 활용하는 것은 모델이 특정 하드웨어 대상에 최적화되도록 보장하며 최신 MLOps의 모범 사례를 활용하게 해줍니다.