Prompt Tuning

Prompt tuning, tüm ağın yeniden eğitilmesinin hesaplama maliyeti olmaksızın önceden eğitilmiş foundation models modellerini belirli alt akış görevlerine uyarlamak için kullanılan kaynak açısından verimli bir tekniktir. Bir modelin parametrelerinin tümünü veya çoğunu güncelleyen geleneksel fine-tuning yönteminin aksine, prompt tuning önceden eğitilmiş model weights ağırlıklarını dondurur ve yalnızca girdi verilerinin başına eklenen "yumuşak prompt'lar" adı verilen küçük bir öğrenilebilir vektör setini optimize eder. Bu yaklaşım, tek bir devasa backbone omurgasının aynı anda birden fazla özelleştirilmiş uygulamaya hizmet etmesini sağlayarak depolama gereksinimlerini ve inference latency çıkarım gecikmesi geçiş maliyetlerini önemli ölçüde azaltır.

Prompt Tuning'in Mekaniği#

Standart machine learning (ML) iş akışlarında, metin veya görüntüler gibi girdiler embeddings olarak bilinen sayısal gösterimlere dönüştürülür. Prompt tuning, bu girdi dizisine ek, eğitilebilir gömme vektörleri ekler. Eğitim aşamasında sistem, gradyanları hesaplamak için backpropagation geriye yayılımı kullanır, ancak optimizasyon algoritması yalnızca yumuşak prompt'ların değerlerini günceller ve devasa model yapısına dokunmadan bırakır.

Bu yöntem, bir Parameter-Efficient Fine-Tuning (PEFT) biçimidir. Bu sürekli vektörleri öğrenerek model, istenen çıktıya doğru "yönlendirilir". Bu kavram Natural Language Processing (NLP) alanında ortaya çıkmış olsa da, genellikle Görsel Prompt Tuning (VPT) olarak anılan Computer Vision (CV) görevleri için başarılı bir şekilde uyarlanmıştır.

İlgili Kavramları Ayırt Etme#

Prompt tuning'in faydasını anlamak için, onu yapay zeka dünyasındaki benzer terimlerden ayırt etmek önemlidir:

• Prompt Engineering: Bu, bir generative AI modeline rehberlik etmek için insan tarafından okunabilir metin talimatlarının (sert prompt'lar) manuel olarak hazırlanmasını içerir. Kodlama veya eğitim gerektirmez. Aksine prompt tuning, doğal dil kelimelerine karşılık gelmeyebilecek en uygun sayısal gömmeleri bulmak için otomatikleştirilmiş supervised learning denetimli öğrenmeyi kullanır.
• Tam Fine-Tuning: Geleneksel yöntemler tüm sinir ağını günceller; bu durum genellikle orijinal eğitimin "felaket niteliğinde unutulmasına" yol açar. Prompt tuning, modelin orijinal yeteneklerini koruyarak farklı görevler arasında transfer learning aktarımlı öğrenmeden yararlanmayı kolaylaştırır.
• Few-Shot Learning: Bu genellikle bir LLM bağlam penceresinde birkaç örnek sağlamayı ifade eder. Prompt tuning, yalnızca geçici bağlam sağlamak yerine, kaydedilen ve yeniden kullanılan parametreleri kalıcı olarak öğrendiği için farklıdır.

Gerçek Dünya Uygulamaları#

Prompt tuning, model yönetimi için Ultralytics Platform tarafından paylaşılan temel bir felsefe olan, kaynak kısıtlı ortamlarda AI dağıtımını ölçeklenebilir hale getirir.

1. Çok Dilli Müşteri Desteği: Küresel bir işletme, merkezi ve dondurulmuş bir dil modeli kullanabilir. İspanyolca, Japonca ve Almanca için hafif soft prompt'lar eğiterek, sistem diller arasında anında geçiş yapabilir. Bu, üç ayrı gigabayt boyutunda model barındırmanın devasa maliyetinden kaçınır ve bunun yerine kilobayt boyutundaki prompt dosyalarına güvenir.

2. AI in Healthcare: Tıbbi görüntüleme genellikle veri kıtlığından muzdariptir. Araştırmacılar genel amaçlı bir vizyon omurgasını (Vision Transformer gibi) alıp retinal hastalıklar veya tümörler gibi belirli anomalileri tespit etmek üzere uyarlamak için prompt tuning kullanabilirler. Bu, hasta verilerinin gizliliğini korur ve tam model yeniden eğitilmesine gerek kalmadan yeni tıbbi ekipmanlara hızlı bir şekilde uyum sağlamaya olanak tanır.

Uygulama Örneği#

Aşağıdaki PyTorch örneği temel mekanik kavramı göstermektedir: bir modelin ana katmanlarını dondurmak ve çıktıyı etkilemek üzere optimize edilen ayrı, eğitilebilir bir parametre ("yumuşak prompt") oluşturmak.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Modern Edge AI ile Alaka Düzeyi#

Modeller büyüdükçe, onları düşük maliyetle uyarlama yeteneği kritik hale gelir. YOLO26 gibi mimariler verimlilik için halihazırda son derece optimize edilmiş olsa da, omurgaları dondurma ve verimli uyarlama ilkeleri Edge AI geleceği için temel teşkil etmektedir. Prompt tuning'e benzer teknikler, bellek kısıtlı cihazların devasa sinir ağlarını yeniden yüklemek yerine yalnızca küçük yapılandırma dosyalarını değiştirerek object detection nesne tespitten segmentasyona kadar çeşitli görevleri gerçekleştirmesine olanak tanır.

Verimli bir şekilde eğitmek ve dağıtmak isteyen geliştiriciler için Ultralytics Platform gibi araçları kullanmak, modellerin belirli donanım hedefleri için optimize edilmesini sağlar ve modern MLOps en iyi uygulamalarından yararlanır.