Prompt Tuning

Prompt tuning, önceden eğitilmiş foundation models modellerini, tüm ağı yeniden eğitmenin hesaplama maliyeti olmadan belirli alt görevlere uyarlamak için kullanılan kaynak tasarruflu bir tekniktir. Bir modelin tüm parametrelerini veya büyük bir kısmını güncelleyen geleneksel fine-tuning yönteminin aksine, prompt tuning önceden eğitilmiş model weights değerlerini dondurur ve yalnızca girdi verilerinin önüne eklenen "soft prompt" (yumuşak istem) adı verilen küçük bir öğrenilebilir vektör kümesini optimize eder. Bu yaklaşım, tek bir devasa backbone yapısının aynı anda birden fazla özelleşmiş uygulamaya hizmet etmesini sağlayarak depolama gereksinimlerini ve inference latency geçiş maliyetlerini önemli ölçüde azaltır.

Link to this sectionPrompt Tuning'in Mekaniği#

Standart machine learning (ML) iş akışlarında, metin veya resim gibi girdiler embeddings olarak bilinen sayısal gösterimlere dönüştürülür. Prompt tuning, bu girdi dizisine ek, eğitilebilir embedding vektörleri ekler. Eğitim aşamasında sistem, gradyanları hesaplamak için backpropagation kullanır; ancak optimizasyon algoritması yalnızca soft prompt değerlerini günceller ve devasa model yapısına dokunmaz.

Bu yöntem, bir Parameter-Efficient Fine-Tuning (PEFT) biçimidir. Bu sürekli vektörleri öğrenerek, model istenen çıktıya doğru "yönlendirilir". Bu kavram Natural Language Processing (NLP) alanında doğmuş olsa da, genellikle Görsel İstem Ayarı (VPT) olarak adlandırılan Computer Vision (CV) görevleri için başarıyla uyarlanmıştır.

Link to this sectionİlgili Kavramları Ayırt Etme#

Prompt tuning'in faydasını anlamak için, onu yapay zeka dünyasındaki benzer terimlerden ayırt etmek önemlidir:

• Prompt Engineering: Bu, bir generative AI modelini yönlendirmek için insanlar tarafından okunabilir metin talimatlarının (hard prompt'lar) manuel olarak hazırlanmasını içerir. Kodlama veya eğitim gerektirmez. Bunun aksine prompt tuning, doğal dil kelimeleriyle eşleşmeyebilecek en uygun sayısal embedding'leri bulmak için otomatik supervised learning yöntemini kullanır.
• Tam Fine-Tuning: Geleneksel yöntemler tüm sinir ağını günceller, bu da genellikle orijinal eğitimin "felaket unutma" (catastrophic forgetting) durumuna yol açar. Prompt tuning ise modelin orijinal yeteneklerini korur ve farklı görevler arasında transfer learning kullanılmasını kolaylaştırır.
• Few-Shot Learning: Bu genellikle bir LLM bağlam penceresine birkaç örnek sağlamayı ifade eder. Prompt tuning, sadece geçici bir bağlam sağlamak yerine, kaydedilip yeniden kullanılan parametreleri kalıcı olarak öğrendiği için ondan farklıdır.

Link to this sectionGerçek Dünya Uygulamaları#

Prompt tuning, kaynak kısıtlı ortamlarda yapay zekanın ölçeklenebilir bir şekilde konuşlandırılmasını sağlar; bu, model yönetimi için Ultralytics Platform tarafından paylaşılan temel bir felsefedir.

1. Çok Dilli Müşteri Desteği: Küresel bir işletme, merkezi ve dondurulmuş bir dil modeli kullanabilir. İspanyolca, Japonca ve Almanca için hafif soft prompt'lar eğiterek, sistem diller arasında anında geçiş yapabilir. Bu, üç ayrı gigabayt boyutunda model barındırmanın devasa maliyetinden kaçınır ve bunun yerine kilobayt boyutundaki prompt dosyalarına güvenir.

2. AI in Healthcare: Tıbbi görüntüleme genellikle veri kıtlığından muzdariptir. Araştırmacılar, genel amaçlı bir görme backbone yapısını (bir Vision Transformer gibi) alabilir ve onu retinal hastalıklar veya tümörler gibi belirli anomalileri tespit etmek üzere uyarlamak için prompt tuning kullanabilirler. Bu, hasta verilerinin gizliliğini korur ve tüm modeli yeniden eğitmeden yeni tıbbi ekipmanlara hızlı uyum sağlamaya olanak tanır.

Link to this sectionUygulama Örneği#

Aşağıdaki PyTorch örneği, temel mekanik kavramı göstermektedir: bir modelin ana katmanlarını dondurmak ve çıktıyı etkilemek üzere optimize edilen ayrı, eğitilebilir bir parametre ("soft prompt") oluşturmak.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Link to this sectionModern Edge AI ile Alaka Düzeyi#

Modeller büyüdükçe, onları düşük maliyetle uyarlayabilme yeteneği kritik hale gelir. YOLO26 gibi mimariler verimlilik için zaten yüksek düzeyde optimize edilmiş olsa da, backbone'ları dondurma ve verimli uyarlama ilkeleri, Edge AI geleceğinin temelini oluşturur. Prompt tuning'e benzer teknikler, sınırlı belleğe sahip cihazların, devasa sinir ağlarını yeniden yüklemek yerine sadece küçük yapılandırma dosyalarını değiştirerek object detection işleminden segmentasyona kadar çeşitli görevleri gerçekleştirmesine olanak tanır.

Verimli bir şekilde eğitmek ve konuşlandırmak isteyen geliştiriciler için Ultralytics Platform gibi araçları kullanmak, modellerin belirli donanım hedefleri için optimize edilmesini sağlar ve modern MLOps uygulamalarının en iyi yöntemlerinden yararlanır.