Prompt Ayarlama

Prompt Tuning, Büyük Dil Modelleri (LLM'ler) gibi büyük, önceden eğitilmiş modelleri, orijinal modelin ağırlıklarını değiştirmeden yeni görevlere uyarlamak için güçlü ve verimli bir tekniktir. Bu, temel modeldeki milyarlarca parametreyi donduran ve bunun yerine göreve özgü küçük bir "soft prompt" kümesini öğrenen bir Parametre Verimli İnce Ayar (PEFT) biçimidir. Bu soft prompt'lar, insan tarafından okunabilir metinler değildir, ancak dondurulmuş modeli belirli bir alt görev için istenen çıktıyı üretmeye yönlendiren, girişe eklenen öğrenilebilir gömme (embedding)lerdir. Bu yaklaşım, orijinal Google AI araştırma makalesinde belgelendiği gibi, göreve özgü uyarlama için gereken hesaplama maliyetini ve depolama alanını önemli ölçüde azaltır.

Temel fikir, milyarlarca parametreye sahip olabilecek tüm modeli yeniden eğitmek veya ince ayar yapmak yerine, görev başına yalnızca birkaç bin veya milyon ekstra parametreyi (yumuşak istem) eğitmektir. Bu, tam model kopyaları oluşturmadan, her biri farklı bir göreve göre uyarlanmış, tek bir önceden eğitilmiş model için birçok özel "istem modülü" oluşturmayı mümkün kılar. Bu yöntem aynı zamanda, bir modelin yeni bir görev üzerinde eğitildiğinde önceden öğrenilmiş bilgileri unuttuğu felaket unutmasını azaltmaya yardımcı olur.

Gerçek Dünya Uygulamaları

Prompt Tuning, güçlü temel modellerin çok çeşitli özel uygulamalar için özelleştirilmesini sağlar.

• Özelleştirilmiş Duygu Analizi: Bir şirket, belirli ürünleri için müşteri geri bildirimlerini analiz etmek istiyor. Genel amaçlı bir duygu analizi modeli, sektöre özgü jargonu anlamayabilir. Şirket, istem ayarlama (prompt tuning) kullanarak, kendi etiketlenmiş müşteri incelemeleri üzerinde küçük bir dizi soft prompt'u eğiterek BERT gibi büyük bir modeli uyarlayabilir. Ortaya çıkan model, tam model eğitimi gerektirmeden geri bildirimleri doğru bir şekilde sınıflandırabilir ve daha incelikli içgörüler sağlayabilir.
• Uzmanlaşmış Tıbbi Sohbet Robotları: Bir sağlık kuruluşu, hastaların belirli tıbbi durumlarla ilgili sorularını yanıtlayan bir sohbet robotu oluşturmayı hedefliyor. Büyük bir tıbbi LLM'yi tam olarak eğitmek, kaynak yoğun bir işlemdir. Bunun yerine, GPT-4 gibi önceden eğitilmiş bir model üzerinde istem ayarlaması kullanabilirler. Özel olarak hazırlanmış bir tıbbi veri kümesi üzerinde göreve özgü bir istemi eğiterek, sohbet robotu bu alan için doğru, bağlam duyarlı yanıtlar sağlamayı öğrenir ve bu da sağlık hizmetlerinde güçlü yapay zekayı daha erişilebilir hale getirir.

Prompt Ayarlama ve İlgili Kavramlar

İstem Ayarlamayı (Prompt Tuning) benzer tekniklerden ayırmak önemlidir:

• İnce ayar (Fine-tuning): Bu yöntem, önceden eğitilmiş bir modelin parametrelerinin büyük bir bölümünü, hatta tamamını yeni bir veri kümesi üzerinde günceller. Daha fazla işlem gücü gerektirir, ancak modelin iç temsillerini derinlemesine uyarlayarak bazen daha yüksek performans elde edebilir. Model eğitimi ipuçları genellikle ince ayarın yönlerini kapsar.
• İstem Mühendisliği (Prompt Engineering): Bu, dondurulmuş önceden eğitilmiş bir modele rehberlik etmek için etkili metin tabanlı istemleri (sert istemler) manuel olarak tasarlamaya odaklanır. Giriş metninin içinde talimatlar ve örnekler oluşturmayı içerir ve herhangi bir yeni parametrenin eğitilmesini içermez. Düşünce zinciri istemleme gibi teknikler bu kategoriye girer.
• İstem Zenginleştirme (Prompt Enrichment): Bu teknik, bir kullanıcının istemini, örneğin Alma-Artırılmış Üretim (RAG) kullanılarak, yapay zeka modeline gönderilmeden önce otomatik olarak bağlam ekleyerek geliştirir. İstem ayarlamasından farklı olarak, yeni parametreler eğitmeden giriş sorgusunu iyileştirir.
• LoRA (Düşük Dereceli Adaptasyon - Low-Rank Adaptation): Önceden eğitilmiş modelin mevcut katmanlarına ( dikkat mekanizması (attention mechanism) gibi) küçük, eğitilebilir düşük dereceli matrisler ekleyen başka bir PEFT tekniğidir. Yalnızca girdi gömülmelerine odaklanan Prompt Tuning'e kıyasla modelin farklı bölümlerini günceller. Her ikisi de genellikle Hugging Face PEFT kütüphanesi gibi kütüphanelerde bulunur.

İstem Ayarlama (Prompt Tuning) ağırlıklı olarak Doğal Dil İşleme (DDİ)'de LLM'lere uygulanırken, verimli uyarlama temel ilkesi Yapay Zeka (YZ)'nın tamamında geçerlidir. Bilgisayarlı Görü (BG)'de, Ultralytics YOLO gibi modellerin özel veri kümelerinde tam ince ayarı nesne tespiti gibi görevler için yaygın olsa da, PEFT yöntemleri, özellikle büyük çok modlu modeller için giderek daha fazla ilgi görmektedir. Ultralytics HUB gibi platformlar, çeşitli yapay zeka modellerini eğitme ve dağıtma sürecini kolaylaştırır ve gelecekte bu tür verimli teknikleri potansiyel olarak içerir.