Prompt Engineering

İstem mühendisliği, modelin model ağırlıklarını değiştirmeden ürettiklerini yönlendirmek amacıyla talimatları, bağlamı, örnekleri ve istenen çıktı biçimini içeren, üretken bir modele verilen girdiyi tasarlama uygulamasıdır. Bu yaklaşım GPT-3 ile yaygınlaştı: OpenAI, Dil Modelleri Az Örnekli Öğrenicilerdir (2020) çalışmasında, istem görevi açıklayıp birkaç örnek verdiğinde 175 milyar parametreli bir modelin herhangi bir gradyan güncellemesi olmadan yeni görevleri yerine getirebildiğini gösterdi; makale bu yeteneğe bağlam içi öğrenme adını veriyor. Günümüzde istem, büyük dil modellerini (LLM'ler), görme-dil modellerini (VLM'ler), metinden görüntü üreten modelleri ve istemle yönlendirilebilen görsel modelleri kontrol etmenin başlıca yoludur.

Temel Teknikler#

• Talimatlar ve roller: Sistem istemi modelin rolünü, kurallarını ve hedef kitlesini belirler; başlıklar veya XML tarzı etiketler gibi ayraçlar da talimatları işlenen verilerden ayırır.
• Az örnekli örnekler: Üzerinde çalışılmış girdi-çıktı çiftleri, görevi ve yanıt biçimini açıklamadan daha kesin biçimde gösterir. Örnek içermeyen bir istem sıfır örneklidir.
• Çıktı biçimi: İstem, liste veya belirli anahtarları olan JSON gibi biçimi belirtir. Kodun sonucu ayrıştırması gerektiğinde yapılandırılmış çıktılar, isteğe güvenmek yerine çözümleme sırasında bir şema uygular.
• Düşünce zinciri istemi: Yanıttan önce ara akıl yürütme adımlarını istemek; bu, çok adımlı problemlerde doğruluğu artırır.
• İstem zincirleme: Karmaşık bir işi, her biri dar kapsamlı tek bir görevi yerine getiren ve kodla birbirine bağlanan birkaç isteme bölmek.
• Getirilen bağlam: Modelin belleği yerine sağlanan gerçeklere dayanarak yanıt vermesi için aramayla bulunan belgeleri veya verileri eklemek.

Sağlanan gerçekler halüsinasyonları azaltır ve bunların nerede yer aldığı önemlidir: Ortada Kaybolma çalışması, modellerin bilgiyi uzun bir bağlam penceresinin başında veya sonunda bulunduğunda en iyi, ortasına gömüldüğünde ise en kötü şekilde kullandığını ortaya koydu.

Örneklerin etkisi, daha önce hiç talimat ayarı yapılmamış bir temel modelde en kolay görülür. Bu kod parçası, Hugging Face Transformers ile yüklenen GPT-2'ye aynı talimatı üç örnekli ve örneksiz olarak verir:

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")

# The same instruction, without and with three worked examples that show the answer format
instruction = "Convert each country to its capital city.\n"
prompts = {
    "zero-shot": instruction + "Italy:",
    "few-shot": instruction + "France: Paris\nJapan: Tokyo\nCanada: Ottawa\nItaly:",
}

for name, prompt in prompts.items():
    inputs = tokenizer(prompt, return_tensors="pt")
    output = model.generate(**inputs, max_new_tokens=4, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    completion = tokenizer.decode(output[0, inputs.input_ids.shape[1] :])
    print(f"{name}: {completion!r}")

zero-shot: '\n\nItaly is' ve few-shot: ' Rome\nSpain:' çıktısını verir. Tek başına talimat, GPT-2'nin İtalya hakkında düzyazı yazmasına yol açarken üç örnek, beklenen biçimde "Rome" yanıtını vermesini ve sıradaki ülkeyle örüntüyü sürdürmesini sağladı.

İstem Tasarımı Deneysel Bir Süreçtir#

İfadelerde veya düzende yapılan küçük değişiklikler sonuçları önemli ölçüde etkileyebilir. Melanie Sclar ve çalışma arkadaşları, yalnızca ayraçlar, büyük-küçük harf kullanımı ve boşluklar gibi biçim değişikliklerinin LLaMA-2-13B üzerinde 76 puana varan doğruluk farklarına yol açtığını ölçtü; bu hassasiyet daha büyük modellerde, daha çok örnekte ve talimat ayarında da devam etti. Bu nedenle istemler kod gibi geliştirilir: Bilinen doğru çıktılara sahip sabit bir girdi kümesinde test edilir, başarısız sonuçlara göre gözden geçirilir ve sürümlenir. Bu, LLMOps çalışmalarının rutin bir parçasıdır.

Bu döngü otomatikleştirilebilir. Yongchao Zhou ve çalışma arkadaşlarının geliştirdiği Otomatik İstem Mühendisi (APE), bir LLM'ye aday talimatlar ürettirir ve örneklerde en yüksek puanı alanları tutar. Büyük Dil Modelleri İnsan Düzeyinde İstem Mühendisleridir çalışmasında APE'nin talimatları 24 görevin 19'unda insanlar tarafından yazılanlarla eşleşti veya onları geride bıraktı.

Görsel Modeller için İstemler#

Bilgisayarlı görü alanında istemler çeşitli biçimlerde olabilir. Stable Diffusion gibi metinden görüntü üreten modeller; özne, tarz, ışıklandırma ve kompozisyon açıklamalarına, ayrıca kaçınılması gerekenleri sıralayan negatif istemlere yanıt verir. İstemle yönlendirilebilen segmentasyon modelleri nokta ve kutu gibi görsel istemleri kabul eder. Meta'nın SAM 3 modeli kısa isim öbeklerini de kabul edip belirtilen kavramın her örneğini segmentlere ayırır; Ultralytics Platform bu özelliği metin istemiyle otomatik etiketleme için kullanır.

Açık sözcük dağarcıklı algılayıcılar, sınıf adlarını istemlere dönüştürür. Ultralytics YOLOE, "forklift" veya "double-decker bus" gibi set_classes() ile adlandırılan sınıfları, bölgelerin özelliklerini bu adların metin gömüleriyle karşılaştırarak algılar ve segmentlere ayırır; bu nedenle kullanılan ifade bulduklarını doğrudan değiştirir. Eşleşme görünüşe dayandığı için "hasarlı", "en soldaki" veya "taşınan" gibi duruma, konuma ya da karşılaştırmaya bağlı istemlerin güvenilir bir görsel karşılığı yoktur; günlük hayattaki kategorilere yakın adlar en iyi sonucu verir.

İstem Mühendisliği ve İlgili Terimler#

• İstem ayarı: Etiketli veriler üzerinde gradyan inişiyle sürekli istem vektörleri öğrenir. İstem mühendisliğinde istem, doğal dille elle yazılır.
• İnce ayar: Etiketli bir veri kümesi üzerinde eğitim yaparak modelin ağırlıklarını değiştirir. İstem mühendisliği modeli değiştirmez ve çıkarım sırasında çalışır.
• Bağlam mühendisliği: Getirilen belgeler, araç sonuçları ve bellek dahil, bir uygulamada modelin bağlamına giren her şeyi kapsar. İstem mühendisliği, talimatları ve örnekleri yazmaya odaklanan bölümüdür.
• İstem enjeksiyonu: Modelin okuduğu metin veya görsellerin içine talimatlar gizleyerek bunların geliştiricinin isteminin önüne geçmesini sağlayan bir saldırı.