Prompt Enrichment

İstem zenginleştirme, bir kullanıcının isteği yapay zekâ modeline ulaşmadan önce isteğe otomatik olarak bilgi eklemektir. Uygulama kodu, kullanıcıyla model arasında yer alır ve kullanıcının yazmadığı bilgileri ekler: hesap ayrıntıları, soruyu yanıtlayan belgeler, araçlardan alınan canlı veriler, işlenmiş örnekler veya isteğin daha ayrıntılı bir sürümü. "Kameram neden artık algılanmıyor?" diye soran bir müşteri yedi sözcük yazar; büyük dil modeli (LLM) ise bu yedi sözcüğe müşterinin cihazını, yazılım sürümünü ve tam olarak bu sorunla ilgili yardım makalesini de eklenmiş biçimde alır. Bu terim, en bilinen örneği getirim destekli üretim (RAG) olan çeşitli teknikleri kapsar.

Zenginleştirme Neler Ekler#

• Kullanıcı ve oturum verileri: Uygulamanın kendi kayıtlarından alınan profil alanları, plan, dil, konum, geçerli tarih veya kullanıcının bulunduğu sayfa.
• Getirilen bilgi: İstekle ilgili metinleri bulmak için bir belge koleksiyonunda veya bilgi grafiğinde arama yapılarak bulunan bölümler.
• Araç sonuçları: Bu istek için getirilen değerler; örneğin bir API'den alınan sipariş durumu, bir veritabanı satırı veya başka bir modelin çıktısı.
• Seçilen örnekler: Her istek için sabit bir küme kullanmak yerine, girdiye benzediği için isteğe göre seçilen az örnekli örnekler.
• Yeniden yazılmış sorgular: Bir model, kısa bir isteği kullanılmadan önce genişletir. HyDE yönteminde Luyu Gao ve çalışma arkadaşları, bir LLM'ye varsayımsal bir yanıt yazdırır ve ardından gerçek belgeleri getirmek için bu belgenin gömmesini kullanır; bu yöntem yalnızca soruyu alan aynı denetimsiz bilgi erişim modelinden daha iyi sonuç verdi.

Aşağıdaki örnek, bir destek sorusunu hesap verileri ve scikit-learn ile TF-IDF benzerliği kullanılarak getirilen en alakalı yardım makalesiyle zenginleştirir:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# Context the user never typed: their account record and the help center's articles
account = {"plan": "Pro", "device": "USB webcam", "app_version": "2.3"}
articles = [
    "Version 2.4 fixes USB webcams that are not detected after a system update.",
    "Pro plans include ten concurrent video streams per workspace.",
    "Invoices are available on the billing page as soon as a payment succeeds.",
]
question = "Why is my camera not detected anymore?"

# Retrieve the article most similar to the question
vectorizer = TfidfVectorizer().fit([*articles, question])
scores = cosine_similarity(vectorizer.transform([question]), vectorizer.transform(articles))[0]
best = articles[scores.argmax()]

# Assemble the enriched prompt the model actually receives
profile = ", ".join(f"{key}: {value}" for key, value in account.items())
prompt = f"Customer profile: {profile}\nRelevant article: {best}\nQuestion: {question}"
print(prompt)

Şu çıktıyı verir:

Customer profile: plan: Pro, device: USB webcam, app_version: 2.3
Relevant article: Version 2.4 fixes USB webcams that are not detected after a system update.
Question: Why is my camera not detected anymore?

Kullanıcının sorusunda web kamerasından, sürümden veya güncellemeden hiç bahsedilmez; ancak zenginleştirilmiş istem, "2.3 sürümünden 2.4 sürümüne güncelleme" yanıtını vermek için gereken her şeyi içerir. Üretim sistemleri genellikle yoğun gömüler kullanarak bir vektör veritabanında veya karma aramayla bilgi getirir; ancak bir araya getirme adımı aynıdır.

Uygulamada Zenginleştirme#

GitHub, 2023'te Copilot'un komşu sekmeler tekniğinin, imlecin çevresindeki koda benzeyen parçaları bulmak için geliştiricinin açık dosyalarında arama yaptığını ve bunları isteme eklediğini açıkladı. Bu yöntem, kullanıcıların Copilot önerilerini kabul etme oranını göreli olarak %5 artırdı. Müşteri desteği için kullanılan sohbet botları her turu hesap ve sipariş kayıtlarıyla, yapay zekâ ajanları ise her adımı önceki araç çağrılarının sonuçlarıyla zenginleştirir.

Görsel işleme hatları, istemleri bir algılayıcının bulduklarıyla zenginleştirir. Ultralytics Platform Agents içinde bir LLM bloğu, seçilen görme-dil modeline her görüntüyü, önceki blokların sonuçlarıyla birlikte gönderir; örneğin YOLO26 algılamalarıyla. Böylece bir kez yazılan istem, iş akışının işlediği her görüntü için yeni nesne algılama sonuçlarıyla zenginleştirilir.

Zenginleştirmenin maliyetleri vardır. Eklenen her bölüm belirteç kullanarak fiyatı ve çıkarım gecikmesini artırır; ilgisiz veya aşırı bağlam ise bağlam çürümesi olarak bilinen etkiyle doğruluğu düşürür. Getirilen web sayfaları ve belgeler istem enjeksiyonu saldırıları da içerebilir. İsteme eklenen her türlü kişisel veri, modelin çalıştırıcısına gönderildiğinden veri gizliliği kaygılarına yol açar.

İstem Zenginleştirme ve İlgili Terimler#

• Getirim destekli üretim (RAG): Harici bir belge koleksiyonunda arama yapan zenginleştirme biçimi. Zenginleştirme, kullanıcı planı veya geçerli tarih gibi arama gerektirmeyen verileri de kapsar.
• İstem mühendisliği: İstem şablonunu bir kişi tasarlar. Zenginleştirme, bu şablonu çalışma zamanında isteğe özgü verilerle doldurur.
• Bağlam mühendisliği: Her adımda ne ekleneceği, sıkıştırılacağı veya çıkarılacağı dahil, bir uygulama boyunca modelin bağlamındaki her şeyi yönetir. Zenginleştirme, ekleme kısmıdır.
• Temellendirme: Modelin çıktısını doğrulanabilir kaynaklara dayandırmak. Zenginleştirme, bu kaynakları istemde sağlar.
• İstem sıkıştırma: Bilgi içeriği düşük belirteçleri çıkararak istemi kısaltır; eklenen bağlam uzun olduğunda genellikle zenginleştirmeden sonra uygulanır.