Prompt Enrichment

İstem zenginleştirme, kullanıcının ilk girdisini bir Yapay Zeka (AI) modeline göndermeden önce ilgili bağlam, özel talimatlar veya ek verilerle genişletme işleminin otomatikleştirilmiş halidir. Bu teknik, insanlar ve makineler arasındaki etkileşimi optimize eden akıllı bir ara katman görevi görür ve Büyük Dil Modellerinin (LLM) ve bilgisayarlı görü sistemlerinin kapsamlı sorgular almasını sağlar. Kullanıcının gözden kaçırabileceği geçmiş tercihler, konum verileri veya teknik kısıtlamalar gibi detayları enjekte ederek istem zenginleştirme, kullanıcının ayrıntılı talimatlar hazırlama konusunda uzman olmasını gerektirmeden modelin çıktısının doğruluğunu ve kişiselleştirilmesini önemli ölçüde artırır.

Link to this sectionZenginleştirme Mekanizması#

İstem zenginleştirmenin temel işlevi, bulanık bir insan niyeti ile modellerin optimum performans için ihtiyaç duyduğu kesin, veri açısından zengin girdi arasındaki boşluğu doldurmaktır. Bir sorgu alındığında sistem bunu analiz eder ve bir bilgi grafiğinden veya yapılandırılmış bir veritabanından gerekli arka plan bilgilerini alır. Alınan bu veriler programatik olarak biçimlendirilir ve orijinal isteme eklenir.

Örneğin, Doğal Dil İşleme (NLP) iş akışlarında "Durum nedir?" gibi basit bir soru, bağlamsal olarak yetersizdir. Bir zenginleştirme sistemi aktif oturumu tanımlar, işlemsel bir veritabanından en son sipariş numarasını alır ve istemi şu şekilde yeniden yazar: "Kullanıcı şu anda yolda olan #998 numaralı Sipariş hakkında soru soruyor. Bu duruma dayanarak bir gönderi güncellemesi sağlayın." Bu işlem genellikle anlamsal olarak ilgili bağlamı hızlı bir şekilde bulup enjekte etmek için vektör veritabanlarını kullanır.

Link to this sectionGerçek Dünya Uygulamaları#

İstem zenginleştirme, çeşitli sektörlerde güçlü üretken yapay zeka uygulamalarını dağıtmak, hem metin hem de görüntü tabanlı sistemleri geliştirmek için gereklidir:

1. Bağlam Duyarlı Müşteri Desteği: Otomatik yardım masalarında bir sohbet robotu, bir müşterinin satın alma geçmişine ve teknik ortamına erişmek için zenginleştirmeyi kullanır. Sistem, kullanıcıdan cihaz sürümünü sormak yerine bunu hesap meta verilerinden alır ve istemin içine enjekte eder. Bu, yapay zeka temsilcisinin anında, cihaza özel sorun giderme adımları sunmasını sağlayarak müşteri deneyimini önemli ölçüde iyileştirir.

2. Dinamik Bilgisayarlı Görü Yapılandırması: Güvenlik operasyonlarında bir kullanıcı basitçe bir "Gece Modu" ayarını değiştirebilir. İşin mutfağında istem zenginleştirme, bu üst düzey niyeti YOLO-World gibi açık kelime dağarcıklı bir dedektör için belirli nesne sınıflarına dönüştürür. Sistem, istemi özellikle "el feneri", "şüpheli hareket" veya "yetkisiz kişi" taraması yapacak şekilde zenginleştirerek modelin nesne algılama odağını dinamik olarak uyarlamasını sağlar.

Link to this sectionÖrnek: Dinamik Sınıf Zenginleştirme#

Aşağıdaki Python örneği, ultralytics paketini kullanarak istem zenginleştirme kavramını göstermektedir. Burada bir kullanıcının üst düzey niyeti, modelin taradığı belirli tanımlayıcı sınıfların listesine programatik olarak zenginleştirilir.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Link to this sectionİstem Zenginleştirme ile İlgili Kavramların Karşılaştırılması#

Etkili Makine Öğrenimi Operasyonlarını (MLOps) uygulamak için istem zenginleştirmeyi benzer terimlerden ayırmak faydalıdır:

• Alım Destekli Üretim (RAG): RAG, özel bir zenginleştirme yöntemidir. Yalnızca modelin yanıtını temellendirmek için harici bir külliyattan ilgili belgeleri getirme mekanizmasını ifade eder. Zenginleştirme ise RAG'ı kapsayan ancak bunun yanı sıra karmaşık bir anlamsal arama yapmaya gerek kalmadan statik oturum verilerini, kullanıcı meta verilerini veya sistem saatini enjekte etmeyi de içeren daha geniş bir kavramdır.
• İstem Mühendisliği: Bu, etkili istemler tasarlamanın manuel zanaatıdır. Zenginleştirme ise istem mühendisliği ilkelerini çalışma zamanında dinamik olarak uygulayan otomatik bir işlemdir.
• İstem İnce Ayarı: Bu, eğitim sırasında "yumuşak istemlerin" (öğrenilebilir tensörler) optimize edildiği bir parametre verimli ince ayar (PEFT) tekniğidir. İstem zenginleştirme tamamen gerçek zamanlı çıkarım sırasında gerçekleşir ve model ağırlıklarını değiştirmez.
• Az Örnekli Öğrenme (Few-Shot Learning): Bu, modele bir görevi öğretmek için istem içinde örnekler sağlamayı içerir. Zenginleştirme sistemleri genellikle bu az örnekli senaryoları görev türüne göre dinamik olarak enjekte ederek her iki kavramı etkili bir şekilde birleştirir.

Link to this sectionModern Yapay Zeka Sistemlerinde Alaka Düzeyi#

Ultralytics YOLO26 ve GPT-4 gibi modeller daha yetenekli hale geldikçe, darboğaz genellikle girdinin kalitesine kayar. İstem zenginleştirme, modeli gerçek, sağlanan verilere dayandırarak LLM'lerdeki halüsinasyonları azaltır. Bilgisayarlı görü (CV) alanında, sisteme beslenen metin istemlerini değiştirerek yeniden eğitime gerek kalmadan yeni ortamlara anında uyum sağlayabilen esnek, sıfır örnekli öğrenme algılama sistemlerine olanak tanır. Bu esneklik, hem metin hem de görüntüler üzerinde muhakeme yapabilen ölçeklenebilir, çok modlu yapay zeka çözümleri oluşturmak için çok önemlidir. Bu sistemleri temellendirmek için kullanılan veri kümelerini yönetmek isteyen kullanıcılar, bilgilerini etkili bir şekilde düzenlemek ve etiketlemek için genellikle Ultralytics Platform gibi araçlara güvenirler.