Prompt Enrichment

Prompt zenginleştirme, bir kullanıcının ilk girdisini bir Artificial Intelligence (AI) modeline göndermeden önce ilgili bağlam, özel talimatlar veya ek verilerle artırma işlemidir. Bu teknik, insan ile makine arasındaki etkileşimi optimize eden akıllı bir ara katman (middleware) görevi görür ve Large Language Models (LLMs) ile bilgisayarlı görü sistemlerinin kapsamlı sorgular almasını sağlar. Kullanıcının atlayabileceği geçmiş tercihler, konum verileri veya teknik kısıtlamalar gibi detayları enjekte ederek prompt zenginleştirme, kullanıcının ayrıntılı talimatlar oluşturmada uzman olmasını gerektirmeden modelin çıktısının accuracy ve kişiselleştirilmesini önemli ölçüde geliştirir.

Zenginleştirme Mekanizması#

Prompt zenginleştirmenin temel işlevi, belirsiz bir insan niyeti ile modellerin en iyi performans için ihtiyaç duyduğu kesin, veri açısından zengin girdi arasındaki boşluğu doldurmaktır. Bir sorgu alındığında, sistem bunu analiz eder ve bir knowledge graph veya yapılandırılmış bir veritabanından gerekli arka plan bilgilerini alır. Bu alınan veriler programatik olarak biçimlendirilir ve orijinal promp'ta eklenir.

Örneğin, Natural Language Processing (NLP) iş akışlarında, "Durum nedir?" gibi basit bir soru bağlamsal olarak yetersizdir. Bir zenginleştirme sistemi etkin oturumu belirler, bir transactional database üzerinden en son sipariş numarasını alır ve prompt'u şu şekilde yeniden yazar: "Kullanıcı şu anda yolda olan #998 numaralı Sipariş hakkında soru soruyor. Bu duruma dayanarak bir kargo güncellemesi sağlayın." Bu süreç, enjekte edilecek anlamsal olarak ilgili bağlamı hızla bulmak için genellikle vector databases kullanır.

Gerçek Dünya Uygulamaları#

Prompt zenginleştirme, hem metin hem de görme tabanlı sistemleri geliştirerek çeşitli endüstrilerde sağlam generative AI uygulamaları konuşlandırmak için esastır:

1. Bağlam Farkında Müşteri Desteği: Otomatik yardım masalarında, bir chatbot bir müşterinin satın alma geçmişine ve teknik ortamına erişmek için zenginleştirmeyi kullanır. Kullanıcıdan cihaz sürümünü istemek yerine sistem bunu hesap meta verilerinden alır ve prompt'a enjekte eder. Bu, AI agent aracının anında, cihaza özel sorun giderme adımları sağlamasına olanak tanır ve customer experience kalitesini önemli ölçüde artırır.

2. Dinamik Bilgisayarlı Görü Yapılandırması: Güvenlik operasyonlarında, bir kullanıcı basitçe bir "Gece Modu" ayarını açıp kapatabilir. Sahne arkasında, prompt zenginleştirme bu üst düzey niyeti YOLO-World gibi açık kelime dağarcığına sahip bir detektör için belirli nesne sınıflarına çevirir. Sistem, modelin object detection odak noktasını dinamik olarak uyarlamasını sağlayarak "el feneri", "şüpheli hareket" veya "yetkisiz kişi" araması yapmak için prompt'u zenginleştirir.

Örnek: Dinamik Sınıf Zenginleştirme#

Aşağıdaki Python örneği, ultralytics paketini kullanarak prompt zenginleştirme kavramını göstermektedir. Burada, bir kullanıcının üst düzey niyeti, modelin taradığı belirli açıklayıcı sınıflardan oluşan bir listeye programatik olarak dönüştürülür.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

İstem Zenginleştirme ile İlgili Kavramların Karşılaştırılması#

Etkili Machine Learning Operations (MLOps) uygulamak için, prompt zenginleştirmeyi benzer terimlerden ayırmak faydalıdır:

• Retrieval-Augmented Generation (RAG): RAG, spesifik bir zenginleştirme yöntemidir. Kesinlikle modelin yanıtını temellendirmek için harici bir derlemden ilgili belgeleri getirme mekanizmasını ifade eder. Zenginleştirme ise RAG'yi içeren ancak mutlaka karmaşık bir semantic search gerçekleştirmeden statik oturum verilerini, kullanıcı meta verilerini veya sistem saatini enjekte etmeyi de kapsayan daha geniş bir kavramdır.
• Prompt Engineering: Bu, etkili promptlar tasarlamanın manuel zanaatidir. Zenginleştirme ise çalışma zamanında prompt mühendisliği ilkelerini dinamik olarak uygulayan otomatik bir süreçtir.
• Prompt Tuning: Bu, eğitim sırasında "yumuşak promptların" (öğrenilebilir tensörler) optimize edildiği bir parameter-efficient fine-tuning (PEFT) tekniğidir. Prompt zenginleştirme tamamen real-time inference sırasında gerçekleşir ve model weights değiştirmez.
• Few-Shot Learning: Bu, modele bir görevi öğretmek için prompt içinde örnekler sağlamayı içerir. Zenginleştirme sistemleri genellikle bu few-shot örneklerini görev türüne göre dinamik olarak enjekte ederek her iki kavramı da etkili bir şekilde birleştirir.

Modern Yapay Zeka Sistemlerinde Alaka Düzeyi#

Ultralytics YOLO26 ve GPT-4 gibi modeller daha yetenekli hale geldikçe, dar boğaz genellikle girdinin kalitesine kayar. Prompt zenginleştirme, modeli olgusal, sağlanan verilerle temellendirerek hallucinations in LLMs azaltır. computer vision (CV) alanında, sisteme beslenen metin promptlarını değiştirerek yeniden eğitime gerek kalmadan yeni ortamlara anında uyum sağlayabilen esnek, zero-shot learning algılama sistemlerine olanak tanır. Bu esneklik, hem metin hem de görüntüler üzerinde akıl yürütebilen ölçeklenebilir, multi-modal AI çözümleri oluşturmak için çok önemlidir. Bu sistemleri temellendirmek için kullanılan veri setlerini yönetmek isteyen kullanıcılar, bilgilerini etkili bir şekilde organize etmek ve etiketlemek için genellikle Ultralytics Platform gibi araçlara güvenir.