Prompt Zenginleştirme

Hızlı zenginleştirme, kullanıcının ilk girdisini ilgili bağlam, özel talimatlar veya ek verilerle zenginleştirip bunu bir Yapay Zeka (AI) modeline göndermeden önce otomatik olarak gerçekleştirilen bir işlemdir. Bu teknik, insanlar ve makineler arasındaki etkileşimi optimize eden ve Büyük Dil Modelleri (LLM) ile bilgisayar görme sistemlerinin kapsamlı sorgular almasını sağlayan akıllı bir ara yazılım katmanı görevi görür. Kullanıcının atlayabileceği ayrıntıları (örneğin geçmiş tercihler, konum verileri veya teknik kısıtlamalar) ekleyerek, prompt zenginleştirme, kullanıcının ayrıntılı talimatlar oluşturma konusunda uzman olmasını gerektirmeden modelin çıktısının doğruluğunu ve kişiselleştirilmesini önemli ölçüde artırır. .

Zenginleştirme Mekanizması

Hızlı zenginleştirmenin temel işlevi, belirsiz bir insan niyeti ile modellerin optimum performans için ihtiyaç duyduğu kesin, veri açısından zengin girdi arasındaki boşluğu doldurmaktır. Bir sorgu alındığında, sistem bunu analiz eder ve gerekli arka plan bilgilerini bir bilgi grafiğinden veya yapılandırılmış bir veritabanından alır. Alınan bu veriler programlı olarak biçimlendirilir ve orijinal komut istemine eklenir.

Örneğin, Doğal Dil İşleme (NLP) iş akışlarında, "Durum nedir?" gibi basit bir soru bağlamsal olarak yetersizdir. Bir zenginleştirme sistemi aktif oturumu tanımlar, işlem veritabanından en son sipariş numarasını alır ve komut istemini şu şekilde yeniden yazar: "Kullanıcı, şu anda nakliye aşamasında olan 998 numaralı sipariş hakkında bilgi istiyor. Bu duruma göre nakliye güncellemesini sağlayın." Bu süreç genellikle vektör veritabanlarını kullanarak, anlamsal olarak ilgili bağlamı hızlı bir şekilde bulur ve ekler.

Gerçek Dünya Uygulamaları

Hızlı zenginleştirme, çeşitli endüstrilerde sağlam üretken AI uygulamaları dağıtmak ve hem metin hem de görsel tabanlı sistemleri geliştirmek için gereklidir:

1. Bağlam Duyarlı Müşteri Desteği: Otomatik yardım masalarında, bir sohbet robotu zenginleştirme özelliğini kullanarak müşterinin satın alma geçmişine ve teknik ortamına erişir. Kullanıcıdan cihaz sürümünü sormak yerine, sistem bunu hesap meta verilerinden alır ve komut istemine ekler. Bu, AI ajanın cihazlara özel sorun giderme adımlarını anında sunmasını sağlayarak müşteri deneyimini önemli ölçüde iyileştirir.
2. Dinamik Bilgisayar Görme Yapılandırması: Güvenlik operasyonlarında, kullanıcı basitçe "Gece Modu" ayarını değiştirebilir. Arka planda, hızlı zenginleştirme bu üst düzey niyeti, YOLO gibi açık sözlü bir dedektör için belirli nesne sınıflarına dönüştürür. Sistem, "el feneri", "şüpheli hareket" veya "yetkisiz kişi" arama odaklı olarak komutu zenginleştirir ve modelin nesne algılama odağını dinamik olarak uyarlamasını sağlar.

Örnek: Dinamik Sınıf Zenginleştirme

Aşağıdakiler Python Örnek, kullanarak hızlı zenginleştirme kavramını göstermektedir. ultralytics paket. Burada, kullanıcının üst düzey niyeti programlı olarak, modelin taradığı belirli tanımlayıcı sınıfların bir listesine zenginleştirilir. .

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Prompt Zenginleştirme ve İlgili Kavramlar

Etkin bir şekilde uygulamak için Makine Öğrenimi Operasyonları (MLOps), hızlı zenginleştirmeyi benzer terimlerden ayırmak faydalı olacaktır:

• Geri Alma ile Güçlendirilmiş Üretim (RAG): RAG, zenginleştirmenin özel bir yöntemidir. Modelin yanıtını temellendirmek için harici bir külliyattan ilgili belgeleri alma mekanizmasını ifade eder. Zenginleştirme, RAG'yi de içeren ancak karmaşık bir anlamsal arama yapmaya gerek kalmadan statik oturum verileri, kullanıcı meta verileri veya sistem zamanını eklemeyi de kapsayan daha geniş bir kavramdır. .
• Mühendislik İstemi: Bu Etkili istemler tasarlamak için el işçiliği. Zenginleştirme, istemleri uygulayan otomatik bir süreçtir mühendislik ilkeleri çalışma zamanında dinamik olarak.
• İstemi Ayarlama: Bu bir parametre-etkin ince ayar (PEFT) "yumuşak ipuçlarının" (öğrenilebilir tensörler) eğitim sırasında optimize edildiği teknik. Hızlı zenginleştirme sırasında tamamen gerçekleşir gerçek zamanlı çıkarım yapar ve model ağırlıkları.
• Az Atışlı Öğrenme: Bu modele bir görevi öğretmek için istem içinde örnekler sağlamayı içerir. Zenginleştirme sistemleri genellikle bunları enjekte eder Görev türüne göre dinamik olarak birkaç atışlık örnekler, her iki kavramı etkili bir şekilde birleştirir.

Modern Yapay Zeka Sistemlerinde Uygunluk

Ultralytics ve GPT-4 gibi modeller daha yetenekli hale geldikçe, darboğaz genellikle girdinin kalitesine kaymaktadır. Prompt zenginleştirme, modeli gerçeklere dayalı, sağlanan verilerle temellendirerek LLM'lerdeki halüsinasyonları azaltır . Bilgisayar görüşünde (CV), sistemde beslenen metin komutlarını değiştirerek, yeniden eğitim gerektirmeden yeni ortamlara anında uyum sağlayabilen esnek, sıfır atışlı öğrenme algılama sistemleri sağlar. Bu esneklik, hem metin hem de görüntüler üzerinde mantık yürütebilen ölçeklenebilir, çok modlu AI çözümleri oluşturmak için çok önemlidir. Bu sistemleri temellendirmek için kullanılan veri kümelerini yönetmek isteyen kullanıcılar, bilgilerini etkili bir şekilde düzenlemek ve açıklamak için genellikle Ultralytics gibi araçlara güvenirler .