Enrichissement des invites

L'enrichissement rapide est le processus qui consiste à compléter automatiquement les données initiales d'un utilisateur par un contexte, des données ou des instructions pertinents avant de les soumettre à l'utilisateur. instructions avant de les soumettre à un modèle d'intelligence modèle d'intelligence artificielle (IA). En En injectant des détails spécifiques que l'utilisateur peut avoir omis, cette technique permet de s'assurer que l'information est correcte. les grands modèles de langage (LLM) et les systèmes de vision reçoivent une requête complète, ce qui permet d'obtenir des résultats plus précis, personnalisés et exploitables. Il s'agit d'une intelligent qui optimise les interactions entre les humains et les machines sans que l'utilisateur ne doive être un expert dans la rédaction de messages détaillés. d'être un expert dans l'élaboration de messages détaillés.

Le mécanisme d'enrichissement

La fonction principale de l'enrichissement des messages est de combler le fossé entre l'intention éventuellement vague de l'utilisateur et les données précises dont l'IA a besoin. précise dont l'IA a besoin. Lorsqu'une requête est reçue, le système récupère des informations supplémentaires - telles que les préférences de l'utilisateur, des données historiques ou des relevés de capteurs en temps réel - à partir d'une base de données, les préférences de l'utilisateur, les données historiques ou les d'un graphe de connaissances ou d'une base de données. Ces données sont formatées par programme et ajoutées à la requête originale.

Par exemple, dans le domaine du traitement du langage naturel (NLP), une simple question comme "Quel est le statut ?" est insuffisante pour un modèle. Grâce à l'enrichissement, le système identifie l'identifiant de la session active de l'utilisateur, recherche la dernière transaction dans une base de données vectorielle et réécrit l'invite en : "Quel est le statut de la session ? dans une base de données vectorielle, et réécrit l'invite en : "L'utilisateur (ID : 5521) pose des questions sur la commande n° 998, qui est actuellement en transit. Fournissez une mise à jour de l'état basée sur sur la base de ces données de suivi."

Applications concrètes

L'enrichissement rapide est essentiel pour déployer des applications d'IA générative robustes dans divers secteurs. applications d'IA générative robustes dans divers secteurs d'activité :

1. Assistance à la clientèle en fonction du contexte : Dans les services d'assistance automatisés, un chatbot utilise l'enrichissement pour accéder à l'historique d'achat et à l'environnement d'achat et l'environnement technique d'un client. Au lieu de demander à l'utilisateur la version de son appareil, le système la récupère à partir des métadonnées du compte et l'injecte dans l'invite. à partir des métadonnées du compte et l'injecte dans l'invite. Cela permet à l'agent d'IA l 'agent d'IA de fournir des étapes de dépannage immédiates et spécifiques à l'appareil, ce qui améliore considérablement la qualité du service. de dépannage immédiates et spécifiques à l'appareil, ce qui améliore l 'expérience client.
2. Configuration dynamique de la vision par ordinateur : Dans le cadre d'opérations de sécurité, un utilisateur peut simplement basculer un paramètre de "mode nuit". "mode nuit". En coulisses, l'enrichissement de l'invite traduit cette intention de haut niveau en classes d'objets spécifiques pour un système de vision par ordinateur. classes d'objets spécifiques pour un modèle de langage de vision (VLM) ou un détecteur à vocabulaire ouvert. Le système enrichit l'invite pour rechercher spécifiquement "lampe de poche", "mouvement suspect" ou "personne non autorisée". "mouvement suspect" ou "personne non autorisée", ce qui permet au modèle d'adapter dynamiquement sa détection d'objets de manière dynamique.

Exemple : Enrichissement dynamique des classes avec YOLO

L'exemple Python suivant illustre le concept d'enrichissement rapide en utilisant Ultralytics YOLO. Ici, le simple choix de "mode" d'un utilisateur est enrichi par programme en une liste de classes descriptives spécifiques que le modèle peut utiliser. "d'un utilisateur est programmatiquement enrichi en une liste de classes descriptives spécifiques que le modèle recherche. recherche.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load an open-vocabulary YOLO model
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    # model.predict("site_image.jpg") # Run inference
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


# Example usage
run_enriched_inference("site_safety")

Enrichissement des invites : comparaison avec les concepts connexes

Pour mettre en œuvre des opérations d'apprentissage automatique Machine Learning Operations (MLOps), il est utile de distinguer l'enrichissement rapide des termes similaires :

• Génération améliorée par récupération (RAG): La RAG est une méthode spécifique d'enrichissement. Elle se réfère strictement au mécanisme d'extraction de documents pertinents d'un corpus externe pour fonder la réponse du modèle. d'un corpus externe afin de fonder la réponse du modèle. L'enrichissement est un concept plus large qui inclut la RAG mais aussi l'injection de données statiques de session, de métadonnées d'utilisateur ou de temps système sans nécessairement effectuer une recherche sémantique complexe. complexe.
• Ingénierie rapide: Il s'agit l'art manuel de concevoir des messages-guides efficaces. L'enrichissement est un processus automatisé qui applique les principes d'ingénierie de manière dynamique au moment de l'exécution.
• Prompt Tuning: Il s'agit d'un réglage fin efficace des paramètres (PEFT) où les "invites douces" (tenseurs pouvant être appris) sont optimisées pendant la formation. L'enrichissement des invites se fait entièrement pendant l'inférence l 'inférence en temps réel et ne modifie pas les poids du modèle.
• Apprentissage à quelques coups: Il s'agit de fournir des exemples dans l'invite pour enseigner une tâche au modèle. consiste à fournir des exemples dans l'invite pour enseigner une tâche au modèle. Les systèmes d'enrichissement injectent souvent ces exemples en fonction du type de tâche, ce qui permet de combiner les deux concepts.

Pertinence dans les systèmes d'IA modernes

Comme des modèles tels que Ultralytics YOLO11 et GPT-4 deviennent de plus en plus performants, le goulot d'étranglement se déplace souvent vers la qualité des données. plus performants, le goulot d'étranglement se déplace souvent vers la qualité des données d'entrée. L'enrichissement rapide atténue les les hallucinations dans les LLM en ancrant le modèle dans des données factuelles et fournies. sur des données factuelles et fournies. Dans le domaine de la vision par ordinateur (VA), il permet de créer des systèmes de détection flexibles, systèmes de détection flexibles et sans erreur qui peuvent s'adapter instantanément à de nouveaux environnements sans réentraînement, simplement en modifiant les messages-guides textuels qui sont fournis au système. texte qui alimente le système. Cette flexibilité est cruciale pour construire des solutions d'IA évolutives, multimodales évolutives capables de raisonner sur du texte et des images. texte et des images.