Prompt Enrichment

L'enrichissement des prompts est le processus automatisé consistant à augmenter la saisie initiale d'un utilisateur avec un contexte pertinent, des instructions spécifiques ou des données supplémentaires avant de les soumettre à un modèle d'Intelligence Artificielle (IA). Cette technique agit comme une couche intermédiaire intelligente qui optimise l'interaction entre les humains et les machines, garantissant que les Grands Modèles de Langage (LLM) et les systèmes de vision par ordinateur reçoivent des requêtes complètes. En injectant des détails qu'un utilisateur pourrait omettre — tels que des préférences historiques, des données de localisation ou des contraintes techniques — l'enrichissement des prompts améliore considérablement la précision et la personnalisation de la sortie du modèle sans exiger que l'utilisateur soit un expert dans la rédaction d'instructions détaillées.

Link to this sectionLe mécanisme de l'enrichissement#

La fonction première de l'enrichissement des prompts est de combler le fossé entre une intention humaine vague et l'entrée précise et riche en données dont les modèles ont besoin pour une performance optimale. Lorsqu'une requête est reçue, le système l'analyse et récupère les informations contextuelles nécessaires à partir d'un graphe de connaissances ou d'une base de données structurée. Ces données extraites sont formatées par programme et ajoutées au prompt initial.

Par exemple, dans les flux de travail de Traitement du Langage Naturel (NLP), une simple question comme « Quel est le statut ? » est contextuellement insuffisante. Un système d'enrichissement identifie la session active, récupère le dernier numéro de commande à partir d'une base de données transactionnelle, et réécrit le prompt comme suit : « L'utilisateur s'interroge sur la commande n°998, qui est actuellement en transit. Fournis une mise à jour sur l'expédition basée sur ce statut. » Ce processus utilise souvent des bases de données vectorielles pour trouver rapidement un contexte sémantiquement pertinent à injecter.

Link to this sectionApplications concrètes#

L'enrichissement des prompts est essentiel pour déployer des applications d'IA générative robustes dans diverses industries, améliorant à la fois les systèmes basés sur le texte et sur la vision :

1. Support client conscient du contexte : Dans les services d'assistance automatisés, un chatbot utilise l'enrichissement pour accéder à l'historique d'achat et à l'environnement technique d'un client. Au lieu de demander à l'utilisateur sa version d'appareil, le système la récupère à partir des métadonnées du compte et l'injecte dans le prompt. Cela permet à l'agent IA de fournir des étapes de dépannage immédiates et spécifiques à l'appareil, améliorant considérablement l'expérience client.

2. Configuration dynamique de la vision par ordinateur : Dans les opérations de sécurité, un utilisateur peut simplement basculer un paramètre « Mode nuit ». En coulisses, l'enrichissement des prompts traduit cette intention de haut niveau en classes d'objets spécifiques pour un détecteur à vocabulaire ouvert comme YOLO-World. Le système enrichit le prompt pour scanner spécifiquement les « lampe de poche », « mouvement suspect » ou « personne non autorisée », permettant au modèle d'adapter dynamiquement son objectif de détection d'objets.

Link to this sectionExemple : Enrichissement dynamique des classes#

L'exemple Python suivant démontre le concept d'enrichissement des prompts en utilisant le package ultralytics. Ici, l'intention de haut niveau d'un utilisateur est enrichie par programme en une liste de classes descriptives spécifiques que le modèle scanne.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Link to this sectionEnrichissement des prompts vs concepts apparentés#

Pour mettre en œuvre des Opérations d'Apprentissage Automatique (MLOps) efficaces, il est utile de distinguer l'enrichissement des prompts de termes similaires :

• Génération Augmentée par la Récupération (RAG) : Le RAG est une méthode spécifique d'enrichissement. Il se réfère strictement au mécanisme consistant à récupérer des documents pertinents à partir d'un corpus externe pour fonder la réponse du modèle. L'enrichissement est le concept plus large qui inclut le RAG, mais couvre également l'injection de données de session statiques, de métadonnées utilisateur ou de l'heure système sans nécessairement effectuer une recherche sémantique complexe.
• Ingénierie de prompt : Il s'agit de l'art manuel de concevoir des prompts efficaces. L'enrichissement est un processus automatisé qui applique les principes de l'ingénierie de prompt de manière dynamique au moment de l'exécution.
• Réglage de prompt : Il s'agit d'une technique de réglage fin efficace en paramètres (PEFT) où des « prompts souples » (tenseurs apprenables) sont optimisés pendant l'entraînement. L'enrichissement des prompts se produit entièrement pendant l'inférence en temps réel et ne modifie pas les poids du modèle.
• Apprentissage à partir de peu d'exemples (Few-Shot Learning) : Cela implique de fournir des exemples dans le prompt pour enseigner une tâche au modèle. Les systèmes d'enrichissement injectent souvent ces exemples dynamiquement en fonction du type de tâche, combinant ainsi efficacement les deux concepts.

Link to this sectionPertinence dans les systèmes d'IA modernes#

À mesure que des modèles comme Ultralytics YOLO26 et GPT-4 deviennent plus performants, le goulot d'étranglement se déplace souvent vers la qualité de l'entrée. L'enrichissement des prompts atténue les hallucinations dans les LLM en ancrant le modèle dans des données factuelles fournies. En vision par ordinateur (CV), cela permet des systèmes de détection flexibles par apprentissage zéro-shot qui peuvent s'adapter instantanément à de nouveaux environnements sans réentraînement, simplement en modifiant les prompts textuels introduits dans le système. Cette flexibilité est cruciale pour créer des solutions d'IA multimodale évolutives capables de raisonner à la fois sur du texte et des images. Les utilisateurs cherchant à gérer les jeux de données utilisés pour fonder ces systèmes s'appuient souvent sur des outils comme la Plateforme Ultralytics pour organiser et annoter efficacement leurs informations.