Prompt Enrichment

L’enrichissement des prompts est le processus automatisé qui consiste à compléter la saisie initiale d’un utilisateur avec un contexte pertinent, des instructions spécifiques ou des données supplémentaires avant de la transmettre à un modèle d’intelligence artificielle (AI). Cette technique agit comme une couche intergicielle intelligente qui optimise l’interaction entre les humains et les machines, en veillant à ce que les grands modèles de langage (LLMs) et les systèmes de vision par ordinateur reçoivent des requêtes exhaustives. En injectant des détails qu’un utilisateur pourrait omettre — comme ses préférences historiques, ses données de localisation ou ses contraintes techniques — l’enrichissement des prompts améliore considérablement l’exactitude et la personnalisation des résultats du modèle, sans exiger de l’utilisateur qu’il soit expert dans la rédaction d’instructions détaillées.

Le mécanisme d’enrichissement#

La fonction fondamentale de l’enrichissement des prompts est de combler l’écart entre une intention humaine vague et l’entrée précise et riche en données dont les modèles ont besoin pour offrir des performances optimales. Lorsqu’une requête est reçue, le système l’analyse et récupère les informations contextuelles nécessaires depuis un graphe de connaissances ou une base de données structurée. Ces données récupérées sont mises en forme par programmation et ajoutées au prompt d’origine.

Par exemple, dans les workflows de traitement automatique du langage (NLP), une question simple comme « Quel est le statut ? » est insuffisante sur le plan contextuel. Un système d’enrichissement identifie la session active, récupère le dernier numéro de commande depuis une base de données transactionnelle, puis réécrit le prompt ainsi : « L’utilisateur demande des informations sur la commande n° 998, qui est actuellement en transit. Fournis une mise à jour de l’expédition en fonction de ce statut. » Ce processus utilise souvent des bases de données vectorielles pour trouver rapidement le contexte sémantiquement pertinent à injecter.

Applications concrètes#

L’enrichissement des prompts est essentiel au déploiement d’applications robustes d’IA générative dans divers secteurs, en améliorant à la fois les systèmes fondés sur le texte et ceux fondés sur la vision :

1. Support client contextuel : dans les services d’assistance automatisés, un chatbot utilise l’enrichissement pour accéder à l’historique des achats d’un client et à son environnement technique. Au lieu de demander à l’utilisateur la version de son appareil, le système récupère cette information dans les métadonnées du compte et l’injecte dans le prompt. Cela permet à l’agent IA de fournir immédiatement des étapes de dépannage adaptées à l’appareil, améliorant considérablement l’expérience client.

2. Configuration dynamique de la vision par ordinateur : dans les opérations de sécurité, un utilisateur peut simplement activer un réglage « Mode nuit ». En arrière-plan, l’enrichissement des prompts traduit cette intention de haut niveau en classes d’objets spécifiques pour un détecteur à vocabulaire ouvert comme YOLO-World. Le système enrichit le prompt afin de rechercher spécifiquement une « lampe torche », un « mouvement suspect » ou une « personne non autorisée », ce qui permet au modèle d’adapter dynamiquement son objectif de détection d’objets.

Exemple : enrichissement dynamique des classes#

L’exemple suivant en Python illustre le concept d’enrichissement des prompts à l’aide du package ultralytics. Ici, l’intention de haut niveau d’un utilisateur est enrichie par programmation pour produire une liste de classes descriptives spécifiques que le modèle recherche.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Enrichissement des prompts et concepts associés#

Pour mettre en œuvre efficacement les opérations de machine learning (MLOps), il est utile de distinguer l’enrichissement des prompts des termes similaires :

• Génération augmentée par récupération (RAG) : RAG est une méthode d’enrichissement spécifique. Ce terme désigne strictement le mécanisme qui consiste à récupérer des documents pertinents dans un corpus externe afin d’ancrer la réponse du modèle. L’enrichissement est un concept plus large qui inclut RAG, mais qui couvre également l’injection de données de session statiques, de métadonnées utilisateur ou de l’heure système, sans nécessairement effectuer une recherche sémantique complexe.
• Ingénierie des prompts : il s’agit de la conception manuelle de prompts efficaces. L’enrichissement est un processus automatisé qui applique dynamiquement les principes de l’ingénierie des prompts lors de l’exécution.
• Réglage des prompts : il s’agit d’une technique d’ajustement fin économe en paramètres (PEFT) dans laquelle des « prompts souples » (des tenseurs apprenables) sont optimisés pendant l’entraînement. L’enrichissement des prompts se produit entièrement lors de l’inférence en temps réel et ne modifie pas les poids du modèle.
• Apprentissage few-shot : cette approche consiste à fournir des exemples dans le prompt pour enseigner une tâche au modèle. Les systèmes d’enrichissement injectent souvent ces exemples few-shot dynamiquement en fonction du type de tâche, combinant ainsi efficacement les deux concepts.

Pertinence dans les systèmes d’IA modernes#

À mesure que des modèles comme Ultralytics YOLO26 et GPT-4 deviennent plus performants, le goulot d’étranglement se déplace souvent vers la qualité des entrées. L’enrichissement des prompts réduit les hallucinations des LLMs en ancrant le modèle dans des données factuelles fournies. En vision par ordinateur (CV), il permet de créer des systèmes flexibles de détection par apprentissage zero-shot capables de s’adapter instantanément à de nouveaux environnements sans réentraînement, simplement en modifiant les prompts textuels transmis au système. Cette flexibilité est essentielle pour créer des solutions d’IA multimodale évolutives capables de raisonner à la fois sur du texte et des images. Les utilisateurs qui souhaitent gérer les jeux de données utilisés pour ancrer ces systèmes s’appuient souvent sur des outils comme l’Ultralytics Platform afin d’organiser et d’annoter efficacement leurs informations.