Enrichissement des invites

L'enrichissement instantané est le processus automatisé qui consiste à compléter les données initiales saisies par un utilisateur avec des informations contextuelles pertinentes, des instructions spécifiques ou des données supplémentaires avant de les soumettre à un modèle d'intelligence artificielle (IA). Cette technique agit comme une couche intermédiaire intelligente qui optimise l'interaction entre les humains et les machines, en garantissant que les grands modèles linguistiques (LLM) et les systèmes de vision par ordinateur reçoivent des requêtes complètes. En injectant des détails que l'utilisateur pourrait omettre, tels que ses préférences historiques, ses données de localisation ou ses contraintes techniques, l'enrichissement des invites améliore considérablement la précision et la personnalisation des résultats du modèle sans exiger de l'utilisateur qu'il soit un expert dans la rédaction d'instructions détaillées.

Le mécanisme d'enrichissement

La fonction principale de l'enrichissement des invites consiste à combler le fossé entre une intention humaine vague et les données précises et riches dont les modèles ont besoin pour fonctionner de manière optimale. Lorsqu'une requête est reçue, le système l'analyse et récupère les informations de base nécessaires à partir d'un graphe de connaissances ou d'une base de données structurée. Ces données récupérées sont formatées de manière programmatique et ajoutées à l'invite d'origine.

Par exemple, dans les flux de travail de traitement du langage naturel (NLP) , une question simple telle que « Quel est le statut ? » est insuffisante d'un point de vue contextuel. Un système d'enrichissement identifie la session active, récupère le dernier numéro de commande dans une base de données transactionnelle et réécrit l'invite comme suit : « L'utilisateur pose une question sur la commande n° 998, qui est actuellement en cours d'acheminement. Fournissez une mise à jour de l'expédition en fonction de ce statut. » Ce processus utilise souvent des bases de données vectorielles pour trouver rapidement un contexte sémantiquement pertinent à injecter.

Applications concrètes

L'enrichissement rapide est essentiel pour déployer des applications d'IA générative robustes dans divers secteurs, améliorant à la fois les systèmes basés sur le texte et ceux basés sur la vision :

1. Assistance client contextuelle : dans les services d'assistance automatisés, un chatbot utilise l'enrichissement pour accéder à l'historique des achats et à l'environnement technique d'un client. Au lieu de demander à l'utilisateur la version de son appareil, le système récupère cette information à partir des métadonnées du compte et l'insère dans l'invite. Cela permet à l' agent IA de fournir immédiatement des étapes de dépannage spécifiques à l'appareil , améliorant ainsi considérablement l' expérience client.
2. Configuration dynamique de la vision par ordinateur : dans le cadre d'opérations de sécurité, un utilisateur peut simplement activer le paramètre « Mode nuit ». En arrière-plan, l'enrichissement rapide traduit cette intention de haut niveau en classes d'objets spécifiques pour un détecteur à vocabulaire ouvert tel que YOLO. Le système enrichit l'invite afin de rechercher spécifiquement « lampe torche », « mouvement suspect » ou « personne non autorisée », permettant ainsi au modèle d'adapter dynamiquement son champ de détection d'objets.

Exemple : Enrichissement dynamique des classes

Le texte suivant Python Cet exemple illustre le concept d'enrichissement rapide à l'aide de la ultralytics paquet. Ici, l'intention générale d'un utilisateur est enrichie par programmation en une liste de classes descriptives spécifiques que le modèle analyse.

from ultralytics import YOLO


def run_enriched_inference(user_mode):
    """Enriches a simple user mode into specific detection prompts."""
    # Load a YOLO-World model capable of open-vocabulary detection
    model = YOLO("yolov8s-world.pt")

    # Enrichment Logic: Map simple user intent to detailed class prompts
    context_map = {
        "site_safety": ["hard hat", "safety vest", "gloves"],
        "traffic": ["car", "bus", "traffic light", "pedestrian"],
    }

    # Inject the enriched context into the model
    enriched_classes = context_map.get(user_mode, ["object"])
    model.set_classes(enriched_classes)

    # The model now looks for the specific enriched terms
    print(f"Mode: {user_mode} -> Enriched Prompt: {enriched_classes}")


run_enriched_inference("site_safety")

Enrichissement des invites : comparaison avec les concepts connexes

Pour mettre en œuvre des opérations d'apprentissage automatique Machine Learning Operations (MLOps), il est utile de distinguer l'enrichissement rapide des termes similaires :

• Génération augmentée par la récupération (RAG): La RAG est une méthode spécifique d'enrichissement. Elle fait strictement référence au mécanisme de récupération de documents pertinents à partir d'un corpus externe afin d'étayer la réponse du modèle. L'enrichissement est un concept plus large qui inclut la RAG, mais qui couvre également l'injection de données de session statiques, de métadonnées utilisateur ou d'heure système sans nécessairement effectuer une recherche sémantique complexe.
• Ingénierie rapide: Il s'agit l'art manuel de concevoir des messages-guides efficaces. L'enrichissement est un processus automatisé qui applique les principes d'ingénierie de manière dynamique au moment de l'exécution.
• Prompt Tuning: Il s'agit d'un réglage fin efficace des paramètres (PEFT) où les "invites douces" (tenseurs pouvant être appris) sont optimisées pendant la formation. L'enrichissement des invites se fait entièrement pendant l'inférence l 'inférence en temps réel et ne modifie pas les poids du modèle.
• Apprentissage à quelques coups: Il s'agit de fournir des exemples dans l'invite pour enseigner une tâche au modèle. consiste à fournir des exemples dans l'invite pour enseigner une tâche au modèle. Les systèmes d'enrichissement injectent souvent ces exemples en fonction du type de tâche, ce qui permet de combiner les deux concepts.

Pertinence dans les systèmes d'IA modernes

À mesure que des modèles tels que Ultralytics et GPT-4 deviennent plus performants, le goulot d'étranglement se déplace souvent vers la qualité des données d'entrée. L'enrichissement des invites atténue les hallucinations dans les LLM en ancrant le modèle dans des données factuelles fournies. Dans le domaine de la vision par ordinateur (CV), cela permet de disposer de systèmes de détection flexibles, sans apprentissage préalable, capables de s'adapter instantanément à de nouveaux environnements sans nécessiter de réentraînement, simplement en modifiant les invites textuelles fournies au système. Cette flexibilité est cruciale pour créer des solutions d'IA multimodales et évolutives, capables de raisonner à la fois sur du texte et des images. Les utilisateurs qui cherchent à gérer les ensembles de données utilisés pour ancrer ces systèmes s'appuient souvent sur des outils tels que la Ultralytics pour organiser et annoter efficacement leurs informations .