Prompt Engineering

L'ingénierie de prompts est le processus stratégique consistant à concevoir, affiner et optimiser du texte d'entrée pour guider les modèles d'Intelligence Artificielle (IA) vers la production de résultats précis, pertinents et de haute qualité. Ayant gagné en importance avec l'essor des Grands Modèles de Langage (LLM) comme GPT-4, cette discipline est devenue une compétence critique pour interagir avec des systèmes d'IA générative dans diverses modalités, notamment le texte, l'image et la vidéo. Plutôt que de modifier les poids du modèle sous-jacents par un réentraînement, l'ingénierie de prompts exploite les connaissances existantes du modèle en formulant la tâche d'une manière que le système peut le mieux comprendre, comblant ainsi le fossé entre l'intention humaine et l'exécution par la machine.

Link to this sectionLes mécanismes d'un prompting efficace#

Fondamentalement, l'ingénierie de prompts repose sur la compréhension de la manière dont les modèles de fondation traitent le contexte et les instructions. Un prompt bien construit réduit l'ambiguïté en fournissant des contraintes explicites, des formats de sortie souhaités (tels que JSON ou Markdown), et des informations de contexte pertinentes. Les praticiens avancés utilisent des techniques comme le few-shot learning, où l'utilisateur fournit quelques exemples de paires entrée-sortie dans le prompt pour démontrer le modèle souhaité.

Une autre stratégie puissante est le chain-of-thought prompting, qui encourage le modèle à décomposer des tâches de raisonnement complexes en étapes intermédiaires. Cela améliore considérablement les performances sur les requêtes exigeant beaucoup de logique. De plus, l'optimisation de l'utilisation de la fenêtre de contexte — la limite de la quantité de texte qu'un modèle peut traiter à la fois — est cruciale pour maintenir la cohérence dans les interactions longues. Des ressources externes, telles que le guide d'OpenAI sur la conception de prompts, soulignent l'importance d'un affinement itératif pour traiter efficacement les cas limites.

Link to this sectionPertinence en vision par ordinateur#

Bien qu'elle soit souvent associée au texte, l'ingénierie de prompts est de plus en plus vitale en Vision par Ordinateur (CV). Les modèles multi-modaux modernes et les détecteurs à vocabulaire ouvert, tels que YOLO-World, permettent aux utilisateurs de définir des cibles de détection en utilisant le traitement du langage naturel (NLP) plutôt que des ID de classe numériques prédéfinis.

Dans ce contexte, le « prompt » est une description textuelle de l'objet (par exemple, « personne portant un casque rouge »). Cette capacité, connue sous le nom de zero-shot learning, permet aux systèmes de détecter des objets sur lesquels ils n'ont pas été explicitement entraînés en tirant parti des associations apprises entre les caractéristiques visuelles et les plongements sémantiques. Pour les environnements de production à haute vitesse où les classes sont fixes, les développeurs pourraient éventuellement passer de modèles basés sur des prompts à des modèles efficaces et réentraînés comme YOLO26, mais l'ingénierie de prompts reste la clé du prototypage rapide et de la flexibilité.

Link to this sectionApplications concrètes#

L'ingénierie de prompts crée de la valeur dans diverses industries en permettant une automatisation flexible et intelligente :

• Analyses visuelles dynamiques : Dans l'IA dans le commerce de détail, les responsables de magasin utilisent des modèles de vision basés sur des prompts pour rechercher des articles spécifiques sans intervention technique. Un système peut être invité à suivre les « étagères vides » un jour et les « produits mal placés » le lendemain. Cette flexibilité permet aux entreprises d'adapter immédiatement leurs systèmes de détection d'objets aux tendances saisonnières.
• Création de contenu automatisée : Les équipes marketing s'appuient sur des prompts détaillés pour guider les générateurs de texte vers image comme Stable Diffusion ou Midjourney. En concevant des prompts qui précisent l'éclairage, le style artistique et la composition, les concepteurs peuvent rapidement générer des actifs visuels.
• Récupération de connaissances intelligente : Dans le support client, les ingénieurs conçoivent des « prompts système » qui instruisent les chatbots à répondre aux questions en utilisant uniquement des données d'entreprise vérifiées. C'est un composant clé de la Génération Augmentée par la Récupération (RAG), garantissant que l'IA conserve une personnalité utile tout en évitant les hallucinations dans les LLM.

Link to this sectionImplémentation avec Ultralytics#

L'exemple suivant démontre comment l'ingénierie de prompts est appliquée par programmation en utilisant le package ultralytics. Ici, nous utilisons un modèle YOLO-World qui accepte des prompts textuels pour définir dynamiquement les objets à rechercher, contrairement aux modèles standard comme YOLO26 qui utilisent des listes de classes fixes.

from ultralytics import YOLO

# Load a YOLO-World model capable of interpreting text prompts
model = YOLO("yolov8s-world.pt")

# Apply prompt engineering to define custom classes dynamically
# The model maps these text descriptions to visual features
model.set_classes(["person in safety vest", "forklift", "blue hardhat"])

# Run inference on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results - the model only detects objects matching the prompts
results[0].show()

Link to this sectionDistinguer les concepts apparentés#

Pour déployer efficacement des solutions d'IA via la Plateforme Ultralytics, il est important de distinguer l'ingénierie de prompts des techniques d'optimisation similaires :

• Ingénierie de prompts vs Prompt Tuning : L'ingénierie de prompts implique la création manuelle d'entrées en langage naturel. En revanche, le prompt tuning est une méthode de fine-tuning efficace en termes de paramètres (PEFT) qui apprend des « soft prompts » (plongements vectoriels continus) lors d'une phase d'entraînement. Ces soft prompts sont des optimisations mathématiques invisibles pour l'utilisateur humain.
• Ingénierie de prompts vs Fine-Tuning : Le fine-tuning met à jour de façon permanente les poids d'un modèle en utilisant un jeu de données d'entraînement spécifique pour le spécialiser dans une tâche. L'ingénierie de prompts ne modifie pas le modèle lui-même ; elle optimise uniquement l'entrée lors de l'inférence en temps réel.
• Ingénierie de prompts vs Prompt Injection : Alors que l'ingénierie est constructive, la prompt injection est une faille de sécurité où des entrées malveillantes manipulent le modèle pour qu'il ignore ses contraintes de sécurité. Garantir la Sécurité de l'IA nécessite une défense robuste contre de tels prompts contradictoires.