Retrieval Augmented Generation (RAG)

La génération augmentée par récupération (RAG) est une technique avancée dans le domaine de l'intelligence artificielle qui optimise la sortie d'un Large Language Model (LLM) en se référant à une base de connaissances faisant autorité en dehors de ses données d'entraînement. Les modèles génératifs traditionnels reposent uniquement sur des informations statiques apprises lors de leur entraînement initial, ce qui peut conduire à des réponses obsolètes ou à des inexactitudes affirmées connues sous le nom d'hallucinations. Le RAG comble cette lacune en récupérant des informations pertinentes et à jour à partir de sources externes (telles que des bases de données d'entreprise, des actualités récentes ou des manuels techniques) et en les transmettant au modèle en tant que contexte avant la génération d'une réponse. Ce processus garantit que les sorties de l'IA sont non seulement linguistiquement cohérentes, mais aussi factuellement précises et ancrées dans des données spécifiques.

Link to this sectionComment fonctionnent les systèmes RAG#

L'architecture d'un système RAG implique généralement deux phases principales : la récupération et la génération. Ce flux de travail permet aux développeurs de maintenir un modèle de fondation sans le besoin coûteux d'un réentraînement fréquent.

1. Récupération : Lorsqu'un utilisateur soumet une requête, le système effectue d'abord une recherche sémantique dans un système de stockage spécialisé appelé base de données vectorielle. Cette base de données contient des données qui ont été converties en représentations numériques appelées embeddings, permettant au système de trouver des informations conceptuellement similaires plutôt que de simplement faire correspondre des mots-clés.

2. Génération : Les documents ou extraits de données pertinents trouvés lors de la récupération sont combinés avec la question originale de l'utilisateur. Ce prompt enrichi est ensuite envoyé au modèle génératif. Le modèle utilise ce contexte fourni pour synthétiser une réponse, garantissant que celle-ci repose sur les faits récupérés. Pour une exploration plus approfondie des mécanismes, IBM propose un guide complet sur les flux de travail RAG.

Link to this sectionRAG visuel : Intégrer la vision par ordinateur#

Alors que le RAG est traditionnellement basé sur le texte, l'essor de l'apprentissage multimodal a introduit le « RAG visuel ». Dans ce scénario, les modèles de vision par ordinateur agissent comme mécanisme de récupération. Ils analysent des images ou des flux vidéo pour extraire des données textuelles structurées (telles que des noms d'objets, des comptes ou des activités), qui sont ensuite injectées dans un LLM pour répondre à des questions sur la scène visuelle.

Par exemple, un développeur peut utiliser YOLO26 pour détecter des objets dans une image et transmettre cette liste d'objets à un modèle textuel pour générer un rapport descriptif.

from ultralytics import YOLO

# Load the YOLO26 model for state-of-the-art detection
model = YOLO("yolo26n.pt")

# Perform inference to 'retrieve' visual facts from an image
results = model("https://ultralytics.com/images/bus.jpg")

# Extract class names to build a text context for an LLM
detected_classes = [model.names[int(c)] for c in results[0].boxes.cls]
context_string = f"The scene contains: {', '.join(detected_classes)}."

print(context_string)
# Output example: "The scene contains: bus, person, person, person."

Link to this sectionApplications concrètes#

Le RAG transforme les industries en permettant aux agents IA d'accéder à des données propriétaires ou en temps réel de manière sécurisée.

• Bases de connaissances d'entreprise : Les entreprises utilisent le RAG pour construire des chatbots internes qui répondent aux questions des employés sur les politiques RH ou la documentation technique. En connectant un LLM à un référentiel de documents en direct, le système évite de fournir des informations obsolètes sur les politiques. Pour en savoir plus sur les implémentations en entreprise, consulte l'aperçu de Google Cloud sur le RAG dans Vertex AI.
• Aide à la décision clinique : Dans le domaine de l'IA en santé, les systèmes RAG peuvent récupérer l'historique des patients et les articles de recherche médicale récents pour aider les médecins dans leur diagnostic, en garantissant que les conseils prennent en compte les études cliniques les plus récentes.
• Assistants de vente au détail intelligents : Les applications utilisant l'IA dans le commerce de détail tirent parti du RAG pour consulter les bases de données d'inventaire en direct. Si un client demande à un chatbot : « Avez-vous ces chaussures de course en taille 44 ? », le modèle récupère les niveaux de stock en temps réel avant de répondre, évitant ainsi la frustration liée aux articles en rupture de stock.

Link to this sectionRAG vs. Fine-tuning#

Il est crucial de distinguer le RAG du fine-tuning, car ils résolvent des problèmes différents.

• RAG (Génération augmentée par récupération) : Idéal pour accéder à des données dynamiques qui changent fréquemment (ex: cours de la bourse, actualités) ou à des données privées non présentes dans l'ensemble d'entraînement public. Il se concentre sur la fourniture de nouvelles informations lors de l'exécution.
• Fine-tuning : Idéal pour adapter le comportement, le style ou la terminologie du modèle. Cela implique la mise à jour des poids du modèle sur un jeu de données spécifique. Bien que le fine-tuning aide un modèle à apprendre un modèle linguistique spécifique (comme le jargon médical), il ne donne pas accès à des faits en temps réel. Consulte le guide d'OpenAI sur le fine-tuning vs. RAG pour découvrir des cadres de prise de décision.

Link to this sectionConcepts associés#

• LangChain : Un framework open-source populaire spécifiquement conçu pour simplifier la création d'applications RAG en chaînant des récupérateurs et des LLM.
• Graphe de connaissances : Une manière structurée de représenter des données qui peut être utilisée comme source de récupération, offrant des relations contextuellement plus riches qu'une simple similarité vectorielle.
• Ingénierie de prompt : L'art de concevoir des entrées pour guider le modèle. Le RAG est essentiellement une forme automatisée d'ingénierie de prompt où le « prompt » est enrichi par des données récupérées de manière programmatique.
• Plateforme Ultralytics : Alors que le RAG gère l'aspect de génération de texte, des plateformes comme celle-ci sont essentielles pour gérer le prétraitement des données et l'entraînement des modèles de vision qui alimentent les pipelines RAG multimodaux.