Améliorer les applications d’IA grâce à la RAG et à la vision par ordinateur

Utiliser des outils d’IA comme ChatGPT ou Gemini devient rapidement une façon courante de trouver des informations. Que tu rédiges un message, résumes un document ou répondes à une question, ces outils proposent souvent une solution plus rapide et plus simple.

Mais si tu as utilisé des grands modèles de langage (LLMs) à quelques reprises, tu as probablement remarqué leurs limites. Face à des questions très spécifiques ou liées à l’actualité, ils peuvent fournir des réponses incorrectes, souvent avec assurance.

Cela s’explique par le fait que les LLM autonomes s’appuient uniquement sur les données utilisées pour leur entraînement. Ils n’ont pas accès aux dernières informations ni à des connaissances spécialisées extérieures à ce jeu de données. Leurs réponses peuvent donc être obsolètes ou inexactes.

Pour résoudre ce problème, les chercheurs ont mis au point une méthode appelée génération augmentée par récupération (RAG). La RAG améliore les modèles de langage en leur permettant de récupérer des informations récentes et pertinentes auprès de sources fiables lorsqu’ils répondent à des questions.

Dans cet article, nous verrons comment fonctionne la RAG et comment elle améliore les outils d’IA en récupérant des informations pertinentes et à jour. Nous examinerons également son association avec la vision par ordinateur, un domaine de l’intelligence artificielle consacré à l’interprétation des données visuelles, afin d’aider les systèmes à comprendre non seulement le texte, mais aussi les images, les mises en page et les documents visuellement complexes.

Comprendre la génération augmentée par récupération (RAG)#

Lorsque nous posons une question à un chatbot d’IA, nous attendons généralement plus qu’une réponse qui semble convaincante. Idéalement, une bonne réponse doit être claire, exacte et réellement utile. Pour y parvenir, le modèle d’IA a besoin de plus que de compétences linguistiques : il doit aussi accéder aux bonnes informations, surtout lorsqu’il s’agit de sujets précis ou d’actualité.

La RAG est une technique qui aide à combler cet écart. Elle associe la capacité du modèle de langage à comprendre et à générer du texte à la possibilité de récupérer des informations pertinentes depuis des sources externes. Au lieu de s’appuyer uniquement sur ses données d’entraînement, le modèle récupère activement du contenu pertinent dans des bases de connaissances fiables pendant qu’il formule sa réponse.

Fig. 1. Principaux cas d’usage de la RAG. Image de l’auteur.

Imagine que tu poses une question à quelqu’un qui consulte une source de référence fiable avant de répondre. La réponse reste formulée avec ses propres mots, mais elle s’appuie sur les informations les plus pertinentes et les plus récentes.

Cette approche aide les LLM à fournir des réponses plus complètes, exactes et adaptées à la question de l’utilisateur, ce qui les rend bien plus fiables dans les applications du monde réel où la précision compte vraiment.

Comprendre le fonctionnement de la RAG#

La RAG améliore les réponses d’un grand modèle de langage en introduisant deux étapes clés : la récupération et la génération. D’abord, elle récupère des informations pertinentes dans une base de connaissances externe. Ensuite, elle utilise ces informations pour générer une réponse bien formulée et adaptée au contexte.

Examinons un exemple simple pour comprendre le fonctionnement de ce processus. Imagine que tu utilises un assistant d’IA pour gérer tes finances personnelles et que tu veuilles vérifier si tu as respecté ton objectif de dépenses du mois.

Le processus commence lorsque tu poses à l’assistant une question comme : « Ai-je respecté mon budget ce mois-ci ? » Au lieu de s’appuyer uniquement sur ce qu’il a appris pendant son entraînement, le système utilise un mécanisme de récupération pour parcourir tes documents financiers les plus récents (comme des relevés bancaires ou des récapitulatifs de transactions). Il cherche à comprendre l’intention de ta question et rassemble les informations les plus pertinentes.

Une fois ces informations récupérées, le modèle de langage prend le relais. Il traite à la fois ta question et les données extraites de tes documents pour générer une réponse claire et utile. Au lieu de lister des données brutes, la réponse résume tes dépenses et te fournit une analyse directe et pertinente, par exemple en confirmant si tu as atteint ton objectif et en indiquant les principaux postes de dépenses.

Cette approche aide le LLM à fournir des réponses non seulement exactes, mais aussi fondées sur tes informations réelles et à jour. L’expérience est ainsi bien plus utile qu’avec un modèle qui ne s’appuie que sur des données d’entraînement statiques.

Fig. 2. Comprendre le fonctionnement de la RAG.

Pourquoi les systèmes RAG multimodaux sont nécessaires#

Les informations ne sont pas toujours présentées sous forme de texte brut. Des examens médicaux et schémas aux diapositives de présentation et aux documents numérisés, les éléments visuels contiennent souvent des détails importants. Les LLM traditionnels, principalement conçus pour lire et comprendre du texte, peuvent avoir du mal à traiter ce type de contenu.

Cependant, le RAG peut être associé à la vision par ordinateur pour combler cette lacune. Combinés, les deux forment ce qu’on appelle un système de RAG multimodal, capable de traiter à la fois du texte et des éléments visuels, ce qui aide les chatbots d’IA à fournir des réponses plus exactes et plus complètes.

Au cœur de cette approche se trouvent les modèles vision-langage (VLMs), conçus pour traiter et interpréter ces deux types d’entrées. Dans cette configuration, la RAG récupère les informations les plus pertinentes à partir de grandes sources de données, tandis que le VLM, grâce à la vision par ordinateur, interprète les images, les mises en page et les schémas.

Cette approche est particulièrement utile pour les documents du monde réel, comme les formulaires numérisés, les rapports médicaux ou les diapositives de présentation, dans lesquels des détails essentiels peuvent se trouver aussi bien dans le texte que dans les éléments visuels. Par exemple, lorsqu’un document comprend des images, des tableaux et des paragraphes, un système multimodal peut extraire les éléments visuels, générer un résumé de leur contenu et le combiner avec le texte environnant pour fournir une réponse plus complète et utile.

Fig. 3. La RAG multimodale utilise des images et du texte pour fournir de meilleures réponses.

Applications de la RAG aux données visuelles#

Maintenant que nous avons vu ce qu’est la RAG et comment elle fonctionne avec la vision par ordinateur, examinons quelques exemples concrets et projets de recherche qui montrent comment cette approche est utilisée.

Comprendre les documents visuels avec VisRAG#

Imagine que tu cherches à tirer des enseignements d’un rapport financier ou d’un document juridique numérisé. Ces fichiers contiennent souvent non seulement du texte, mais aussi des tableaux, des graphiques et des mises en page qui aident à expliquer les informations. Un modèle de langage classique risque de négliger ou de mal interpréter ces éléments visuels, ce qui peut entraîner des réponses incomplètes ou inexactes.

VisRAG a été créé par des chercheurs pour relever ce défi. Il s’agit d’un pipeline RAG basé sur un VLM qui traite chaque page comme une image plutôt que de se limiter au texte. Le système peut ainsi comprendre à la fois le contenu et sa structure visuelle. Il peut donc repérer les éléments les plus pertinents et fournir des réponses plus claires et exactes, fondées sur l’ensemble du contexte du document.

Fig. 4. VisRAG peut lire les documents comme des images pour en saisir le contenu textuel et la mise en page.

Répondre à des questions visuelles avec la RAG#

La réponse à des questions visuelles (VQA) est une tâche dans laquelle un système d’IA répond à des questions sur des images. De nombreux systèmes VQA existants se concentrent sur les réponses à des questions portant sur un seul document, sans avoir besoin de rechercher des informations supplémentaires : on parle alors de cadre fermé.

VDocRAG est un framework RAG qui adopte une approche plus réaliste. Il associe la VQA à la capacité de récupérer d’abord les documents pertinents. Cette approche est utile dans des situations réelles où la question d’un utilisateur peut concerner l’un de nombreux documents et où le système doit trouver le bon avant de répondre. Pour cela, VDocRAG utilise des VLM afin d’analyser les documents sous forme d’images, tout en préservant leur texte et leur structure visuelle.

VDocRAG est ainsi particulièrement utile dans des applications comme la recherche en entreprise, l’automatisation documentaire et le support client. Il peut aider les équipes à extraire rapidement des réponses de documents complexes à la mise en page visuelle élaborée, comme des manuels ou des documents de politique interne, pour lesquels comprendre la mise en page est aussi important que lire le texte.

Fig. 5. Différence entre VDocRAG et les solutions basées sur les LLM.

Améliorer le légendage d’images avec la RAG#

Le légendage d’images consiste à générer une description écrite de ce qui se passe dans une image. Il est utilisé dans diverses applications, qu’il s’agisse de rendre les contenus en ligne plus accessibles, d’alimenter la recherche d’images ou de soutenir la modération et les systèmes de recommandation de contenu.

Cependant, les modèles d’IA ne génèrent pas toujours facilement des légendes exactes. C’est particulièrement difficile lorsque l’image montre quelque chose de différent de ce sur quoi le modèle a été entraîné. De nombreux systèmes de légendage s’appuient fortement sur les données d’entraînement. Face à des scènes inconnues, leurs légendes peuvent donc être vagues ou inexactes.

Pour relever ce défi, les chercheurs ont mis au point Re-ViLM, une méthode qui intègre la génération augmentée par récupération (RAG) au légendage d’images. Au lieu de générer une légende de toutes pièces, Re-ViLM récupère dans une base de données des paires image-texte similaires et les utilise pour guider la génération de la légende.

Cette approche fondée sur la récupération aide le modèle à ancrer ses descriptions dans des exemples pertinents, améliorant ainsi leur exactitude et leur fluidité. Les premiers résultats montrent que Re-ViLM génère des légendes plus naturelles et adaptées au contexte en s’appuyant sur des exemples réels, ce qui réduit le risque de descriptions vagues ou inexactes.

Fig. 6. Re-ViLM améliore les légendes d’images en récupérant des exemples visuels et textuels.

Avantages et inconvénients de la RAG pour comprendre les données visuelles#

Voici un aperçu rapide des avantages de l’application des techniques de génération augmentée par récupération pour récupérer et exploiter des informations visuelles :

• Capacités de résumé améliorées : Les résumés peuvent intégrer des informations tirées des éléments visuels (comme les tendances d’un graphique ou les éléments d’une infographie), et pas seulement du texte.
• Recherche et récupération plus robustes : Les étapes de récupération peuvent repérer des pages visuelles pertinentes même lorsque les mots-clés ne figurent pas dans le texte, grâce à la compréhension des images.
• Prise en charge des documents numérisés, manuscrits ou sous forme d’images : Les pipelines RAG utilisant des VLM peuvent traiter du contenu illisible pour les modèles qui ne traitent que du texte.

Malgré ces avantages, quelques limites sont encore à garder à l’esprit lorsque tu utilises la RAG pour traiter des données visuelles. En voici quelques-unes parmi les principales :

• Besoins élevés en calcul : L’analyse simultanée d’images et de texte nécessite plus de mémoire et de puissance de traitement, ce qui peut ralentir les performances ou augmenter les coûts.
• Préoccupations liées à la confidentialité des données et à la sécurité : Les documents visuels, en particulier dans des secteurs comme la santé ou la finance, peuvent contenir des informations sensibles qui compliquent les workflows de récupération et de traitement.
• Temps d’inférence plus longs : Le traitement visuel ajoutant de la complexité, la génération de réponses peut prendre plus de temps que dans les systèmes qui traitent uniquement du texte.

Points clés à retenir#

La génération augmentée par récupération améliore les réponses des grands modèles de langage en leur permettant de récupérer des informations pertinentes et à jour auprès de sources externes. Associés à la vision par ordinateur, ces systèmes peuvent traiter non seulement du texte, mais aussi des contenus visuels comme des graphiques, des tableaux, des images et des documents numérisés, pour produire des réponses plus exactes et plus complètes.

Cette approche rend les LLM mieux adaptés aux tâches du monde réel qui impliquent des documents complexes. En combinant la récupération et la compréhension visuelle, ces modèles peuvent interpréter plus efficacement divers formats et fournir des informations plus utiles dans des contextes pratiques du quotidien.

Rejoins notre communauté en pleine expansion ! Explore notre dépôt GitHub pour approfondir tes connaissances en IA. Prêt à te lancer dans tes propres projets de vision par ordinateur ? Découvre nos options de licence. Consulte nos pages de solutions pour en savoir plus sur l’IA dans le secteur de la santé et la vision par ordinateur dans le commerce de détail !