Chain of Verification (CoVe)

Chain of Verification (CoVe) est une méthode de formulation d'invites qui réduit les hallucinations dans les sorties des grands modèles de langage (LLM) en demandant au modèle de vérifier lui-même son brouillon. Le modèle rédige une première réponse, prépare de courtes questions de vérification pour examiner chaque affirmation factuelle, répond à ces questions indépendamment du brouillon, puis rédige une réponse finale qui ne conserve que les affirmations étayées par la vérification. Shehzaad Dhuliawala et ses collègues de Meta AI ont présenté cette méthode dans l'article de 2023 Chain-of-Verification Reduces Hallucination in Large Language Models. Elle fonctionne parce que les modèles répondent plus précisément à des questions courtes et ciblées qu'ils n'énoncent les mêmes faits dans une longue réponse : dans les expériences de l'article portant sur des questions avec listes, seulement environ 17 % des entités citées par Llama 65B étaient correctes, alors que le même modèle répondait correctement à environ 70 % des questions de vérification individuelles.

Fonctionnement de Chain of Verification#

CoVe comporte quatre étapes réalisées par le même modèle :

1. Rédiger une réponse de base : le modèle répond normalement à la requête. Invité à nommer des personnalités politiques nées à New York, il pourrait citer Hillary Clinton, Donald Trump et Michael Bloomberg.
2. Préparer les questions de vérification : le modèle lit son brouillon et rédige une question pour chaque affirmation vérifiable, par exemple « Où Hillary Clinton est-elle née ? » et « Où Michael Bloomberg est-il né ? »
3. Répondre à chaque question indépendamment : le modèle répond aux questions dans de nouvelles invites qui ne contiennent pas le brouillon, afin qu'il ne puisse pas simplement répéter son erreur précédente. Clinton est née à Chicago et Bloomberg à Boston, tandis que Trump est né dans le Queens.
4. Rédiger la réponse finale révisée : le modèle révise le brouillon à la lumière des réponses, en supprimant ou en corrigeant chaque affirmation non vérifiée ; il ne reste ici que Trump dans la liste.

La façon dont la troisième étape isole chaque question est importante. L'article a comparé quatre variantes : la variante conjointe, où la planification et les réponses se font dans une seule invite qui contient toujours le brouillon ; la variante en deux étapes, qui répond à toutes les questions dans une deuxième invite sans le brouillon ; la variante factorisée, qui répond à chaque question dans sa propre invite ; et la variante factorisée avec révision, qui vérifie explicitement chaque réponse par rapport à l'affirmation d'origine. Toutes les variantes qui excluaient le brouillon des invites de vérification produisaient moins d'hallucinations que la variante conjointe, car un modèle qui peut consulter son propre brouillon tend à répéter ses erreurs.

Résultats#

Avec Llama 65B, CoVe a fait passer la précision sur les questions portant sur des listes de Wikidata de 0,17 à 0,36 et le score F1 sur le benchmark MultiSpanQA sans accès aux documents de 0,39 à 0,48. Pour les biographies longues, la variante factor+revise a fait passer le FActScore, soit le pourcentage de faits atomiques étayés par Wikipédia, de 55,9 à 71,4, dépassant ainsi les scores de 58,7 attribué à ChatGPT et de 61,6 attribué à PerplexityAI, qui s’appuie sur la recherche d’informations. Ces gains ont un coût en latence d’inférence : les variantes factorisées nécessitent un appel supplémentaire au modèle pour chaque question de vérification.

CoVe et les techniques apparentées#

• Incitation par chaîne de raisonnement : demande au modèle de raisonner étape par étape avant de répondre, ce qui l’aide en logique et en mathématiques. CoVe vérifie les affirmations factuelles une fois le brouillon rédigé.
• Génération augmentée par récupération (RAG) : ancre la réponse dans des documents récupérés dès le départ. CoVe dans sa version originale s’appuie uniquement sur les connaissances du modèle, et les deux techniques se combinent naturellement lorsque les questions de vérification trouvent réponse dans un moteur de recherche ou un index documentaire.
• Entropie sémantique : détecte les hallucinations probables en échantillonnant plusieurs réponses et en mesurant à quel point leurs significations divergent. CoVe va plus loin et corrige la réponse.
• Débat entre IA : deux modèles défendent des positions opposées afin qu’un arbitre puisse repérer les erreurs. CoVe est un modèle unique qui se vérifie lui-même, sans adversaire.

Vérifier les affirmations à l’aide d’outils#

Les réponses aux questions de vérification ne doivent pas nécessairement provenir de la mémoire du modèle. Les pipelines les dirigent vers des outils qui contiennent les informations de référence : un moteur de recherche pour les faits publics, une base de données vectorielle de documents d’entreprise ou un modèle de vision pour les affirmations portant sur une image. Lorsqu’un modèle vision-langage rédige une légende d’image, un modèle Ultralytics YOLO26 de détection d’objets peut répondre à chaque question « combien » à partir de la légende, indépendamment du brouillon :

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

Chaque ligne affichée correspond à une question de vérification et présente l’affirmation du brouillon, la réponse indépendante du détecteur et la décision appliquée à la légende finale.

Applications concrètes#

• Santé : les assistants qui résument la littérature médicale vérifient les noms de médicaments, les posologies et les interactions au moyen de questions distinctes, avant qu’un clinicien consulte le résumé.
• Questions-réponses : les assistants de recherche et d’aide vérifient les réponses sous forme de listes, les dates et les faits biographiques, c’est-à-dire les types d’affirmations pour lesquels l’article a mesuré les gains les plus importants.
• Rapports de fabrication : un LLM qui rédige un rapport de poste vérifie chaque défaut mentionné en le comparant aux journaux du système d’inspection avant le dépôt du rapport.
• Traitement de documents : les valeurs extraites de contrats ou de factures sont demandées à nouveau, un champ à la fois, puis comparées à la première extraction.

Limites#

CoVe repère les erreurs que le modèle commet de manière inconstante, mais ne peut pas déceler une croyance erronée qu’il conserve dans tous les contextes, puisque la réponse indépendante reproduit la même erreur. CoVe vérifie les affirmations factuelles, mais ne corrige pas les raisonnements défaillants entre des faits exacts, et multiplie le nombre d’appels au modèle par réponse. Même la meilleure variante de l’article a laissé sans fondement 28,6 % des faits atomiques de ses biographies, soit le complément de son FActScore de 71,4.