Reinforcement Learning from Human Feedback (RLHF)

L’apprentissage par renforcement à partir de retours humains (RLHF) est une méthode d’entraînement qui améliore un modèle d’IA à partir des évaluations de ses résultats par des personnes, plutôt qu’à l’aide d’un objectif défini à la main. Des évaluateurs humains comparent des paires ou des ensembles de réponses du modèle, un modèle de récompense apprend à prédire quelle réponse ils préféreraient, puis l’apprentissage par renforcement ajuste finement le modèle d’origine afin qu’il produise des réponses bien notées par le modèle de récompense. Le RLHF existe parce que les personnes reconnaissent facilement des qualités comme l’utilité, l’honnêteté et le ton, mais qu’il est presque impossible de les exprimer sous forme de fonction de perte. En 2017, Christiano et al. l’ont utilisé pour apprendre à des agents de nouveaux comportements dans des jeux Atari et des simulateurs robotiques à partir d’environ une heure de comparaisons humaines ; après InstructGPT et ChatGPT d’OpenAI en 2022, il est devenu l’étape finale standard pour les grands modèles de langage (LLM) et d’autres systèmes d’IA générative comme InstructGPT.

Fonctionnement du RLHF#

La méthode classique, décrite dans l’article sur InstructGPT, comporte trois étapes :

1. Ajustement fin supervisé (SFT) : Un modèle de base préentraîné est ajusté finement sur des démonstrations rédigées par des personnes, comme de bonnes réponses à des invites types, ce qui lui apprend le format et le ton attendus.
2. Entraînement du modèle de récompense : Le modèle SFT génère plusieurs réponses par invite, puis des évaluateurs les classent. Les quelque 40 prestataires d’InstructGPT ont classé entre 4 et 9 réponses par invite. Une copie du modèle avec une sortie scalaire unique est entraînée pour attribuer des scores plus élevés aux réponses préférées qu’à celles rejetées.
3. Apprentissage par renforcement : Le modèle SFT devient une politique et est optimisé avec l’optimisation de politique proximale (PPO) afin de maximiser le score du modèle de récompense, auquel on soustrait une pénalité proportionnelle à sa divergence KL par rapport au modèle SFT. Cette pénalité maintient la politique proche du texte fluide vu par le modèle de récompense et l’empêche de dériver vers des résultats étranges que le modèle de récompense aurait tendance à surévaluer.

Le coefficient KL, généralement noté β, détermine jusqu’où la politique peut évoluer. L’objectif régularisé par KL possède un optimum exact : les probabilités de référence repondérées par l’exponentielle de la récompense divisée par β ; cet exemple NumPy le calcule pour quatre réponses candidates :

import numpy as np

# Four candidate responses: probability under the fine-tuned reference model and reward-model score
reference = np.array([0.50, 0.30, 0.15, 0.05])
reward = np.array([0.0, 1.0, 2.0, 4.0])

for beta in [10.0, 1.0, 0.1]:
    # Optimal policy for "maximize expected reward - beta * KL(policy || reference)"
    policy = reference * np.exp(reward / beta)
    policy /= policy.sum()
    kl = (policy * np.log(policy / reference)).sum()
    print(f"beta={beta:>4}: policy={policy.round(2)}, expected reward={policy @ reward:.2f}, KL={kl:.2f}")

Le code affiche une politique [0.46 0.3 0.17 0.07] pour β = 10, presque identique à la référence, et une politique [0. 0. 0. 1.] pour β = 0.1, où toute la probabilité est attribuée à la réponse à laquelle le modèle de référence n’avait accordé que 5 %, pour une divergence KL de 3.00. Un β faible permet d’obtenir le score le plus élevé du modèle de récompense, et si ce modèle surévalue cette réponse rare, la politique a appris à exploiter une erreur plutôt qu’à satisfaire les personnes. L’optimisation directe des préférences (DPO) utilise ce même optimum sous forme fermée pour s’entraîner directement sur des paires de préférences, sans modèle de récompense distinct ni boucle d’apprentissage par renforcement.

Utilisations du RLHF#

• Assistants conversationnels : Les évaluateurs d’InstructGPT ont préféré les résultats de son modèle RLHF de 1,3 milliard de paramètres à ceux de GPT-3, qui en compte 175 milliards. Les modèles de conversation Llama 2 de Meta ont été ajustés à l’aide de deux modèles de récompense distincts, l’un pour l’utilité et l’autre pour la sécurité.
• Résumé automatique : Les modèles de résumé d’OpenAI entraînés en 2020 avec des retours humains ont produit des résumés préférés par les évaluateurs aux résumés de référence rédigés par des humains dans leur jeu de données.
• Génération d’images : Les modèles de récompense entraînés à partir des évaluations humaines d’images générées servent à ajuster finement les modèles de génération d’images à partir de texte, afin qu’ils suivent fidèlement les invites et produisent des images qui plaisent aux personnes.
• Robotique et contrôle : Pour des tâches faciles à évaluer mais difficiles à définir, comme une démarche d’apparence naturelle ou une trajectoire sûre dans une foule, les personnes comparent de courtes vidéos des tentatives du robot plutôt que de rédiger une fonction de récompense.

Les modèles vision-langage des principaux fournisseurs bénéficient du même ajustement des préférences que les chatbots textuels. Dans les agents Ultralytics Platform, un détecteur Ultralytics YOLO26 détermine quelles images nécessitent un examen plus attentif, et l’un de ces modèles de la liste des modèles Platform, comme Google Gemini, suit l’invite du flux de travail pour les décrire.

Limites#

L’étiquetage des données de préférences humaines est lent et coûteux, et les évaluateurs ne sont pas toujours d’accord ; le modèle de récompense apprend donc une moyenne de leurs goûts et de leurs angles morts. Les évaluateurs récompensent aussi les réponses assurées et conciliantes : une étude d’Anthropic portant sur cinq assistants a montré que les données de préférences humaines favorisent les réponses conformes aux opinions exprimées par l’utilisateur, ce qui est l’une des sources de la complaisance de l’IA. Une optimisation trop poussée d’une récompense apprise finit par produire du piratage de récompense, où le score du modèle de récompense continue d’augmenter tandis que la qualité réelle diminue.

Le RLHF et les méthodes connexes#

• Apprentissage par renforcement standard : L’environnement fournit une récompense fixe, comme un score de jeu. Le RLHF apprend la récompense à partir des évaluations humaines, car aucune récompense fixe ne reflète l’objectif.
• Modélisation de la récompense : Le modèle de récompense est un composant du RLHF, le réseau qui transforme les classements humains en un score que l’algorithme d’apprentissage par renforcement peut optimiser.
• IA constitutionnelle : Un modèle d’IA guidé par des principes écrits produit les étiquettes de préférences à la place des personnes ; cette variante s’appelle l’apprentissage par renforcement à partir de retours d’IA (RLAIF).
• Apprentissage par renforcement avec récompenses vérifiables (RLVR) : Un programme vérifie chaque réponse, par exemple un résultat mathématique ou un test unitaire, et fournit la récompense. Le RLVR, généralement associé à l’optimisation de politique relative au groupe (GRPO), entraîne les modèles de raisonnement, et les pipelines modernes de post-entraînement utilisent les deux : des récompenses vérifiables quand un vérificateur existe, et des modèles de récompense de type RLHF pour les invites ouvertes.