Steering Vectors

Un vecteur de pilotage est une direction dans l’espace d’activation d’un réseau neuronal correspondant à un concept ou à un comportement, comme un sentiment positif, un refus ou la flatterie. Ajouter une copie redimensionnée du vecteur aux activations cachées du réseau lors de la passe avant oriente la sortie vers ce comportement ; le soustraire l’en éloigne, tandis que les poids du modèle restent inchangés. Cette technique relève de l’ingénierie des activations et s’applique principalement aux grands modèles de langage (LLM), car elle repose sur l’observation que de nombreux concepts de haut niveau sont représentés par des directions approximativement linéaires dans le flux résiduel, la somme cumulative des activations que chaque couche de transformer lit et met à jour.

Construction et application des vecteurs de pilotage#

La méthode la plus courante consiste à calculer une différence de moyennes. Les chercheurs font passer dans le modèle des paires d’entrées contrastées, dont l’une manifeste le comportement et l’autre non, enregistrent les activations d’une couche choisie, puis calculent la moyenne des différences. Présentée par Alexander Matt Turner et ses collègues en 2023, Activation Addition (ActAdd) a montré qu’une seule paire, comme « Love » et « Hate », pouvait orienter le sentiment de GPT-2-XL. Contrastive Activation Addition (CAA) calcule la moyenne de nombreuses paires à choix multiples pour orienter Llama 2 Chat vers des comportements tels que la complaisance, les hallucinations et le refus, ou l’en éloigner ; le vecteur est ajouté à chaque position de token après l’invite de l’utilisateur. Les directions peuvent aussi provenir de sondes linéaires, des composantes principales des différences ou des caractéristiques d’un autoencodeur parcimonieux.

Lors de l’inférence, un hook ajoute le produit du coefficient par le vecteur à la sortie de la couche choisie. Les couches intermédiaires donnent généralement les meilleurs résultats de pilotage, et le coefficient en détermine l’intensité : trop faible, il n’a aucun effet visible ; trop élevé, il dégrade le texte en répétitions ou en absurdités.

L’expérience ActAdd tient en quelques lignes de PyTorch avec GPT-2, le modèle de 124 millions de paramètres de Hugging Face Transformers. Un hook de passe avant ajoute le vecteur « Love » moins « Hate » à la sortie du bloc 6 pendant que le modèle complète une invite hostile :

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
layer = 6


def activation(text):
    """Return the last token's activation at the output of the steering layer."""
    with torch.no_grad():
        outputs = model(**tokenizer(text, return_tensors="pt"), output_hidden_states=True)
    return outputs.hidden_states[layer + 1][0, -1]


# Steering vector: activation difference between a contrastive pair of prompts
steering_vector = activation(" Love") - activation(" Hate")
prompt = tokenizer("I hate you because", return_tensors="pt")

for coeff in [0.0, 1.0]:
    # Add the scaled vector to the layer's output at every position while generating
    hook = model.transformer.h[layer].register_forward_hook(
        lambda module, args, output: output + coeff * steering_vector
    )
    tokens = model.generate(**prompt, max_new_tokens=16, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    hook.remove()
    print(f"coeff={coeff}: {tokenizer.decode(tokens[0])}")

Sans pilotage, le modèle poursuit avec « I hate you because I hate you. I hate you because I hate you. » Avec le vecteur ajouté à un coefficient de 1,0, le même décodage glouton poursuit avec « I hate you because you are a good person. I love you. I love you. » Les poids sont identiques dans les deux exécutions ; seules les activations d’une couche ont changé.

Vecteurs de pilotage et concepts apparentés#

• Vecteurs de tâche : différence entre les poids ajustés et les poids d’origine, ajoutée à un modèle pour lui transférer une compétence. Les vecteurs de tâche modifient les poids une fois, tandis que les vecteurs de pilotage modifient les activations à chaque passe avant.
• Ingénierie des représentations (RepE) : approche plus générale qui consiste à lire et contrôler un modèle à travers ses représentations internes. Les vecteurs de pilotage en sont le principal outil de contrôle.
• Ingénierie des invites : oriente le comportement par le texte d’entrée. Le pilotage agit sur les activations internes ; il nécessite donc l’accès à l’intérieur du modèle et ne fonctionne qu’avec des modèles à poids ouverts ou les systèmes propres au fournisseur.
• Réglage fin : modifie durablement le comportement en entraînant les poids par descente de gradient. La création d’un vecteur de pilotage ne nécessite que des passes avant sur quelques exemples à quelques centaines d’exemples.
• Interprétabilité mécaniste : explique les calculs des modèles. Le pilotage est l’un de ses outils pour vérifier si une direction découverte provoque réellement un comportement.

Applications concrètes#

Les vecteurs de pilotage sont autant un outil de recherche pour la sécurité de l’IA qu’une méthode de contrôle. Dans 13 modèles de conversation ouverts comptant jusqu’à 72 milliards de paramètres, le refus est régi par une seule direction : son effacement empêche le modèle de refuser les demandes nuisibles, et son ajout le pousse à refuser les demandes inoffensives, ce qui montre combien il est facile de défaire l’entraînement de sécurité au niveau des poids dans les modèles ouverts.

Les directions liées à la vérité réduisent les hallucinations. Inference-Time Intervention décale les activations de quelques têtes d’attention dans de telles directions, faisant passer la véracité du modèle Alpaca de 32,5 % à 65,1 % sur le benchmark TruthfulQA. Les vecteurs de persona d’Anthropic appliquent la même idée à des traits de caractère comme la complaisance, la propension aux hallucinations et les intentions malveillantes : ils les surveillent au déploiement, signalent les données d’entraînement qui les renforceraient et les contrent pendant le réglage fin. Dans les modèles de raisonnement, des vecteurs extraits de modèles DeepSeek-R1-Distill contrôlent les comportements de raisonnement, comme l’expression de l’incertitude, la mise à l’essai d’exemples et le retour sur ses pas.

Les modèles de vision encodent eux aussi les concepts sous forme de directions, et la même méthode s’applique aux cartes de caractéristiques d’un réseau de vision par ordinateur. Dans Ultralytics YOLO26, model.embed() renvoie les activations moyennées par regroupement de chaque image, à partir de n’importe quelle couche choisie ; on obtient ainsi les activations par image nécessaires pour calculer une direction de différence de moyennes entre deux ensembles d’images, comme des scènes diurnes et nocturnes.

Limites#

Le pilotage est moins fiable que ne le laissent penser ses meilleures démonstrations. Une étude de la généralisation et de la fiabilité des vecteurs de pilotage menée par Daniel Tan et ses collègues a révélé que la capacité de pilotage varie fortement d’une entrée à l’autre, que des caractéristiques parasites des invites contrastées peuvent produire l’effet et que de petits changements raisonnables apportés à une invite peuvent empêcher un vecteur de fonctionner. Le pilotage nuit aussi à la fluidité : dans les expériences sur le sentiment de l’article ActAdd, le manque de fluidité du texte piloté, mesuré par la perplexité, était 1,5 à 3 fois supérieur à celui du texte non piloté.