Steering Vectors

Les vecteurs de guidage représentent des directions mathématiques significatives au sein de l'espace d'activation caché d'un réseau de neurones qui correspondent à des concepts de haut niveau, tels que la « politesse », la « véracité » ou des caractéristiques visuelles spécifiques. En injectant ou en soustrayant artificiellement ces vecteurs des états internes du modèle pendant la passe avant (forward pass), les développeurs peuvent contrôler et modifier de manière prévisible le comportement du modèle sans mettre à jour les poids sous-jacents. Cette technique, fondamentalement enracinée dans l'ingénierie d'activation, offre un contrôle sans coût lors de l'inférence sur des systèmes d'apprentissage profond allant des grands modèles de langage aux architectures de vision.

Link to this sectionComment fonctionnent les vecteurs de guidage#

Pour créer un vecteur de guidage, les chercheurs utilisent généralement une méthode appelée Contrastive Activation Addition (CAA). Cela implique de faire passer un ensemble de paires de données contrastées — comme une invite demandant au modèle d'être « utile » par rapport à une autre lui demandant d'être « nuisible » — à travers le réseau. La différence dans les sorties de la fonction d'activation entre ces paires est moyennée sur plusieurs échantillons afin d'isoler la direction géométrique spécifique représentant ce concept dans l'espace tensoriel.

Pendant l'inférence en temps réel, ce vecteur est ajouté ou soustrait des états cachés à des couches spécifiques en utilisant une simple addition de tenseurs PyTorch. L'ajustement de la force du vecteur permet aux praticiens de régler finement l'intensité du comportement injecté.

Link to this sectionDifférencier les vecteurs de guidage des concepts associés#

Comprendre comment les vecteurs de guidage s'intègrent dans le paysage plus large de l'apprentissage automatique nécessite de les distinguer de méthodologies similaires :

• Vecteurs de tâche : Alors que les vecteurs de tâche opèrent dans l'espace des poids en modifiant les poids du modèle réels après l'entraînement pour fusionner des capacités, les vecteurs de guidage opèrent strictement dans l'espace d'activation lors de l'exécution, laissant les poids originaux totalement intacts.
• Ingénierie de représentation (RepE) : RepE est le cadre méthodologique global de lecture et de contrôle des états cognitifs internes, fortement étudié par des organisations comme le Center for AI Safety. Les vecteurs de guidage sont les outils mathématiques spécifiques utilisés lors de la phase de contrôle de RepE.
• Ingénierie de prompt : Le prompt tente de guider le comportement en modifiant le texte ou l'image d'entrée de l'utilisateur. Les vecteurs de guidage contournent le goulot d'étranglement de l'entrée, manipulant directement le traitement cognitif interne du modèle.
• Fine-tuning : Les méthodes d'alignement traditionnelles comme l'apprentissage par renforcement à partir de commentaires humains (RLHF) modifient de manière permanente le modèle via la descente de gradient, nécessitant une puissance de calcul importante souvent gérée via des outils cloud comme la plateforme Ultralytics. Les vecteurs de guidage évitent totalement cette charge computationnelle.

Link to this sectionApplications réelles en IA#

La capacité à guider dynamiquement les modèles a permis des avancées significatives dans les pipelines modernes d'intelligence artificielle :

• Renforcement de la sécurité de l'IA : En isolant le vecteur de guidage associé au « refus » ou à l'« innocuité », les ingénieurs peuvent forcer les modèles à rejeter les instructions malveillantes. Soutenu par les recherches sur l'alignement d'OpenAI et les études d'interprétabilité d'Anthropic, le guidage de fonctionnalités spécifiques peut radicalement modifier la personnalité conversationnelle d'une IA et assurer des garde-fous stricts.
• Contrôle des modèles de raisonnement : Des études récentes sur les architectures de pensée avancées démontrent que les vecteurs de guidage peuvent moduler les chaînes de raisonnement internes. Les praticiens peuvent accroître la tendance d'un modèle à exprimer de l'incertitude ou à revenir sur des erreurs lors de résolutions de problèmes complexes.
• Atténuation des biais de l'IA : En extrayant le vecteur représentant un biais sociétal spécifique, les développeurs peuvent soustraire cette direction lors de la génération. Cela neutralise efficacement le biais et améliore l'équité sans réentraînement, tout en réduisant simultanément la probabilité d'hallucination dans les LLM.
• Guidage des systèmes de vision par ordinateur : Dans les modèles de vision, les vecteurs de guidage peuvent être appliqués aux cartes de caractéristiques pour augmenter artificiellement la sensibilité du réseau aux cibles critiques. Par exemple, un modèle de détection d'objets peut être guidé pour donner la priorité à la recherche de piétons dans des conditions météorologiques défavorables.

Link to this sectionAppliquer les vecteurs de guidage avec PyTorch#

Voici un exemple exécutable de l'application d'une intervention de guidage par activation sur un modèle Ultralytics YOLO26 lors d'une passe avant. En utilisant les hooks de passe avant PyTorch, tu peux injecter des vecteurs personnalisés directement dans les couches cachées.

import torch
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for state-of-the-art vision tasks
model = YOLO("yolo26n.pt")


# Define a hook function to steer the internal activations
def steer_activations_hook(module, input, output):
    # Create a steering vector matching the output shape (for demonstration purposes)
    # In practice, this vector is pre-computed via Contrastive Activation Addition (CAA)
    steering_vector = torch.ones_like(output) * 0.1

    # Add the steering vector to the model's hidden states to alter behavior at inference
    return output + steering_vector


# Attach the hook to a middle layer (e.g., layer index 5) to inject the vector
handle = model.model.model[5].register_forward_hook(steer_activations_hook)

# Run inference on an image with the dynamically steered activations
results = model("https://ultralytics.com/images/bus.jpg")

# Remove the hook to restore the model to its original unsteered state
handle.remove()