Steering Vectors

ステアリング・ベクトルは、ニューラルネットワークの隠れ活性化空間内において、「丁寧さ」、「真実性」、特定の視覚的特徴などの高水準な概念に対応する、意味のある数学的方向性を表します。フォワードパスの実行中に、モデルの内部状態に対してこれらのベクトルを人工的に注入または減算することで、開発者は基盤となる重みを更新することなく、モデルの挙動を予測可能に制御および変更できます。この手法は本質的にアクティベーション・エンジニアリングに根ざしており、大規模言語モデルからビジョン・アーキテクチャに至るまで、ディープラーニングシステムに対するコストゼロの推論時制御を提供します。

Steering Vectorsの仕組み#

ステアリング・ベクトルを作成するために、研究者は通常、コントラスティブ・アクティベーション・アディション（CAA）と呼ばれる手法を使用します。これには、モデルに対して「親切な」回答を求めるプロンプトと「有害な」回答を求めるプロンプトのような、一対の対照的なデータペアをネットワークに入力することが含まれます。活性化関数の出力におけるこれらのペア間の差異を複数のサンプルにわたって平均化し、テンソル空間内においてその概念を表す特定の幾何学的方向性を抽出します。

リアルタイム推論の間、このベクトルは、単純なPyTorchテンソル加算を使用して特定のレイヤーの隠れ状態に加算または減算されます。ベクトルの強さをスケーリングすることで、実務者は注入される挙動の強度を微調整できます。

Steering Vectorsと関連概念の区別#

ステアリング・ベクトルがより広範な機械学習の領域にどのように適合するかを理解するには、類似した手法と区別する必要があります：

• タスク・ベクトル： タスク・ベクトルは、トレーニング後に実際のモデルの重みを変更して機能を統合することで重み空間で動作しますが、ステアリング・ベクトルは実行時に厳密に活性化空間で動作し、元の重みを完全にそのまま維持します。
• 表現エンジニアリング（RepE）： RepEは、内部の認知的状態を読み取って制御するための包括的な方法論的フレームワークであり、AI安全性センターなどの組織によって盛んに研究されています。ステアリング・ベクトルは、RepEの制御フェーズ内で利用される具体的な数学的ツールです。
• プロンプトエンジニアリング： プロンプティングは、ユーザーの入力テキストまたは画像を修正することによって挙動を誘導しようと試みます。ステアリング・ベクトルは入力のボトルネックをバイパスし、モデルの内部的な認知処理を直接操作します。
• ファインチューニング： 人間のフィードバックからの強化学習（RLHF）のような従来のアライメント手法は、勾配降下法を通じてモデルを永続的に変更するため、Ultralyticsプラットフォームのようなクラウドツールで管理されることが多い多大な計算量を必要とします。ステアリング・ベクトルはこの計算上のオーバーヘッドを完全に回避します。

AIにおける現実世界の応用#

モデルを動的にステアリングする機能は、現代の人工知能パイプライン全体で大きな進歩をもたらしました：

• AIの安全性の向上： 「拒否」または「無害性」に関連するステアリング・ベクトルを分離することにより、エンジニアはモデルに悪意のある指示を拒否させることができます。OpenAIのアライメント研究およびAnthropicの解釈可能性研究に裏付けられ、特定の機能をステアリングすることで、AIの会話のペルソナを劇的に変更し、厳格な安全ガードレールを確保できます。
• 推論モデルの制御： 高度な思考型アーキテクチャに関する最近の研究は、ステアリング・ベクトルが内部の推論チェーンをモジュレートできることを示しています。実務者は、複雑な問題解決の際に、モデルが不確実性を表現したりエラーを巻き戻したりする傾向を高めることができます。
• AIのバイアスの軽減： 特定の社会的なバイアスを表すベクトルを抽出することで、開発者は生成中にこの方向性を減算できます。これにより、再トレーニングを行うことなくバイアスが効果的に中和されて公平性が向上すると同時に、LLMにおけるハルシネーションの可能性が低減されます。
• コンピュータビジョンシステムのステアリング： ビジョンモデルでは、ステアリング・ベクトルを特徴マップに適用して、重要ターゲットに対するネットワークの感度を人工的に高めることができます。例えば、物体検出モデルを、悪天候下での歩行者の発見を優先するようにステアリングできます。

PyTorchでSteering Vectorsを適用する#

以下は、フォワードパス中にUltralytics YOLO26モデルに活性化ステアリング介入を適用する実行可能な例です。PyTorchフォワードフックを利用することで、カスタムベクトルを隠れ層に直接注入できます。

import torch
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for state-of-the-art vision tasks
model = YOLO("yolo26n.pt")


# Define a hook function to steer the internal activations
def steer_activations_hook(module, input, output):
    # Create a steering vector matching the output shape (for demonstration purposes)
    # In practice, this vector is pre-computed via Contrastive Activation Addition (CAA)
    steering_vector = torch.ones_like(output) * 0.1

    # Add the steering vector to the model's hidden states to alter behavior at inference
    return output + steering_vector


# Attach the hook to a middle layer (e.g., layer index 5) to inject the vector
handle = model.model.model[5].register_forward_hook(steer_activations_hook)

# Run inference on an image with the dynamically steered activations
results = model("https://ultralytics.com/images/bus.jpg")

# Remove the hook to restore the model to its original unsteered state
handle.remove()