Representation Engineering (RepE)

表現エンジニアリング（RepE）は、隠れた活性化に含まれる高レベルの表現、たとえば正直さ、有害性、感情を符号化する方向を通じて、ニューラルネットワークを理解し、制御するアプローチです。2つの側面があります。表現読み取りでは、モデルの活性化内にある概念を特定し、新しい入力で測定します。表現制御では、その活性化、または活性化を生み出すモデル重みを変更して、モデルがその概念をより強く、または弱く表現するようにします。Center for AI Safety、カーネギーメロン大学などのAndy Zou、Dan Hendrycksらは、主に大規模言語モデル（LLM）を対象としたこの手法を、2023年のRepresentation Engineering: A Top-Down Approach to AI Transparencyで紹介しました。この論文がトップダウンと呼ぶのは、認知神経科学が脳全体の活動パターンを研究する方法と同様に、個々のニューロンや回路ではなく、多数のニューロンに広がる表現全体から始めるためです。

表現の読み取り#

RepEの主な読み取り手法は、脳画像にちなんで名付けられた線形人工トモグラフィー（LAT）で、次の3つの手順があります。

1. 刺激とタスクを設計する： 対象の概念が異なる入力を作成し、モデルがその概念に注目するようなテンプレートにそれぞれ組み込みます。たとえば、「次の状況における幸福の度合いを考えてください。…この状況における幸福の度合いは」です。
2. 活性化を収集する： 刺激をモデルに入力し、選択したレイヤーの隠れ状態を記録します。通常は最後のトークンで取得します。
3. 線形モデルを構築する： 対になった刺激の活性化の差を取り、その第一主成分を概念の読み取りベクトルとして使います。

新しい入力の活性化を読み取りベクトルに射影すると、その概念のスコアが得られます。このスコアはトークンごとに追跡でき、モデルの生成中のモニタリングに使えます。このPyTorchの例では、Hugging Face Transformersから読み込んだGPT-2のレイヤー8で、対照的なシナリオのペア6組を使って幸福の読み取りベクトルを構築し、未見のシナリオ6件をスコアリングします。

import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModel.from_pretrained("gpt2")
template = "Consider the amount of happiness in the following scenario:\n{}\nThe amount of happiness in the scenario is"


def read(scenario, layer=8):
    """Return the last token's hidden state at one layer for a scenario wrapped in the template."""
    with torch.no_grad():
        outputs = model(**tokenizer(template.format(scenario), return_tensors="pt"), output_hidden_states=True)
    return outputs.hidden_states[layer][0, -1]


# Stimulus pairs that differ only in the concept being read
pairs = [
    ("I passed the exam.", "I failed the exam."),
    ("We won the match.", "We lost the match."),
    ("She found her keys.", "She lost her keys."),
    ("The party was fun.", "The party was dull."),
    ("My plant is thriving.", "My plant is dying."),
    ("He got the job.", "He lost the job."),
]
diffs = torch.stack([read(happy) - read(sad) for happy, sad in pairs])
direction = torch.linalg.svd(diffs, full_matrices=False).Vh[0]  # top principal direction of the differences
direction *= (diffs @ direction).mean().sign()  # orient it toward the happy member of each pair
center = torch.stack([read(text) for pair in pairs for text in pair]).mean(0)

# Score unseen scenarios by projecting their activations onto the reading vector
for scenario in [
    "The surgery went well.",
    "Our flight was canceled.",
    "We adopted a puppy.",
    "My phone was stolen.",
    "I got a raise today.",
    "The basement flooded.",
]:
    print(f"{(read(scenario) - center) @ direction:+6.1f}  {scenario}")

幸福な3つのシナリオのスコアは+0.6、+3.6、+1.4で、不幸な3つのシナリオのスコアは-1.3、-2.5、-0.9です。スコアの符号だけで、分類器をラベル付きデータで学習しなくても6件すべてを区別できます。ZouらはLLaMA-2-Chatモデルに同じ手法を適用し、真実性、正直さ、有用性、道徳性、権力、感情、無害性、バイアス、記憶を評価しました。また、中間レイヤーにおけるトークンごとの正直さのスコアを合計し、モデルの生成中に意図的な虚偽やハルシネーションを検出する嘘検出器を構築しました。

表現の制御#

概念の方向が定まると、RepEはその方向に働きかけて動作を変えます。生成中にレイヤーの活性化へ読み取りベクトルを加算または減算すると、ステアリングベクトルとして利用できます。対照ベクトルは、たとえばモデルに正直に答えるよう指示するプロンプトと、嘘をつくよう指示するプロンプトのように、2種類のプロンプトの活性化の差として入力ごとにその場で計算します。低ランク表現適応（LoRRA）では、モデルの表現が対象の方向へ自ら移動するようにLoRAアダプターを学習し、制御を永続化します。TruthfulQAベンチマークでは、対照ベクトルによる制御でLLaMA-2-Chat-13Bの多肢選択精度が35.9%から54.0%に向上しました。

この方法による制御はAI安全性に役立ちます。同じ研究グループのサーキットブレーカーは、有害な出力に表現エンジニアリングを適用します。モデルの内部表現が有害な内容に向かい始めると、学習によってその方向を変えます。その結果、マルチモーダルモデルへの画像ベースの乗っ取りを含む、モデルが未見のjailbreak攻撃でも有害な文章の生成を防ぎ、一般的な能力を維持できました。

読み取りの手順はビジョンモデルにも適用できます。コンピュータビジョンのネットワークも、概念を特徴マップ内の方向として符号化するためです。Ultralytics YOLO26では、model.embed()が選択した任意のレイヤーから、画像ごとに平均プーリングした活性化ベクトルを1つ返します。複数のレイヤーインデックスを渡すとベクトルを連結でき、画像を使ったLAT形式の読み取りベクトルを作るための刺激活性化を得られます。

RepEと関連概念の比較#

• メカニスティック解釈可能性： 個々のニューロン、特徴、回路をリバースエンジニアリングするボトムアップの手法です。RepEは、多数のニューロンに分散した概念レベルの表現から始めるトップダウンの手法です。
• ステアリングベクトル： 推論時に活性化へ加える方向です。RepEの主な制御手段であり、RepEは読み取りとモニタリングの側面も備えています。
• 線形プロービング： 活性化から特性をデコードできるか検証するため、教師あり分類器を学習します。LATは、対になった刺激のラベルなしの差から方向を特定し、その向きを定めるときだけラベルを使います。
• スパースオートエンコーダー（SAE）： 事前に概念を選ばず、活性化を数千の特徴に分解します。RepEは人が名付けた概念から始め、その概念の方向を見つけます。
• ファインチューニング： データセットを使った重み更新によって動作を変更します。RepEの活性化レベルの制御では重みは変わりません。LoRRAでは、出力ではなく表現に対して定義した損失を使ってファインチューニングします。