Steering Vectors

스티어링 벡터는 신경망의 활성화 공간에서 긍정적인 감정, 거부 또는 아첨과 같은 개념이나 행동에 대응하는 방향입니다. 순전파 중에 벡터를 배율 조정해 네트워크의 은닉 활성화에 더하면 출력이 해당 행동을 향하고, 빼면 반대 방향으로 움직이며 모델 가중치는 바뀌지 않습니다. 이 기법은 활성화 엔지니어링에 속하며 주로 대규모 언어 모델(LLM)에 적용됩니다. 이 기법은 여러 고수준 개념이 잔차 스트림에서 대략 선형 방향으로 표현된다는 관찰을 활용합니다. 잔차 스트림은 각 트랜스포머 계층이 읽고 쓰는 활성화의 누적 합입니다.

스티어링 벡터의 구축 및 적용 방법#

가장 일반적인 방식은 평균의 차이를 계산하는 것입니다. 연구자는 대조적인 입력 쌍, 즉 특정 행동을 보이는 입력과 그렇지 않은 입력을 모델에 넣고, 선택한 계층의 활성화를 기록한 뒤 차이의 평균을 구합니다. 2023년 알렉산더 매트 터너와 동료들이 소개한 Activation Addition(ActAdd)은 "Love"와 "Hate" 같은 입력 쌍 하나만으로도 GPT-2-XL의 감정을 조정할 수 있음을 보였습니다. Contrastive Activation Addition(CAA)은 여러 객관식 입력 쌍의 평균을 사용해 Llama 2 Chat을 아첨, 환각 및 거부와 같은 행동 방향으로 조정하거나 그 반대 방향으로 조정합니다. 사용자 프롬프트 뒤의 모든 토큰 위치에 벡터를 더합니다. 선형 프로브, 차이의 주성분 또는 희소 오토인코더의 특징에서도 방향을 얻을 수 있습니다.

추론 시 훅은 선택한 계층의 출력에 계수와 벡터의 곱을 더합니다. 일반적으로 중간 계층에서 조정 효과가 가장 좋으며, 계수는 조정 강도를 결정합니다. 계수가 너무 작으면 눈에 띄는 효과가 없고, 너무 크면 텍스트가 반복되거나 무의미해집니다.

ActAdd 실험은 Hugging Face Transformers의 1억 2,400만 파라미터 GPT-2를 사용해 몇 줄의 PyTorch 코드로 구현할 수 있습니다. 순전파 훅은 적대적인 프롬프트에 대한 모델의 답변 생성 중 블록 6의 출력에 "Love"에서 "Hate"를 뺀 벡터를 더합니다.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
layer = 6


def activation(text):
    """Return the last token's activation at the output of the steering layer."""
    with torch.no_grad():
        outputs = model(**tokenizer(text, return_tensors="pt"), output_hidden_states=True)
    return outputs.hidden_states[layer + 1][0, -1]


# Steering vector: activation difference between a contrastive pair of prompts
steering_vector = activation(" Love") - activation(" Hate")
prompt = tokenizer("I hate you because", return_tensors="pt")

for coeff in [0.0, 1.0]:
    # Add the scaled vector to the layer's output at every position while generating
    hook = model.transformer.h[layer].register_forward_hook(
        lambda module, args, output: output + coeff * steering_vector
    )
    tokens = model.generate(**prompt, max_new_tokens=16, do_sample=False, pad_token_id=tokenizer.eos_token_id)
    hook.remove()
    print(f"coeff={coeff}: {tokenizer.decode(tokens[0])}")

조정하지 않은 모델은 "I hate you because I hate you. I hate you because I hate you."를 이어서 출력합니다. 계수 1.0으로 벡터를 더하면 탐욕적 디코딩 결과는 같은 프롬프트에 대해 "I hate you because you are a good person. I love you. I love you."로 이어집니다. 두 실행에서 가중치는 동일하며 한 계층의 활성화만 달라졌습니다.

스티어링 벡터와 관련 개념 비교#

• 태스크 벡터: 미세 조정된 가중치와 원래 가중치의 차이로, 모델에 더해 기술을 전달합니다. 태스크 벡터는 가중치를 한 번 수정하고, 스티어링 벡터는 매 순전파마다 활성화를 수정합니다.
• 표현 엔지니어링(RepE): 모델의 내부 표현을 통해 모델의 동작을 파악하고 제어하는 더 포괄적인 접근 방식입니다. 스티어링 벡터는 이 접근 방식의 주요 제어 도구입니다.
• 프롬프트 엔지니어링: 입력 텍스트를 통해 동작을 유도합니다. 스티어링은 내부 활성화에 작용하므로 모델 내부에 접근해야 하며, 오픈 웨이트 모델이나 공급업체 자체 시스템에서만 작동합니다.
• 미세 조정: 경사 하강법으로 가중치를 학습해 동작을 영구적으로 바꿉니다. 스티어링 벡터를 구축하는 데는 소수에서 수백 개의 예제에 대한 순전파만 필요합니다.
• 기계론적 해석 가능성: 모델이 계산을 수행하는 방식을 설명합니다. 스티어링은 발견한 방향이 실제로 특정 행동을 유발하는지 테스트하는 도구 중 하나입니다.

실제 적용 사례#

스티어링 벡터는 제어 방법일 뿐 아니라 AI 안전성을 위한 연구 도구이기도 합니다. 최대 720억 파라미터에 이르는 오픈 채팅 모델 13개에서 거부는 단일 방향에 의해 매개됩니다. 이 방향을 제거하면 모델은 유해한 요청을 거부하지 않으며, 방향을 추가하면 무해한 요청도 거부합니다. 이는 오픈 모델에서 가중치 수준의 안전성 학습을 얼마나 쉽게 무력화할 수 있는지 보여줍니다.

진실성과 관련된 방향은 환각을 줄입니다. Inference-Time Intervention은 일부 어텐션 헤드의 활성화를 이러한 방향으로 이동시켜 TruthfulQA 벤치마크에서 Alpaca 모델의 진실성을 32.5%에서 65.1%로 높입니다. Anthropic의 페르소나 벡터는 같은 아이디어를 아첨, 환각 성향 및 악의적 의도와 같은 성격 특성에 적용합니다. 배포 중 해당 특성을 모니터링하고, 특성을 강화할 학습 데이터를 표시하며, 미세 조정 중 이를 억제합니다. 추론 모델에서는 DeepSeek-R1-Distill 모델에서 추출한 벡터가 불확실성 표현, 예제 테스트 및 역추적과 같은 추론 동작을 제어합니다.

비전 모델도 개념을 방향으로 인코딩하며, 같은 방식을 컴퓨터 비전 네트워크의 특징 맵에 적용할 수 있습니다. Ultralytics YOLO26에서 model.embed()은 선택한 계층의 이미지별 평균 풀링 활성화를 반환합니다. 이를 사용하면 낮 장면과 밤 장면처럼 이미지 두 집합 간 평균 차이 방향을 계산하는 데 필요한 이미지별 활성화를 얻을 수 있습니다.

한계#

스티어링은 가장 뛰어난 시연 사례가 시사하는 것보다 신뢰성이 낮습니다. 대니얼 탄과 동료들이 스티어링 벡터의 일반화 및 신뢰성을 연구한 결과, 입력에 따라 조정 가능성이 크게 달랐고 대조 프롬프트의 무관한 특징이 효과에 영향을 줄 수 있었으며 프롬프트를 작지만 합리적으로 변경해도 벡터가 작동하지 않을 수 있었습니다. 스티어링은 문장의 자연스러움도 떨어뜨립니다. ActAdd 논문의 감정 실험에서 스티어링을 적용한 텍스트의 혼란도는 퍼플렉시티 기준으로 적용하지 않은 텍스트보다 1.5~3배 높았습니다.