Representation Engineering (RepE)

A engenharia de representações (RepE) é uma abordagem para compreender e controlar redes neurais por meio das representações de alto nível em suas ativações ocultas, como as direções que codificam honestidade, nocividade ou emoção. Ela tem duas partes: a leitura de representações, que localiza um conceito nas ativações de um modelo e o mede em novas entradas, e o controle de representações, que altera essas ativações ou os pesos do modelo que as produzem para fazer o modelo expressar mais ou menos o conceito. Andy Zou, Dan Hendrycks e colegas do Center for AI Safety, da Universidade Carnegie Mellon e de outras instituições a apresentaram em 2023 no artigo Representation Engineering: A Top-Down Approach to AI Transparency, principalmente com grandes modelos de linguagem (LLMs). O artigo chama essa abordagem de ascendente porque parte de representações completas distribuídas por muitos neurônios, como na neurociência cognitiva, que estuda padrões de atividade em todo o cérebro, em vez de começar por neurônios e circuitos individuais.

Leitura de representações#

O principal método de leitura da RepE é a Tomografia Artificial Linear (LAT), assim chamada por analogia com a imagem cerebral, e tem três etapas:

1. Projetar estímulos e uma tarefa: Escreve entradas que diferem no conceito-alvo e envolve cada uma em um modelo de texto que faz o modelo prestar atenção a ele, como "Considera o grau de felicidade no cenário a seguir: … O grau de felicidade no cenário é".
2. Coletar ativações: Executa os estímulos no modelo e registra os estados ocultos nas camadas escolhidas, normalmente no último token.
3. Criar um modelo linear: Calcula as diferenças entre as ativações de estímulos emparelhados e usa o primeiro componente principal como vetor de leitura do conceito.

Projetar as ativações de uma nova entrada no vetor de leitura fornece uma pontuação para o conceito, que pode ser acompanhada token a token para monitorar um modelo durante a geração. Este exemplo de PyTorch cria um vetor de leitura de felicidade a partir de seis pares de cenários contrastantes na camada 8 do GPT-2, carregado do Hugging Face Transformers, e avalia seis cenários que nunca viu:

import torch
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModel.from_pretrained("gpt2")
template = "Consider the amount of happiness in the following scenario:\n{}\nThe amount of happiness in the scenario is"


def read(scenario, layer=8):
    """Return the last token's hidden state at one layer for a scenario wrapped in the template."""
    with torch.no_grad():
        outputs = model(**tokenizer(template.format(scenario), return_tensors="pt"), output_hidden_states=True)
    return outputs.hidden_states[layer][0, -1]


# Stimulus pairs that differ only in the concept being read
pairs = [
    ("I passed the exam.", "I failed the exam."),
    ("We won the match.", "We lost the match."),
    ("She found her keys.", "She lost her keys."),
    ("The party was fun.", "The party was dull."),
    ("My plant is thriving.", "My plant is dying."),
    ("He got the job.", "He lost the job."),
]
diffs = torch.stack([read(happy) - read(sad) for happy, sad in pairs])
direction = torch.linalg.svd(diffs, full_matrices=False).Vh[0]  # top principal direction of the differences
direction *= (diffs @ direction).mean().sign()  # orient it toward the happy member of each pair
center = torch.stack([read(text) for pair in pairs for text in pair]).mean(0)

# Score unseen scenarios by projecting their activations onto the reading vector
for scenario in [
    "The surgery went well.",
    "Our flight was canceled.",
    "We adopted a puppy.",
    "My phone was stolen.",
    "I got a raise today.",
    "The basement flooded.",
]:
    print(f"{(read(scenario) - center) @ direction:+6.1f}  {scenario}")

Os três cenários felizes obtêm +0.6, +3.6 e +1.4, e os três infelizes, -1.3, -2.5 e -0.9; assim, o sinal da pontuação distingue os seis sem nenhum treinamento supervisionado de um classificador. Zou et al. aplicaram o mesmo procedimento a modelos LLaMA-2-Chat para avaliar veracidade, honestidade, utilidade, moralidade, poder, emoção, inocuidade, viés e memorização, e somaram as pontuações de honestidade por token nas camadas intermediárias para criar um detector de mentiras que sinaliza falsidades deliberadas e alucinações enquanto o modelo as escreve.

Controle de representações#

Depois de identificar a direção de um conceito, a RepE altera o comportamento agindo sobre ela. O próprio vetor de leitura pode ser somado ou subtraído das ativações de uma camada durante a geração, usando-o como um vetor de direcionamento. Um vetor de contraste é calculado em tempo real para cada entrada como a diferença entre as ativações de duas versões do prompt, como uma que instrui o modelo a ser honesto e outra que o instrui a mentir. A Adaptação de Representações de Baixo Posto (LoRRA) treina adaptadores LoRA para que as representações do modelo se desloquem por conta própria ao longo da direção-alvo, tornando o controle permanente. No benchmark TruthfulQA, o controle por vetor de contraste elevou a precisão de múltipla escolha do LLaMA-2-Chat-13B de 35,9% para 54,0%.

O controle criado dessa forma serve à segurança da IA. Os disjuntores de circuito do mesmo grupo aplicam engenharia de representações a saídas nocivas: quando as representações internas do modelo se voltam para conteúdo nocivo, o treinamento as redireciona. Isso bloqueou respostas nocivas em ataques de jailbreak que o modelo nunca tinha visto, inclusive ataques de sequestro por imagem contra modelos multimodais, sem comprometer suas capacidades gerais.

A etapa de leitura também se aplica a modelos de visão, já que as redes de visão computacional também codificam conceitos como direções em seus mapas de características. No Ultralytics YOLO26, model.embed() retorna um vetor de ativação com pooling médio para cada imagem de qualquer camada escolhida; passar vários índices de camada concatena os vetores, fornecendo as ativações dos estímulos para um vetor de leitura no estilo LAT aplicado a imagens.

RepE vs. conceitos relacionados#

• Interpretabilidade mecanística: Trabalha de baixo para cima, fazendo engenharia reversa de neurônios, características e circuitos individuais. A RepE trabalha de cima para baixo, partindo de representações de conceitos distribuídas por muitos neurônios.
• Vetores de direcionamento: Direções somadas às ativações no momento da inferência. São a principal ferramenta de controle da RepE, que também inclui a leitura e o monitoramento.
• Sondagem linear: Treina um classificador supervisionado com ativações para testar se uma propriedade pode ser decodificada. A LAT encontra sua direção a partir de diferenças não rotuladas entre estímulos emparelhados e usa rótulos apenas para orientá-la.
• Autoencoders esparsos (SAEs): Decompõem as ativações em milhares de características sem escolher conceitos de antemão. A RepE parte de um conceito nomeado por uma pessoa e encontra sua direção.
• Ajuste fino: Altera o comportamento por meio da atualização dos pesos com um conjunto de dados. Os controles da RepE no nível das ativações deixam os pesos inalterados, enquanto a LoRRA faz ajuste fino com uma função de perda definida sobre as representações, em vez das saídas.