Model Editing

La edición de modelos consiste en cambiar de forma específica un hecho o comportamiento concreto de un modelo entrenado, como la respuesta que da un modelo de lenguaje grande (LLM) a «The Space Needle is located in the city of», sin volver a entrenar el modelo ni cambiar sus resultados ante entradas no relacionadas. Se utiliza sobre todo para corregir, actualizar o incorporar conocimiento factual en LLM, cuando el reentrenamiento completo es demasiado caro y el ajuste fino con un solo ejemplo tiende a sobreajustar o a dañar otros conocimientos. Un editor calcula un pequeño cambio localizado en los pesos del modelo o almacena la modificación fuera de los pesos y dirige hacia ella las entradas pertinentes. El método más conocido, Rank-One Model Editing (ROME), fue presentado por Kevin Meng, David Bau, Alex Andonian y Yonatan Belinkov en Locating and Editing Factual Associations in GPT, presentado en NeurIPS 2022.

Cómo funciona la edición de modelos#

Una solicitud de edición especifica una entrada, a menudo un sujeto y una relación, y la nueva salida; por ejemplo, cambiar la ciudad de la Space Needle de Seattle a París. Los editores se agrupan en unas pocas familias:

• Localizar y editar: ROME utiliza primero el trazado causal, una técnica de interpretabilidad que corrompe y restaura estados ocultos, para encontrar dónde recuerdan los modelos GPT un hecho. El cálculo decisivo se realiza en las capas de propagación hacia delante (MLP) situadas en el centro de la red, en el último token del sujeto. ROME trata la proyección de salida de una MLP como una memoria clave-valor e inserta el nuevo hecho mediante una actualización de pesos de rango uno en forma cerrada; en GPT-2 XL modifica la capa 18 de 48. MEMIT distribuye la actualización entre varias capas para insertar miles de hechos a la vez.
• Editores aprendidos: MEND entrena una pequeña hiperrred que convierte el gradiente del ejemplo de edición en una actualización de pesos de rango bajo, lo que permite realizar ediciones rápidamente en modelos con miles de millones de parámetros.
• Editores basados en memoria: SERAC almacena las ediciones en una memoria explícita y utiliza un clasificador de alcance para enviar las entradas relacionadas con una edición a un pequeño modelo contrafactual, sin tocar los pesos base. GRACE inserta un libro de códigos de adaptadores discretos de clave-valor en una capa para gestionar secuencias largas de ediciones. Introducir el nuevo hecho en el prompt, como hace la generación aumentada por recuperación, es el editor más sencillo de este tipo.

La actualización de ROME se basa en una propiedad de las capas lineales: una matriz de pesos W asigna las claves almacenadas a valores, y se puede asignar un nuevo valor v* a una nueva clave k* sumando una matriz de rango uno. ROME pondera la actualización mediante la covarianza inversa C de las claves que ya procesa la capa, estimada a partir de una muestra de texto de Wikipedia, lo que aleja el cambio de las direcciones que utilizan las claves existentes. Este ejemplo de PyTorch aplica esa actualización a una capa aleatoria que almacena 5.000 claves y la compara con una actualización sencilla de rango uno que ignora la covarianza:

import torch

torch.manual_seed(0)
scales = torch.logspace(0, -2, 256)  # key dimensions with very different variances, as in real activations
keys = torch.randn(5000, 256) * scales  # keys of 5,000 facts the layer already stores
W = torch.randn(128, 256)  # the layer maps each key to a value
C = keys.T @ keys / len(keys)  # second-moment statistics of the stored keys

k_new = torch.randn(256) * scales  # key of the subject to edit
v_new = W @ keys[0]  # new value: one already stored for another subject, as in "Seattle" -> "Paris"

# Plain rank-one update vs. ROME's update, which steers the change away from directions stored keys use
plain = W + torch.outer(v_new - W @ k_new, k_new) / (k_new @ k_new)
c_inv_k = torch.linalg.solve(C, k_new)
rome = W + torch.outer(v_new - W @ k_new, c_inv_k) / (k_new @ c_inv_k)

for name, edited in [("Plain rank-one", plain), ("ROME", rome)]:
    error = (edited @ k_new - v_new).norm() / v_new.norm()
    drift = ((keys @ (edited - W).T).norm(dim=1) / (keys @ W.T).norm(dim=1)).median()
    print(f"{name}: new-fact error {error:.4f}, median change on stored facts {drift:.2%}")

Ambas actualizaciones asignan exactamente la nueva clave al nuevo valor, con un error de 0.0000. La actualización sencilla cambia la salida mediana de las 5.000 claves almacenadas en 10.99%, mientras que la actualización de ROME ponderada por covarianza lo hace en 5.02%, por lo que la edición altera menos lo que la capa ya sabía.

Evaluación de una edición#

Las ediciones se evalúan atendiendo a varias propiedades a la vez. La fiabilidad pregunta si la entrada editada devuelve ahora la nueva respuesta; la generalización, si también lo hacen las paráfrasis; la localidad, también llamada especificidad, si las entradas no relacionadas conservan sus respuestas anteriores; y la portabilidad, si el razonamiento que depende del hecho lo sigue. Los autores de ROME crearon el conjunto de datos CounterFact, con 21.919 ediciones contrafactuales, para medir estas propiedades conjuntamente, ya que los benchmarks anteriores permitían que los métodos sacrificaran generalización por especificidad sin que se detectara.

Las ediciones suelen fallar en las pruebas más exigentes. En las 5.000 ediciones del benchmark RippleEdits, los editores más destacados no lograron modificar de forma coherente los hechos relacionados lógicamente con el editado, y una sencilla referencia de edición en contexto obtuvo la mejor puntuación. Gupta et al. descubrieron que aplicar ROME y MEMIT de forma secuencial hace que un modelo olvide las ediciones anteriores y las habilidades derivadas, primero de manera gradual y luego abrupta, lo que limita el número de ediciones que puede asimilar un modelo.

Edición de modelos de visión#

La misma técnica de rango uno se aplica a las imágenes. Santurkar et al. editaron clasificadores de imágenes reescribiendo la regla que aplica una capa a un concepto visual; por ejemplo, asignando la representación de la nieve a la de la carretera para que el modelo gestione vehículos en carreteras nevadas, sin recopilar nuevos datos de entrenamiento. Ultralytics YOLOE realiza una edición sin gradientes de su propio cabezal de detección durante la exportación: las clases configuradas con set_classes() se multiplican por la convolución final de cada rama de clasificación, de modo que el modelo exportado detecta el nuevo vocabulario sin entrenamiento ni codificador de texto.

Edición de modelos frente a conceptos relacionados#

• Ajuste fino: Actualiza muchos pesos a partir de un conjunto de datos para cambiar el comportamiento general. La edición se centra en un par de entrada y salida y limita los cambios en todo lo demás.
• Generación aumentada por recuperación (RAG): Proporciona hechos actuales en el prompt en cada solicitud y deja el modelo intacto, por lo que es fácil revertir los cambios y escalar a muchos hechos.
• Desaprendizaje automático: Elimina la influencia de datos de entrenamiento específicos. La edición sustituye o añade un hecho, y eliminar un hecho mediante una edición es una forma de desaprendizaje.
• Aritmética de tareas: Suma o resta los cambios de pesos de tareas completas ajustadas. La edición de modelos opera sobre un único hecho.
• Interpretabilidad mecanicista: Explica cómo calcula un modelo. El trazado causal de ROME procede de este campo y determina qué capa se modifica.