Machine Unlearning

El desaprendizaje automático es el proceso de eliminar la influencia de determinados datos de entrenamiento de un modelo de aprendizaje automático entrenado, para que el modelo se comporte como si nunca hubiera visto esos ejemplos. El objetivo es igualar a un modelo reentrenado desde cero sin esos datos, pero usando mucho menos cómputo que el reentrenamiento completo. Las solicitudes de olvido pueden deberse a leyes de privacidad de datos, como el derecho de supresión del artículo 17 del RGPD, a reclamaciones de derechos de autor, a datos que posteriormente se descubre que están mal etiquetados o envenenados, y a iniciativas para eliminar conocimientos peligrosos de los modelos de lenguaje grandes (LLM).

Por qué no basta con eliminar los datos#

El descenso del gradiente distribuye lo que el modelo aprende de cada ejemplo entre sus pesos del modelo, por lo que eliminar las imágenes o los documentos originales del almacenamiento no borra lo aprendido. Los modelos también pueden conservar rastros recuperables de ejemplos individuales: los ataques de inferencia de pertenencia comprueban si un registro concreto estaba en el conjunto de entrenamiento, y los modelos de lenguaje grandes pueden reproducir literalmente fragmentos memorizados. Los organismos reguladores consideran que el propio modelo es un producto de los datos. En un acuerdo de 2021, la Comisión Federal de Comercio de Estados Unidos obligó al creador de la aplicación de fotografía Everalbum a eliminar los modelos y algoritmos de reconocimiento facial que había creado con fotos de los usuarios sin el consentimiento adecuado; esta medida ahora se denomina decomiso algorítmico.

Desaprendizaje exacto y aproximado#

El desaprendizaje exacto produce un modelo extraído de la misma distribución que uno reentrenado sin los datos que se quieren olvidar. El reentrenamiento desde cero es la referencia, y el marco SISA de Bourtoule et al. reduce su coste al fragmentar el conjunto de entrenamiento, entrenar un modelo aislado en cada fragmento, dividir cada fragmento en etapas con puntos de control y agregar las predicciones de los modelos de los fragmentos. Una solicitud de eliminación solo requiere volver a entrenar el fragmento que contenía el ejemplo:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# SISA: split the training set into isolated shards and train one model per shard
shards = np.array_split(np.arange(len(X_train)), 5)
models = [LogisticRegression(max_iter=5000).fit(X_train[s], y_train[s]) for s in shards]

# Honor a deletion request for training sample 123 by retraining only the shard that held it
k = next(i for i, s in enumerate(shards) if 123 in s)
shards[k] = shards[k][shards[k] != 123]
models[k] = LogisticRegression(max_iter=5000).fit(X_train[shards[k]], y_train[shards[k]])

# Aggregate the shard models by majority vote
votes = np.stack([m.predict(X_test) for m in models])
pred = np.array([np.bincount(v).argmax() for v in votes.T])
print(f"Retrained {len(shards[k])} of {len(X_train)} samples, test accuracy {(pred == y_test).mean():.3f}")

El script imprime Retrained 251 of 1257 samples, test accuracy 0.957: el dígito olvidado nunca llegó al modelo del fragmento reentrenado, y la eliminación costó una quinta parte del reentrenamiento completo. El coste se paga por adelantado, porque cada modelo de fragmento ve menos datos: en la clasificación de ImageNet, el artículo midió una aceleración del reentrenamiento de 1.36x con una pequeña pérdida de precisión, frente a 4.63x en el conjunto de datos más sencillo Purchase.

El desaprendizaje aproximado modifica un modelo existente y acepta que el resultado solo se parezca al modelo reentrenado. Entre los métodos habituales están aplicar ascenso del gradiente al conjunto que se quiere olvidar para aumentar su pérdida, ajustar el modelo con los datos conservados para reparar los daños colaterales y aplicar actualizaciones basadas en la influencia que estiman cómo ha afectado cada ejemplo a los pesos. En el caso de los LLM, unos investigadores de Microsoft eliminaron conocimientos sobre Harry Potter de Llama 2 7B en aproximadamente una hora de ajuste con GPU, mientras que las puntuaciones en las pruebas de referencia habituales apenas cambiaron.

Cómo comprobar si un modelo ha olvidado#

Una evaluación convincente compara el modelo al que se ha aplicado el desaprendizaje con otro reentrenado sin esos datos. La precisión en el conjunto que se quiere olvidar debería caer hasta el nivel del modelo reentrenado, no hasta cero, porque un modelo que falla de forma evidente justo con los ejemplos eliminados revela cuáles se han borrado. La precisión con los datos conservados y los datos de prueba debería mantenerse, y un ataque de inferencia de pertenencia a los ejemplos olvidados no debería superar el azar. Pruebas de referencia como TOFU, basada en biografías ficticias de autores, y WMDP, que mide conocimientos peligrosos sobre biología, química y ciberseguridad, aplican estas pruebas a los LLM.

Los métodos aproximados suelen ocultar los conocimientos en vez de eliminarlos. Un estudio adversarial descubrió que ajustar el modelo con solo 10 ejemplos no relacionados recuperaba la mayoría de las capacidades peligrosas que RMU, un método destacado de desaprendizaje de LLM, había suprimido. Solo los métodos exactos garantizan la eliminación por construcción.

Desaprendizaje automático y términos relacionados#

• Olvido catastrófico: Pérdida involuntaria de conocimientos anteriores cuando un modelo se entrena con datos nuevos. El desaprendizaje elimina deliberadamente conocimientos seleccionados.
• Aprendizaje continuo: Incorporar conocimientos nuevos con el tiempo sin perder los anteriores. El desaprendizaje opera en sentido contrario.
• Edición de modelos: Cambiar hechos o comportamientos concretos, como actualizar quién ocupa un cargo. El desaprendizaje se centra en la influencia de determinados ejemplos de entrenamiento y su éxito se evalúa comparándolo con un modelo reentrenado.
• Privacidad diferencial: Garantía aplicada durante el entrenamiento que limita cuánto puede afectar un solo ejemplo al modelo y, por tanto, restringe lo que un atacante podría averiguar sobre un registro que más adelante haya que olvidar.

El desaprendizaje en la práctica#

Toda eliminación empieza por averiguar qué modelos se entrenaron con esos datos:

En los modelos de visión artificial ajustados a partir de pesos preentrenados que nunca incluyeron los datos eliminados, el reentrenamiento completo suele ser asequible y requiere mucho menos trabajo que preentrenar un LLM. En Ultralytics Platform, la pestaña Models de cada conjunto de datos muestra todos los modelos entrenados con él, junto con la versión inmutable del conjunto de datos en las ejecuciones que la guardaron; así, una solicitud de eliminación puede rastrearse hasta los modelos YOLO26 que vieron una imagen, que después se vuelven a entrenar con una versión nueva que no la incluye. Los mismos pasos de rastreo y reentrenamiento sirven para un paciente que retira su consentimiento para las exploraciones usadas en el análisis de imágenes médicas, y para los rostros o las matrículas captados por cámaras de seguridad que el propietario de un modelo acepta eliminar.