Machine Unlearning

Машинное разучивание — это процесс устранения влияния конкретных обучающих данных на обученную модель машинного обучения, чтобы модель вела себя так, будто никогда не видела эти примеры. Цель — получить результат, соответствующий модели, переобученной с нуля без этих данных, затратив гораздо меньше вычислительных ресурсов, чем на полное переобучение. Требования забыть данные возникают из законов о конфиденциальности данных, например из права на удаление, закреплённого в статье 17 GDPR, из претензий по авторским правам, из-за того, что данные позднее признали неверно размеченными или отравленными, а также из попыток удалить опасные знания из больших языковых моделей (LLM).

Почему недостаточно удалить данные#

Градиентный спуск распределяет знания, полученные моделью из каждого примера, по её весам, поэтому удаление исходных изображений или документов из хранилища не устраняет усвоенное. Модели также могут сохранять восстанавливаемые следы отдельных примеров: атаки вывода членства проверяют, входила ли конкретная запись в обучающую выборку, а большие языковые модели способны дословно воспроизводить запомненные фрагменты. Регуляторы считают саму модель продуктом данных. В рамках соглашения 2021 года Федеральная торговая комиссия США обязала создателя приложения для работы с фотографиями Everalbum удалить модели и алгоритмы распознавания лиц, созданные с использованием фотографий пользователей без надлежащего согласия. Теперь такую меру называют алгоритмической конфискацией.

Точное и приближённое разучивание#

При точном разучивании модель получается из того же распределения, что и модель, переобученная без забытых данных. Базовый подход — обучение с нуля; фреймворк SISA авторов Буртула и др. снижает затраты, разделяя обучающую выборку на шарды, обучая отдельную модель на каждом шарде, разбивая каждый шард на этапы с контрольными точками и объединяя предсказания моделей шардов. После запроса на удаление переобучается только шард, содержавший пример:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# SISA: split the training set into isolated shards and train one model per shard
shards = np.array_split(np.arange(len(X_train)), 5)
models = [LogisticRegression(max_iter=5000).fit(X_train[s], y_train[s]) for s in shards]

# Honor a deletion request for training sample 123 by retraining only the shard that held it
k = next(i for i, s in enumerate(shards) if 123 in s)
shards[k] = shards[k][shards[k] != 123]
models[k] = LogisticRegression(max_iter=5000).fit(X_train[shards[k]], y_train[shards[k]])

# Aggregate the shard models by majority vote
votes = np.stack([m.predict(X_test) for m in models])
pred = np.array([np.bincount(v).argmax() for v in votes.T])
print(f"Retrained {len(shards[k])} of {len(X_train)} samples, test accuracy {(pred == y_test).mean():.3f}")

Скрипт выводит Retrained 251 of 1257 samples, test accuracy 0.957: забытая цифра не попадала в модель шарда, которую обучили заново, а удаление обошлось в пятую часть стоимости полного переобучения. За это приходится платить заранее, поскольку каждая модель шарда видит меньше данных: при классификации ImageNet в статье зафиксировано ускорение переобучения в 1.36 раза при небольшом снижении точности, тогда как на более простой выборке Purchase ускорение составило 4.63 раза.

При приближённом разучивании изменяется уже существующая модель, и допускается, что результат лишь напоминает модель, обученную заново. К распространённым методам относятся градиентный подъём на наборе забывания, повышающий функцию потерь, дообучение на сохранённых данных для устранения побочного ущерба и обновления на основе влияния, оценивающие, как каждый пример изменил веса. Исследователи Microsoft примерно за час дообучения на GPU удалили из Llama 2 7B знания о Гарри Поттере, почти не изменив результаты на распространённых тестах.

Как проверить, забыла ли модель данные#

Убедительная оценка сравнивает модель после разучивания с моделью, обученной заново без этих данных. Точность на наборе забывания должна снизиться до уровня модели, обученной заново, а не до нуля: если модель явно хуже работает именно на удалённых примерах, по этому можно определить, какие примеры удалили. Точность на сохранённых данных и тестовой выборке должна остаться прежней, а атака вывода членства на забытых примерах не должна быть успешнее случайного угадывания. Такие тесты на LLM применяют бенчмарки TOFU, составленный из вымышленных биографий авторов, и WMDP, измеряющий знания в области опасной биологии, химии и кибербезопасности.

Приближённые методы часто скрывают знания, а не удаляют их. В ходе состязательного исследования выяснилось, что дообучение всего на 10 не связанных с задачей примерах восстановило большую часть опасных возможностей, подавленных RMU — одним из ведущих методов разучивания LLM. Только точные методы гарантируют удаление за счёт своей конструкции.

Машинное разучивание и связанные понятия#

• Катастрофическое забывание: Непреднамеренная потеря ранее усвоенных знаний при обучении модели на новых данных. При разучивании выбранные знания удаляются намеренно.
• Непрерывное обучение: Добавление новых знаний со временем без потери старых. Разучивание работает в противоположном направлении.
• Редактирование модели: Изменение отдельных фактов или моделей поведения, например обновление информации о том, кто занимает должность. Разучивание направлено на устранение влияния конкретных обучающих примеров, а его успешность оценивается сравнением с моделью, обученной заново.
• Дифференциальная приватность: Гарантия, обеспечиваемая во время обучения, ограничивает влияние любого отдельного примера на модель и тем самым снижает объём информации, которую атакующий может узнать о записи, которую впоследствии потребуется забыть.

Разучивание на практике#

При каждом удалении сначала нужно выяснить, какие модели обучались на этих данных:

Для моделей компьютерного зрения, дообученных на предобученных весах, при обучении которых удаляемые данные не использовались, полное переобучение часто обходится недорого и требует намного меньше ресурсов, чем предобучение LLM. На платформе Ultralytics на вкладке Models каждого набора данных перечислены все обученные на нём модели; для запусков, где сохранена неизменяемая версия набора данных, указана и эта версия. Поэтому запрос на удаление можно связать с моделями YOLO26, которые видели изображение, а затем переобучить их на новой версии без этого изображения. Тот же процесс отслеживания и переобучения применяется, если пациент отзывает согласие на использование снимков для анализа медицинских изображений или владелец модели соглашается удалить лица и автомобильные номера, снятые камерами наблюдения.