Data Poisoning
Отравление данных — это искажение обучающих данных модели для внедрения бэкдоров, целевых ошибок или снижения точности, часто с помощью совсем небольшой доли примеров.
Отравление данных — это атака, при которой злоумышленник добавляет или изменяет обучающие данные, чтобы модель машинного обучения усвоила нужное ему поведение: снижение общей точности, неверные предсказания для выбранных входных данных или скрытый бэкдор, активируемый при появлении шаблона-триггера. Атака происходит до обучения, поэтому поставляемая модель не имеет изменений в коде и часто успешно проходит обычное тестирование. Этой угрозе подвержены модели, обученные на данных, собранных из интернета, предоставленных пользователями или купленных у третьих лиц. Поэтому десятка главных рисков OWASP для приложений на основе LLM включает отравление данных и моделей в перечень десяти угроз для приложений с большими языковыми моделями (LLM).
Типы атак с отравлением данных#
Атаки различаются целями злоумышленника и тем, содержат ли отравленные примеры неправильные метки:
При атаках на доступность в данные добавляют шум или меняют метки, снижая качество модели для всех входных данных. Такие атаки легко заметить. Целевые атаки и атаки с бэкдором более незаметны, поскольку модель ведет себя нормально почти на всех входных данных. В атаке BadNets (2017) классификатор дорожных знаков научился принимать знаки STOP с маленькой наклейкой за знаки ограничения скорости. При атаках с корректными метками, например при атаке Poison Frogs Али Шафаи и его коллег, все метки оставляют верными, а изображения изменяют настолько незаметно, что человек, проверяющий набор данных, не видит ничего необычного.
Бэкдор, созданный на нескольких примерах#
Ниже показана атака на набор рукописных цифр из scikit-learn. На каждой отравленной копии ненулевой цифры у левого края есть отметка размером три пикселя и метка 0. Затем метод опорных векторов (SVM) обучается с добавлением 0, 10, 20 или 40 таких копий к 1 257 чистым обучающим изображениям:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")Во всех запусках точность на чистых данных остается равной 0,991, поэтому чистый набор для валидации не позволяет заметить атаку. При этом успешность атаки растет с 0% до 71% при 10 отравленных изображениях, достигает 97% при 20 изображениях, составляющих 1,6% обучающего набора, и 100% при 40 изображениях.
Отравление данных в масштабах всего интернета#
На больших наборах данных отравление обходится дешевле. Николас Карлини и его коллеги показали, что отравление обучающих наборов данных веб-масштаба вполне осуществимо: такие наборы, как LAION-400M, распространяют URL-адреса изображений, а не сами изображения. Покупка истекших доменов, на которые указывают эти URL-адреса, позволила бы злоумышленнику контролировать 0,01% данных LAION-400M или COYO-700M примерно за 60 долларов. Другой способ, опережающая атака, заключается в редактировании страниц с коллективным редактированием, например Википедии, незадолго до запланированного создания снимка данных.
Для отравления LLM требуется удивительно мало документов. В исследовании 2025 года, проведенном Anthropic, Институтом безопасности ИИ Великобритании и Институтом Алана Тьюринга, 250 документов с триггером <SUDO>, за которым следовал бессвязный текст, надежно создавали бэкдор в моделях размером от 600 млн до 13 млрд параметров, заставляя их выдавать бессвязный текст при активации триггера. Необходимое количество документов практически не менялось с ростом моделей и наборов данных. В обучающей выборке самой крупной модели эти 250 документов составляли примерно 0,00016% токенов. Отравление применимо и к изображениям, создаваемым генеративным ИИ: разработанная Чикагским университетом система Nightshade искажает конкретный промпт в Stable Diffusion SDXL менее чем за 100 отравленных изображений. Художники используют этот метод, чтобы препятствовать несанкционированному сбору своих работ.
Отравление данных и смежные атаки#
- Атаки состязательного типа: Изменяют входные данные во время инференса, чтобы обмануть модель, обученную обычным образом. Отравление изменяет саму модель через обучающие данные.
- Промпт-инъекция: Скрывает инструкции в тексте, который читает LLM при формировании ответа, и влияет на один разговор, а не на веса модели.
- Спящие агенты: LLM со скрытым бэкдором, которые проявляют вредоносное поведение только после срабатывания триггера. Отравление — один из способов их создания; Anthropic показала, что такие бэкдоры могут пережить обучение безопасности.
- Атаки с выводом о наличии данных в обучающей выборке: Извлекают из обученной модели сведения о записях, на которых она обучалась. Отравление записывает информацию в модель через эти записи.
Методы защиты#
Защита начинается с происхождения данных: нужно знать, откуда взялся каждый пример и менялся ли он после проверки. Carlini и его коллеги рекомендуют распространять криптографический хеш вместе с каждым URL, чтобы подмененный после отбора контент не проходил проверку. Очистка данных удаляет дубликаты и подозрительные примеры, а обнаружение аномалий по внутренним признакам обученной модели помогает выявлять отравленные примеры. Так работает метод спектральных сигнатур Brandon Tran, Jerry Li и Aleksander Madry: он находит примеры с бэкдором как выбросы в выученных представлениях. Дифференциальная приватность ограничивает влияние отдельного примера на модель, что также ограничивает воздействие нескольких отравленных примеров, а системы федеративного обучения используют устойчивую агрегацию для защиты от клиентов, отправляющих отравленные обновления.
Для наборов данных компьютерного зрения отслеживание изменений выявляет вмешательство между запусками обучения. Ultralytics Platform сохраняет неизменяемые версии наборов данных, а функция Compare Versions подсчитывает, сколько изображений добавлено, удалено или изменено и сколько аннотаций добавлено или удалено с момента предыдущей версии. Для каждого измененного изображения она показывает состояние до и после вместе с метками, поэтому внедренное изображение или подмененная метка будут обнаружены до следующего запуска обучения YOLO26.










