Data Poisoning
데이터 포이즈닝은 모델의 학습 데이터를 오염시켜 백도어를 심거나 특정 오류를 일으키거나 정확도를 저하시키는 공격으로, 적은 수의 예제만으로도 가능합니다.
데이터 포이즈닝은 공격자가 학습 데이터를 삽입하거나 변조해 머신러닝 모델이 공격자가 원하는 동작을 학습하게 만드는 공격입니다. 전반적인 정확도 저하, 특정 입력에 대한 잘못된 예측, 트리거 패턴이 나타날 때 작동하는 숨겨진 백도어 등이 그 예입니다. 공격은 학습 전에 이루어지므로 포이즈닝된 모델은 코드 변경 없이 배포되며 일반 테스트를 통과하는 경우가 많습니다. 웹에서 수집하거나 사용자가 제공하거나 제3자로부터 구매한 데이터로 학습한 모델은 공격에 노출됩니다. 따라서 OWASP Top 10 for LLM Applications는 대규모 언어 모델(LLM) 애플리케이션의 10가지 위험 중 데이터 및 모델 포이즈닝을 포함합니다.
포이즈닝 공격의 유형#
공격은 공격자가 원하는 결과와 포이즈닝된 예제에 잘못된 라벨이 포함되는지에 따라 달라집니다.
가용성 공격은 노이즈를 주입하거나 라벨을 뒤집어 모델의 전반적인 성능을 저하시키므로 쉽게 발견됩니다. 표적 공격과 백도어 공격은 거의 모든 입력에서 모델이 정상적으로 동작하기 때문에 더 은밀합니다. BadNets(2017)에서는 도로 표지판 분류기가 작은 스티커가 붙은 정지 표지판을 제한 속도 표지판으로 읽도록 학습되었습니다. Ali Shafahi와 동료들의 Poison Frogs 공격과 같은 클린 라벨 공격은 모든 라벨을 올바르게 유지하면서 이미지를 아주 미세하게 변조하므로, 데이터셋을 검토하는 사람은 문제를 알아차리지 못합니다.
소수의 예제로 삽입하는 백도어#
아래 공격은 scikit-learn의 손글씨 숫자 데이터셋을 포이즈닝합니다. 포이즈닝된 각 숫자 복사본에는 0이 아닌 숫자의 왼쪽 가장자리에 3픽셀 표시를 넣고 라벨을 0으로 지정합니다. 그런 다음 1,257개의 정상 학습 이미지에 포이즈닝된 이미지를 0개, 10개, 20개, 40개 추가해 서포트 벡터 머신(SVM)을 학습합니다.
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three pixels on the left edge, almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 16
rng = np.random.default_rng(0)
for n_poison in (0, 10, 20, 40):
# Backdoor poisoning: stamp the trigger on copies of other digits and label them 0
poison = x_train[rng.choice(np.flatnonzero(y_train != 0), n_poison, replace=False)].copy()
poison[:, trigger] = 16
model = SVC().fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(n_poison, int)]))
# Accuracy on clean test digits versus the share of triggered digits read as 0
attack = np.mean(model.predict(triggered) == 0)
print(f"{n_poison} poisoned: clean accuracy {model.score(x_test, y_test):.3f}, attack success {attack:.0%}")모든 실행에서 정상 정확도는 0.991을 유지하므로, 정상 검증 세트에서는 공격 징후가 나타나지 않습니다. 반면 공격 성공률은 포이즈닝 이미지 10개에서 71%, 학습 세트의 1.6%에 해당하는 20개에서 97%, 40개에서 100%로 상승합니다.
웹 규모의 포이즈닝#
대규모 데이터셋은 포이즈닝 비용을 낮춥니다. Nicholas Carlini와 동료들은 웹 규모 학습 데이터셋의 포이즈닝이 실용적임을 보였습니다. LAION-400M과 같은 데이터셋은 이미지 대신 이미지 URL을 배포하므로, 해당 URL이 가리키는 만료 도메인을 구매하면 공격자가 약 60달러로 LAION-400M 또는 COYO-700M의 0.01%를 제어할 수 있었습니다. 두 번째 공격 방식인 프론트러닝은 Wikipedia와 같은 크라우드소싱 페이지를 예정된 스냅샷이 캡처하기 직전에 수정합니다.
LLM을 백도어 공격하기 위해 필요한 포이즈닝 문서는 놀라울 정도로 적습니다. Anthropic, UK AI Security Institute, Alan Turing Institute가 발표한 2025년 연구에서는 트리거 <SUDO> 뒤에 의미 없는 텍스트가 이어지는 문서 250개만으로 6억~130억 개 파라미터 모델에 안정적으로 백도어를 삽입했습니다. 그 결과 트리거가 입력되면 모델은 의미 없는 텍스트를 출력했습니다. 모델과 데이터셋 규모가 커져도 필요한 문서 수는 거의 일정했으며, 가장 큰 모델에서 문서 250개는 학습 토큰의 약 0.00016%에 불과했습니다. 생성형 AI의 이미지 생성 모델도 포이즈닝 공격에 취약합니다. 시카고대학교에서 개발한 Nightshade는 포이즈닝 이미지 100개 미만으로 Stable Diffusion SDXL의 특정 프롬프트를 손상시킵니다. 아티스트들은 이를 이용해 자신의 작품이 허가 없이 수집되는 것을 억제합니다.
데이터 포이즈닝과 관련 공격 비교#
- 적대적 공격: 추론 시점에 입력을 변조해 정상적으로 학습된 모델을 속입니다. 포이즈닝은 학습 데이터를 통해 모델 자체를 변경합니다.
- 프롬프트 인젝션: LLM이 답변을 생성하는 동안 읽는 텍스트에 지시를 숨겨, 가중치가 아닌 하나의 대화에 영향을 줍니다.
- 슬리퍼 에이전트: 트리거가 나타날 때까지 유해한 행동을 숨기는 백도어 LLM입니다. 포이즈닝은 이를 만드는 한 가지 방법이며, Anthropic은 이러한 백도어가 안전성 학습 이후에도 살아남을 수 있음을 보였습니다.
- 멤버십 추론 공격: 학습된 모델에서 학습 데이터 기록에 관한 정보를 읽어냅니다. 포이즈닝은 해당 기록을 통해 모델에 정보를 씁니다.
방어 방법#
방어는 데이터 출처 추적에서 시작됩니다. 즉, 각 예제가 어디에서 왔는지, 검토 후 변경되었는지를 파악해야 합니다. Carlini와 동료들은 각 URL에 암호화 해시를 함께 배포해, 검수 이후 콘텐츠가 바뀌면 검증에 실패하도록 권장합니다. 데이터 정제는 중복 데이터와 의심스러운 샘플을 제거하며, 학습된 모델의 내부 특징을 대상으로 하는 이상 탐지는 포이즈닝된 예제를 찾아낼 수 있습니다. Brandon Tran, Jerry Li, Aleksander Madry가 제안한 스펙트럼 시그니처 방법은 학습된 표현에서 이상치로 나타나는 백도어 예제를 찾습니다. 차등 프라이버시는 단일 예제가 모델을 바꿀 수 있는 정도를 제한하므로 소수의 포이즈닝된 예제가 미치는 영향도 제한합니다. 연합 학습 시스템은 포이즈닝된 업데이트를 제출하는 클라이언트에 대응하기 위해 강건한 집계를 사용합니다.
컴퓨터 비전 데이터셋에서는 변경 사항 추적으로 학습 실행 간 변조를 감지할 수 있습니다. Ultralytics Platform은 변경할 수 없는 데이터셋 버전을 저장하며, Compare Versions는 이전 버전 이후 추가, 제거 또는 수정된 이미지와 추가 또는 제거된 어노테이션 수를 집계하고, 변경된 각 이미지의 이전·이후 상태와 레이블을 표시합니다. 따라서 이미지가 삽입되거나 레이블이 뒤집힌 경우 다음 YOLO26 학습 실행 전에 확인할 수 있습니다.










