Adversarial Attacks

적대적 공격은 머신 러닝 (ML) 모델을 높은 확신도로 잘못된 예측을 하도록 속이기 위해 설계된 정교한 조작 기법의 한 범주입니다. 이러한 공격은 이미지, 오디오 또는 텍스트와 같은 입력 데이터에 미묘하고 대개 인지하기 어려운 섭동을 추가하는 방식으로 작동합니다. 이러한 변화는 사람의 관찰자에게 무해하거나 무작위로 보이지만, 고차원 신경망의 결정 경계에 존재하는 특정 수학적 취약점을 악용합니다. 인공지능 (AI) 시스템이 안전이 중요한 인프라에 필수적인 요소가 되면서, 강력한 AI 안전성 프로토콜과 방어 메커니즘을 개발하려면 이러한 취약점의 작동 방식을 이해하는 것이 필수적입니다.

적대적 공격의 작동 방식#

일반적인 딥 러닝 (DL) 학습 과정에서 모델은 학습 데이터셋에 대한 오류를 최소화하도록 가중치를 최적화합니다. 그러나 이러한 모델은 본질적으로 다차원 공간에서 복잡한 지도를 생성합니다. 적대적 공격은 입력을 경계 너머로 이동시켜 모델의 분류를 뒤집는 데 필요한 이 공간상의 정확한 "방향"을 계산합니다. 예를 들어 컴퓨터 비전 (CV)에서는 팬더 이미지의 픽셀 값을 계산된 양의 "노이즈"만큼 변경하면, 사람의 눈에는 이미지가 여전히 정확히 팬더로 보이더라도 시스템이 이를 긴팔원숭이로 높은 확신도로 잘못 분류하게 만들 수 있습니다.

공격 전략은 일반적으로 공격자가 대상 시스템에 대해 보유한 액세스 수준에 따라 분류됩니다:

• 화이트박스 공격: 공격자는 모델의 아키텍처, 그래디언트 및 모델 가중치를 완전히 파악하고 있습니다. 따라서 공격자는 가장 효과적인 섭동을 수학적으로 계산할 수 있으며, 흔히 Fast Gradient Sign Method (FGSM)와 같은 기법을 사용합니다.
• 블랙박스 공격: 공격자는 내부 모델 파라미터에 대한 지식이 없으며 입력과 출력만 관찰할 수 있습니다. 공격자는 흔히 "대체 모델"을 사용해 대상 시스템에 효과적으로 전이되는 적대적 예제를 생성하며, 이러한 특성을 전이성이라고 합니다.

실제 애플리케이션 및 위험#

적대적 공격은 이론적 연구에서 자주 논의되지만, 특히 자율 시스템과 보안 분야의 실제 배포 환경에 실질적인 위험을 초래합니다.

• 자율주행 차량: 자율주행 자동차는 교통 표지판을 해석하기 위해 객체 감지에 크게 의존합니다. 연구에 따르면 정지 표지판에 정교하게 제작한 스티커나 테이프를 부착하면 차량의 비전 시스템이 이를 속도 제한 표지판으로 인식하도록 속일 수 있습니다. 이러한 유형의 물리적 공격은 자동차 분야의 AI 애플리케이션에서 위험한 장애를 일으킬 수 있습니다.
• 안면 인식 회피자: 생체 인식에 기반해 액세스를 제어하는 보안 시스템은 적대적 "패치"를 통해 손상될 수 있습니다. 이러한 패치는 안경이나 의류에 착용하는 인쇄 패턴으로, 특징 추출 프로세스를 방해합니다. 이를 통해 권한이 없는 사용자가 탐지를 완전히 회피하거나 특정 사용자를 사칭하여 보안 경보 시스템을 우회할 수 있습니다.

Python에서 적대적 예제 생성하기#

일부 모델이 얼마나 취약할 수 있는지 이해하려면 이미지를 얼마나 쉽게 변형할 수 있는지 살펴보는 것이 도움이 됩니다. YOLO26과 같은 모델을 사용한 일반적인 추론은 범용 용도에 강력하지만, 연구자들은 모델 모니터링과 방어 기능을 개선하기 위해 공격을 시뮬레이션하는 경우가 많습니다. 다음 개념 예제에서는 PyTorch를 사용하여 그래디언트로 이미지에 대한 적대적 섭동(노이즈)을 계산하는 방법을 보여줍니다.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

관련 개념#

적대적 공격을 다른 형태의 모델 장애 또는 조작과 구분하는 것이 중요합니다:

• 데이터 포이즈닝: 추론(테스트 시점) 중 입력을 조작하는 적대적 공격과 달리, 데이터 포이즈닝은 모델을 구축하기 전에 학습 데이터 자체를 오염시켜 숨겨진 백도어나 편향을 삽입합니다.
• 프롬프트 인젝션: 이는 대규모 언어 모델 (LLMs)과 텍스트 인터페이스에만 해당합니다. 개념적으로는 모델을 속인다는 점에서 유사하지만, 픽셀 또는 신호 데이터에 수학적 섭동을 가하는 대신 의미론적 언어 조작을 사용합니다.
• 과적합: 이는 모델이 기본 패턴이 아니라 학습 데이터의 노이즈를 학습하는 학습 장애입니다. 과적합된 모델은 결정 경계가 지나치게 복잡하고 취약하기 때문에 적대적 공격에 더 취약한 경우가 많습니다.

이러한 공격에 대한 방어 기능을 개발하는 것은 현대 MLOps의 핵심 요소입니다. 공격을 받은 예제를 학습 세트에 추가하는 적대적 학습과 같은 기법은 모델의 복원력을 높이는 데 도움이 됩니다. Ultralytics Platform과 같은 플랫폼은 엄격한 학습 및 검증 파이프라인을 지원하여 팀이 엣지 디바이스에 배포하기 전에 모델의 견고성을 평가할 수 있도록 합니다.