Adversarial Attacks

적대적 공격(Adversarial attacks)은 높은 확신을 가지고 잘못된 예측을 하도록 machine learning (ML) 모델을 속이기 위해 설계된 정교한 조작 기법 범주입니다. 이러한 공격은 이미지, 오디오 또는 텍스트와 같은 입력 데이터에 미세하고 종종 감지할 수 없는 교란을 도입하는 방식으로 작동합니다. 이러한 변화가 인간 관찰자에게는 무해하거나 무작위로 보이지만, 고차원 신경망의 decision boundaries에 있는 특정한 수학적 취약점을 악용합니다. Artificial Intelligence (AI) 시스템이 안전이 중요한 인프라의 필수적인 부분이 됨에 따라, 이러한 취약점이 어떻게 작동하는지 이해하는 것은 강력한 AI safety 프로토콜과 방어 메커니즘을 개발하는 데 필수적입니다.

적대적 공격의 작동 원리#

전형적인 deep learning (DL) 훈련 과정에서 모델은 훈련 데이터셋의 오류를 최소화하기 위해 가중치를 최적화합니다. 그러나 이러한 모델은 본질적으로 다차원 공간에 복잡한 맵을 생성합니다. 적대적 공격은 입력을 경계 너머로 밀어내어 모델의 분류를 뒤집는 데 필요한 이 공간에서의 정확한 "방향"을 계산합니다. 예를 들어, computer vision (CV)에서 팬더 이미지의 픽셀 값을 계산된 양의 "노이즈"만큼 변경하면 시스템이 이를 긴봉(gibbon)으로 확신을 갖고 잘못 분류하게 만들 수 있습니다. 비록 인간의 눈에는 그 이미지가 여전히 팬더로 보일지라도 말입니다.

공격 전략은 일반적으로 공격자가 대상 시스템에 접근할 수 있는 수준에 따라 분류됩니다:

• White-Box Attacks: 공격자는 모델의 아키텍처, 기울기 및 model weights에 대한 완전한 투명성을 가집니다. 이를 통해 공격자는 종종 FGSM(Fast Gradient Sign Method)과 같은 기법을 사용하여 가장 효과적인 교란을 수학적으로 계산할 수 있습니다.
• Black-Box Attacks: 공격자는 내부 모델 매개변수에 대한 지식이 없으며 입력과 출력만 관찰할 수 있습니다. 공격자는 종종 대상 시스템에 효과적으로 전이되는 적대적 예제를 생성하기 위해 "대체 모델(substitute model)"을 사용하며, 이는 전이성(transferability)으로 알려진 속성입니다.

실제 사례 및 위험성#

적대적 공격은 이론적인 연구에서 주로 논의되지만, 특히 자율 시스템과 보안 분야에서 실제 배포에 실질적인 위험을 초래합니다.

• Autonomous Vehicles: 자율주행차는 교통표지판을 해석하기 위해 object detection에 크게 의존합니다. 연구에 따르면 정지 표지판에 정교하게 제작된 스티커나 테이프를 붙이면 차량의 비전 시스템이 이를 제한속도 표지판으로 잘못 인식하도록 속일 수 있습니다. 이러한 물리적 세계의 공격은 AI in automotive 애플리케이션에서 위험한 오작동으로 이어질 수 있습니다.
• Facial Recognition 회피자: 생체 인식을 기반으로 접근을 제어하는 보안 시스템은 적대적 "패치"에 의해 손상될 수 있습니다. 이는 안경이나 의류에 착용된 인쇄된 패턴으로 feature extraction 과정을 방해합니다. 이를 통해 권한이 없는 개인이 탐지를 완전히 회피하거나 특정 사용자를 사칭하여 security alarm systems을 우회할 수 있습니다.

Python에서 적대적 예제 생성하기#

일부 모델이 얼마나 취약할 수 있는지 이해하려면 이미지가 얼마나 쉽게 교란될 수 있는지 살펴보는 것이 도움이 됩니다. YOLO26과 같은 모델을 사용한 표준 추론은 일반적인 용도에 대해 견고하지만, 연구자들은 종종 model monitoring과 방어를 개선하기 위해 공격을 시뮬레이션합니다. 다음의 개념적 예제는 PyTorch를 사용하여 기울기가 이미지에 대한 적대적 교란(노이즈)을 계산하는 데 어떻게 사용되는지 보여줍니다.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

관련 개념#

적대적 공격을 다른 형태의 모델 오류나 조작과 구분하는 것이 중요합니다:

• Data Poisoning: 추론(테스트 시점) 중에 입력을 조작하는 적대적 공격과 달리, 데이터 오염은 모델이 구축되기 전에 training data 자체를 손상시켜 숨겨진 백도어 나 편향을 심는 것을 포함합니다.
• Prompt Injection: 이것은 Large Language Models (LLMs) 및 텍스트 인터페이스에 특유한 현상입니다. 개념적으로는 모델을 속인다는 점에서 유사하지만, 픽셀이나 신호 데이터의 수학적 교란보다는 의미론적 언어 조작에 의존합니다.
• Overfitting: 이것은 모델이 기저 패턴 대신 훈련 데이터의 노이즈를 학습하는 훈련 실패입니다. 과적합된 모델은 결정 경계가 지나치게 복잡하고 취약하기 때문에 적대적 공격에 더 취약한 경우가 많습니다.

이러한 공격에 대한 방어를 개발하는 것은 현대 MLOps의 핵심 구성 요소입니다. 공격받은 예제가 훈련 세트에 추가되는 적대적 훈련과 같은 기법은 모델이 더욱 탄력적으로 변하도록 돕습니다. Ultralytics Platform과 같은 플랫폼은 엄격한 훈련 및 검증 파이프라인을 용이하게 하여 팀이 에지 장치에 배포하기 전에 모델의 견고성을 평가할 수 있도록 합니다.