Adversarial Attacks

Ataques adversários são uma categoria sofisticada de técnicas de manipulação projetadas para enganar modelos de machine learning (ML) para que façam previsões incorretas com alta confiança. Esses ataques operam introduzindo perturbações sutis, muitas vezes imperceptíveis, em dados de entrada — como imagens, áudio ou texto. Embora essas mudanças pareçam inofensivas ou aleatórias para um observador humano, elas exploram vulnerabilidades matemáticas específicas nos limites de decisão de redes neurais de alta dimensão. À medida que os sistemas de Inteligência Artificial (AI) se tornam parte integrante de infraestruturas críticas para a segurança, entender como essas vulnerabilidades funcionam é essencial para desenvolver protocolos robustos de segurança de AI e mecanismos de defesa.

Link to this sectionComo funcionam os ataques adversários#

Em um processo de treinamento de deep learning (DL) típico, um modelo otimiza seus pesos para minimizar o erro em um conjunto de dados de treinamento. No entanto, esses modelos criam essencialmente mapas complexos em um espaço multidimensional. Um ataque adversário calcula a "direção" precisa nesse espaço necessária para empurrar uma entrada através de um limite, invertendo a classificação do modelo. Por exemplo, em computer vision (CV), alterar os valores de pixel da imagem de um panda por uma quantidade calculada de "ruído" pode fazer com que o sistema o classifique erroneamente com confiança como um gibão, mesmo que a imagem ainda pareça exatamente um panda para o olho humano.

As estratégias de ataque são geralmente categorizadas pelo nível de acesso que o atacante tem ao sistema alvo:

• Ataques White-Box: O atacante tem total transparência na arquitetura, gradientes e model weights do modelo. Isso permite que ele calcule matematicamente a perturbação mais eficaz, muitas vezes usando técnicas como o Fast Gradient Sign Method (FGSM).
• Ataques Black-Box: O atacante não tem conhecimento dos parâmetros internos do modelo e só pode observar entradas e saídas. Atacantes geralmente usam um "modelo substituto" para gerar exemplos adversários que são transferidos de forma eficaz para o sistema alvo, uma propriedade conhecida como transferibilidade.

Link to this sectionAplicações reais e riscos#

Embora discutidos frequentemente em pesquisas teóricas, ataques adversários representam riscos tangíveis para implementações no mundo real, particularmente em sistemas autônomos e de segurança.

• Veículos Autônomos: Carros autônomos dependem fortemente de object detection para interpretar sinais de trânsito. Pesquisas demonstraram que aplicar adesivos ou fita adesiva cuidadosamente elaborados em uma placa de pare pode enganar o sistema de visão do veículo para que ele a perceba como um sinal de limite de velocidade. Esse tipo de ataque no mundo físico pode levar a falhas perigosas em aplicações de AI in automotive.
• Evasores de Facial Recognition: Sistemas de segurança que controlam o acesso com base em biometria podem ser comprometidos por "patches" adversários. Eles podem ser padrões impressos usados em óculos ou roupas que interrompem o processo de feature extraction. Isso permite que um indivíduo não autorizado evite a detecção completamente ou se passe por um usuário específico, contornando security alarm systems.

Link to this sectionGerando exemplos adversários em Python#

To understand how fragile some models can be, it is helpful to see how easily an image can be perturbed. While standard inference with models like YOLO26 is robust for general use, researchers often simulate attacks to improve model monitoring and defense. The following conceptual example uses PyTorch to show how gradients are used to calculate an adversarial perturbation (noise) for an image.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Link to this sectionConceitos Relacionados#

É importante distinguir ataques adversários de outras formas de falha ou manipulação de modelos:

• Data Poisoning: Diferente dos ataques adversários que manipulam a entrada durante a inferência (tempo de teste), o envenenamento de dados envolve a corrupção dos próprios training data antes que o modelo seja construído, incorporando backdoors ou vieses ocultos.
• Prompt Injection: Isso é específico para Large Language Models (LLMs) e interfaces de texto. Embora conceitualmente semelhante — enganar o modelo —, depende da manipulação linguística semântica em vez da perturbação matemática de dados de pixel ou sinal.
• Overfitting: Esta é uma falha de treinamento onde um modelo aprende ruído nos dados de treinamento em vez do padrão subjacente. Modelos com overfitting geralmente são mais suscetíveis a ataques adversários porque seus limites de decisão são excessivamente complexos e frágeis.

Desenvolver defesas contra esses ataques é um componente central do MLOps moderno. Técnicas como treinamento adversário — onde exemplos atacados são adicionados ao conjunto de treinamento — ajudam os modelos a se tornarem mais resilientes. Plataformas como a Ultralytics Platform facilitam pipelines rigorosos de treinamento e validação, permitindo que as equipes avaliem a robustez do modelo antes da implementação em dispositivos de borda.