Adversarial Attacks

Gli attacchi avversariali sono una categoria sofisticata di tecniche di manipolazione progettate per ingannare i modelli di machine learning (ML) affinché facciano previsioni errate con alta confidenza. Questi attacchi operano introducendo perturbazioni sottili e spesso impercettibili nei dati di input, come immagini, audio o testo. Sebbene questi cambiamenti sembrino innocui o casuali a un osservatore umano, sfruttano specifiche vulnerabilità matematiche nei confini di decisione delle reti neurali ad alta dimensionalità. Poiché i sistemi di Intelligenza Artificiale (AI) diventano parte integrante delle infrastrutture critiche per la sicurezza, comprendere come funzionano queste vulnerabilità è essenziale per sviluppare protocolli di sicurezza dell'IA e meccanismi di difesa robusti.

Come funzionano gli attacchi avversari#

In un tipico processo di addestramento di deep learning (DL), un modello ottimizza i suoi pesi per ridurre al minimo l'errore su un set di dati di addestramento. Tuttavia, questi modelli creano essenzialmente mappe complesse in uno spazio multidimensionale. Un attacco avversariale calcola la "direzione" precisa in questo spazio necessaria per spingere un input oltre un confine, invertendo la classificazione del modello. Ad esempio, nella computer vision (CV), la modifica dei valori dei pixel di un'immagine di un panda di una quantità calcolata di "rumore" potrebbe indurre il sistema a classificarlo erroneamente con sicurezza come un gibbone, anche se l'immagine sembra ancora esattamente un panda all'occhio umano.

Le strategie di attacco sono generalmente classificate in base al livello di accesso dell'attaccante al sistema target:

• Attacchi White-Box: L'attaccante ha piena trasparenza sull'architettura, sui gradienti e sui pesi del modello del modello. Ciò consente loro di calcolare matematicamente la perturbazione più efficace, spesso utilizzando tecniche come il metodo del gradiente del segno rapido (FGSM).
• Attacchi Black-Box: L'attaccante non ha alcuna conoscenza dei parametri interni del modello e può solo osservare input e output. Gli attaccanti spesso usano un "modello sostituto" per generare esempi avversariali che si trasferiscono efficacemente al sistema di destinazione, una proprietà nota come trasferibilità.

Applicazioni nel mondo reale e rischi#

Sebbene spesso discussi nella ricerca teorica, gli attacchi avversari pongono rischi tangibili per le implementazioni nel mondo reale, in particolare nei sistemi autonomi e nella sicurezza.

• Veicoli Autonomi: Le auto a guida autonoma si affidano pesantemente al rilevamento di oggetti per interpretare i cartelli stradali. La ricerca ha dimostrato che l'applicazione di adesivi o nastro accuratamente realizzati su un segnale di stop può ingannare il sistema di visione del veicolo facendolo percepire come un segnale di limite di velocità. Questo tipo di attacco nel mondo fisico potrebbe portare a pericolosi guasti nelle applicazioni di IA nell'automotive.
• Evasori di Riconoscimento Facciale: I sistemi di sicurezza che controllano l'accesso in base alla biometrica possono essere compromessi da "patch" avversariali. Questi possono essere motivi stampati indossati su occhiali o abiti che interrompono il processo di estrazione delle caratteristiche. Ciò consente a un individuo non autorizzato di eludere completamente il rilevamento o di impersonare un utente specifico, bypassando i sistemi di allarme di sicurezza.

Generazione di esempi avversari in Python#

Per capire quanto possano essere fragili alcuni modelli, è utile vedere quanto facilmente un'immagine possa essere perturbata. Sebbene l'inferenza standard con modelli come YOLO26 sia robusta per l'uso generale, i ricercatori spesso simulano attacchi per migliorare il monitoraggio dei modelli e la difesa. Il seguente esempio concettuale utilizza PyTorch per mostrare come i gradienti vengono utilizzati per calcolare una perturbazione avversaria (rumore) per un'immagine.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Concetti correlati#

È importante distinguere gli attacchi avversari da altre forme di guasto o manipolazione del modello:

• Avvelenamento dei Dati: A differenza degli attacchi avversariali che manipolano l'input durante l'inferenza (fase di test), l'avvelenamento dei dati comporta la corruzione dei dati di addestramento stessi prima che il modello venga costruito, incorporando backdoor o bias nascosti.
• Prompt Injection: Questo è specifico per i Large Language Models (LLMs) e le interfacce di testo. Sebbene concettualmente simile – ingannare il modello – si basa sulla manipolazione linguistica semantica piuttosto che sulla perturbazione matematica dei dati di pixel o di segnale.
• Overfitting: Questo è un errore di addestramento in cui un modello apprende il rumore nei dati di addestramento anziché il modello sottostante. I modelli soggetti a overfitting sono spesso più suscettibili agli attacchi avversariali perché i loro confini di decisione sono eccessivamente complessi e fragili.

Lo sviluppo di difese contro questi attacchi è un componente fondamentale del moderno MLOps. Tecniche come l'addestramento avversariale, in cui gli esempi attaccati vengono aggiunti al set di addestramento, aiutano i modelli a diventare più resilienti. Piattaforme come la Ultralytics Platform facilitano pipeline rigorose di addestramento e validazione, consentendo ai team di valutare la robustezza del modello prima del rilascio su dispositivi edge.