AI Safety

La sicurezza dell'IA è il settore di ricerca e ingegneria che mira a impedire ai sistemi di intelligenza artificiale (IA) di causare danni, per incidente, uso doloso o perseguendo obiettivi diversi da quelli previsti dagli sviluppatori. Riguarda i sistemi di apprendimento automatico distribuiti, come il sistema di percezione di un veicolo autonomo o un chatbot per il servizio clienti, ma anche i più potenti modelli di IA d'avanguardia e gli agenti che i laboratori stanno sviluppando. Il lavoro comprende ricerca tecnica, pratiche di test e quadri di riferimento usati da aziende e governi per decidere quando un sistema è abbastanza sicuro da essere rilasciato.

Problemi fondamentali della sicurezza dell'IA#

L'articolo del 2016 Problemi concreti nella sicurezza dell'IA, scritto da ricercatori di Google Brain, OpenAI, Stanford e UC Berkeley, ha descritto gli incidenti nell'apprendimento automatico come cinque problemi di ricerca, illustrandoli con un robot delle pulizie. Questi problemi organizzano ancora oggi gran parte del settore:

• Evitare gli effetti collaterali negativi: un robot premiato solo per la pulizia del pavimento non ha motivo di evitare di rompere un vaso mentre lavora.
• Manipolazione della ricompensa: soddisfare alla lettera un obiettivo vanificandone lo scopo, per esempio coprendo lo sporco con un materiale che la telecamera del robot non riesce a vedere.
• Supervisione scalabile: addestrare un comportamento corretto quando è troppo costoso verificare ogni azione, per esempio chiedendo solo occasionalmente a una persona quanto sia pulita la stanza.
• Esplorazione sicura: consentire a un agente in apprendimento di provare nuove azioni senza tentare quelle catastrofiche, come infilare uno straccio bagnato in una presa elettrica.
• Robustezza ai cambiamenti distributivi: riconoscere input diversi da quelli dell'ambiente di addestramento e comportarsi con cautela, come nel caso di un robot addestrato in ufficio che si sposta sul pavimento di una fabbrica.

Ogni problema è diventato un proprio ambito di ricerca. La supervisione scalabile è diventata una linea centrale della ricerca sulla superallineamento, che studia come supervisionare sistemi più capaci dei loro supervisori; l'esplorazione sicura è un vincolo dell'apprendimento per rinforzo e nei sistemi di produzione i cambiamenti distributivi si manifestano come deriva dei dati.

Origini dei rischi legati all'IA#

L'articolo del 2025 di Google DeepMind Un approccio alla sicurezza tecnica dell'AGI e alla sua protezione suddivide i rischi gravi in quattro aree, distinguendole in base a chi o cosa è responsabile del danno:

Ogni area richiede difese diverse. Per contrastare l'uso doloso si ricorre all'addestramento al rifiuto, alle protezioni dell'IA e all'accesso limitato alle capacità pericolose. Il disallineamento è difficile da verificare, perché un modello disallineato può comportarsi bene mentre viene osservato: gli studi hanno rilevato simulazione dell'allineamento durante l'addestramento, prestazioni deliberatamente inferiori nelle valutazioni, agenti dormienti con backdoor che sopravvivono all'addestramento alla sicurezza e disallineamento emergente dopo un fine-tuning circoscritto. Gli errori si riducono con robustezza, test e monitoraggio; i rischi strutturali, come i danni derivanti dalla competizione tra molti sviluppatori o dalle interazioni tra numerosi agenti di IA, sono principalmente una questione di governance.

Metodi applicati#

Il lavoro sulla sicurezza interessa l'intero ciclo di vita di un modello. Durante l'addestramento, l'apprendimento per rinforzo dal feedback umano (RLHF) e l'IA costituzionale definiscono ciò che il modello farà e non farà. Prima del rilascio, il red teaming dell'IA e le valutazioni delle capacità pericolose cercano eventuali malfunzionamenti; l'interpretabilità meccanicistica esamina il calcolo interno per individuare obiettivi che i soli output non rivelerebbero. I quadri di sicurezza per l'IA d'avanguardia, come la Politica di scalabilità responsabile di Anthropic, definiscono soglie di capacità oltre le quali un modello richiede misure di sicurezza e protezioni per la distribuzione più rigorose.

Dopo la distribuzione, il monitoraggio del modello intercetta gli input su cui il modello non è mai stato testato. Il monitoraggio delle distribuzioni di Ultralytics Platform traccia nel tempo la distribuzione della confidenza e la confidenza media di un endpoint YOLO26 distribuito; un calo dopo lo spostamento di una telecamera o un cambiamento dell'illuminazione segnala quindi input che si discostano dai dati di addestramento. I sistemi che agiscono nel mondo fisico hanno bisogno anche di una modalità di ripiego, come la condizione di rischio minimo definita per i veicoli automatizzati: un arresto sicuro che il veicolo raggiunge quando il sistema di guida automatizzata non è più in grado di proseguire.

Sicurezza dell'IA e settori correlati#

La sicurezza dell'IA si sovrappone a diversi settori con cui viene spesso confusa:

• Etica dell'IA: si occupa di cosa dovrebbero fare i sistemi di IA e per conto di chi, affrontando temi quali equità, privacy e responsabilità. I danni dovuti a decisioni distorte rientrano in entrambi i settori.
• Sicurezza informatica dell'IA: protegge i sistemi di IA dagli aggressori con difese contro esempi avversari, avvelenamento dei dati, prompt injection e furto di modelli.
• Allineamento dell'IA: sottocampo della sicurezza dell'IA che mira a far perseguire a un sistema gli obiettivi previsti dai suoi sviluppatori e affronta l'area del disallineamento descritta sopra.
• Governance dell'IA: leggi, standard e politiche interne che determinano come vengono sviluppati e rilasciati i sistemi di IA, per esempio le categorie di rischio dell'AI Act dell'UE.

I confini cambiano con le politiche: nel febbraio 2025 il Regno Unito ha rinominato AI Security Institute il proprio AI Safety Institute, un ente governativo che testa i modelli d'avanguardia prima del rilascio, per concentrarsi sui rischi con implicazioni per la sicurezza, come attacchi informatici, frodi e sviluppo di armi chimiche e biologiche.