AI Safety

La sicurezza dell'AI è un campo multidisciplinare che mira a garantire che i sistemi di intelligenza artificiale (AI) funzionino in modo affidabile, prevedibile e vantaggioso. A differenza della sicurezza informatica, che protegge i sistemi dagli attacchi esterni, la sicurezza dell'AI affronta i rischi intrinseci alla progettazione e al funzionamento del sistema stesso. Ciò include la prevenzione di conseguenze indesiderate dovute a obiettivi non allineati, a una scarsa robustezza in ambienti nuovi o a problemi di generalizzazione del deep learning (DL). Man mano che i modelli diventano più autonomi, i ricercatori di organizzazioni come il Center for Human-Compatible AI lavorano per garantire che queste tecnologie siano in linea con le intenzioni umane e gli standard di sicurezza.

Principi fondamentali dell'AI sicura#

Per creare un sistema sicuro è necessario affrontare diverse sfide tecniche che vanno oltre le semplici metriche di accuratezza. Questi principi garantiscono che i modelli di apprendimento automatico (ML) rimangano sotto controllo anche quando vengono distribuiti in scenari complessi e reali.

• Robustezza: un modello sicuro deve mantenere le proprie prestazioni in presenza di input corrotti o cambiamenti nell'ambiente. Ciò include la difesa dagli attacchi avversari, in cui lievi manipolazioni dei dati di input possono indurre un modello a commettere errori con un'elevata confidenza.
• Allineamento: questo principio garantisce che gli obiettivi dell'AI corrispondano alle reali intenzioni del progettista. Il disallineamento si verifica spesso nell'apprendimento per rinforzo, quando un sistema impara a "imbrogliare" la propria funzione di ricompensa, per esempio se un robot aspirapolvere rompe un vaso per pulire più in fretta i cocci. Per attenuare questo problema si usano tecniche come l'apprendimento per rinforzo dal feedback umano (RLHF).
• Interpretabilità: nota anche come AI spiegabile (XAI), consiste nel rendere trasparenti i modelli "scatola nera". Visualizzare le mappe delle caratteristiche consente agli ingegneri di comprendere il processo decisionale e verificare che il modello non si basi su correlazioni spurie.
• Monitoraggio: il monitoraggio continuo dei modelli è essenziale per rilevare la deriva dei dati. I protocolli di sicurezza devono attivare avvisi o meccanismi di fallback se i dati del mondo reale iniziano a divergere significativamente dai dati di addestramento.

Applicazioni nel mondo reale#

La sicurezza dell'AI è fondamentale nei settori ad alto rischio, in cui un errore algoritmico potrebbe causare danni fisici o gravi perdite economiche.

1. Veicoli autonomi: nel settore dell'AI nel settore automobilistico, i framework di sicurezza definiscono come un'auto reagisce all'incertezza. Se un modello di rilevamento degli oggetti non riesce a identificare un ostacolo con elevata confidenza, il sistema deve adottare uno stato sicuro, per esempio frenare, invece di tirare a indovinare. Le linee guida NHTSA sui veicoli automatizzati sottolineano l'importanza di questi meccanismi fail-safe.

2. Diagnostica medica: quando si applica l'AI in ambito sanitario, la sicurezza consiste nel ridurre al minimo i falsi negativi nelle diagnosi critiche. I sistemi sono spesso configurati per ottenere un richiamo elevato, così da non tralasciare alcuna possibile patologia e fungere, di fatto, da "secondo parere" per i medici. Gli enti normativi, come il Centro per la salute digitale della FDA, stabiliscono standard rigorosi per il software come dispositivo medico (SaMD).

Implementare soglie di sicurezza#

Uno dei meccanismi di sicurezza più semplici nella visione artificiale consiste nell'usare soglie di confidenza. Filtrando le previsioni con bassa probabilità durante l'inferenza, gli sviluppatori impediscono ai sistemi di agire sulla base di informazioni poco attendibili.

L'esempio seguente mostra come applicare un filtro di sicurezza usando Ultralytics YOLO26, per assicurarsi che vengano elaborati solo i rilevamenti affidabili.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

Sicurezza dell'AI ed etica dell'AI a confronto#

Sebbene questi termini siano spesso usati come sinonimi, riguardano aspetti diversi dell'AI responsabile.

• La sicurezza dell'AI è una disciplina tecnica e ingegneristica. Si chiede: "Questo sistema funzionerà correttamente senza causare incidenti?" Si occupa di problemi come le allucinazioni del modello e l'esplorazione sicura nell'apprendimento per rinforzo.
• L'etica dell'AI è un quadro sociotecnico. Si chiede: "Dovremmo costruire questo sistema ed è equo?" Si concentra su questioni come il bias algoritmico, il diritto alla privacy e l'equa distribuzione dei benefici, come delineato nell'AI Act dell'UE.

Prospettive future#

Con l'industria che si orienta verso l'Intelligenza artificiale generale (AGI), la ricerca sulla sicurezza diventa sempre più cruciale. Le organizzazioni possono sfruttare la Ultralytics Platform per gestire i propri dataset e supervisionare la distribuzione dei modelli, assicurandosi che le proprie soluzioni di IA rimangano robuste, trasparenti e conformi agli standard di sicurezza durante tutto il loro ciclo di vita.