AI Safety

La Sicurezza dell'IA è un campo multidisciplinare focalizzato sul garantire che i sistemi di Artificial Intelligence (AI) operino in modo affidabile, prevedibile e vantaggioso. A differenza della cybersecurity, che protegge i sistemi da attacchi esterni, la Sicurezza dell'IA affronta i rischi inerenti alla progettazione e al funzionamento del sistema stesso. Ciò include la prevenzione di conseguenze indesiderate derivanti da un disallineamento degli obiettivi, dalla mancanza di robustezza in ambienti nuovi o da fallimenti nella generalizzazione del Deep Learning (DL). Man mano che i modelli diventano più autonomi, i ricercatori di organizzazioni come il Center for Human-Compatible AI lavorano per assicurarsi che queste tecnologie si allineino con l'intento umano e gli standard di sicurezza.

Link to this sectionPilastri fondamentali dell'IA sicura#

Costruire un sistema sicuro richiede di affrontare diverse sfide tecniche che vanno oltre le semplici metriche di accuratezza. Questi pilastri assicurano che i modelli di Machine Learning (ML) rimangano sotto controllo anche quando vengono distribuiti in scenari complessi e reali.

• Robustezza: Un modello sicuro deve mantenere le prestazioni quando affronta input corrotti o cambiamenti nell'ambiente. Ciò include la difesa contro gli adversarial attacks, dove sottili manipolazioni dei dati di input possono indurre un modello a commettere errori ad alta confidenza.
• Allineamento: Questo principio garantisce che gli obiettivi di un'IA corrispondano al vero intento del progettista. Il disallineamento si verifica spesso nel Reinforcement Learning quando un sistema impara a "giocare d'astuzia" con la sua funzione di ricompensa, come un robot per le pulizie che rompe un vaso per pulire il disordine più velocemente. Tecniche come il Reinforcement Learning from Human Feedback (RLHF) vengono utilizzate per mitigare questo problema.
• Interpretabilità: Nota anche come Explainable AI (XAI), comporta la creazione di trasparenza nei modelli "black box". Visualizzare le feature maps permette agli ingegneri di comprendere il processo decisionale, assicurando che il modello non si basi su correlazioni spurie.
• Monitoraggio: Il model monitoring continuo è essenziale per rilevare il data drift. I protocolli di sicurezza devono attivare avvisi o meccanismi di ripiego se i dati del mondo reale iniziano a divergere significativamente dai training data.

Link to this sectionApplicazioni nel mondo reale#

La Sicurezza dell'IA è fondamentale in ambiti ad alto rischio dove il fallimento algoritmico potrebbe causare danni fisici o perdite economiche significative.

1. Veicoli autonomi: Nel campo dell'AI in automotive, i framework di sicurezza definiscono come un'auto reagisce all'incertezza. Se un modello di object detection non riesce a identificare un ostacolo con un'alta confidence, il sistema deve passare a uno stato sicuro, come la frenata, invece di tirare a indovinare. Le NHTSA Automated Vehicles guidelines enfatizzano questi meccanismi di fail-safe.

2. Diagnostica medica: Quando si applica l'AI in healthcare, la sicurezza comporta la minimizzazione dei falsi negativi nelle diagnosi critiche. I sistemi sono spesso ottimizzati per un alto recall per garantire che nessuna condizione potenziale venga persa, funzionando efficacemente come un "secondo parere" per i medici. Gli organismi regolatori come il FDA Digital Health Center stabiliscono standard rigorosi per il software come dispositivo medico (SaMD).

Link to this sectionImplementazione delle soglie di sicurezza#

Uno dei meccanismi di sicurezza più basilari nella computer vision è l'uso di soglie di confidenza. Filtrando le predizioni a bassa probabilità durante l'inference, gli sviluppatori impediscono ai sistemi di agire su informazioni deboli.

Il seguente esempio dimostra come applicare un filtro di sicurezza utilizzando Ultralytics YOLO26, assicurando che vengano elaborate solo le rilevazioni affidabili.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

Link to this sectionSicurezza dell'IA vs. Etica dell'IA#

Sebbene questi termini siano spesso usati in modo intercambiabile, affrontano aspetti diversi dell'IA responsabile.

• La Sicurezza dell'IA è una disciplina di ingegneria tecnica. Si chiede: "Questo sistema funzionerà correttamente senza causare incidenti?". Si occupa di problemi come la model hallucination e l'esplorazione sicura nel reinforcement learning.
• AI Ethics è un framework sociotecnico. Si chiede: "Dovremmo costruire questo sistema ed è equo?". Si concentra su questioni come l'algorithmic bias, i diritti alla privacy e l'equa distribuzione dei benefici, come delineato nell'EU AI Act.

Link to this sectionProspettive future#

Mentre il settore si muove verso l'Artificial General Intelligence (AGI), la ricerca sulla sicurezza sta diventando sempre più critica. Le organizzazioni possono sfruttare la Ultralytics Platform per gestire i propri dataset e supervisionare il model deployment, assicurando che le proprie soluzioni di IA rimangano robuste, trasparenti e allineate con gli standard di sicurezza lungo tutto il loro ciclo di vita.