Sicurezza dell'IA

L'AI Safety è un settore dedicato all'interno Intelligenza Artificiale (IA) che si occupa di garantire che i sistemi di IA funzionino in modo affidabile, prevedibile e senza causare danni involontari. Man mano che modelli di deep learning (DL) diventano sempre più autonomi e integrati nelle infrastrutture critiche, le potenziali conseguenze dei guasti del sistema aumentano in modo significativo. L'obiettivo primario della sicurezza obiettivo primario della sicurezza dell'IA è identificare, analizzare e mitigare i rischi derivanti da problemi tecnici, comportamenti inattesi o disallineamenti. comportamenti inattesi o dal disallineamento tra gli obiettivi dell'IA e i valori umani. Questa disciplina comprende un'ampia gamma di pratiche, dai test rigorosi dei modelli pratiche, dalla rigorosa verifica dei modelli allo sviluppo di garanzie matematiche per il comportamento del sistema.

I pilastri fondamentali della sicurezza dell'intelligenza artificiale

Per costruire sistemi affidabili, i ricercatori e gli ingegneri si concentrano su diversi pilastri fondamentali che garantiscono modelli di apprendimento automatico (ML) funzionino correttamente in condizioni diverse.

• Robustezza: Un sistema robusto deve mantenere le prestazioni anche in presenza di dati inattesi o di condizioni condizioni avversarie. Ciò implica la difesa da attacchi avversari, in cui input malevoli vengono maliziosi per ingannare il modello. Ad esempio, un sistema di sistema di visione artificiale (CV) non deve un cartello di stop semplicemente a causa di un adesivo o di una cattiva illuminazione.
• Allineamento: Si riferisce alla sfida di progettare sistemi di intelligenza artificiale i cui obiettivi riflettano accuratamente le intenzioni umane. Il disallineamento può verificarsi se un modello trova una "scorciatoia" per ottenere un punteggio elevato sulla sua funzione di perdita, violando però i vincoli di sicurezza. funzione di perdita, violando al contempo i vincoli di sicurezza. concetto ampiamente studiato dal Center for Human-Compatible AI.
• Interpretabilità: Conosciuto anche come Explainable AI (XAI), questo principio questo principio enfatizza la creazione di modelli comprensibili per l'uomo. Se un sistema decisionale fallisce, gli ingegneri devono essere in grado di ispezionare i pesi interni del modello o le per diagnosticare l'errore ed evitare che si ripeta.
• Monitoraggio: Il monitoraggio continuo del Il monitoraggio continuo del modello è essenziale per detect deriva dei dati, in cui i dati che un modello incontra nel mondo reale mondo reale si discostano dai dati di addestramento, potenzialmente portando a previsioni non sicure.

Applicazioni nel mondo reale

La sicurezza dell'IA non è solo teorica, ma è un requisito fondamentale per l'impiego dell'IA nei settori automobilistico e sanitario. AI nei settori automobilistico e sanitario.

1. Guida autonoma: I veicoli a guida autonoma si affidano a modelli di rilevamento degli oggetti per identificare i pedoni, altri veicoli e ostacoli. I protocolli di sicurezza prevedono la ridondanza, con l'utilizzo di LiDAR e radar insieme alle telecamere, e la "stima dell'incertezza", in cui l'auto rallenta o richiede l'intervento umano se l'intelligenza artificiale non è sicura. "stima dell'incertezza", in cui l'auto rallenta o richiede l'intervento umano se l'IA non è sicura di un oggetto. di un oggetto. Organizzazioni come Waymo pubblicano metodologie di sicurezza metodologie di sicurezza dettagliate per convalidare questi sistemi di percezione.
2. Diagnostica medica: Nell'analisi delle immagini mediche analisi delle immagini mediche, un'IA che assiste i radiologi deve massimizzare l'accuratezza e ridurre al minimo i falsi negativi. I meccanismi di sicurezza spesso includono un flusso di lavoro "umano", in cui l'IA segnala solo i potenziali problemi da sottoporre alla revisione del medico, anziché effettuare autonomamente la diagnosi finale. potenziali problemi per la revisione da parte del medico, piuttosto che effettuare una diagnosi finale in modo autonomo, assicurando che la sicurezza del paziente sia sicurezza del paziente, come evidenziato in L 'IA nelle soluzioni sanitarie.

Implementazione delle soglie di sicurezza nel codice

Un metodo di base per aumentare la sicurezza nell'impiego è l'implementazione di soglie di confidenza rigorose. Ignorando ignorando le previsioni a bassa confidenza, gli sviluppatori possono evitare che un agente AI agisca su dati deboli o rumorosi.

L'esempio seguente mostra come filtrare le previsioni utilizzando l'opzione Ultralytics YOLO11 Ultralytics YOLO11, assicurando che vengano elaborati solo i di alta certezza.

from ultralytics import YOLO

# Load the YOLO11 model for object detection
model = YOLO("yolo11n.pt")

# Perform inference on an image with a strict confidence threshold
# This ensures the model only reports objects it is at least 70% sure about
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.70)

# Process only the safe, high-confidence detections
for result in results:
    print(f"Detected {len(result.boxes)} objects exceeding safety threshold.")

Sicurezza dell'IA vs. Etica dell'IA

Anche se spesso vengono usati in modo intercambiabile, questi termini si riferiscono ad aspetti diversi dello sviluppo responsabile dell'IA. sviluppo responsabile dell'IA.

• La sicurezza dell'intelligenza artificiale è principalmente tecnica. Si chiede: "Questo sistema funzionerà come progettato senza crash o causare incidenti fisici?". Si occupa di affidabilità, controllo e prevenzione degli errori, in modo simile all'ingegneria della sicurezza nell'aviazione civile. ingegneria della sicurezza nell'aviazione civile.
• L'etica dell'intelligenza artificiale è sociale e morale. Si chiede: "Questo sistema è giusto e dovremmo costruirlo?". Si concentra su questioni come le distorsioni algoritmiche, la privacy dei dati e l'impatto socio-economico, privacy dei dati e l'impatto socio-economico dell'automazione. dell'automazione. Per ulteriori approfondimenti, esplorate la voce del nostro glossario sull'etica dell'IA. Etica dell'IA.

Quadri come il NIST AI Risk Management Framework forniscono linee guida per le organizzazioni che devono affrontare i rischi etici e di sicurezza. Con l'evoluzione dei modelli verso Intelligenza Artificiale Generale (AGI), la collaborazione tra i ricercatori in materia di sicurezza di istituti come il Future of Life Institute e gli sviluppatori dell'industria diventa sempre più importante. Future of Life Institute e gli sviluppatori dell'industria diventa sempre più vitale per per garantire che la tecnologia rimanga vantaggiosa per l'umanità.