Constitutional AI

Constitutional AI è un metodo per addestrare i sistemi di intelligenza artificiale ad allinearsi con i valori umani, fornendo loro una serie di principi di alto livello—una "costituzione"—piuttosto che affidarsi esclusivamente a un ampio feedback umano sui singoli output. Questo approccio insegna essenzialmente al modello AI a criticare e rivedere il proprio comportamento basandosi su una serie predefinita di regole, come "sii utile", "non arrecare danno" e "evita la discriminazione". Incorporando queste linee guida etiche direttamente nel processo di addestramento, gli sviluppatori possono creare sistemi più sicuri, trasparenti e facili da scalare rispetto a quelli dipendenti dal Reinforcement Learning from Human Feedback (RLHF) manuale.

Link to this sectionIl meccanismo della Constitutional AI#

L'innovazione principale della Constitutional AI risiede nel suo processo di addestramento a due fasi, che automatizza l'allineamento dei modelli. A differenza del supervised learning tradizionale, in cui gli umani devono etichettare ogni risposta corretta, la Constitutional AI utilizza il modello stesso per generare i dati di addestramento.

1. Fase di Supervised Learning: Il modello genera risposte ai prompt, quindi critica il proprio output basandosi sui principi costituzionali. Rivede la risposta per allinearla meglio alle regole. Questo set di dati raffinato viene poi utilizzato per il fine-tuning del modello, insegnandogli a seguire intrinsecamente le linee guida.

2. Fase di Reinforcement Learning: Questa fase, spesso chiamata Reinforcement Learning from AI Feedback (RLAIF), sostituisce l'etichettatore umano. L'AI genera coppie di risposte e seleziona quella che meglio aderisce alla costituzione. Questi dati di preferenza addestrano un modello di ricompensa, che poi rafforza i comportamenti desiderati tramite tecniche standard di reinforcement learning.

Link to this sectionRilevanza per la Computer Vision#

Sebbene la Constitutional AI abbia avuto origine nel contesto dei Large Language Models (LLM) sviluppati da organizzazioni come Anthropic, i suoi principi sono sempre più rilevanti per compiti di machine learning più ampi, incluso il Computer Vision (CV).

• Generazione etica di immagini: Gli strumenti di Generative AI per la creazione di immagini possono essere addestrati "costituzionalmente" per rifiutare prompt che genererebbero immagini violente, cariche d'odio o protette da copyright. Ciò garantisce che i model weights stessi codifichino vincoli di sicurezza, prevenendo la creazione di contenuti visivi dannosi.
• Sistemi di visione critici per la sicurezza: Nei autonomous vehicles, un approccio "costituzionale" può definire regole gerarchiche per il processo decisionale. Ad esempio, una regola che afferma "la sicurezza umana prevale sull'efficienza del traffico" può guidare il modello nell'analisi di scene stradali complesse, assicurando che i risultati di object detection siano interpretati dando priorità alla sicurezza.

Link to this sectionImplementazione di controlli di policy nella Vision AI#

Sebbene l'addestramento completo della Constitutional AI comporti complessi cicli di feedback, gli sviluppatori possono applicare il concetto di "controlli costituzionali" durante l'inference per filtrare gli output in base alle politiche di sicurezza. Il seguente esempio dimostra l'uso di YOLO26 per rilevare oggetti e applicare una regola di sicurezza per filtrare i rilevamenti a bassa confidenza, imitando una costituzione di affidabilità.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Link to this sectionConstitutional AI vs. RLHF convenzionale#

È importante distinguere la Constitutional AI dal Reinforcement Learning from Human Feedback (RLHF) standard.

• Scalabilità: L'RLHF richiede enormi quantità di lavoro umano per valutare gli output del modello, il che è costoso e lento. La Constitutional AI automatizza questo processo con AI agents, rendendolo altamente scalabile.
• Trasparenza: Nell'RLHF, il modello apprende da un "segnale di ricompensa" opaco (un punteggio), rendendo difficile sapere perché un comportamento sia stato preferito. Nella Constitutional AI, il chain of thought prompting utilizzato durante la fase di critica rende il ragionamento esplicito e riconducibile a specifici principi scritti.
• Coerenza: I valutatori umani possono essere incoerenti o prevenuti. Una costituzione scritta fornisce una base stabile per l'AI ethics, riducendo la soggettività nel processo di allineamento.

Link to this sectionIl futuro dell'allineamento#

Man mano che i modelli evolvono verso l'Artificial General Intelligence (AGI), l'importanza di strategie di allineamento robuste come la Constitutional AI cresce. Questi metodi sono essenziali per rispettare gli standard emergenti da organismi come il NIST AI Safety Institute.

La Ultralytics Platform offre strumenti per gestire la governance dei dati e il model monitoring, facilitando la creazione di sistemi AI responsabili. Integrando queste considerazioni etiche nel ciclo di vita dello sviluppo dell'AI—dalla data collection al model deployment—le organizzazioni possono mitigare i rischi e garantire che le loro tecnologie contribuiscano positivamente alla società.