Constitutional AI

L'IA costituzionale (CAI) è un metodo sviluppato da Anthropic per addestrare un modello linguistico a non essere dannoso, fornendogli un insieme scritto di principi, la costituzione, al posto delle etichette umane che contrassegnano come dannosi i singoli output. Presentato nel documento del dicembre 2022 IA costituzionale: innocuità dal feedback dell'IA, il metodo fa sì che il modello critichi e riveda le proprie risposte in base a tali principi, quindi usa i giudizi dell'IA su quale risposta li rispetti meglio come dati di preferenza per l'apprendimento per rinforzo. Il documento usava ancora etichette umane per l'utilità e le sostituiva solo per l'innocuità. Dal 2023, Anthropic addestra i suoi modelli Claude con metodi basati su una costituzione.

Come funziona l'IA costituzionale#

L'addestramento parte da un modello già ottimizzato per essere utile e si articola in due fasi:

1. Fase supervisionata: il modello risponde a prompt di red teaming progettati per suscitare risposte dannose. Gli viene poi chiesto di criticare la propria risposta alla luce di un principio scelto a caso dalla costituzione e di riscriverla tenendo conto della critica, per uno o più cicli. Il modello viene ottimizzato sulle revisioni finali.
2. Fase di apprendimento per rinforzo: il modello ottimizzato genera coppie di risposte e un modello di feedback, guidato da un principio, giudica quale delle due è migliore, eventualmente ragionando prima passo dopo passo. Un modello di preferenza addestrato su queste etichette generate dall'IA, mescolate con etichette umane di utilità, fornisce poi il segnale di ricompensa per l'apprendimento per rinforzo. Il documento ha chiamato questa fase apprendimento per rinforzo da feedback dell'IA (RLAIF).

A parità di utilità, i modelli risultanti erano meno dannosi dei modelli addestrati con etichette umane di innocuità ed erano meno evasivi: invece di rifiutare del tutto le richieste delicate, le affrontavano e spiegavano le proprie obiezioni.

Cosa contiene una costituzione#

L'articolo del 2022 ha usato 16 brevi principi per le critiche e altri 16 per il feedback dell'AI, ciascuno formulato come un'istruzione, per esempio: «Quale di queste risposte dell'assistente è meno dannosa? Scegli la risposta che una persona saggia, etica, gentile e amichevole darebbe più probabilmente». La prima costituzione pubblicata di Claude, nel maggio 2023, si basava su fonti tra cui la Dichiarazione universale dei diritti umani delle Nazioni Unite. Nell'ottobre 2023, Anthropic e Collective Intelligence Project hanno condotto un esperimento aperto al pubblico in cui circa 1.000 americani hanno proposto e votato principi sulla piattaforma di deliberazione Polis; un modello addestrato su quella costituzione pubblica ha ottenuto risultati simili a quello di Anthropic e ha mostrato meno bias in nove dimensioni sociali.

Nel gennaio 2026, Anthropic ha sostituito l'elenco di regole con una costituzione per Claude molto più lunga, che spiega le ragioni alla base del comportamento richiesto. Ordina quattro priorità: essere ampiamente sicuro, ampiamente etico, rispettare le linee guida di Anthropic ed essere davvero utile; mantiene un numero ridotto di vincoli rigidi ed è distribuita con una dichiarazione di pubblico dominio CC0. Claude stesso usa il documento per generare dati di addestramento sintetici, comprese conversazioni in cui si applica la costituzione e classifiche di risposte candidate. L'annotazione intelligente in Ultralytics Platform può eseguire i modelli visivi Claude di Anthropic, addestrati con questi metodi basati su una costituzione, per abbozzare riquadri per le classi di un dataset di rilevamento, che gli annotatori possono poi revisionare e salvare.

IA costituzionale, RLHF e metodi correlati#

• Apprendimento per rinforzo dal feedback umano (RLHF): i valutatori umani confrontano le risposte per addestrare il modello di ricompensa. CAI mantiene la stessa pipeline, ma sostituisce i confronti umani sull'innocuità con confronti dell'IA guidati da principi: in questo modo i valutatori non devono leggere grandi quantità di testo dannoso e l'obiettivo dell'addestramento risulta leggibile e modificabile. Il giudice basato sull'IA ha i propri punti ciechi, quindi la formulazione dei principi influenza il risultato.
• RLAIF in generale: qualsiasi apprendimento per rinforzo basato su etichette di preferenza generate dall'IA. CAI è la variante guidata da una costituzione e uno studio di Google del 2023 ha rilevato che RLAIF ha ottenuto risultati paragonabili a RLHF nella sintesi e nel dialogo.
• Ottimizzazione diretta delle preferenze (DPO): un metodo per apprendere da coppie di preferenze senza un modello di ricompensa separato. Può essere addestrato sia su etichette generate dall'IA e guidate da una costituzione sia su etichette umane.
• Barriere di protezione per l'IA: filtri applicati intorno a un modello al momento dell'inferenza. I classificatori costituzionali di Anthropic collegano i due concetti: una costituzione definisce i contenuti consentiti e vietati, Claude ne genera esempi sintetici e i classificatori di input e output addestrati bloccano gli attacchi jailbreak. Nel febbraio 2025 hanno ridotto il tasso di successo dei jailbreak nei test automatizzati dall'86% al 4.4%; la versione di gennaio 2026 ha ridotto il costo di calcolo di circa 40 volte rispetto al classificatore di riferimento, rifiutando lo 0.05% del traffico in produzione.