Constitutional AI

Constitutional AI (CAI) ist eine von Anthropic entwickelte Methode, um ein Sprachmodell auf Harmlosigkeit zu trainieren. Dazu erhält das Modell eine schriftlich festgelegte Reihe von Grundsätzen – die Verfassung – statt menschlicher Beschriftungen, die einzelne Ausgaben als schädlich kennzeichnen. Die Methode wurde im Artikel Constitutional AI: Harmlessness from AI Feedback vom Dezember 2022 vorgestellt. Das Modell prüft und überarbeitet darin seine eigenen Antworten anhand dieser Grundsätze. Anschließend dienen KI-Bewertungen dazu, zu bestimmen, welche Antwort ihnen besser entspricht; diese Bewertungen bilden die Präferenzdaten für bestärkendes Lernen. Der Artikel verwendete weiterhin menschliche Beschriftungen für die Hilfsbereitschaft und ersetzte sie nur bei der Harmlosigkeit. Seit 2023 trainiert Anthropic seine Claude-Modelle mit verfassungsbasierten Methoden.

So funktioniert verfassungsbasierte KI#

Das Training beginnt mit einem Modell, das bereits auf Hilfsbereitschaft feinabgestimmt wurde, und läuft in zwei Phasen ab:

1. Überwachte Phase: Das Modell beantwortet Red-Team-Prompts, die schädliche Antworten hervorrufen sollen. Anschließend wird es aufgefordert, seine eigene Antwort anhand eines zufällig aus der Verfassung ausgewählten Grundsatzes zu kritisieren und so zu überarbeiten, dass es auf die Kritik eingeht. Dies kann eine oder mehrere Runden umfassen. Das Modell wird anhand der abschließenden Überarbeitungen feinabgestimmt.
2. Phase des bestärkenden Lernens: Das feinabgestimmte Modell erzeugt Antwortpaare. Ein Feedbackmodell, dem ein Grundsatz vorgegeben wird, beurteilt, welche der beiden Antworten besser ist; optional führt es zuvor eine schrittweise Begründung durch. Ein anhand dieser KI-Labels und ergänzender menschlicher Labels zur Hilfsbereitschaft trainiertes Präferenzmodell liefert dann die Belohnung für das bestärkende Lernen. Im Artikel wurde diese Phase als bestärkendes Lernen auf Basis von KI-Feedback (RLAIF) bezeichnet.

Bei gleichem Maß an Hilfsbereitschaft waren die resultierenden Modelle weniger schädlich als Modelle, die mit menschlichen Labels zur Harmlosigkeit trainiert wurden, und sie wichen seltener aus: Anstatt sensible Anfragen schlicht abzulehnen, setzten sie sich mit ihnen auseinander und erläuterten ihre Einwände.

Was eine Verfassung enthält#

Das Paper von 2022 verwendete 16 kurze Grundsätze für Kritik und weitere 16 für KI-Feedback. Jeder war als Anweisung formuliert, etwa: „Welche dieser Antworten des Assistenten ist weniger schädlich? Wähle die Antwort, die eine weise, ethische, höfliche und freundliche Person eher geben würde.“ Claudes erste veröffentlichte Verfassung stützte sich im Mai 2023 unter anderem auf die Allgemeine Erklärung der Menschenrechte der UN. Im Oktober 2023 führten Anthropic und das Collective Intelligence Project ein Experiment mit öffentlicher Beteiligung durch. Dabei schlugen etwa 1.000 Amerikanerinnen und Amerikaner auf der Beratungsplattform Polis Grundsätze vor und stimmten darüber ab. Ein Modell, das anhand dieser öffentlichen Verfassung trainiert wurde, schnitt ähnlich ab wie das hauseigene Modell von Anthropic und zeigte über neun soziale Dimensionen hinweg weniger Verzerrungen.

Im Januar 2026 ersetzte Anthropic die Liste von Regeln durch eine deutlich längere Verfassung für Claude, die die Gründe für das gewünschte Verhalten erläutert. Sie ordnet vier Prioritäten: im Allgemeinen sicher sein, im Allgemeinen ethisch handeln, Anthropics Richtlinien befolgen und wirklich hilfreich sein. Außerdem enthält sie eine kleine Zahl strikter Vorgaben und wurde unter einer CC0-Widmung als gemeinfreies Werk veröffentlicht. Claude selbst nutzt das Dokument, um synthetische Trainingsdaten zu erzeugen, darunter Gespräche, in denen die Verfassung angewendet wird, und Ranglisten möglicher Antworten. Mit der intelligenten Annotation in der Ultralytics Platform lassen sich Anthropics Claude-Vision-Modelle, die mit diesen verfassungsbasierten Methoden trainiert wurden, zum Erstellen erster Boxen für die Klassen eines Erkennungsdatensatzes verwenden. Anschließend prüfen und speichern die annotierenden Personen die Ergebnisse.

Verfassungsbasierte KI im Vergleich zu RLHF und verwandten Methoden#

• Bestärkendes Lernen mit menschlichem Feedback (RLHF): Menschliche Bewertende vergleichen Antworten, um das Belohnungsmodell zu trainieren. CAI verwendet dieselbe Prozesskette, ersetzt aber menschliche Vergleiche zur Harmlosigkeit durch KI-Vergleiche, die sich an Grundsätzen orientieren. Dadurch müssen Bewertende keine großen Mengen schädlicher Texte lesen, und das Trainingsziel lässt sich nachvollziehen und bearbeiten. Das KI-Beurteilungsmodell hat jedoch eigene blinde Flecken, sodass die Formulierung der Grundsätze das Ergebnis beeinflusst.
• RLAIF allgemein: Jegliches bestärkendes Lernen anhand von KI-generierten Präferenzlabels. CAI ist die durch eine Verfassung angeleitete Variante. Eine Google-Studie von 2023 ergab, dass RLAIF bei Zusammenfassungen und Dialogen vergleichbare Ergebnisse wie RLHF erzielte.
• Direkte Präferenzoptimierung (DPO): Eine Methode, mit Präferenzpaaren zu lernen, ohne ein separates Belohnungsmodell zu benötigen. Das Training kann sowohl KI-Labels verwenden, die sich an einer Verfassung orientieren, als auch menschliche Labels.
• KI-Schutzmechanismen: Filter, die zur Inferenzzeit um ein Modell herum angewendet werden. Anthropics Constitutional Classifiers verbinden die beiden Ansätze: Eine Verfassung legt zulässige und unzulässige Inhalte fest, Claude erzeugt daraus synthetische Beispiele, und trainierte Eingabe- und Ausgabeklassifikatoren blockieren Jailbreaks. Im Februar 2025 senkten sie die Erfolgsquote von Jailbreaks in automatisierten Tests von 86 % auf 4.4 %. Die Version vom Januar 2026 verringerte die Rechenkosten gegenüber ihrem Basisklassifikator etwa um den Faktor 40 und lehnte 0.05 % des Produktionsverkehrs ab.