Constitutional AI zielt darauf ab, KI-Modelle an menschlichen Werten auszurichten

Künstliche Intelligenz (AI) wird schnell zu einem wichtigen Bestandteil unseres täglichen Lebens. Sie wird in Werkzeuge integriert, die in Bereichen wie Gesundheitswesen, Personalbeschaffung, Finanzwesen und öffentlicher Sicherheit eingesetzt werden. Mit der zunehmenden Verbreitung dieser Systeme werden auch Bedenken hinsichtlich ihrer Ethik und Zuverlässigkeit geäußert.

Beispielsweise können KI-Systeme, die ohne Berücksichtigung von Fairness oder Sicherheit entwickelt wurden, manchmal voreingenommene oder unzuverlässige Ergebnisse liefern. Das liegt daran, dass viele Modelle noch keine klare Möglichkeit bieten, menschliche Werte widerzuspiegeln und sich an ihnen auszurichten.

Um diese Herausforderungen zu bewältigen, erforschen Wissenschaftler derzeit einen Ansatz, der als Constitutional AI bekannt ist. Vereinfacht gesagt führt er eine schriftlich festgelegte Reihe von Prinzipien in den Trainingsprozess des Modells ein. Diese Prinzipien helfen dem Modell, sein eigenes Verhalten zu beurteilen, sich weniger auf menschliches Feedback zu stützen und sicherere sowie leichter verständliche Antworten zu geben.

Bisher wurde dieser Ansatz hauptsächlich im Zusammenhang mit großen Sprachmodellen (LLMs) eingesetzt. Dieselbe Struktur könnte jedoch auch Computer-Vision-Systeme dabei unterstützen, bei der Analyse visueller Daten ethische Entscheidungen zu treffen.

In diesem Artikel untersuchen wir, wie Constitutional AI funktioniert, betrachten Beispiele aus der Praxis und erörtern mögliche Anwendungen in Computer-Vision-Systemen.

Abb. 1. Merkmale von Constitutional AI. Bild vom Autor.

Was ist Constitutional AI?#

Constitutional AI ist eine Methode zum Trainieren von Modellen, die das Verhalten von KI-Modellen steuert, indem sie eine klare Reihe ethischer Regeln vorgibt. Diese Regeln dienen als Verhaltenskodex. Statt sich darauf zu verlassen, dass das Modell selbst ableitet, was akzeptabel ist, folgt es einer schriftlich festgelegten Reihe von Prinzipien, die seine Antworten während des Trainings prägen.

Dieses Konzept wurde von Anthropic eingeführt, einem auf KI-Sicherheit spezialisierten Forschungsunternehmen, das die Claude-Familie von LLMs entwickelt hat. Ziel war es, KI-Systeme bei ihren Entscheidungen stärker zur Selbstüberwachung zu befähigen.

Statt sich ausschließlich auf menschliches Feedback zu stützen, lernt das Modell, seine eigenen Antworten auf Grundlage einer vorab festgelegten Reihe von Prinzipien zu kritisieren und zu verfeinern. Dieser Ansatz ähnelt einem Rechtssystem, in dem sich ein Richter vor einer Entscheidung auf eine Verfassung bezieht.

In diesem Fall wird das Modell zugleich zum Richter und zum Lernenden und verwendet dieselbe Reihe von Regeln, um sein eigenes Verhalten zu überprüfen und zu verfeinern. Dieser Prozess stärkt die Ausrichtung von KI-Modellen und unterstützt die Entwicklung sicherer, verantwortungsvoller KI-Systeme.

Wie funktioniert Constitutional AI?#

Das Ziel von Constitutional AI besteht darin, einem KI-Modell beizubringen, sichere und faire Entscheidungen zu treffen, indem es einer klaren Reihe schriftlich festgelegter Regeln folgt. Hier ist eine einfache Übersicht über den Ablauf:

• Die Verfassung definieren: Es wird eine schriftliche Liste ethischer Prinzipien erstellt, denen das Modell folgen soll. Die Verfassung legt fest, was die KI vermeiden und welche Werte sie widerspiegeln soll.
• Training mit überwachten Beispielen: Dem Modell werden Beispielantworten gezeigt, die der Verfassung entsprechen. Diese Beispiele helfen der KI zu verstehen, wie akzeptables Verhalten aussieht.
• Muster erkennen und anwenden: Mit der Zeit beginnt das Modell, diese Muster zu erkennen. Es lernt, dieselben Werte anzuwenden, wenn es neue Fragen beantwortet oder mit neuen Situationen umgeht.
• Ausgaben kritisieren und verfeinern: Das Modell überprüft seine eigenen Antworten und passt sie auf Grundlage der Verfassung an. Diese Phase der Selbstüberprüfung hilft ihm, sich zu verbessern, ohne sich ausschließlich auf menschliches Feedback zu stützen.
• Ausrichtung verbessern und sicherere Antworten erzeugen: Das Modell lernt aus konsistenten Regeln, wodurch sich Verzerrungen verringern und die Zuverlässigkeit im praktischen Einsatz verbessern lassen. Dieser Ansatz richtet es stärker an menschlichen Werten aus und erleichtert seine Steuerung.

Abb. 2. Übersicht über den Einsatz von Constitutional AI zum Trainieren von Modellen.

Grundprinzipien für das Design ethischer KI#

Damit ein KI-Modell ethischen Regeln folgt, müssen diese Regeln zunächst klar definiert werden. Bei Constitutional AI basieren diese Regeln auf einer Reihe von Grundprinzipien.

Hier sind beispielsweise vier Prinzipien, die das Fundament einer wirksamen KI-Verfassung bilden:

• Transparenz: Es sollte leicht verständlich sein, wie ein Modell zu einer Antwort gelangt ist. Wenn eine Antwort auf Fakten, Schätzungen oder Mustern beruht, sollte dies für den Nutzer transparent sein. Das schafft Vertrauen und hilft Menschen einzuschätzen, ob sie sich auf die Ausgabe des Modells verlassen können.
• Gleichheit: Antworten sollten bei verschiedenen Nutzern konsistent bleiben. Das Modell sollte seine Ausgabe nicht aufgrund des Namens, des Hintergrunds oder des Standorts einer Person ändern. Gleichheit hilft, Verzerrungen zu verhindern und eine gleichberechtigte Behandlung zu fördern.
• Rechenschaftspflicht: Es sollte möglich sein nachzuvollziehen, wie ein Modell trainiert wurde und was sein Verhalten beeinflusst hat. Wenn etwas schiefläuft, sollten Teams die Ursache ermitteln und das Problem beheben können. Das unterstützt Transparenz und langfristige Rechenschaftspflicht.
• Sicherheit: Modelle müssen vermeiden, Inhalte zu erzeugen, die Schaden verursachen können. Wenn eine Anfrage zu riskanten oder unsicheren Ausgaben führt, sollte das System dies erkennen und den Vorgang stoppen. Das schützt sowohl den Nutzer als auch die Integrität des Systems.

Beispiele für Constitutional AI in großen Sprachmodellen#

Constitutional AI hat sich von einer Theorie zu einer praktischen Anwendung entwickelt und wird inzwischen langsam in großen Modellen eingesetzt, die mit Millionen von Nutzern interagieren. Zwei der häufigsten Beispiele sind LLMs von OpenAI und Anthropic.

Obwohl beide Organisationen unterschiedliche Ansätze zur Entwicklung ethischerer KI-Systeme verfolgen, teilen sie eine gemeinsame Idee: dem Modell beizubringen, einer Reihe schriftlich festgelegter Leitprinzipien zu folgen. Sehen wir uns diese Beispiele genauer an.

Der Ansatz von OpenAI für Constitutional AI#

OpenAI führte ein Dokument namens Model Spec als Teil des Trainingsprozesses für seine ChatGPT-Modelle ein. Dieses Dokument dient als Verfassung. Es beschreibt, welche Ziele das Modell mit seinen Antworten verfolgen soll, darunter Werte wie Hilfsbereitschaft, Ehrlichkeit und Sicherheit. Außerdem wird festgelegt, was als schädliche oder irreführende Ausgabe gilt.

Dieses Rahmenwerk wurde verwendet, um die Modelle von OpenAI durch eine Bewertung der Antworten danach feinabzustimmen, wie gut sie mit den Regeln übereinstimmen. Mit der Zeit hat dies dazu beigetragen, ChatGPT so zu gestalten, dass es weniger schädliche Ausgaben erzeugt und sich besser an dem orientiert, was Nutzer tatsächlich möchten.

Abb. 3. Beispiel für die Verwendung von OpenAIs Model Spec durch ChatGPT bei der Antwortgenerierung.

Ethische KI-Modelle von Anthropic#

Die Verfassung, der das Modell Claude von Anthropic folgt, basiert auf ethischen Prinzipien aus Quellen wie der Allgemeinen Erklärung der Menschenrechte, Plattformrichtlinien wie den Nutzungsbedingungen von Apple und Forschungsergebnissen anderer KI-Labore. Diese Prinzipien tragen dazu bei, dass Claudes Antworten sicher, fair und an wichtigen menschlichen Werten ausgerichtet sind.

Claude verwendet außerdem bestärkendes Lernen durch KI-Feedback (RLAIF). Dabei überprüft und passt es seine eigenen Antworten anhand dieser ethischen Richtlinien an, statt sich auf menschliches Feedback zu stützen. Dieser Prozess ermöglicht es Claude, sich mit der Zeit zu verbessern, besser zu skalieren und hilfreiche, ethische sowie unschädliche Antworten zu geben, selbst in schwierigen Situationen.

Abb. 4. Anthropics Ansatz für Constitutional AI verstehen.

Constitutional AI auf Computer Vision anwenden#

Da Constitutional AI das Verhalten von Sprachmodellen positiv beeinflusst, stellt sich natürlich die Frage: Könnte ein ähnlicher Ansatz dabei helfen, dass bildbasierte Systeme fairer und sicherer reagieren?

Obwohl Computer-Vision-Modelle mit Bildern statt mit Text arbeiten, ist der Bedarf an ethischer Orientierung ebenso wichtig. Fairness und Verzerrungen sind beispielsweise zentrale Faktoren, die berücksichtigt werden müssen, da diese Systeme darauf trainiert werden müssen, alle Menschen gleich zu behandeln und schädliche oder ungerechte Ergebnisse bei der Analyse visueller Daten zu vermeiden.

Abb. 5. Ethische Herausforderungen im Zusammenhang mit Computer Vision. Bild vom Autor.

Derzeit wird der Einsatz von Constitutional-AI-Methoden in Computer Vision noch erforscht und befindet sich mit laufenden Forschungsarbeiten in diesem Bereich in einer frühen Phase.

Beispielsweise hat Meta kürzlich CLUE vorgestellt, ein Rahmenwerk, das eine Art verfassungsbasiertes Schlussfolgern auf Aufgaben zur Bildsicherheit anwendet. Es wandelt allgemeine Sicherheitsregeln in präzise Schritte um, denen multimodale KI (KI-Systeme, die verschiedene Datentypen verarbeiten und verstehen) folgen kann. Das hilft dem System, klarer zu schlussfolgern und schädliche Ergebnisse zu reduzieren.

Außerdem macht CLUE Bewertungen der Bildsicherheit effizienter, indem es komplexe Regeln vereinfacht. Dadurch können KI-Modelle schnell und präzise handeln, ohne umfangreiche menschliche Eingaben zu benötigen. Durch die Verwendung einer Reihe von Leitprinzipien macht CLUE Systeme zur Bildmoderation besser skalierbar und stellt zugleich hochwertige Ergebnisse sicher.

Wichtige Erkenntnisse#

Je mehr Verantwortung KI-Systeme übernehmen, desto stärker verschiebt sich der Fokus von der Frage, was sie tun können, zu der Frage, was sie tun sollten. Dieser Wandel ist entscheidend, da diese Systeme in Bereichen eingesetzt werden, die das Leben von Menschen unmittelbar beeinflussen, etwa im Gesundheitswesen, bei der Strafverfolgung und in der Bildung.

Damit KI-Systeme angemessen und ethisch handeln, benötigen sie ein solides und konsistentes Fundament. Dieses Fundament sollte Fairness, Sicherheit und Vertrauen priorisieren.

Eine schriftliche Verfassung kann dieses Fundament während des Trainings bereitstellen und den Entscheidungsprozess des Systems leiten. Sie kann Entwicklern außerdem ein Rahmenwerk geben, mit dem sie das Verhalten des Systems nach der Bereitstellung überprüfen und anpassen können. So lässt sich sicherstellen, dass es weiterhin an den Werten ausgerichtet bleibt, die es verkörpern soll, und leichter an neue Herausforderungen angepasst werden kann.

Werde noch heute Teil unserer wachsenden Community! Vertiefe dein Wissen über KI, indem du unser GitHub-Repository erkundest. Möchtest du eigene Computer-Vision-Projekte entwickeln? Sieh dir unsere Lizenzierungsoptionen an. Erfahre, wie Computer Vision im Gesundheitswesen die Effizienz verbessert, und entdecke die Auswirkungen von KI in der Fertigung, indem du unsere Lösungsseiten besuchst!