AI Guardrails

AI-Schutzmechanismen sind Kontrollen, die ein Modell der künstlichen Intelligenz (AI) umgeben und prüfen, welche Eingaben das Modell erhält, welche Ausgaben es erzeugt und welche Aktionen es ausführen darf; sie blockieren oder leiten alles um, was gegen eine Richtlinie verstößt. Sie liegen außerhalb der Modellgewichte: Ein Schutzmechanismus kann eine schädliche Antwort, eine offengelegte Telefonnummer oder eine nicht genehmigte Rückerstattung verhindern, selbst wenn das zugrunde liegende große Sprachmodell (LLM) dazu verleitet wurde, eine solche Ausgabe zu erzeugen. Schutzmechanismen ergänzen Sicherheitstraining wie bestärkendes Lernen mit menschlichem Feedback (RLHF), indem sie Grenzen für die gesamte Anwendung durchsetzen – unabhängig davon, wozu das Modell selbst neigt.

Arten von KI-Schutzmechanismen#

Schutzmechanismen werden danach eingeteilt, an welcher Stelle sie greifen. Eingabeschutzmechanismen prüfen Eingabeaufforderungen, hochgeladene Dateien und abgerufene Dokumente, bevor das Modell sie sieht, und suchen nach Prompt-Injection, Jailbreak-Versuchen, personenbezogenen Daten oder themenfremden Anfragen. Ausgabeschutzmechanismen prüfen Antworten, bevor sie den Nutzer oder nachgelagerte Software erreichen, und suchen nach schädlichen Inhalten, offengelegten Geheimnissen, Halluzinationen, die Quelldokumenten widersprechen, oder strukturierten Ausgaben, die ein vorgegebenes Schema verletzen.

Aktionsschutzmechanismen begrenzen, welche Tools ein KI-Agent mit welchen Argumenten und Berechtigungen aufrufen darf. Für folgenreiche Schritte wie Zahlungen, Löschungen oder den Versand von E-Mails verlangen sie eine menschliche Freigabe; die Sandbox-Isolierung von Agenten kapselt den vom Agenten ausgeführten Code. Dialogschutzmechanismen halten ein Gespräch bei genehmigten Themen, etwa indem ein Bankassistent medizinische Fragen ablehnt.

Wie Schutzmechanismen implementiert werden#

Viele Schutzmechanismen sind Klassifikatoren. Llama Guard von Meta, 2023 vorgestellt, ist ein feinabgestimmtes LLM, das sowohl Eingabeaufforderungen als auch Antworten anhand einer Taxonomie von Risikokategorien als sicher oder unsicher kennzeichnet. Die Constitutional Classifiers von Anthropic, trainiert mit synthetischen Daten, die anhand einer schriftlichen Liste zulässiger und unzulässiger Inhalte erzeugt wurden, senkten bei Claude 3.5 Sonnet die Erfolgsquote von 10.000 automatisierten Jailbreak-Versuchen von 86 % auf 4,4 %. Gleichzeitig stieg die Zahl der Ablehnungen bei realen Anfragen um 0,38 %, und der Rechenaufwand nahm um 23,7 % zu. Andere Schutzmechanismen beruhen auf Regeln: reguläre Ausdrücke für Kreditkartennummern, Zulassungslisten für Tools und Schemas für Tool-Argumente. Frameworks wie NeMo Guardrails von NVIDIA und Guardrails AI kombinieren beide Arten zu konfigurierbaren Pipelines.

Die Schemavalidierung ist der einfachste umzusetzende Aktionsschutzmechanismus. Das folgende Beispiel verwendet Pydantic, um vom Agenten eines LLM vorgeschlagene Rückerstattungsanfragen zu prüfen, bevor eine davon ausgeführt wird:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

Der erste Aufruf gibt Executed refund of $49.99 for A104233 und der zweite Blocked: Input should be less than or equal to 200 aus. Die eingeschleuste Anweisung erreicht also unabhängig davon, wie überzeugend sie formuliert ist, niemals das Zahlungssystem.

Schutzmechanismen in Vision-Pipelines#

Vision-Systeme nutzen Schutzmechanismen, um zu entscheiden, wann die Ausgabe eines Modells zuverlässig genug ist, um darauf zu reagieren. In den Ultralytics Platform Agents steuert ein Gate-Block die nachgelagerte Ausführung anhand einer Bedingung für die Ergebnisse von YOLO26: Die Vorlage YOLO to VLM Monitor führt ein Vision-Language-Modell nur aus, wenn mindestens eine Person erkannt wird. In der medizinischen Bildgebung und bei autonomen Fahrzeugen kommt dasselbe Muster zum Einsatz: Unsichere Befunde werden an medizinisches Fachpersonal weitergeleitet und bei einem Ausfall der Wahrnehmung wird sicher angehalten.

Schutzmechanismen im Vergleich zu verwandten Begriffen#

• KI-Sicherheit: Der umfassende Bereich, der Schäden durch KI verhindern soll. Schutzmechanismen sind eines der Werkzeuge, die beim Einsatz von KI zur Verfügung stehen.
• Constitutional AI: Trainiert Grundsätze direkt im Modell. Schutzmechanismen setzen Regeln von außen durch und funktionieren daher auch dann, wenn das Training versagt.
• KI-Governance: Richtlinien und Gesetze, die festlegen, was ein KI-System tun darf. Schutzmechanismen sind die technischen Kontrollen, die diese Vorgaben zur Laufzeit durchsetzen.
• KI-Red-Teaming: Greift ein System an, um Lücken aufzudecken, die seine Schutzmechanismen offenlassen.

Schutzmechanismen beeinträchtigen außerdem Geschwindigkeit und Nützlichkeit: Jeder Klassifikator erhöht die Inferenzlatenz, und ein strengerer Klassifikator lehnt mehr legitime Anfragen ab. Prototypen der Constitutional Classifiers von Anthropic widerstanden bei mehr als 3.000 Stunden Red-Teaming im Rahmen eines Bug-Bounty-Programms allen universellen Jailbreak-Versuchen. Sie lehnten jedoch zu viele harmlose Anfragen ab und benötigten zu viel Rechenleistung.