AI Safety

KI-Sicherheit ist das Forschungs- und Entwicklungsgebiet, das verhindern soll, dass Systeme der künstlichen Intelligenz (AI) Schaden verursachen – sei es durch Unfälle, absichtlichen Missbrauch oder Systeme, die Ziele verfolgen, welche ihre Entwickler nicht beabsichtigt haben. Das Gebiet umfasst eingesetzte maschinelle Lernsysteme, etwa die Wahrnehmungskomponente eines autonomen Fahrzeugs oder einen Kundendienst-Chatbot, ebenso wie leistungsfähigere KI-Modelle an der Spitze des Fortschritts und Agenten, die von Forschungslaboren entwickelt werden. Die Arbeit umfasst technische Forschung, Prüfverfahren und die Rahmenwerke, anhand derer Unternehmen und Regierungen entscheiden, wann ein System sicher genug für die Veröffentlichung ist.

Zentrale Probleme der KI-Sicherheit#

Die Arbeit Konkrete Probleme der KI-Sicherheit aus dem Jahr 2016 von Forschenden bei Google Brain, OpenAI, Stanford und UC Berkeley fasste Unfälle beim maschinellen Lernen als fünf Forschungsprobleme, veranschaulicht anhand eines Reinigungsroboters, die das Fachgebiet bis heute prägen:

• Negative Nebenwirkungen vermeiden: Ein Roboter, der nur für einen sauberen Fußboden belohnt wird, hat keinen Grund, auf dem Weg dorthin keine Vase umzustoßen.
• Belohnungshacking: Der Wortlaut eines Ziels wird erfüllt, während sein Zweck vereitelt wird, etwa indem Unordnung mit Material bedeckt wird, das die Kamera des Roboters nicht durchdringen kann.
• Skalierbare Aufsicht: Gutes Verhalten wird trainiert, obwohl die Überprüfung jeder Handlung zu teuer wäre, etwa indem eine Person nur gelegentlich gefragt wird, wie sauber der Raum ist.
• Sichere Exploration: Ein lernender Agent darf neue Handlungen ausprobieren, ohne katastrophale Aktionen zu versuchen – zum Beispiel einen nassen Wischmopp in eine Steckdose zu stecken.
• Robustheit gegenüber Verteilungsverschiebungen: Eingaben, die von der Trainingsumgebung abweichen, werden erkannt und vorsichtig behandelt, etwa wenn ein in einem Büro trainierter Roboter auf eine Fabrikhalle kommt.

Jedes Problem entwickelte sich zu einem eigenen Forschungsgebiet. Skalierbare Aufsicht wurde zu einem zentralen Forschungsstrang der Superalignment-Forschung, die untersucht, wie Systeme beaufsichtigt werden können, die leistungsfähiger sind als ihre Aufsichtspersonen. Sichere Exploration ist eine Einschränkung beim bestärkenden Lernen, und Verteilungsverschiebungen zeigen sich in Produktivsystemen als Datenverschiebung.

Woher KI-Risiken kommen#

Das Papier Ein Ansatz für technische AGI-Sicherheit und -Schutz von Google DeepMind aus dem Jahr 2025 unterteilt schwerwiegende Risiken in vier Bereiche. Diese unterscheiden sich danach, wer oder was für den Schaden verantwortlich ist:

Jeder Bereich erfordert andere Schutzmaßnahmen. Missbrauch lässt sich durch Training auf Ablehnungen, KI-Schutzmechanismen und beschränkten Zugang zu gefährlichen Fähigkeiten eindämmen. Fehlanpassungen sind schwer zu prüfen, da sich ein fehlangepasstes Modell während der Beobachtung gut verhalten kann. Studien haben während des Trainings vorgetäuschte Ausrichtung, absichtliche Minderleistung bei Bewertungen, mit Hintertüren versehene Schläferagenten, die ein Sicherheitstraining überstehen, und entstehende Fehlanpassung nach eng begrenzter Feinabstimmung festgestellt. Fehler lassen sich durch Robustheit, Prüfungen und Überwachung verringern. Strukturelle Risiken, etwa Schäden, die aus dem Wettbewerb zwischen vielen Entwicklern oder aus Interaktionen zwischen zahlreichen KI-Agenten entstehen, sind vor allem eine Frage der Governance.

Methoden in der Praxis#

Sicherheitsarbeit begleitet den gesamten Lebenszyklus eines Modells. Während des Trainings prägen bestärkendes Lernen aus menschlichem Feedback (RLHF) und KI nach Verfassung, was ein Modell tun wird und was nicht. Vor der Veröffentlichung suchen Red Teams für KI und Prüfungen gefährlicher Fähigkeiten nach Schwachstellen. Die mechanistische Interpretierbarkeit untersucht die interne Berechnung auf Ziele, die sich allein anhand der Ausgaben nicht erkennen ließen. Sicherheitsrahmenwerke für führende Modelle, etwa Anthropics Richtlinie zur verantwortungsvollen Skalierung, legen Schwellenwerte für Fähigkeiten fest, ab denen ein Modell stärkere Sicherheitsmaßnahmen und Schutzvorkehrungen bei der Bereitstellung benötigt.

Nach der Bereitstellung erkennt die Modellüberwachung Eingaben, mit denen ein Modell zuvor nie getestet wurde. Die Überwachung bereitgestellter Modelle in der Ultralytics Platform stellt die Konfidenzverteilung und die durchschnittliche Konfidenz eines bereitgestellten YOLO26-Endpunkts im Zeitverlauf dar. Sinkt die Konfidenz, nachdem eine Kamera versetzt wurde oder sich die Beleuchtung verändert hat, weist das auf Eingaben hin, die von den Trainingsdaten abweichen. Systeme, die in der physischen Welt handeln, benötigen außerdem einen Rückfallmechanismus, etwa die für automatisierte Fahrzeuge definierte Mindestrisikobedingung: einen sicheren Halt, den das Fahrzeug erreicht, wenn sein automatisiertes Fahrsystem nicht mehr weiterfahren kann.

KI-Sicherheit und verwandte Fachgebiete#

Die KI-Sicherheit überschneidet sich mit mehreren Fachgebieten, deren Bezeichnungen oft synonym verwendet werden:

• KI-Ethik: Fragt, was KI-Systeme tun sollten und wem sie dienen sollen. Dazu gehören Fairness, Datenschutz und Rechenschaftspflicht. Schäden wie verzerrte Entscheidungen fallen in den Bereich beider Fachgebiete.
• KI-Sicherheit: Schützt KI-Systeme vor Angreifern, etwa durch Maßnahmen gegen adversariale Beispiele, Datenvergiftung, Prompt-Injection und Modelldiebstahl.
• KI-Ausrichtung: Das Teilgebiet der KI-Sicherheit, das sich damit befasst, ein System dazu zu bringen, die von seinen Entwicklern beabsichtigten Ziele zu verfolgen. Es befasst sich mit dem oben genannten Bereich der Fehlanpassung.
• KI-Governance: Gesetze, Standards und interne Richtlinien, die festlegen, wie KI-Systeme entwickelt und veröffentlicht werden, etwa die Risikostufen des EU AI Act.

Die Grenzen verschieben sich mit der Politik: Im Februar 2025 benannte das Vereinigte Königreich sein staatliches Institut für KI-Sicherheit in AI Security Institute um. Die Behörde prüft führende Modelle vor ihrer Veröffentlichung und richtet ihren Fokus nun auf Risiken mit Sicherheitsbezug, etwa Cyberangriffe, Betrug sowie die Entwicklung chemischer und biologischer Waffen.