AI Governance

KI-Governance umfasst die Richtlinien, Zuständigkeiten, Abläufe und Aufzeichnungen, mit denen eine Organisation festlegt, welche Systeme künstlicher Intelligenz sie entwickelt oder kauft, wer für jedes System verantwortlich ist, welche Nachweise vor einer Freigabe erforderlich sind und wie Systeme überwacht, geändert und außer Betrieb genommen werden. Die KI-Ethik legt fest, welche Werte eine Organisation von ihrer KI eingehalten sehen möchte. Governance setzt diese Werte in Entscheidungsbefugnisse und dokumentierte Prüfungen um, die während des gesamten Lebenszyklus für alle Systeme gelten – vom Assistenten auf Basis eines großen Sprachmodells, der bei einem Anbieter gekauft wird, bis zum eigens entwickelten Computer-Vision-Modell an einer Produktionslinie.

Rahmenwerke und Regulierung#

Die meisten Governance-Programme stützen sich auf einige wenige Referenzrahmenwerke:

• NIST-Rahmenwerk für das Risikomanagement von KI: Ein freiwilliges US-Rahmenwerk, das im Januar 2023 veröffentlicht wurde und in vier Funktionen gegliedert ist. Govern legt Richtlinien und Verantwortlichkeiten fest, Map bestimmt den Kontext und den vorgesehenen Einsatz jedes Systems, Measure bewertet Risiken anhand von Tests und Kennzahlen, und Manage priorisiert und behandelt diese Risiken.
• ISO/IEC 42001: Die erste internationale Norm für ein Managementsystem für künstliche Intelligenz, veröffentlicht im Dezember 2023. Organisationen können nach dieser Norm geprüft und zertifiziert werden, ähnlich wie beim Informationssicherheitsmanagement nach ISO/IEC 27001.
• OECD-Grundsätze für künstliche Intelligenz: Die 2019 verabschiedeten und 2024 aktualisierten Grundsätze bilden die Grundlage vieler nationaler Richtlinien und geben anderen Rahmenwerken ein gemeinsames Vokabular.

Das Profil für generative KI des NIST, NIST AI 600-1 (Juli 2024), wendet das Risikomanagement-Rahmenwerk auf Risiken wie Halluzinationen und Prompt-Injection an.

Der EU AI Act ist eine risikobasierte Verordnung, die im August 2024 in Kraft trat und schrittweise angewendet wird. Verbote von Praktiken wie Social Scoring und Emotionserkennung an Arbeitsplätzen und in Schulen sowie eine Pflicht zur KI-Kompetenz gelten seit dem 2. Februar 2025. Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025. Transparenzpflichten wie die Offenlegung von Deepfakes gelten seit dem 2. August 2026. Der seit dem 27. Juli 2026 geltende Digitalomnibus zur KI verschob die Anforderungen für Hochrisikosysteme aus Anhang III, etwa für Einstellungen und Kreditwürdigkeitsprüfungen, auf den 2. Dezember 2027 und die Anforderungen für KI in regulierten Produkten wie Medizinprodukten und Maschinen auf den 2. August 2028. Diese Anforderungen betreffen Risikomanagement, Daten-Governance, Protokollierung, menschliche Aufsicht und Konformitätsbewertung.

Zentrale Kontrollen#

An erster Stelle steht ein Verzeichnis, denn eine Organisation kann keine Systeme verwalten, von denen sie nichts weiß. Ein vollständiges Verzeichnis dokumentiert für jedes System die verantwortliche Person, den Zweck, die Datenquellen, die Modellversionen und die Anbieter. Es macht außerdem Schatten-KI sichtbar: Werkzeuge, die Teams ohne Prüfung eingeführt haben. Bei intern entwickelten Modellen dient oft eine Modellregistrierung als Verzeichnis.

Anschließend werden Systeme anhand ihres Zwecks, ihres Autonomiegrads, der betroffenen Personen und der Fehlerkosten in Risikostufen eingeteilt. Ein Modell, das interne Dokumente sortiert, benötigt eine weniger strenge Prüfung als eines, das Bewerberinnen und Bewerber vorsortiert oder Maschinen steuert. Für höhere Risikostufen gelten strengere Tests, Freigaben und menschliche Aufsicht.

Dokumentation macht Entscheidungen überprüfbar. Modellkarten dokumentieren den vorgesehenen Einsatz, die Auswertungsergebnisse und bekannte Einschränkungen. Aufzeichnungen zur Datenherkunft halten fest, woher die Trainingsdaten stammen und unter welcher Lizenz oder Einwilligung sie genutzt werden. Auch die Reproduzierbarkeit gehört in dieselbe Dokumentation: die genaue Version des Datensatzes, das Basismodell, die Codeversion und die Einstellungen hinter jedem Modellkandidaten, damit Prüfende jedes bereitgestellte Modell bis zu seinen Eingaben zurückverfolgen können. Bei Vision-Modellen, die auf der Ultralytics Platform trainiert wurden, dokumentiert jeder Lauf sein Ausgangsmodell, die Ultralytics-Version, die Hostumgebung und, sofern angegeben, den Git-Commit. Eine gespeicherte Datensatzversion fixiert die genauen Bilder und Labels, mit denen trainiert wurde.

Tests liefern die Nachweise für eine Genehmigung. Für jeden Anwendungsfall werden Abnahmeschwellen festgelegt, bevor die Ergebnisse vorliegen. Die Tests decken die Genauigkeit in relevanten Untergruppen ab, um Verzerrungen in der KI aufzudecken, die Robustheit bei veränderten Eingaben wie schwachem Licht oder einem neuen Kamerawinkel sowie die Sicherheit, häufig mithilfe von Red Teaming für KI. Das britische NCSC und Partnerbehörden veröffentlichen Leitlinien für die sichere Entwicklung von KI-Systemen, die Entwurf, Entwicklung, Bereitstellung und Betrieb abdecken.

Nach der Freigabe überwacht die Modellüberwachung Leistung und Datenverschiebung. Ein Verfahren für Vorfälle legt fest, wer ein System anhalten oder zurücksetzen darf, und ein Außerbetriebnahmeverfahren entfernt nicht mehr benötigte Modelle und Daten. Entscheidungsbefugnisse verbinden die Kontrollen: Für jedes System legt die Governance fest, wer die Bereitstellung genehmigt, wer sie stoppen darf und wer das nach den Tests verbleibende Risiko akzeptiert.

Abgrenzung der Governance von verwandten Praktiken#

• Regulierung: Von außen auferlegtes Recht. Governance ist das interne System, das eine Organisation betreibt, und zugleich der Weg, auf dem sie ihre Regelkonformität nachweist.
• Risikomanagement: Konkrete Risiken erkennen, messen und behandeln. Governance legt fest, wer diese Arbeit übernimmt, wer das verbleibende Risiko akzeptiert und wie Entscheidungen dokumentiert werden.
• MLOps: Die Pipelines zum Trainieren, Bereitstellen und Warten von Modellen. Governance legt die Freigabeschritte und Aufzeichnungen fest, die diese Pipelines erfüllen müssen.
• KI-Sicherheit: Die technische Untersuchung, wie sich KI-Systeme dazu bringen lassen, sich wie beabsichtigt zu verhalten. Governance bestimmt, wie Sicherheitserkenntnisse darüber entscheiden, was eine Organisation bereitstellen darf.