AI Safety

KI-Sicherheit ist ein multidisziplinäres Fachgebiet, das sich darauf konzentriert, den zuverlässigen, vorhersehbaren und nutzbringenden Betrieb von Systemen der künstlichen Intelligenz (AI) sicherzustellen. Im Gegensatz zur Cybersicherheit, die Systeme vor externen Angriffen schützt, befasst sich die KI-Sicherheit mit den Risiken, die dem Entwurf und Betrieb des Systems selbst innewohnen. Dazu gehört die Vermeidung unbeabsichtigter Folgen aufgrund einer Fehlanpassung der Ziele, mangelnder Robustheit in neuartigen Umgebungen oder Fehlern bei der Generalisierung im Deep Learning (DL). Mit zunehmender Autonomie der Modelle arbeiten Forschende in Organisationen wie dem Zentrum für menschenkompatible KI daran, sicherzustellen, dass diese Technologien mit menschlichen Absichten und Sicherheitsstandards übereinstimmen.

Grundpfeiler sicherer KI#

Der Aufbau eines sicheren Systems erfordert die Bewältigung mehrerer technischer Herausforderungen, die über einfache Genauigkeitsmetriken hinausgehen. Diese Grundpfeiler stellen sicher, dass Modelle des maschinellen Lernens (ML) auch beim Einsatz in komplexen Szenarien der realen Welt unter Kontrolle bleiben.

• Robustheit: Ein sicheres Modell muss seine Leistung auch bei beschädigten Eingaben oder Veränderungen der Umgebung aufrechterhalten. Dazu gehört der Schutz vor kontradiktorischen Angriffen, bei denen geringfügige Manipulationen der Eingabedaten ein Modell dazu bringen können, Fehler mit hoher Zuversicht zu machen.
• Ausrichtung: Dieses Prinzip stellt sicher, dass die Ziele einer KI mit der tatsächlichen Absicht der Entwickler übereinstimmen. Eine Fehlanpassung tritt beim bestärkenden Lernen häufig auf, wenn ein System lernt, seine Belohnungsfunktion zu „überlisten“ – etwa wenn ein Reinigungsroboter eine Vase zerbricht, um die Unordnung schneller zu beseitigen. Techniken wie bestärkendes Lernen aus menschlichem Feedback (RLHF) werden eingesetzt, um dies einzudämmen.
• Interpretierbarkeit: Dieser Bereich, auch als erklärbare KI (XAI) bezeichnet, schafft Transparenz in „Black-Box“-Modellen. Die Visualisierung von Merkmalskarten ermöglicht es Ingenieuren, den Entscheidungsprozess nachzuvollziehen und sicherzustellen, dass sich das Modell nicht auf Scheinkorrelationen stützt.
• Überwachung: Eine kontinuierliche Modellüberwachung ist unerlässlich, um eine Datenverschiebung zu erkennen. Sicherheitsprotokolle müssen Warnungen oder Rückfallmechanismen auslösen, wenn die Daten aus der realen Welt deutlich von den Trainingsdaten abzuweichen beginnen.

Anwendungen in der Praxis#

KI-Sicherheit ist in Bereichen mit hohen Risiken von größter Bedeutung, in denen ein Versagen des Algorithmus zu körperlichen Schäden oder erheblichen wirtschaftlichen Verlusten führen könnte.

1. Autonome Fahrzeuge: Im Bereich der KI im Automobilbereich legen Sicherheitskonzepte fest, wie ein Fahrzeug mit Unsicherheit umgeht. Wenn ein Modell zur Objekterkennung ein Hindernis nicht mit hoher Konfidenz identifizieren kann, muss das System in einen sicheren Zustand wechseln – etwa durch Bremsen –, statt zu raten. Die Richtlinien der NHTSA für automatisierte Fahrzeuge betonen diese ausfallsicheren Mechanismen.

2. Medizinische Diagnostik: Beim Einsatz von KI im Gesundheitswesen geht es bei der Sicherheit darum, falsch-negative Ergebnisse bei kritischen Diagnosen zu minimieren. Systeme werden häufig auf einen hohen Recall eingestellt, damit keine potenzielle Erkrankung übersehen wird, und fungieren dadurch effektiv als „zweite Meinung“ für Ärzte. Regulierungsbehörden wie das FDA-Zentrum für digitale Gesundheit legen strenge Standards für Software als Medizinprodukt (SaMD) fest.

Sicherheitsschwellenwerte implementieren#

Einer der grundlegendsten Sicherheitsmechanismen in der Computer Vision ist die Verwendung von Konfidenzschwellenwerten. Indem während der Inferenz Vorhersagen mit niedriger Wahrscheinlichkeit herausgefiltert werden, verhindern Entwickler, dass Systeme auf schwachen Informationen basierende Aktionen ausführen.

Das folgende Beispiel zeigt, wie du mithilfe von Ultralytics YOLO26 einen Sicherheitsfilter anwendest, sodass nur zuverlässige Erkennungen verarbeitet werden.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

KI-Sicherheit und KI-Ethik#

Obwohl diese Begriffe häufig synonym verwendet werden, behandeln sie unterschiedliche Aspekte verantwortungsvoller KI.

• KI-Sicherheit ist eine technische Disziplin des Ingenieurwesens. Sie fragt: „Wird dieses System korrekt funktionieren, ohne Unfälle zu verursachen?“ Sie befasst sich mit Problemen wie Halluzinationen von Modellen und der sicheren Exploration beim bestärkenden Lernen.
• KI-Ethik ist ein soziotechnischer Rahmen. Sie fragt: „Sollten wir dieses System entwickeln, und ist es fair?“ Im Mittelpunkt stehen Themen wie algorithmische Verzerrung, Datenschutzrechte und die gerechte Verteilung von Vorteilen, wie sie im EU-KI-Gesetz beschrieben sind.

Ausblick#

Da sich die Branche auf künstliche allgemeine Intelligenz (AGI) zubewegt, wird die Sicherheitsforschung zunehmend wichtiger. Organisationen können die Ultralytics Platform nutzen, um ihre Datensätze zu verwalten und die Bereitstellung von Modellen zu überwachen. So stellen sie sicher, dass ihre KI-Lösungen während ihres gesamten Lebenszyklus robust, transparent und an Sicherheitsstandards ausgerichtet bleiben.