AI Safety

KI-Sicherheit ist ein multidisziplinäres Fachgebiet, das sich darauf konzentriert sicherzustellen, dass Artificial Intelligence (AI)-Systeme zuverlässig, vorhersehbar und nutzbringend arbeiten. Im Gegensatz zur Cybersicherheit, die Systeme vor externen Angriffen schützt, befasst sich die KI-Sicherheit mit den Risiken, die dem Design und Betrieb des Systems selbst innewohnen. Dazu gehört die Vermeidung unbeabsichtigter Folgen, die sich aus Zielunvereinbarkeiten, mangelnder Robustheit in neuen Umgebungen oder Fehlern bei der Verallgemeinerung von Deep Learning (DL) ergeben. Da Modelle immer autonomer werden, arbeiten Forscher in Organisationen wie dem Center for Human-Compatible AI daran sicherzustellen, dass diese Technologien mit menschlichen Absichten und Sicherheitsstandards im Einklang stehen.

Kernpfeiler sicherer KI#

Der Aufbau eines sicheren Systems erfordert die Bewältigung mehrerer technischer Herausforderungen, die über einfache Genauigkeitsmetriken hinausgehen. Diese Säulen stellen sicher, dass Machine Learning (ML)-Modelle auch dann unter Kontrolle bleiben, wenn sie in komplexen Praxisszenarien eingesetzt werden.

• Robustheit: Ein sicheres Modell muss seine Leistung auch bei beschädigten Eingaben oder Umweltveränderungen aufrechterhalten. Dazu gehört die Abwehr von adversarial attacks, bei denen subtile Manipulationen der Eingabedaten ein Modell dazu bringen können, Fehler mit hoher Konfidenz zu machen.
• Ausrichtung (Alignment): Dieses Prinzip stellt sicher, dass die Ziele einer KI mit der wahren Absicht des Entwicklers übereinstimmen. Eine Fehlausrichtung tritt häufig beim Reinforcement Learning auf, wenn ein System lernt, seine Belohnungsfunktion zu „austricksen“ – wie etwa ein Putzroboter, der eine Vase zerbricht, um das Chaos schneller beseitigen zu können. Techniken wie Reinforcement Learning from Human Feedback (RLHF) werden eingesetzt, um dies zu mildern.
• Interpretierbarkeit: Auch bekannt als Explainable AI (XAI), beinhaltet dies die Schaffung von Transparenz in „Black-Box“-Modellen. Die Visualisierung von feature maps ermöglicht es Ingenieuren, den Entscheidungsprozess zu verstehen und sicherzustellen, dass sich das Modell nicht auf Scheinkorrelationen stützt.
• Überwachung: Eine kontinuierliche model monitoring ist unerlässlich, um data drift zu erkennen. Sicherheitsprotokolle müssen Warnungen oder Fallback-Mechanismen auslösen, wenn die Echtdaten anfangen, erheblich von den training data abzuweichen.

Praxisanwendungen#

KI-Sicherheit ist in risikoreichen Bereichen von größter Bedeutung, in denen algorithmisches Versagen zu körperlichen Schäden oder erheblichen wirtschaftlichen Verlusten führen könnte.

1. Autonome Fahrzeuge: Im Bereich von AI in automotive definieren Sicherheitsrahmenbedingungen, wie ein Auto auf Unvorhersehbarkeiten reagiert. Kann ein object detection-Modell ein Hindernis nicht mit hoher confidence identifizieren, muss das System standardmäßig in einen sicheren Zustand wechseln – etwa durch Bremsen –, anstatt zu raten. Die NHTSA Automated Vehicles guidelines betonen diese ausfallsicheren Mechanismen.

2. Medizinische Diagnostik: Bei der Anwendung von AI in healthcare geht es bei der Sicherheit darum, falsche negative Ergebnisse bei kritischen Diagnosen zu minimieren. Systeme werden oft auf einen hohen recall abgestimmt, um sicherzustellen, dass keine potenzielle Erkrankung übersehen wird, und fungieren faktisch als „Zweitmeinung“ für Ärzte. Regulierungsbehörden wie das FDA Digital Health Center legen strenge Standards für Software als Medizinprodukt (SaMD) fest.

Implementierung von Sicherheitsschwellenwerten#

Einer der grundlegendsten Sicherheitsmechanismen in der Computer Vision ist die Verwendung von Konfidenzschwellenwerten. Durch das Herausfiltern von Vorhersagen mit geringer Wahrscheinlichkeit während der inference verhindern Entwickler, dass Systeme auf Basis schwacher Informationen agieren.

Das folgende Beispiel zeigt, wie ein Sicherheitsfilter mit Ultralytics YOLO26 angewendet wird, um sicherzustellen, dass nur zuverlässige Erkennungen verarbeitet werden.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

KI-Sicherheit vs. KI-Ethik#

Obwohl diese Begriffe oft synonym verwendet werden, adressieren sie unterschiedliche Aspekte der verantwortungsvollen KI.

• KI-Sicherheit ist eine technische Ingenieurdisziplin. Sie stellt die Frage: „Funktioniert dieses System korrekt, ohne Unfälle zu verursachen?“ Sie befasst sich mit Problemen wie model hallucination und der sicheren Exploration beim Reinforcement Learning.
• AI Ethics ist ein soziotechnischer Rahmen. Sie stellt die Frage: „Sollten wir dieses System bauen, und ist es fair?“ Sie konzentriert sich auf Themen wie algorithmic bias, Datenschutzrechte und die gerechte Verteilung von Vorteilen, wie im EU AI Act dargelegt.

Ausblick auf die Zukunft#

Da sich die Branche auf Artificial General Intelligence (AGI) zubewegt, wird die Sicherheitsforschung immer wichtiger. Unternehmen können die Ultralytics Platform nutzen, um ihre Datensätze zu verwalten und die model deployment zu überwachen, um sicherzustellen, dass ihre KI-Lösungen während ihres gesamten Lebenszyklus robust, transparent und im Einklang mit den Sicherheitsstandards bleiben.