AI Safety

KI-Sicherheit ist ein multidisziplinäres Fachgebiet, das sich darauf konzentriert, sicherzustellen, dass Systeme der künstlichen Intelligenz (KI) zuverlässig, vorhersehbar und nützlich arbeiten. Im Gegensatz zur Cybersicherheit, die Systeme vor externen Angriffen schützt, befasst sich die KI-Sicherheit mit den Risiken, die dem Design und dem Betrieb des Systems selbst innewohnen. Dazu gehört die Vermeidung unbeabsichtigter Folgen, die aus einer Ziel-Fehlausrichtung, einem Mangel an Robustheit in neuartigen Umgebungen oder Fehlern bei der Verallgemeinerung des Deep Learning (DL) resultieren. Da Modelle immer autonomer werden, arbeiten Forscher in Organisationen wie dem Center for Human-Compatible AI daran, sicherzustellen, dass diese Technologien mit menschlichen Absichten und Sicherheitsstandards im Einklang stehen.

Link to this sectionKernpfeiler sicherer KI#

Der Aufbau eines sicheren Systems erfordert die Bewältigung mehrerer technischer Herausforderungen, die über einfache Genauigkeitsmetriken hinausgehen. Diese Pfeiler stellen sicher, dass Machine Learning (ML)-Modelle selbst beim Einsatz in komplexen, realen Szenarien unter Kontrolle bleiben.

• Robustheit: Ein sicheres Modell muss seine Leistung beibehalten, wenn es mit beschädigten Eingaben oder Veränderungen in der Umgebung konfrontiert wird. Dazu gehört die Verteidigung gegen adversarial attacks, bei denen subtile Manipulationen von Eingabedaten ein Modell dazu verleiten können, Fehler mit hoher Konfidenz zu begehen.
• Alignment: Dieses Prinzip stellt sicher, dass die Ziele einer KI mit der wahren Absicht des Entwicklers übereinstimmen. Eine Fehlausrichtung tritt häufig beim Reinforcement Learning auf, wenn ein System lernt, seine Belohnungsfunktion zu "überlisten" – etwa ein Reinigungsroboter, der eine Vase zerbricht, um das Chaos schneller beseitigen zu können. Techniken wie das Reinforcement Learning from Human Feedback (RLHF) werden eingesetzt, um dies zu mindern.
• Interpretierbarkeit: Auch bekannt als Explainable AI (XAI), beinhaltet dies die Schaffung von Transparenz bei "Black Box"-Modellen. Die Visualisierung von Feature Maps ermöglicht es Ingenieuren, den Entscheidungsprozess zu verstehen und sicherzustellen, dass sich das Modell nicht auf Scheinkorrelationen stützt.
• Überwachung: Eine kontinuierliche Modellüberwachung ist unerlässlich, um Data Drift zu erkennen. Sicherheitsprotokolle müssen Warnungen oder Fallback-Mechanismen auslösen, falls die realen Daten beginnen, signifikant von den Trainingsdaten abzuweichen.

Link to this sectionPraxisanwendungen#

KI-Sicherheit ist in risikoreichen Bereichen von größter Bedeutung, in denen algorithmisches Versagen zu körperlichen Schäden oder erheblichen wirtschaftlichen Verlusten führen könnte.

1. Autonome Fahrzeuge: Im Bereich der KI in der Automobilindustrie definieren Sicherheitsrahmen, wie ein Auto auf Unsicherheit reagiert. Wenn ein Objekterkennungsmodell ein Hindernis nicht mit hoher Konfidenz identifizieren kann, muss das System standardmäßig in einen sicheren Zustand übergehen – etwa durch Bremsen –, anstatt zu raten. Die NHTSA Automated Vehicles Guidelines betonen diese ausfallsicheren Mechanismen.

2. Medizinische Diagnostik: Beim Einsatz von KI im Gesundheitswesen geht es bei der Sicherheit darum, falsch-negative Ergebnisse bei kritischen Diagnosen zu minimieren. Systeme werden oft auf einen hohen Recall abgestimmt, um sicherzustellen, dass keine potenzielle Erkrankung übersehen wird, was effektiv als "Zweitmeinung" für Ärzte fungiert. Regulierungsbehörden wie das FDA Digital Health Center setzen strenge Standards für Software als Medizinprodukt (SaMD).

Link to this sectionImplementierung von Sicherheitsschwellenwerten#

Einer der grundlegendsten Sicherheitsmechanismen beim maschinellen Sehen ist die Verwendung von Konfidenzschwellenwerten. Durch das Herausfiltern von Vorhersagen mit geringer Wahrscheinlichkeit während der Inferenz verhindern Entwickler, dass Systeme auf Basis schwacher Informationen handeln.

Das folgende Beispiel zeigt, wie man einen Sicherheitsfilter mit Ultralytics YOLO26 anwendet, um sicherzustellen, dass nur zuverlässige Erkennungen verarbeitet werden.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

Link to this sectionKI-Sicherheit vs. KI-Ethik#

Obwohl diese Begriffe oft synonym verwendet werden, adressieren sie unterschiedliche Aspekte der verantwortungsvollen KI.

• KI-Sicherheit ist eine technische Ingenieursdisziplin. Sie stellt die Frage: "Wird dieses System korrekt funktionieren, ohne Unfälle zu verursachen?" Sie befasst sich mit Problemen wie Modellhalluzinationen und sicherem Explorieren beim Reinforcement Learning.
• KI-Ethik ist ein soziotechnischer Rahmen. Sie stellt die Frage: "Sollten wir dieses System bauen und ist es fair?" Sie konzentriert sich auf Themen wie algorithmische Voreingenommenheit, Datenschutzrechte und die gerechte Verteilung von Vorteilen, wie sie im EU AI Act dargelegt sind.

Link to this sectionAusblick auf die Zukunft#

Während sich die Industrie in Richtung Artificial General Intelligence (AGI) bewegt, wird die Sicherheitsforschung immer wichtiger. Organisationen können die Ultralytics Platform nutzen, um ihre Datensätze zu verwalten und die Modellbereitstellung zu überwachen, um sicherzustellen, dass ihre KI-Lösungen während ihres gesamten Lebenszyklus robust, transparent und im Einklang mit Sicherheitsstandards bleiben.