Model Card

Eine Modellkarte ist ein strukturiertes Dokument, das erklärt, was ein KI- oder Machine-Learning-Modell leistet, wie es entwickelt und bewertet wurde, wofür es eingesetzt werden sollte und welche Einschränkungen oder Risiken Nutzer kennen sollten. Sie dient als praktisches Informationsblatt für Entwickler, Prüfer, Betreiber und betroffene Interessengruppen und unterstützt die Transparenz von KI, ohne Zugriff auf den Quellcode oder die internen Abläufe des Modells zu erfordern. In diesem Zusammenhang hat eine Modellkarte nichts mit der „Comp Card“ eines Fotomodells zu tun, einem professionellen Portfolio.

Inhalte einer Modellkarte#

Eine hilfreiche Modellkarte verbindet technische Nachweise mit leicht verständlichen Erläuterungen. Ihr Umfang sollte die Auswirkungen des Modells widerspiegeln: Für einen experimentellen Bildklassifikator genügt möglicherweise eine kurze Karte, während ein Modell, das Entscheidungen im Gesundheits- oder Finanzwesen beeinflusst, eine ausführlichere Dokumentation erfordert.

Zu den üblichen Bestandteilen gehören:

• Zweck, Zuständigkeit und Version: Nennt das Modell, das verantwortliche Team, die Veröffentlichungsversion, die Aufgabe, unterstützte Ein- und Ausgaben sowie Kontakt- oder Wartungsinformationen.
• Trainingsdaten und Entwicklungskontext: Beschreibt Datenquellen, Erhebungsbedingungen, Kennzeichnungspraktiken, Vorverarbeitung, Modellarchitektur, Trainingsverfahren und wichtige Annahmen. Sensible oder geschützte Daten lassen sich zusammenfassen, ohne sie offenzulegen.
• Bewertung und Leistungskennzahlen: Nennt Kennzahlen für eindeutig bezeichnete Validierungs- oder Testdatensätze. Bei der Objekterkennung können dazu Präzision, Trefferquote, mittlere durchschnittliche Präzision, Inferenzlatenz und Ergebnisse für einzelne Klassen oder aussagekräftige Datenteilmengen gehören.
• Vorgesehene Einsatzbereiche und Ausschlüsse: Erläutert geeignete Anwendungen, erwartete Betriebsbedingungen, erforderliche menschliche Aufsicht und Szenarien, für die das Modell nicht entwickelt wurde.
• Einschränkungen und Risiken: Dokumentiert bekannte Fehlermuster, Unsicherheiten, Datenschutzbedenken, Sicherheitsaspekte und mögliche Verzerrungen im Datensatz. Außerdem sollte sie die wahrscheinlichen Folgen fehlerhafter Vorhersagen benennen.

Die Dokumentation zu Amazon SageMaker Model Cards enthält ein Beispiel für eine strukturierte Aufzeichnung des Lebenszyklus, die vorgesehene Verwendung, Trainingsdetails, Bewertung, Risikoeinstufungen und Empfehlungen abdeckt. Öffentliche Sammlungen wie die Modellkarten von Google DeepMind zeigen, wie Karten Fähigkeiten, Sicherheitsbewertungen und Einschränkungen einem breiteren Publikum vermitteln können.

Warum Modellkarten wichtig sind#

Modellkarten helfen Teams, fundierte Entscheidungen zu treffen, bevor sie ein Modell einsetzen oder in Betrieb nehmen. Eine beeindruckende Kennzahl in einer Schlagzeile kann eine schwache Leistung bei seltenen Klassen, in ungewöhnlichen Umgebungen oder für bestimmte Nutzergruppen verschleiern. Indem eine Karte den Bewertungsdatensatz, die Testbedingungen und die Ergebnisse für einzelne Gruppen dokumentiert, liefert sie den nötigen Kontext, um diese Zahlen richtig einzuordnen.

Modellkarten fördern außerdem Governance und Verantwortlichkeit. Das NIST-Rahmenwerk für das Risikomanagement von KI betont, dass Vertrauenswürdigkeit über den gesamten Lebenszyklus der KI hinweg gewährleistet werden muss, während der OECD-Grundsatz zu Transparenz und Erklärbarkeit aussagekräftige Informationen über die Fähigkeiten und Einschränkungen von KI fordert. Modellkarten bieten eine praktische Grundlage für diese Ziele.

Innerhalb von Organisationen verbessern Karten die Übergaben zwischen Datenwissenschaftlern, Produktteams, Compliance-Prüfern und Betriebsingenieuren. Systeme wie IBM AI Factsheets erweitern diesen Ansatz, indem sie während Entwicklung, Freigabe, Bereitstellung und Überwachung Metadaten zu Modellen erfassen.

Verwandte Dokumentation und wichtige Unterschiede#

Mehrere verwandte Dokumente erfüllen unterschiedliche Zwecke:

• Datenkarten: Beschreiben Herkunft, Zusammensetzung, Erhebungsprozess, Zugriffsbedingungen, vorgesehene Verwendungszwecke und Einschränkungen eines Datensatzes. Eine Modellkarte konzentriert sich auf das trainierte Modell, sollte aber auf relevante Datensatzdokumentation verweisen.
• Modellregister: Speichert und verwaltet Modellartefakte, Versionen, Herkunft und Bereitstellungsstatus. Der Arbeitsablauf der MLflow Model Registry veranschaulicht diese operative Rolle. Eine Modellkarte vermittelt Bedeutung und Risiken; ein Modellregister verwaltet Modellressourcen. Beide lassen sich miteinander verknüpfen.
• Systemkarte: Dokumentiert ein gesamtes KI-System, zu dem unter anderem mehrere Modelle, Prompts, Komponenten zum Abruf von Informationen, Schutzmaßnahmen, Schnittstellen und menschliche Prozesse gehören können. Eine Modellkarte beschränkt sich auf die Ebene des einzelnen Modells.
• Erklärbarkeitsbericht: Untersucht, warum ein Modell bestimmte Ausgaben erzeugt hat. Eine Modellkarte fasst das allgemeine Verhalten und die Einschränkungen zusammen, ersetzt aber keine Erklärungen zu einzelnen Vorhersagen.

Anwendungen in der Praxis#

• Visuelle Qualitätsprüfung in der Fertigung: Ein Werk kann ein Computer-Vision-Modell zur Fehlererkennung einsetzen. Die Modellkarte kann unterstützte Fehlerklassen, Kamerapositionen, Annahmen zur Beleuchtung, die Leistung bei seltenen Fehlern, Mindestgrößen von Objekten und die Latenz auf Edge-Geräten aufführen. Werden Kratzer bei reflektierender Beleuchtung häufig übersehen, hilft die Dokumentation dieser Einschränkung den Bedienern dabei, eine manuelle Prüfung vorzuschreiben oder zusätzliche Trainingsbilder zu erfassen.

• Unterstützung bei der klinischen Bildgebung: Die Karte eines medizinischen Bildgebungsmodells kann die Scanarten, Geräte, Patientengruppen und Einrichtungen aufführen, die in der Bewertung vertreten waren. Sie kann die Leistung in Untergruppen angeben und klarstellen, dass die Ausgaben qualifizierte Ärzte unterstützen, aber nicht eigenständig Diagnosen stellen. Fehlt dieser Kontext, könnte ein Krankenhaus das Modell mit nicht unterstützten Geräten oder für nicht abgedeckte Patientengruppen einsetzen, was das Risiko unzuverlässiger Empfehlungen erhöht.

Modellkarten spielen auch bei der Auswahl von Modellen anderer Anbieter eine Rolle. So beschreibt die Dokumentation zum Modellkatalog von Microsoft Foundry Karten mit Modelldetails, Benchmarks, unterstützten Datentypen, Lizenzen und Bereitstellungsinformationen.

Erstellen und Pflegen einer Modellkarte#

Beginne mit der Karte während der Projektplanung und nicht erst nach der Bereitstellung. Halte Nachweise fest, sobald sie entstehen, darunter Datensatzversionen, Trainingseinstellungen, Bewertungsbedingungen und Entscheidungen der Prüfer. Für ein Objekterkennungsmodell auf Basis von Ultralytics YOLO26 kann der dokumentierte Validierungsablauf Kennzahlen für den Bewertungsabschnitt erzeugen:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Diese Werte sind nur aussagekräftig, wenn sie zusammen mit der Modellversion, dem Datensatz, der Aufteilung, der Bildgröße, der Hardware und der Bewertungskonfiguration angegeben werden. Teams können die Ultralytics Platform zum Annotieren von Datensätzen, Nachverfolgen von Trainingsläufen, Bereitstellen von Modellen und Überwachen von Endpunkten verwenden und dabei die für die Aktualisierung einer Karte benötigten Nachweise aufbewahren.

Eine Modellkarte sollte ein versioniertes, fortlaufend gepflegtes Dokument sein. Aktualisiere sie immer dann, wenn sich das Modell, der Datensatz, das Bewertungsverfahren, die Einsatzumgebung oder bekannte Einschränkungen ändern. Schreibe vor allem für die Menschen, die entscheiden, ob und wie das Modell eingesetzt werden soll – nicht nur für das Team, das es trainiert hat.