Model Card

Eine Modellkarte ist ein strukturiertes Dokument, das erklärt, was ein KI- oder Maschinenlernmodell tut, wie es entwickelt und evaluiert wurde, wo es eingesetzt werden sollte und welche Einschränkungen oder Risiken Anwender verstehen müssen. Sie dient als praktisches Informationsblatt für Entwickler, Prüfer, Bereitsteller und betroffene Interessenvertreter und unterstützt Transparenz in der KI, ohne dass Zugriff auf den Quellcode oder Modellinterna erforderlich ist. In diesem Kontext steht eine Modellkarte in keinem Zusammenhang mit der „Comp Card“ eines Fotomodells, bei der es sich um ein professionelles Portfolio handelt.

Was eine Modellkarte enthält#

Eine nützliche Modellkarte kombiniert technische Nachweise mit verständlichen Anleitungen. Ihre Tiefe sollte die Auswirkungen des Modells widerspiegeln: Ein experimenteller Bildklassifikator benötigt möglicherweise eine kurze Karte, während ein Modell, das Entscheidungen im Gesundheitswesen oder Finanzwesen beeinflusst, eine detailliertere Dokumentation erfordert.

Häufige Komponenten sind:

• Zweck, Inhaberschaft und Version: Identifiziert das Modell, das verantwortliche Team, die Release-Version, die Aufgabe, unterstützte Eingaben und Ausgaben sowie Kontakt- oder Wartungsinformationen.
• Training-Daten und Entwicklungskontext: Beschreibt Datenquellen, Erfassungsbedingungen, Kennzeichnungspraktiken, Vorverarbeitung, Modellarchitektur, Trainingsprozedur und wichtige Annahmen. Sensible oder proprietäre Daten können zusammengefasst werden, ohne offengelegt zu werden.
• Evaluierung und Performance-Metriken: Berichtet Metriken zu klar identifizierten Validierungs- oder Testdatensätzen. Für die Objekterkennung können diese Präzision, Recall, Mean Average Precision (mAP), Inferenzlatenz und Ergebnisse für einzelne Klassen oder aussagekräftige Daten-Subsets umfassen.
• Beabsichtigte Verwendungen und Ausschlüsse: Erklärt geeignete Anwendungen, erwartete Betriebsbedingungen, erforderliche menschliche Aufsicht und Szenarien, für die das Modell nicht entwickelt wurde.
• Einschränkungen und Risiken: Dokumentiert bekannte Fehler-Modi, Unsicherheiten, Datenschutzbedenken, Sicherheitsaspekte und mögliche Datensatz-Bias. Sie sollte auch die wahrscheinlichen Konsequenzen inkorrekter Vorhersagen darlegen.

Die Amazon SageMaker Model Cards-Dokumentation bietet ein Beispiel für einen strukturierten Lebenszyklusdatensatz, der den beabsichtigten Verwendungszweck, Trainingsdetails, die Evaluierung, Risikobewertungen und Empfehlungen abdeckt. Öffentliche Sammlungen wie Google DeepMind-Modellkarten zeigen, wie Karten Fähigkeiten, Sicherheitsevaluierungen und Einschränkungen an ein breiteres Publikum kommunizieren können.

Warum Modellkarten wichtig sind#

Modellkarten helfen Teams, fundierte Entscheidungen zu treffen, bevor sie ein Modell übernehmen oder bereitstellen. Eine beeindruckende Headline-Metrik kann eine schwache Leistung bei seltenen Klassen, ungewöhnlichen Umgebungen oder spezifischen Nutzergruppen verbergen. Durch die Dokumentation des Evaluierungsdatensatzes, der Testbedingungen und der Ergebnisse pro Gruppe bietet eine Karte den Lesern den Kontext, der erforderlich ist, um diese Zahlen zu interpretieren.

Sie unterstützen zudem Governance und Rechenschaftspflicht. Das NIST AI Risk Management Framework betont die Steuerung der Vertrauenswürdigkeit während des gesamten KI-Lebenszyklus, während das Prinzip von Transparenz und Erklärbarkeit der OECD aussagekräftige Informationen über KI-Fähigkeiten und -Einschränkungen fordert. Modellkarten stellen ein praktisches Artefakt für diese Ziele dar.

Innerhalb von Organisationen verbessern Karten Übergaben zwischen Data Scientists, Produktteams, Compliance-Prüfern und Operations Engineers. Systeme wie IBM AI Factsheets erweitern diesen Ansatz, indem sie Modell-Metadaten über Entwicklung, Freigabe, Bereitstellung und Monitoring hinweg sammeln.

Verwandte Dokumentation und wesentliche Unterschiede#

Mehrere verwandte Artefakte dienen unterschiedlichen Zwecken:

• Datenkarten: Beschreiben den Ursprung, die Zusammensetzung, den Erfassungsprozess, die Zugangsbedingungen, die beabsichtigten Verwendungen und die Einschränkungen eines Datensatzes. Eine Modellkarte konzentriert sich auf das trainierte Modell, sollte jedoch auf die relevante Datensatzdokumentation verweisen.
• Modell-Registry: Speichert und verwaltet Modell-Artefakte, Versionen, Herkunft und Bereitstellungsstatus. Der MLflow Model Registry-Workflow veranschaulicht diese operative Rolle. Eine Modellkarte kommuniziert Bedeutung und Risiko; eine Registry verwaltet Modell-Assets. Beide können miteinander verknüpft werden.
• Systemkarte: Dokumentiert ein gesamtes KI-System, das möglicherweise mehrere Modelle, Prompts, Abrufkomponenten, Sicherheitsvorkehrungen, Schnittstellen und menschliche Prozesse umfasst. Eine Modellkarte hat einen engeren Geltungsbereich auf Modellebene.
• Erklärbarkeitsbericht: Untersucht, warum ein Modell bestimmte Ausgaben erzeugt hat. Eine Modellkarte fasst das Gesamtverhalten und die Einschränkungen zusammen, ersetzt jedoch keine vorhersagespezifischen Erklärungen.

Praxisanwendungen#

• Visuelle Fertigungsinspektion: Eine Fabrik kann ein Computer-Vision-Modell zur Defekterkennung einsetzen. Ihre Modellkarte kann unterstützte Defektklassen, Kameraplatzierung, Annahmen zur Beleuchtung, Leistung bei seltenen Defekten, minimale Objektgrößen und Edge-Device-Latenz auflisten. Wenn Kratzer unter reflektierender Beleuchtung häufig übersehen werden, hilft diese Dokumentation Betreibern dabei, eine manuelle Überprüfung anzufordern oder zusätzliche Trainingsbilder zu erfassen.

• Unterstützung der klinischen Bildgebung: Die Karte eines Modells für medizinische Bildgebung kann die Scan-Typen, Geräte, Patientenpopulationen und Institutionen identifizieren, die während der Evaluierung vertreten waren. Sie kann die Leistung von Untergruppen berichten und klarstellen, dass die Ausgaben qualifizierte Kliniker unterstützen, anstatt Diagnosen eigenständig zu bestimmen. Das Fehlen dieses Kontexts könnte ein Krankenhaus dazu veranlassen, das Modell auf nicht unterstützten Geräten oder Populationen zu verwenden, was das Risiko unzuverlässiger Empfehlungen erhöht.

Modellkarten werden auch bei der Auswahl von Drittanbietermodellen angetroffen. Beispielsweise beschreibt die Microsoft Foundry-Modellkatalog-Dokumentation Karten, die Modelldetails, Benchmarks, unterstützte Datentypen, Lizenzen und Bereitstellungsinformationen enthalten.

Erstellen und Pflege einer Modellkarte#

Beginne mit der Karte während der Projektplanung und nicht erst nach der Bereitstellung. Zeichne Nachweise auf, während sie generiert werden, einschließlich Datensatzversionen, Trainingseinstellungen, Evaluierungsbedingungen und Entscheidungen von Prüfern. Für ein Ultralytics YOLO26-Objekterkennungsmodell kann der dokumentierte Validierungs-Workflow Metriken für den Evaluierungsabschnitt generieren:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Diese Werte sind nur dann aussagekräftig, wenn sie von der Modellversion, dem Datensatz, dem Split, der Bildgröße, der Hardware und der Evaluierungskonfiguration begleitet werden. Teams können die Ultralytics Platform nutzen, um Datensätze zu annotieren, Trainingsläufe zu verfolgen, Modelle bereitzustellen und Endpunkte zu überwachen, während sie gleichzeitig die Nachweise aufrechterhalten, die zum Aktualisieren einer Karte erforderlich sind.

Eine Modellkarte sollte ein versioniertes, lebendiges Dokument sein. Aktualisiere sie immer dann, wenn sich das Modell, der Datensatz, der Evaluierungsprozess, die Bereitstellungsumgebung oder bekannte Einschränkungen ändern. Am wichtigsten ist, dass du für die Personen schreibst, die entscheiden, ob und wie das Modell verwendet werden soll – nicht nur für das Team, das es trainiert hat.