Model Card

Una ficha de modelo es un documento estructurado que explica qué hace un modelo de inteligencia artificial o de aprendizaje automático, cómo se desarrolló y evaluó, dónde debe utilizarse y qué limitaciones o riesgos deben comprender los usuarios. Actúa como una hoja de información práctica para desarrolladores, revisores, implementadores y partes interesadas afectadas, apoyando la transparencia en la IA sin requerir acceso al código fuente o a los elementos internos del modelo. En este contexto, una ficha de modelo no tiene relación con el "comp card" de una modelo de pasarela, que es un portafolio profesional.

Qué contiene una ficha de modelo#

Una ficha de modelo útil combina evidencia técnica con orientaciones en lenguaje sencillo. Su profundidad debe reflejar el impacto del modelo: un clasificador de imágenes experimental puede necesitar una ficha breve, mientras que un modelo que influya en decisiones sanitarias o financieras requiere una documentación más detallada.

Los componentes comunes incluyen:

• Propósito, propiedad y versión: Identifica el modelo, el equipo responsable, la versión de lanzamiento, la tarea, las entradas y salidas admitidas, y la información de contacto o mantenimiento.
• Datos de entrenamiento y contexto de desarrollo: Describe las fuentes de datos, las condiciones de recolección, las prácticas de etiquetado, el preprocesamiento, la arquitectura del modelo, el procedimiento de entrenamiento y los supuestos importantes. Los datos sensibles o propietarios se pueden resumir sin necesidad de revelarlos.
• Evaluación y métricas de rendimiento: Informa sobre las métricas en conjuntos de datos de validación o prueba claramente identificados. Para la detección de objetos, estas pueden incluir la precisión, la recuperación, la precisión media ponderada, la latencia de inferencia y los resultados para clases individuales o subconjuntos de datos significativos.
• Uso previsto y exclusiones: Explica las aplicaciones adecuadas, las condiciones operativas esperadas, la supervisión humana requerida y los escenarios para los cuales el modelo no fue diseñado.
• Limitaciones y riesgos: Documenta los modos de fallo conocidos, la incertidumbre, los problemas de privacidad, las consideraciones de seguridad y el posible sesgo en los conjuntos de datos. También debe indicar las consecuencias probables de las predicciones incorrectas.

La documentación de Amazon SageMaker Model Cards ofrece un ejemplo de un registro de ciclo de vida estructurado que abarca el uso previsto, los detalles de entrenamiento, la evaluación, las calificaciones de riesgo y las recomendaciones. Las colecciones públicas como las fichas de modelo de Google DeepMind muestran cómo las fichas pueden comunicar capacidades, evaluaciones de seguridad y limitaciones a un público más amplio.

Por qué son importantes las fichas de modelo#

Las fichas de modelo ayudan a los equipos a tomar decisiones informadas antes de adoptar o implementar un modelo. Una métrica principal impresionante puede ocultar un rendimiento débil en clases raras, entornos inusuales o grupos de usuarios específicos. Al documentar el conjunto de datos de evaluación, las condiciones de prueba y los resultados por grupo, una ficha proporciona a los lectores el contexto necesario para interpretar esas cifras.

También respaldan la gobernanza y la rendición de cuentas. El Marco de Gestión de Riesgos de IA del NIST enfatiza la gestión de la confiabilidad durante todo el ciclo de vida de la IA, mientras que el principio de transparencia y explicabilidad de la OCDE exige información significativa sobre las capacidades y limitaciones de la IA. Las fichas de modelo proporcionan un artefacto práctico para estos objetivos.

Dentro de las organizaciones, las fichas mejoran las transiciones entre científicos de datos, equipos de producto, revisores de cumplimiento e ingenieros de operaciones. Sistemas como IBM AI Factsheets amplían este enfoque al recopilar metadatos de modelos en el desarrollo, la aprobación, la implementación y el monitoreo.

Documentación relacionada y diferencias clave#

Varios artefactos relacionados sirven para diferentes propósitos:

• Fichas de datos: Describen el origen, la composición, el proceso de recolección, las condiciones de acceso, los usos previstos y las limitaciones de un conjunto de datos. Una ficha de modelo se centra en el modelo entrenado, aunque debe hacer referencia a la documentación relevante del conjunto de datos.
• Registro de modelos: Almacena y gestiona artefactos de modelos, versiones, linaje y estado de implementación. El flujo de trabajo del registro de modelos de MLflow ilustra este rol operativo. Una ficha de modelo comunica significado y riesgo; un registro gestiona los activos del modelo. Ambos se pueden conectar.
• Ficha de sistema: Documenta un sistema de IA completo, que potencialmente incluye múltiples modelos, indicaciones (prompts), componentes de recuperación, salvaguardas, interfaces y procesos humanos. Una ficha de modelo tiene un alcance más limitado a nivel de modelo.
• Informe de explicabilidad: Examina por qué un modelo produjo resultados particulares. Una ficha de modelo resume el comportamiento general y las limitaciones, pero no reemplaza las explicaciones a nivel de predicción.

Aplicaciones en el mundo real#

• Inspección visual de fabricación: Una fábrica puede implementar un modelo de visión artificial para la detección de defectos. Su ficha de modelo puede enumerar las clases de defectos admitidas, la ubicación de las cámaras, las suposiciones de iluminación, el rendimiento para defectos raros, los tamaños mínimos de objeto y la latencia en dispositivos de borde (edge devices). Si las rayas o arañazos se pasan por alto con frecuencia bajo una iluminación reflectante, documentar esa limitación ayuda a los operadores a requerir una revisión manual o a recopilar imágenes de entrenamiento adicionales.

• Soporte de imágenes clínicas: La ficha del modelo de imagen médica de un hospital puede identificar los tipos de escaneo, el equipo, las poblaciones de pacientes y las instituciones representadas durante la evaluación. Puede informar sobre el rendimiento en subgrupos y aclarar que los resultados ayudan a los médicos cualificados en lugar de determinar diagnósticos de forma independiente. Perder este contexto podría llevar a un hospital a utilizar el modelo en equipos o poblaciones no compatibles, lo que aumentaría el riesgo de recomendaciones poco fiables.

Las fichas de modelo también se consultan al seleccionar modelos de terceros. Por ejemplo, la documentación del catálogo de modelos de Microsoft Foundry describe fichas que contienen detalles del modelo, pruebas comparativas (benchmarks), tipos de datos admitidos, licencias e información de implementación.

Creación y mantenimiento de una ficha de modelo#

Inicia la ficha durante la planificación del proyecto en lugar de después de la implementación. Registra la evidencia a medida que se produce, incluidas las versiones de los conjuntos de datos, los ajustes de entrenamiento, las condiciones de evaluación y las decisiones de los revisores. Para un modelo de detección de objetos de Ultralytics YOLO26](https://ultralytics-translation-0.invalid), el flujo de trabajo de validación documentado puede generar métricas para la sección de evaluación:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Estos valores solo son significativos cuando van acompañados de la versión del modelo, el conjunto de datos, la división, el tamaño de la imagen, el hardware y la configuración de evaluación. Los equipos pueden usar Ultralytics Platform para anotar conjuntos de datos, realizar un seguimiento de las ejecuciones de entrenamiento, implementar modelos y supervisar extremos (endpoints) mientras mantienen la evidencia necesaria para actualizar una ficha.

Una ficha de modelo debe ser un documento dinámico y versionado. Actualízala siempre que cambien el modelo, el conjunto de datos, el proceso de evaluación, el entorno de implementación o las limitaciones conocidas. Lo más importante es que escribas para las personas que deciden si el modelo debe usarse y cómo, y no solo para el equipo que lo entrenó.