Model Card

Una ficha del modelo es un documento estructurado que explica qué hace un modelo de AI o aprendizaje automático, cómo se ha desarrollado y evaluado, dónde debe utilizarse y qué limitaciones o riesgos deben conocer los usuarios. Funciona como una hoja informativa práctica para desarrolladores, revisores, responsables de la implementación y partes interesadas afectadas, y fomenta la transparencia en AI sin necesidad de acceder al código fuente ni al funcionamiento interno del modelo. En este contexto, una ficha del modelo no tiene relación con la «comp card» de una modelo de moda, que es un portafolio profesional.

Qué contiene una ficha del modelo#

Una ficha del modelo útil combina pruebas técnicas con orientaciones en lenguaje sencillo. Su nivel de detalle debe reflejar el impacto del modelo: puede bastar con una ficha breve para un clasificador de imágenes experimental, mientras que un modelo que influya en decisiones sanitarias o financieras requiere documentación más detallada.

Entre los componentes habituales se incluyen:

• Objetivo, responsabilidad y versión: Identifica el modelo, el equipo responsable, la versión publicada, la tarea, las entradas y salidas compatibles, y la información de contacto o mantenimiento.
• Datos de entrenamiento y contexto de desarrollo: Describe las fuentes de datos, las condiciones de recopilación, las prácticas de etiquetado, el preprocesamiento, la arquitectura del modelo, el procedimiento de entrenamiento y las suposiciones importantes. Los datos sensibles o sujetos a propiedad intelectual pueden resumirse sin revelarlos.
• Evaluación y métricas de rendimiento: Informa de las métricas obtenidas en conjuntos de datos de validación o prueba claramente identificados. En la detección de objetos, estas pueden incluir la precisión, la exhaustividad, la precisión media, la latencia de inferencia y los resultados de clases concretas o subconjuntos de datos relevantes.
• Usos previstos y exclusiones: Explica las aplicaciones adecuadas, las condiciones de funcionamiento previstas, la supervisión humana necesaria y los escenarios para los que no se diseñó el modelo.
• Limitaciones y riesgos: Documenta los modos de fallo conocidos, la incertidumbre, las preocupaciones sobre privacidad, las consideraciones de seguridad y los posibles sesgos del conjunto de datos. También debe indicar las consecuencias probables de las predicciones incorrectas.

La documentación de las fichas de modelos de Amazon SageMaker ofrece un ejemplo de registro estructurado del ciclo de vida que abarca el uso previsto, los detalles del entrenamiento, la evaluación, las valoraciones de riesgos y las recomendaciones. Colecciones públicas como las fichas de modelos de Google DeepMind muestran cómo estas fichas pueden comunicar las capacidades, las evaluaciones de seguridad y las limitaciones a un público más amplio.

Por qué son importantes las fichas del modelo#

Las fichas del modelo ayudan a los equipos a tomar decisiones fundamentadas antes de adoptar o implementar un modelo. Una métrica destacada puede ocultar un rendimiento deficiente en clases poco frecuentes, entornos inusuales o grupos de usuarios concretos. Al documentar el conjunto de datos de evaluación, las condiciones de prueba y los resultados por grupo, la ficha proporciona a los lectores el contexto necesario para interpretar esas cifras.

También favorecen la gobernanza y la rendición de cuentas. El Marco de gestión de riesgos de AI del NIST destaca la importancia de gestionar la fiabilidad durante todo el ciclo de vida de la AI, mientras que el principio de transparencia y explicabilidad de la OCDE pide información significativa sobre las capacidades y limitaciones de la AI. Las fichas del modelo son un recurso práctico para alcanzar estos objetivos.

Dentro de las organizaciones, las fichas mejoran el traspaso de información entre científicos de datos, equipos de producto, revisores de cumplimiento e ingenieros de operaciones. Sistemas como IBM AI Factsheets amplían este enfoque al recopilar metadatos del modelo durante el desarrollo, la aprobación, la implementación y la supervisión.

Documentación relacionada y diferencias clave#

Varios recursos relacionados cumplen funciones distintas:

• Fichas de datos: Describen el origen, la composición, el proceso de recopilación, las condiciones de acceso, los usos previstos y las limitaciones de un conjunto de datos. Una ficha del modelo se centra en el modelo entrenado, aunque debe hacer referencia a la documentación pertinente del conjunto de datos.
• Registro de modelos: Almacena y gestiona los artefactos, las versiones, el linaje y el estado de implementación de los modelos. El flujo de trabajo del registro de modelos de MLflow ilustra esta función operativa. Una ficha del modelo comunica su significado y sus riesgos; un registro gestiona los recursos del modelo. Ambos pueden conectarse.
• Ficha del sistema: Documenta un sistema de AI completo, que puede incluir varios modelos, indicaciones, componentes de recuperación, salvaguardas, interfaces y procesos humanos. Una ficha del modelo tiene un alcance más limitado y se centra en el modelo.
• Informe de explicabilidad: Examina por qué un modelo generó determinados resultados. Una ficha del modelo resume el comportamiento general y las limitaciones, pero no sustituye a las explicaciones de cada predicción.

Aplicaciones en el mundo real#

• Inspección visual en la fabricación: Una fábrica puede implementar un modelo de visión artificial para la detección de defectos. Su ficha del modelo puede enumerar las clases de defectos compatibles, la ubicación de las cámaras, las condiciones de iluminación previstas, el rendimiento ante defectos poco frecuentes, los tamaños mínimos de objeto y la latencia en dispositivos edge. Si a menudo no se detectan arañazos con iluminación reflectante, documentar esa limitación ayuda a los operarios a exigir una revisión manual o a recopilar más imágenes de entrenamiento.

• Apoyo al diagnóstico por imagen: La ficha de un modelo de imagen médica puede identificar los tipos de exploración, los equipos, las poblaciones de pacientes y las instituciones representados durante la evaluación. Puede informar del rendimiento por subgrupos y aclarar que los resultados sirven de apoyo a profesionales clínicos cualificados, en lugar de determinar diagnósticos de forma autónoma. La falta de este contexto podría llevar a un hospital a utilizar el modelo con equipos o poblaciones no compatibles, lo que aumentaría el riesgo de recomendaciones poco fiables.

También se encuentran fichas del modelo al seleccionar modelos de terceros. Por ejemplo, la documentación del catálogo de modelos de Microsoft Foundry describe fichas que contienen detalles del modelo, pruebas de rendimiento, tipos de datos compatibles, licencias e información de implementación.

Creación y mantenimiento de una ficha del modelo#

Empieza la ficha durante la planificación del proyecto, no después de la implementación. Registra las pruebas a medida que las generes, incluidas las versiones de los conjuntos de datos, la configuración de entrenamiento, las condiciones de evaluación y las decisiones de los revisores. Para un modelo de detección de objetos Ultralytics YOLO26, el flujo de trabajo de validación documentado puede generar métricas para la sección de evaluación:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Estos valores solo son significativos si van acompañados de la versión del modelo, el conjunto de datos, la partición, el tamaño de imagen, el hardware y la configuración de evaluación. Los equipos pueden usar Ultralytics Platform para etiquetar conjuntos de datos, hacer un seguimiento de las ejecuciones de entrenamiento, implementar modelos y supervisar endpoints, a la vez que conservan las pruebas necesarias para actualizar una ficha.

Una ficha del modelo debe ser un documento vivo y con control de versiones. Actualízala siempre que cambien el modelo, el conjunto de datos, el proceso de evaluación, el entorno de implementación o las limitaciones conocidas. Y, lo que es más importante, escribe para las personas que deciden si deben usar el modelo y cómo hacerlo, no solo para el equipo que lo ha entrenado.