Model Card

Uma ficha do modelo é um documento estruturado que explica o que um modelo de IA ou de aprendizado de máquina faz, como foi desenvolvido e avaliado, onde deve ser usado e quais limitações ou riscos os usuários devem conhecer. Funciona como uma ficha informativa prática para desenvolvedores, revisores, equipes de implantação e partes interessadas afetadas, promovendo a transparência em IA sem exigir acesso ao código-fonte ou aos componentes internos do modelo. Nesse contexto, uma ficha do modelo não tem relação com o «comp card» de uma modelo de moda, que é um portfólio profissional.

O que uma ficha do modelo contém#

Uma ficha do modelo útil combina evidências técnicas com orientações em linguagem simples. A profundidade deve refletir o impacto do modelo: um classificador de imagens experimental pode precisar de uma ficha curta, enquanto um modelo que influencia decisões de saúde ou financeiras exige documentação mais detalhada.

Os componentes comuns incluem:

• Finalidade, responsáveis e versão: Identifica o modelo, a equipe responsável, a versão de lançamento, a tarefa, as entradas e saídas compatíveis, além das informações de contato ou manutenção.
• Dados de treinamento e contexto de desenvolvimento: Descreve as fontes de dados, as condições de coleta, as práticas de rotulagem, o pré-processamento, a arquitetura do modelo, o procedimento de treinamento e as principais premissas. Dados confidenciais ou proprietários podem ser resumidos sem serem divulgados.
• Avaliação e métricas de desempenho: Apresenta métricas em conjuntos de dados de validação ou teste claramente identificados. Para a detecção de objetos, elas podem incluir precisão, revocação, precisão média, latência de inferência e resultados para classes individuais ou subconjuntos de dados relevantes.
• Usos previstos e exclusões: Explica as aplicações adequadas, as condições operacionais esperadas, a supervisão humana necessária e os cenários para os quais o modelo não foi projetado.
• Limitações e riscos: Documenta falhas conhecidas, incertezas, questões de privacidade, considerações de segurança e possíveis casos de viés nos dados. Também deve indicar as prováveis consequências de previsões incorretas.

A documentação dos cartões de modelo do Amazon SageMaker apresenta um exemplo de registro estruturado do ciclo de vida, que abrange o uso previsto, os detalhes do treinamento, a avaliação, as classificações de risco e as recomendações. Coleções públicas, como os cartões de modelo do Google DeepMind, mostram como essas fichas podem comunicar recursos, avaliações de segurança e limitações a um público mais amplo.

Por que as fichas do modelo são importantes#

As fichas do modelo ajudam as equipes a tomar decisões informadas antes de adotar ou implantar um modelo. Uma métrica de destaque impressionante pode ocultar um desempenho fraco em classes raras, ambientes incomuns ou grupos de usuários específicos. Ao documentar o conjunto de dados de avaliação, as condições de teste e os resultados por grupo, a ficha oferece aos leitores o contexto necessário para interpretar esses números.

Elas também promovem a governança e a responsabilização. O Referencial de Gestão de Riscos de IA do NIST enfatiza a gestão da confiabilidade ao longo de todo o ciclo de vida da IA, enquanto o princípio de transparência e explicabilidade da OCDE defende informações relevantes sobre os recursos e as limitações da IA. As fichas do modelo são um recurso prático para alcançar esses objetivos.

Dentro das organizações, as fichas melhoram a transferência de informações entre cientistas de dados, equipes de produto, revisores de conformidade e engenheiros de operações. Sistemas como o IBM AI Factsheets ampliam essa abordagem ao coletar metadados do modelo durante o desenvolvimento, a aprovação, a implantação e o monitoramento.

Documentação relacionada e principais diferenças#

Vários documentos relacionados atendem a finalidades diferentes:

• Fichas de dados: Descrevem a origem, a composição, o processo de coleta, as condições de acesso, os usos previstos e as limitações de um conjunto de dados. A ficha do modelo se concentra no modelo treinado, embora deva referenciar a documentação relevante do conjunto de dados.
• Registro de modelos: Armazena e gerencia artefatos de modelo, versões, linhagem e status de implantação. O fluxo de trabalho do Registro de Modelos do MLflow ilustra essa função operacional. Uma ficha do modelo comunica seu significado e riscos; um registro gerencia os ativos do modelo. Os dois podem ser conectados.
• Ficha do sistema: Documenta um sistema de IA completo, que pode incluir vários modelos, prompts, componentes de recuperação, salvaguardas, interfaces e processos humanos. A ficha do modelo tem um escopo mais restrito, no nível do modelo.
• Relatório de explicabilidade: Analisa por que um modelo produziu determinadas saídas. Uma ficha do modelo resume o comportamento geral e as limitações, mas não substitui explicações no nível de cada previsão.

Aplicações no mundo real#

• Inspeção visual na indústria: Uma fábrica pode implantar um modelo de visão computacional para a detecção de defeitos. A ficha do modelo pode listar as classes de defeitos compatíveis, o posicionamento das câmeras, as premissas de iluminação, o desempenho para defeitos raros, os tamanhos mínimos dos objetos e a latência em dispositivos de borda. Se riscos forem frequentemente ignorados sob iluminação refletiva, documentar essa limitação ajuda os operadores a exigir uma revisão manual ou coletar mais imagens de treinamento.

• Apoio à análise de imagens clínicas: A ficha de um modelo de imagens médicas pode identificar os tipos de exames, equipamentos, populações de pacientes e instituições representados durante a avaliação. Pode apresentar o desempenho por subgrupo e esclarecer que as saídas auxiliam profissionais de saúde qualificados, em vez de determinar diagnósticos de forma independente. A falta desse contexto pode levar um hospital a usar o modelo com equipamentos ou populações não compatíveis, aumentando o risco de recomendações não confiáveis.

As fichas do modelo também são consultadas na hora de selecionar modelos de terceiros. Por exemplo, a documentação do catálogo de modelos do Microsoft Foundry descreve fichas com detalhes do modelo, benchmarks, tipos de dados compatíveis, licenças e informações de implantação.

Como criar e manter uma ficha do modelo#

Comece a ficha durante o planejamento do projeto, e não depois da implantação. Registre as evidências à medida que forem produzidas, incluindo versões dos conjuntos de dados, configurações de treinamento, condições de avaliação e decisões dos revisores. Para um modelo de detecção de objetos Ultralytics YOLO26, o fluxo de trabalho de validação documentado pode gerar métricas para a seção de avaliação:

from ultralytics import YOLO

# Load the documented model version
model = YOLO("yolo26n.pt")

# Evaluate it on a labeled validation dataset
metrics = model.val(data="coco8.yaml")

# Record these results with the dataset and test conditions
print(f"mAP50-95: {metrics.box.map:.3f}")
print(f"mAP50: {metrics.box.map50:.3f}")
print(f"mAP75: {metrics.box.map75:.3f}")

Esses valores só são significativos quando acompanhados da versão do modelo, do conjunto de dados, da divisão dos dados, do tamanho da imagem, do hardware e da configuração de avaliação. As equipes podem usar a Ultralytics Platform para anotar conjuntos de dados, acompanhar execuções de treinamento, implantar modelos e monitorar endpoints, mantendo as evidências necessárias para atualizar uma ficha.

Uma ficha do modelo deve ser um documento vivo e versionado. Atualize-a sempre que o modelo, o conjunto de dados, o processo de avaliação, o ambiente de implantação ou as limitações conhecidas mudarem. Acima de tudo, escreva para as pessoas que decidem se e como o modelo deve ser usado, não apenas para a equipe que o treinou.