AI Governance

A governança de IA é o conjunto de políticas, funções, processos e registros que uma organização usa para decidir quais sistemas de inteligência artificial desenvolve ou compra, quem é responsável por cada um, quais evidências são exigidas antes do lançamento e como os sistemas são monitorados, alterados e desativados. A ética em IA define os valores que uma organização deseja que sua IA respeite. A governança transforma esses valores em direitos de decisão e verificações documentadas aplicáveis a todos os sistemas ao longo de seu ciclo de vida, desde um assistente de modelo de linguagem de grande porte comprado de um fornecedor até um modelo interno de visão computacional usado em uma linha de produção.

Estruturas e regulamentação#

A maioria dos programas de governança se baseia em um pequeno número de estruturas de referência:

• Estrutura de Gestão de Riscos de IA do NIST: Uma estrutura voluntária dos EUA, lançada em janeiro de 2023 e organizada em quatro funções. Governar define políticas e responsabilidades; Mapear estabelece o contexto e o uso pretendido de cada sistema; Medir avalia riscos com testes e métricas; e Gerir prioriza esses riscos e define como tratá-los.
• ISO/IEC 42001: Publicada em dezembro de 2023, é a primeira norma internacional para um sistema de gestão de IA. As organizações podem ser auditadas e certificadas de acordo com ela, assim como ocorre com a segurança da informação segundo a ISO/IEC 27001.
• Princípios de IA da OCDE: Adotados em 2019 e atualizados em 2024, fundamentam muitas políticas nacionais e oferecem uma linguagem comum para os outros referenciais.

O Perfil de IA Generativa do NIST, NIST AI 600-1 (julho de 2024), aplica o referencial de gestão de riscos a riscos como alucinações e injeção de prompt.

O Regulamento Europeu da IA é uma regulamentação baseada em riscos que entrou em vigor em agosto de 2024 e é aplicada em fases. As proibições de práticas como a pontuação social e o reconhecimento de emoções em locais de trabalho e escolas, juntamente com a obrigação de alfabetização em IA, estão em vigor desde 2 de fevereiro de 2025. As obrigações para fornecedores de modelos de IA de uso geral estão em vigor desde 2 de agosto de 2025, e os deveres de transparência, como a divulgação de deepfakes, desde 2 de agosto de 2026. O Omnibus Digital sobre IA, em vigor desde 27 de julho de 2026, transferiu para 2 de dezembro de 2027 os requisitos para sistemas de alto risco listados no Anexo III, como contratação e pontuação de crédito, e para 2 de agosto de 2028 os requisitos para IA em produtos regulamentados, como dispositivos médicos e máquinas. Esses requisitos abrangem gestão de riscos, governança de dados, registro, supervisão humana e avaliação da conformidade.

Controles essenciais#

O primeiro passo é criar um inventário, pois uma organização não pode governar sistemas que desconhece. Um inventário completo registra o responsável, a finalidade, as fontes de dados, as versões dos modelos e os fornecedores de cada sistema, além de revelar a IA paralela: ferramentas adotadas pelas equipes sem análise prévia. Para modelos desenvolvidos internamente, um registro de modelos costuma servir como inventário.

Em seguida, a classificação de riscos organiza os sistemas em níveis de acordo com a finalidade, a autonomia, as pessoas afetadas e o custo dos erros. Um modelo que organiza documentos internos precisa de uma análise menos rigorosa do que um modelo que seleciona candidatos a vagas ou controla máquinas; os níveis mais altos recebem testes, aprovações e supervisão humana mais rigorosos.

A documentação permite revisar as decisões. Os cartões de modelo registram o uso previsto, os resultados da avaliação e as limitações conhecidas, enquanto os registros de proveniência dos dados documentam a origem dos dados de treinamento e a licença ou o consentimento aplicável. A reprodutibilidade também deve constar do mesmo registro: a versão exata do conjunto de dados, o modelo base, a versão do código e as configurações usados em cada modelo candidato, para que um avaliador possa rastrear qualquer modelo implantado até suas entradas. Para modelos de visão treinados na Ultralytics Platform, cada execução registra o modelo de origem, a versão da Ultralytics, o ambiente do host e o commit do Git, quando informado. Uma versão salva do conjunto de dados fixa as imagens e os rótulos exatos usados no treinamento.

Os testes fornecem as evidências necessárias para a aprovação. Os limites de aceitação são definidos para cada caso de uso antes da obtenção dos resultados, e os testes abrangem a precisão entre os subgrupos relevantes para detectar viés em IA, a robustez diante de entradas alteradas, como pouca iluminação ou um novo ângulo de câmera, e a segurança, muitas vezes por meio de red teaming de IA. O NCSC do Reino Unido e agências parceiras publicam diretrizes para o desenvolvimento seguro de sistemas de IA que abrangem projeto, desenvolvimento, implantação e operação.

Após o lançamento, o monitoramento de modelos acompanha o desempenho e a deriva de dados; um processo de incidentes define quem pode pausar ou reverter um sistema, e um processo de desativação remove modelos e dados que já não são necessários. Os direitos de decisão conectam os controles: para cada sistema, a governança identifica quem aprova a implantação, quem pode interrompê-la e quem aceita o risco restante após os testes.

Como a governança difere de práticas relacionadas#

• Regulamentação: Lei imposta externamente. A governança é o sistema interno operado por uma organização e também é a forma como ela demonstra conformidade.
• Gestão de riscos: Identificação, medição e tratamento de riscos específicos. A governança decide quem realiza esse trabalho, quem aceita o risco residual e como as decisões são registradas.
• MLOps: Os pipelines que treinam, implantam e mantêm modelos. A governança define os pontos de aprovação e os registros que esses pipelines devem cumprir.
• Segurança de IA: O estudo técnico de como fazer sistemas de IA se comportarem conforme o esperado. A governança decide como as conclusões sobre segurança influenciam o que uma organização pode lançar.