Medindo o desempenho da IA para avaliar o impacto das suas inovações

Já exploramos como a IA pode ser usada em diferentes setores, como saúde, manufatura e turismo. Também analisamos como a IA pode melhorar as tarefas cotidianas de trabalho e discutimos ideias de negócios líderes em IA. Todas essas discussões inevitavelmente levam à mesma pergunta fundamental: como podemos medir o sucesso dessas implementações de IA? Essa é uma pergunta importante, porque simplesmente implantar soluções de IA não basta. O que torna essas soluções valiosas é garantir que elas estejam realmente gerando resultados.

Podemos medir as métricas de desempenho da IA para determinar se um modelo de IA é realmente eficaz a tornar os processos mais eficientes, impulsionar a inovação ou resolver problemas. Ao concentrarmo-nos nos indicadores-chave de desempenho (KPIs) certos, podemos compreender o desempenho de uma solução de IA e identificar onde poderá precisar de melhorias.

Neste artigo, veremos como medir o sucesso das implementações de IA usando os KPIs mais relevantes. Abordaremos as diferenças entre os KPIs de negócio e os KPIs de desempenho da IA, analisaremos métricas importantes, como precisão e revocação e ajudar-te-emos a escolher os KPIs mais adequados às tuas soluções de IA específicas.

A diferença entre os KPIs de negócio da IA e os KPIs de desempenho da IA#

Fig. 1. Comparação entre KPIs de negócios de IA e KPIs de desempenho de IA.

Quando você pensa em KPIs, é natural supor que todos estão relacionados a métricas de negócios, como retorno sobre o investimento (ROI), economia de custos ou receita gerada, especialmente quando se fala de IA empresarial. Esses KPIs de negócios de IA medem o impacto da IA no sucesso geral de uma empresa e estão alinhados com objetivos de negócios mais amplos.

No entanto, os KPIs de desempenho de IA se concentram no funcionamento do próprio sistema de IA, usando métricas como acurácia, precisão e revocação. Vamos detalhar essas métricas a seguir, mas, em essência, enquanto os KPIs de negócios destacam os benefícios financeiros e estratégicos da IA, os KPIs de desempenho garantem que um modelo de IA esteja cumprindo sua função com eficiência.

Algumas métricas podem servir para os dois propósitos. Por exemplo, os ganhos de eficiência, como a redução do tempo ou dos recursos necessários para concluir uma tarefa, podem ser tanto um KPI de desempenho (que mostra o funcionamento da solução de IA) quanto um KPI de negócios (que mede a economia de custos e os ganhos de produtividade). A satisfação do cliente é outra métrica que se aplica aos dois casos. Ela pode refletir o sucesso de uma ferramenta de atendimento ao cliente baseada em IA tanto em termos de desempenho técnico quanto de impacto nos objetivos gerais de negócios.

Entenda as principais métricas de desempenho de IA#

Há algumas métricas comuns usadas para medir o desempenho de um modelo de IA. Primeiro, vamos analisar as definições e como elas são calculadas. Depois, veremos como essas métricas podem ser monitoradas.

Precisão#

A precisão é uma métrica que mede o grau de acerto de um modelo de IA ao identificar verdadeiros positivos (casos em que o modelo identifica corretamente um objeto ou uma condição, conforme esperado). Por exemplo, em um sistema de reconhecimento facial, ocorre um verdadeiro positivo quando o sistema reconhece e identifica corretamente o rosto de uma pessoa que foi treinado para detectar.

Para calcular a precisão, primeiro conte o número de verdadeiros positivos. Depois, divida esse valor pelo número total de itens que o modelo classificou como positivos. Esse total inclui tanto as identificações corretas quanto os erros, chamados de falsos positivos. Basicamente, a precisão indica com que frequência o modelo acerta quando afirma ter reconhecido algo.

Fig. 2. Entendendo a precisão.

Essa métrica é particularmente importante em situações em que as consequências dos falsos positivos podem ser dispendiosas ou causar transtornos. Por exemplo, na fabricação automatizada, uma alta taxa de precisão indica que o sistema consegue sinalizar produtos defeituosos com mais exatidão e evitar o descarte ou retrabalho desnecessário de itens em boas condições. Outro bom exemplo é a vigilância de segurança. Uma alta precisão ajuda a minimizar os alarmes falsos e a concentrar a atenção apenas nas ameaças reais que exigem uma resposta de segurança.

Revocação#

A revocação ajuda a medir a capacidade de um modelo de IA de identificar todas as ocorrências relevantes, ou verdadeiros positivos, em um conjunto de dados. Em termos simples, ela representa a capacidade de um sistema de IA de capturar todos os casos reais de uma condição ou objeto que foi projetado para detectar. A revocação pode ser calculada dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (incluindo tanto os casos identificados corretamente pelo modelo quanto os que ele não detectou).

Considere um sistema de imagens médicas com IA usado para detectar câncer. Nesse contexto, a revocação representa a porcentagem de casos reais de câncer que o sistema identifica corretamente. Uma alta revocação é essencial nessas situações, pois não diagnosticar um câncer pode ter consequências graves para o atendimento ao paciente.

Precisão versus revocação#

Precisão e revocação são como dois lados da mesma moeda ao avaliar o desempenho de um modelo de IA, e muitas vezes é necessário equilibrá-las. O desafio é que melhorar uma métrica pode ocorrer às custas da outra.

Suponha que você busque uma precisão maior. O modelo pode se tornar mais seletivo e identificar apenas os positivos sobre os quais tem muita certeza. Por outro lado, se você tentar melhorar a revocação, o modelo poderá identificar mais positivos, mas isso pode incluir mais falsos positivos e acabar reduzindo a precisão.

O essencial é encontrar o equilíbrio certo entre precisão e revocação com base nas necessidades específicas da sua aplicação. Uma ferramenta útil para isso é a curva de precisão-revocação, que mostra a relação entre as duas métricas em diferentes limiares. Ao analisar essa curva, você pode determinar o ponto ideal em que o modelo tem o melhor desempenho para o seu caso de uso específico. Entender essa compensação ajuda a ajustar modelos de IA para que tenham o melhor desempenho nos casos de uso pretendidos.

Fig. 3. Exemplo de uma curva de Precisão-Revocação.

Precisão média (mAP)#

A precisão média média (mAP) é uma métrica usada para avaliar o desempenho de modelos de IA em tarefas como detecção de objetos, nas quais o modelo precisa identificar e classificar vários objetos em uma imagem. A mAP fornece uma única pontuação que mostra o desempenho do modelo em todas as categorias diferentes que ele foi treinado para reconhecer. Vamos ver como ela é calculada.

A área sob uma curva de precisão-revocação fornece a precisão média (AP) dessa classe. A AP mede o grau de acerto das previsões do modelo para uma classe específica, considerando tanto a precisão quanto a revocação em vários níveis de confiança (os níveis de confiança indicam o grau de certeza do modelo em suas previsões). Depois que a AP é calculada para cada classe, a mAP é determinada pela média desses valores de AP entre todas as classes.

Fig. 4. Precisão média de várias classes.

A mAP é útil em aplicações como direção autônoma, nas quais vários objetos, como pedestres, veículos e placas de trânsito, precisam ser detectados simultaneamente. Uma pontuação alta de mAP significa que o modelo tem um bom desempenho consistente em todas as categorias, o que o torna confiável e preciso em uma ampla variedade de situações.

Calcule métricas de desempenho com facilidade#

As fórmulas e os métodos para calcular as principais métricas de desempenho de IA podem parecer intimidadores. No entanto, ferramentas como o pacote Ultralytics podem tornar esse processo simples e rápido. Seja trabalhando com tarefas de detecção de objetos, segmentação ou classificação, a Ultralytics oferece os utilitários necessários para calcular rapidamente métricas importantes, como precisão, revocação e precisão média (mAP).

Para começar a calcular métricas de desempenho com a Ultralytics, você pode instalar o pacote Ultralytics conforme mostrado abaixo.

pip install ultralytics

Neste exemplo, vamos carregar um modelo YOLOv8 pré-treinado e usá-lo para validar métricas de desempenho, mas você pode carregar qualquer um dos modelos fornecidos pela Ultralytics compatíveis. Veja como fazer isso:

from ultralytics import YOLO

# Carrega um modelo YOLOv8 pré-treinado
model = YOLO("yolov8n.pt")

Depois que o modelo for carregado, você poderá realizar a validação no seu conjunto de dados. O trecho de código a seguir ajudará você a calcular várias métricas de desempenho, incluindo precisão, revocação e mAP:

# Valida o modelo em um conjunto de dados (COCO8 é um conjunto de dados de amostra pequeno)
metrics = model.val(data="coco8.yaml")

print(metrics.box.mp)  # precisão média
print(metrics.box.mr)  # revocação média
print(metrics.box.map50)  # mAP com IoU de 0,5
print(metrics.box.map)  # mAP50-95

Usar ferramentas como a Ultralytics facilita muito o cálculo de métricas de desempenho, permitindo que você passe mais tempo aprimorando seu modelo e menos tempo se preocupando com os detalhes do processo de avaliação.

Como o desempenho da IA é medido após a implantação?#

Ao desenvolver seu modelo de IA, é fácil testar seu desempenho em um ambiente controlado. No entanto, depois que o modelo é implantado, as coisas podem se tornar mais complicadas. Felizmente, há ferramentas e boas práticas que podem ajudar você a monitorar sua solução de IA após a implantação.

Ferramentas como Prometheus, Grafana e Evidently AI foram projetadas para acompanhar continuamente o desempenho do seu modelo. Elas podem fornecer informações em tempo real, detectar anomalias e alertar você sobre possíveis problemas. Essas ferramentas vão além do monitoramento tradicional ao oferecer soluções automatizadas e escaláveis, adaptadas à natureza dinâmica dos modelos de IA em produção.

Para medir o sucesso do seu modelo de IA após a implantação, siga estas boas práticas:

• Defina métricas de desempenho claras: escolha métricas importantes, como acurácia, precisão e tempo de resposta, para verificar regularmente o desempenho do seu modelo.
• Verifique regularmente se há deriva de dados: fique atento a mudanças nos dados processados pelo seu modelo, pois elas podem afetar as previsões se não forem gerenciadas corretamente.
• Realize testes A/B: use testes A/B para comparar o desempenho do seu modelo atual com novas versões ou alterações. Isso permitirá avaliar quantitativamente as melhorias ou regressões no comportamento do modelo.
• Documentar e auditar o desempenho: mantenha registros detalhados das métricas de desempenho e das alterações feitas no seu sistema de IA. Isso é fundamental para auditorias, conformidade e aprimoramento da arquitetura do modelo ao longo do tempo.

Escolher os KPIs de IA ideais é apenas o começo#

O sucesso da implantação e do gerenciamento de uma solução de IA depende da escolha dos KPIs certos e de mantê-los atualizados. De modo geral, é essencial escolher métricas que destaquem o desempenho técnico da solução de IA e seu impacto nos negócios. À medida que as coisas mudam, seja por avanços tecnológicos ou por mudanças na estratégia de negócios, é importante revisar e ajustar esses KPIs.

Ao manter suas análises de desempenho dinâmicas, você pode manter seu sistema de IA relevante e eficaz. Acompanhar essas métricas permite obter informações valiosas que ajudam a melhorar suas operações. Uma abordagem proativa ajuda a garantir que seus esforços de IA sejam realmente valiosos e contribuam para o avanço dos seus negócios!

Junte-se à nossa comunidade e inove conosco! Explore nosso repositório no GitHub para conhecer nossos avanços em IA. Saiba como estamos transformando setores como manufatura e saúde com IA de visão.