Medir o desempenho da IA para avaliar o impacto das tuas inovações

Exploramos anteriormente como a IA pode ser usada em diferentes setores, como healthcare, manufacturing e tourism. Também analisamos como AI can improve everyday work tasks e discutimos leading AI business ideas. Todas essas discussões levam inevitavelmente à mesma questão principal: como podemos medir o sucesso dessas implementações de IA? É uma pergunta importante porque simplesmente implantar soluções de IA não basta. Garantir que essas soluções estejam realmente gerando resultados é o que as torna revolucionárias.

Podemos medir as AI performance metrics para determinar se um modelo de IA é verdadeiramente eficaz em tornar os processos mais eficientes, impulsionar a inovação ou resolver problemas. Ao nos concentrarmos nos indicadores-chave de desempenho (KPIs) certos, conseguimos entender o quão bem uma solução de IA está funcionando e onde ela pode precisar de melhorias.

Neste artigo, veremos como medir o sucesso de implementações de IA com os KPIs mais relevantes. Abordaremos as diferenças entre os KPIs de negócios e os KPIs de desempenho de IA, revisaremos metrics like precision and recall importantes e ajudaremos tu a escolher os melhores KPIs para as tuas soluções de IA específicas.

A diferença entre KPIs de negócios de IA e KPIs de desempenho de IA#

Fig 1. Comparando KPIs de Negócios de IA e KPIs de Desempenho de IA.

Quando pensas em KPIs, é natural assumir que eles se resumem a métricas de negócios, como retorno sobre o investimento (ROI), economia de custos ou receita gerada — especialmente quando falamos de IA empresarial. Esses KPIs de negócios de IA medem como a IA impacta o sucesso geral de uma empresa e alinham-se a business goals mais amplos.

No entanto, os KPIs de desempenho de IA concentram-se em quão bem o próprio sistema de IA está a funcionar, usando métricas como acurácia, precisão e revocação. Vamos entrar nos detalhes dessas métricas abaixo, mas, em essência, enquanto os KPIs de negócios mostram os benefícios financeiros e estratégicos da IA, os performance KPIs garantem que um modelo de IA está a fazer o seu trabalho de forma eficaz.

Certas métricas podem, de fato, servir a ambos os propósitos. Por exemplo, os efficiency gains, como a redução de tempo ou recursos necessários para concluir uma tarefa, podem ser tanto um KPI de desempenho (mostrando quão bem a solução de IA está a funcionar) quanto um KPI de negócios (medindo a economia de custos e melhorias de produtividade). A Customer satisfaction é outra métrica cruzada. Ela pode refletir o sucesso de uma ferramenta de atendimento ao cliente impulsionada por IA tanto em termos de seu desempenho técnico quanto de seu impacto nos objetivos gerais do negócio.

Entendendo as principais métricas de desempenho de IA#

Existem algumas métricas comuns usadas para medir o desempenho de um modelo de IA. Primeiro, veremos suas definições e como são calculadas. Depois, veremos como essas métricas podem ser monitoradas.

Precisão#

A precisão é uma métrica que mede com que precisão um modelo de IA identifica verdadeiros positivos (casos em que o modelo identifica corretamente um objeto ou condição conforme deveria). Por exemplo, em um facial recognition system, um verdadeiro positivo ocorreria quando o sistema reconhece e identifica corretamente o rosto de uma pessoa que foi treinado para detect.

Para calcular a precisão, primeiro conte o número de verdadeiros positivos. Você pode então dividir esse valor pelo número total de itens que o modelo rotulou como positivos. Esse total inclui tanto identificações corretas quanto erros, que são chamados de falsos positivos. Essencialmente, a precisão informa com que frequência o modelo está correto quando afirma ter reconhecido algo.

Fig 2. Entendendo a Precisão.

Isto é particularmente importante em cenários onde as consequências de falsos positivos podem ser dispendiosas ou disruptivas. Por exemplo, na automated manufacturing, uma alta taxa de precisão indica que o sistema pode sinalizar produtos defeituosos com mais precisão e evitar o descarte ou o retrabalho desnecessário de bons itens. Outro bom exemplo é a security surveillance. Uma alta precisão ajuda a minimizar alarmes falsos e a focar apenas nas ameaças genuínas que exigem uma resposta de segurança.

Revocação#

A revocação ajuda a medir a capacidade de um modelo de IA de identificar todas as instâncias relevantes, ou verdadeiros positivos, dentro de um conjunto de dados. Simplificando, ela representa quão bem um sistema de IA consegue capturar todos os casos reais de uma condição ou objeto que foi projetado para detectar. A revocação pode ser calculada dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (inclui tanto os casos que o modelo identificou corretamente quanto aqueles que ele perdeu).

Considera um AI-enabled medical imaging system usado para a detecção de cancro. A revocação, nesse contexto, reflete a porcentagem de casos reais de cancro que o sistema identifica corretamente. Uma alta revocação é vital nesses cenários, pois perder um diagnóstico de cancro pode levar a sérias consequências para o atendimento ao paciente.

Precisão versus revocação#

A precisão e a revocação são como dois lados da mesma moeda quando se trata de evaluating an AI model's performance, e muitas vezes exigem um equilíbrio. O desafio é que melhorar uma métrica muitas vezes pode vir à custa da outra.

Digamos que você pressione por uma precisão maior. O modelo pode se tornar mais seletivo e ser capaz de identificar apenas positivos dos quais tem muita certeza. Por outro lado, se você visa melhorar a revocação, o modelo pode identificar mais positivos, mas isso pode incluir mais falsos positivos e acabar reduzindo a precisão.

A chave é encontrar o equilíbrio certo entre precisão e revocação com base nas necessidades específicas da tua aplicação. Uma ferramenta útil para isso é a curva de precisão-revocação, que mostra a relação entre as duas métricas em diferentes limiares. Ao analisar essa curva, podes determinar o ponto ideal onde o modelo tem o melhor desempenho para o teu caso de uso específico. Entender essa compensação ajuda ao fine-tuning AI models para funcionarem de maneira ideal para os seus use cases pretendidos.

Fig 3. Um Exemplo de Curva de Precisão-Revocação.

Precisão média (mAP)#

A Precisão Média Média (mAP) é uma métrica usada para avaliar o desempenho de modelos de IA para tarefas como object detection, onde o modelo precisa identificar e classify vários objetos dentro de uma imagem. O mAP fornece uma pontuação única que mostra o desempenho do modelo em todas as diferentes categorias que ele foi treinado para reconhecer. Vejamos como ele é calculado.

A área sob uma Curva de Precisão-Revocação fornece a Precisão Média (AP) para aquela classe. A AP mede com que precisão o modelo faz previsões para uma classe específica, considerando tanto a precisão quanto a revocação em vários níveis de confiança (níveis de confiança referem-se a quão certo o modelo está em suas previsões). Uma vez que a AP é calculada para cada classe, o mAP é determinado pela média desses valores de AP em todas as classes.

Fig 4. A precisão média de várias classes.

O mAP é útil em aplicações como autonomous driving, onde vários objetos, como pedestres, veículos e placas de trânsito, precisam ser detectados simultaneamente. Uma pontuação alta de mAP significa que o modelo tem um desempenho consistentemente bom em todas as categorias, tornando-o confiável e preciso em uma ampla gama de cenários.

Calcule métricas de desempenho sem esforço#

As fórmulas e métodos para calcular as principais métricas de desempenho de IA podem parecer assustadores. No entanto, ferramentas como o Ultralytics package podem tornar isso simples e rápido. Estejas a trabalhar em tarefas de object detection, segmentation ou classification, o Ultralytics fornece os utilitários necessários para calcular rapidamente métricas importantes, como precisão, revocação e precisão média média (mAP).

Para começar a calculating performance metrics using Ultralytics, podes instalar o pacote Ultralytics conforme mostrado abaixo.

Para este exemplo, vamos carregar um pre-trained YOLOv8 model e usá-lo para validar as métricas de desempenho, mas podes carregar qualquer um dos models provided by Ultralytics compatíveis. Eis como o podes fazer:

Uma vez que o modelo esteja carregado, podes realizar a validation no teu conjunto de dados. O seguinte trecho de código ajudar-te-á a calcular várias métricas de desempenho, incluindo precisão, revocação e mAP:

Usar ferramentas como Ultralytics torna o cálculo das métricas de desempenho muito mais fácil, para que você possa dedicar mais tempo a melhorar seu modelo e menos tempo preocupando-se com os detalhes do processo de avaliação.

Como o desempenho da IA é medido após a implementação?#

Ao desenvolver o teu modelo de IA, é fácil testar o seu desempenho em um ambiente controlado. No entanto, uma vez que o modelo é implantado, as coisas podem tornar-se mais complicadas. Felizmente, existem ferramentas e práticas recomendadas que podem ajudar-te a monitor your AI solution after deployment.

Ferramentas como Prometheus, Grafana e Evidently AI são projetadas para rastrear continuamente o desempenho do seu modelo. Elas podem fornecer insights em tempo real, detectar anomalias e alertar você sobre quaisquer problemas potenciais. Essas ferramentas vão além do monitoramento tradicional, oferecendo soluções automatizadas e escaláveis que se adaptam à natureza dinâmica dos modelos de IA em produção.

Para medir o sucesso do seu modelo de IA após a implementação, aqui estão algumas práticas recomendadas a serem seguidas:

• Defina métricas de desempenho claras: Decida sobre as principais métricas, como exatidão, precisão e tempo de resposta, para verificar regularmente quão bem seu modelo está funcionando.
• Verifique regularmente a deriva de dados (data drift): Fique atento a mudanças nos dados que seu modelo está processando, pois isso pode afetar suas previsões se não for gerenciado adequadamente.
• Conduzir testes A/B: Usa os testing A/B para comparar o desempenho do teu modelo atual com novas versões ou ajustes. Isto permitir-te-á avaliar quantitativamente melhorias ou regressões no comportamento do modelo.
• Documentar e auditar o desempenho: Mantém registos detalhados das métricas de desempenho e das alterações feitas no teu sistema de IA. Isto é crucial para auditorias, compliance e para melhorar a arquitetura do teu modelo ao longo do tempo.

Selecionar os KPIs ideais de IA é apenas o começo#

O sucesso na deploying e gestão de uma solução de IA depende de escolher os KPIs certos e mantê-los atualizados. Em suma, escolher métricas que destaquem o quão bem a solução de IA está a sair-se técnica e comercialmente é vital. À medida que as coisas mudam, sejam avanços tecnológicos ou mudanças na tua estratégia de negócios, é importante revisitar e ajustar esses KPIs.

Ao manter suas avaliações de desempenho dinâmicas, você pode manter seu sistema de IA relevante e eficaz. Mantendo-se a par dessas métricas, você obterá insights valiosos que ajudam a melhorar suas operações. Uma abordagem proativa garante que seus esforços de IA sejam verdadeiramente valiosos e ajudem a impulsionar seus negócios!

Junta-te à our community e inova connosco! Explora o nosso GitHub repository para ver os nossos avanços em IA. Descobre como estamos a remodelar indústrias como manufacturing e healthcare com tecnologia de IA pioneira. 🚀