22 de agosto de 2024
Você pode monitorar o sucesso de suas inovações em IA com os KPIs e métricas de desempenho corretos. Aprenda como rastrear e otimizar o impacto das aplicações de IA.
Já exploramos como a IA pode ser usada em diferentes setores, como saúde, manufatura e turismo. Também analisamos como a IA pode melhorar as tarefas diárias de trabalho e discutimos ideias de negócios de IA líderes. Todas essas discussões inevitavelmente levam à mesma questão principal: como podemos medir o sucesso de tais implementações de IA? É uma questão importante porque simplesmente implementar soluções de IA não é suficiente. Garantir que essas soluções estejam realmente entregando resultados é o que as torna revolucionárias.
Podemos medir as métricas de desempenho de IA para determinar se um modelo de IA é realmente eficaz em tornar os processos mais eficientes, impulsionar a inovação ou resolver problemas. Ao nos concentrarmos nos indicadores-chave de desempenho (KPIs) certos, podemos entender o quão bem uma solução de IA está funcionando e onde ela pode precisar de melhorias.
Neste artigo, vamos analisar como medir o sucesso das implementações de IA com os KPIs mais relevantes. Abordaremos as diferenças entre KPIs de negócios e KPIs de desempenho de IA, analisaremos métricas importantes, como precisão e recall, e ajudaremos você a escolher os melhores KPIs para suas soluções de IA específicas.
Quando pensa em KPIs, é natural assumir que são todos sobre métricas de negócios como retorno sobre o investimento (ROI), economia de custos ou receita gerada - especialmente quando se fala sobre IA empresarial. Estes KPIs de negócios de IA medem como a IA impacta o sucesso geral de uma empresa e alinham-se com objetivos de negócios mais amplos.
No entanto, os KPIs de desempenho da IA se concentram em quão bem o próprio sistema de IA está funcionando, usando métricas como precisão e recall. Entraremos em detalhes sobre essas métricas abaixo, mas, em essência, enquanto os KPIs de negócios mostram os benefícios financeiros e estratégicos da IA, os KPIs de desempenho garantem que um modelo de IA esteja fazendo seu trabalho de forma eficaz.
Certas métricas podem realmente servir a ambos os propósitos. Por exemplo, ganhos de eficiência, como a redução no tempo ou nos recursos necessários para concluir uma tarefa, podem ser tanto um KPI de desempenho (mostrando o quão bem a solução de IA está funcionando) quanto um KPI de negócios (medindo a economia de custos e as melhorias de produtividade). A satisfação do cliente é outra métrica de cruzamento. Ela pode refletir o sucesso de uma ferramenta de atendimento ao cliente orientada por IA, tanto em termos de seu desempenho técnico quanto de seu impacto nos objetivos gerais de negócios.
Existem algumas métricas comuns usadas para medir o desempenho de um modelo de IA. Primeiro, vamos dar uma olhada em sua definição e como elas são calculadas. Em seguida, veremos como essas métricas podem ser monitoradas.
Precisão é uma métrica que mede a precisão com que um modelo de IA identifica verdadeiros positivos (instâncias em que o modelo identifica corretamente um objeto ou condição como deveria). Por exemplo, em um sistema de reconhecimento facial, um verdadeiro positivo ocorreria quando o sistema reconhece e identifica corretamente o rosto de uma pessoa que foi treinado para detectar.
Para calcular a precisão, primeiro conte o número de verdadeiros positivos. Em seguida, divida esse número pelo número total de itens que o modelo rotulou como positivos. Este total inclui identificações corretas e erros, que são chamados de falsos positivos. Essencialmente, a precisão informa com que frequência o modelo está correto quando afirma ter reconhecido algo.
É particularmente importante em cenários onde as consequências de falsos positivos podem ser dispendiosas ou disruptivas. Por exemplo, na manufatura automatizada, uma alta taxa de precisão indica que o sistema pode sinalizar com mais precisão produtos defeituosos e evitar o descarte ou retrabalho desnecessário de itens bons. Outro bom exemplo é a vigilância de segurança. A alta precisão ajuda a minimizar alarmes falsos e a concentrar-se apenas em ameaças genuínas que necessitam de uma resposta de segurança.
O recall ajuda a medir a capacidade de um modelo de IA de identificar todas as instâncias relevantes, ou verdadeiros positivos, dentro de um conjunto de dados. Simplificando, representa o quão bem um sistema de IA consegue capturar todos os casos reais de uma condição ou objeto que ele foi projetado para detectar. O recall pode ser calculado dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (inclui tanto os casos que o modelo identificou corretamente quanto os que ele perdeu).
Considere um sistema de imagem médica habilitado por IA usado para a detecção de câncer. O recall, neste contexto, reflete a porcentagem de casos reais de câncer que o sistema identifica corretamente. Um alto recall é vital em tais cenários, pois perder um diagnóstico de câncer pode levar a sérias consequências para o cuidado do paciente.
Precisão e recall são como dois lados da mesma moeda quando se trata de avaliar o desempenho de um modelo de IA, e muitas vezes exigem um equilíbrio. O desafio é que melhorar uma métrica pode muitas vezes ocorrer à custa da outra.
Digamos que você busque maior precisão. O modelo pode se tornar mais seletivo e ser capaz de identificar apenas os positivos dos quais tem muita certeza. Por outro lado, se você pretende melhorar a revocação, o modelo pode identificar mais positivos, mas isso pode incluir mais falsos positivos e acabar diminuindo a precisão.
A chave é encontrar o equilíbrio certo entre precisão e recall com base nas necessidades específicas da sua aplicação. Uma ferramenta útil para isso é a curva Precisão-Recall, que mostra a relação entre as duas métricas em diferentes limiares. Ao analisar esta curva, você pode determinar o ponto ideal onde o modelo tem o melhor desempenho para seu caso de uso específico. Entender essa compensação ajuda ao ajustar modelos de IA para que tenham um desempenho ideal para seus casos de uso pretendidos.
A Precisão Média (mAP) é uma métrica usada para avaliar o desempenho de modelos de IA em tarefas como detecção de objetos, onde o modelo precisa identificar e classificar múltiplos objetos dentro de uma imagem. O mAP fornece uma pontuação única que mostra o quão bem o modelo se desempenha em todas as diferentes categorias que ele foi treinado para reconhecer. Vamos ver como é calculado.
A área sob uma curva Precision-Recall fornece a Precisão Média (AP) para essa classe. AP mede a precisão com que o modelo faz previsões para uma classe específica, considerando tanto a precisão quanto o recall em vários níveis de confiança (níveis de confiança referem-se ao quão certo o modelo está em suas previsões). Depois que o AP é calculado para cada classe, o mAP é determinado pela média desses valores de AP em todas as classes.
O mAP é útil em aplicações como direção autônoma, onde vários objetos, como pedestres, veículos e sinais de trânsito, precisam ser detectados simultaneamente. Uma alta pontuação de mAP significa que o modelo tem um desempenho consistentemente bom em todas as categorias, tornando-o confiável e preciso em uma ampla gama de cenários.
As fórmulas e os métodos de cálculo das principais métricas de desempenho de IA podem parecer assustadores. No entanto, ferramentas como o pacote Ultralytics podem torná-lo simples e rápido. Se você estiver trabalhando em tarefas de detecção de objetos, segmentação ou classificação, o Ultralytics fornece as utilidades necessárias para calcular rapidamente métricas importantes, como precisão (precision), revocação (recall) e precisão média (mAP).
Para começar a calcular as métricas de desempenho usando Ultralytics, você pode instalar o pacote Ultralytics conforme mostrado abaixo.
Para este exemplo, carregaremos um modelo YOLOv8 pré-treinado e o usaremos para validar as métricas de desempenho, mas você pode carregar qualquer um dos modelos fornecidos pela Ultralytics. Veja como você pode fazer isso:
Após o carregamento do modelo, você pode realizar a validação no seu conjunto de dados. O seguinte trecho de código ajudará você a calcular várias métricas de desempenho, incluindo precisão, recall e mAP:
Usar ferramentas como o Ultralytics torna o cálculo de métricas de desempenho muito mais fácil, para que você possa gastar mais tempo melhorando seu modelo e menos tempo se preocupando com os detalhes do processo de avaliação.
Ao desenvolver o seu modelo de IA, é fácil testar o seu desempenho num ambiente controlado. No entanto, uma vez que o modelo é implementado, as coisas podem tornar-se mais complicadas. Felizmente, existem ferramentas e melhores práticas que podem ajudá-lo a monitorizar a sua solução de IA após a implementação.
Ferramentas como Prometheus, Grafana e Evidently AI são projetadas para rastrear continuamente o desempenho do seu modelo. Elas podem fornecer insights em tempo real, detectar anomalias e alertá-lo sobre quaisquer problemas potenciais. Essas ferramentas vão além do monitoramento tradicional, oferecendo soluções automatizadas e escaláveis que se adaptam à natureza dinâmica dos modelos de IA em produção.
Para medir o sucesso do seu modelo de IA após a implementação, aqui estão algumas práticas recomendadas a seguir:
Implementar e gerenciar uma solução de IA com sucesso depende da escolha dos KPIs certos e de mantê-los atualizados. No geral, é vital escolher métricas que destaquem o quão bem a solução de IA está funcionando tecnicamente e em termos de impacto nos negócios. À medida que as coisas mudam, seja por avanços tecnológicos ou mudanças na sua estratégia de negócios, é importante revisitar e ajustar esses KPIs.
Ao manter as suas avaliações de desempenho dinâmicas, pode manter o seu sistema de IA relevante e eficaz. Ao manter-se a par destas métricas, obterá informações valiosas que ajudam a melhorar as suas operações. Uma abordagem proativa garante que os seus esforços de IA são verdadeiramente valiosos e ajudam a impulsionar o seu negócio!
Junte-se à nossa comunidade e inove conosco! Explore nosso repositório GitHub para ver nossos avanços em IA. Saiba como estamos remodelando setores como manufatura e saúde com tecnologia de IA pioneira. 🚀
.webp)