22 de agosto de 2024
Pode monitorizar o sucesso das suas inovações de IA com os KPIs e métricas de desempenho certos. Saiba como track e otimizar o impacto das aplicações de IA.
Já exploramos como a IA pode ser usada em diferentes setores, como saúde, manufatura e turismo. Também analisamos como a IA pode melhorar as tarefas diárias de trabalho e discutimos ideias de negócios de IA líderes. Todas essas discussões inevitavelmente levam à mesma questão principal: como podemos medir o sucesso de tais implementações de IA? É uma questão importante porque simplesmente implementar soluções de IA não é suficiente. Garantir que essas soluções estejam realmente entregando resultados é o que as torna revolucionárias.
Podemos medir as métricas de desempenho de IA para determinar se um modelo de IA é realmente eficaz em tornar os processos mais eficientes, impulsionar a inovação ou resolver problemas. Ao nos concentrarmos nos indicadores-chave de desempenho (KPIs) certos, podemos entender o quão bem uma solução de IA está funcionando e onde ela pode precisar de melhorias.
Neste artigo, vamos analisar como medir o sucesso das implementações de IA com os KPIs mais relevantes. Abordaremos as diferenças entre KPIs de negócios e KPIs de desempenho de IA, analisaremos métricas importantes, como precisão e recall, e ajudaremos você a escolher os melhores KPIs para suas soluções de IA específicas.
Quando pensa em KPIs, é natural assumir que são todos sobre métricas de negócios como retorno sobre o investimento (ROI), economia de custos ou receita gerada - especialmente quando se fala sobre IA empresarial. Estes KPIs de negócios de IA medem como a IA impacta o sucesso geral de uma empresa e alinham-se com objetivos de negócios mais amplos.
No entanto, os KPIs de desempenho da IA se concentram em quão bem o próprio sistema de IA está funcionando, usando métricas como precisão e recall. Entraremos em detalhes sobre essas métricas abaixo, mas, em essência, enquanto os KPIs de negócios mostram os benefícios financeiros e estratégicos da IA, os KPIs de desempenho garantem que um modelo de IA esteja fazendo seu trabalho de forma eficaz.
Certas métricas podem realmente servir a ambos os propósitos. Por exemplo, ganhos de eficiência, como a redução no tempo ou nos recursos necessários para concluir uma tarefa, podem ser tanto um KPI de desempenho (mostrando o quão bem a solução de IA está funcionando) quanto um KPI de negócios (medindo a economia de custos e as melhorias de produtividade). A satisfação do cliente é outra métrica de cruzamento. Ela pode refletir o sucesso de uma ferramenta de atendimento ao cliente orientada por IA, tanto em termos de seu desempenho técnico quanto de seu impacto nos objetivos gerais de negócios.
Existem algumas métricas comuns usadas para medir o desempenho de um modelo de IA. Primeiro, vamos dar uma olhada em sua definição e como elas são calculadas. Em seguida, veremos como essas métricas podem ser monitoradas.
A precisão é uma métrica que mede a exatidão com que um modelo de IA identifica verdadeiros positivos (casos em que o modelo identifica corretamente um objeto ou condição como é suposto). Por exemplo, num sistema de reconhecimento facial, um verdadeiro positivo ocorreria quando o sistema reconhece e identifica corretamente o rosto de uma pessoa para a qual foi treinado detect.
Para calcular a precisão, primeiro conte o número de verdadeiros positivos. Em seguida, divida esse número pelo número total de itens que o modelo rotulou como positivos. Este total inclui identificações corretas e erros, que são chamados de falsos positivos. Essencialmente, a precisão informa com que frequência o modelo está correto quando afirma ter reconhecido algo.
É particularmente importante em cenários onde as consequências de falsos positivos podem ser dispendiosas ou disruptivas. Por exemplo, na manufatura automatizada, uma alta taxa de precisão indica que o sistema pode sinalizar com mais precisão produtos defeituosos e evitar o descarte ou retrabalho desnecessário de itens bons. Outro bom exemplo é a vigilância de segurança. A alta precisão ajuda a minimizar alarmes falsos e a concentrar-se apenas em ameaças genuínas que necessitam de uma resposta de segurança.
A recuperação ajuda a medir a capacidade de um modelo de IA para identificar todas as instâncias relevantes, ou verdadeiros positivos, num conjunto de dados. Em termos simples, representa a capacidade de um sistema de IA para captar todos os casos reais de uma condição ou objeto que foi concebido para detect. A recuperação pode ser calculada dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (inclui tanto os casos que o modelo identificou corretamente como os que não detectou).
Considere um sistema de imagem médica habilitado por IA usado para a detecção de câncer. O recall, neste contexto, reflete a porcentagem de casos reais de câncer que o sistema identifica corretamente. Um alto recall é vital em tais cenários, pois perder um diagnóstico de câncer pode levar a sérias consequências para o cuidado do paciente.
Precisão e recall são como dois lados da mesma moeda quando se trata de avaliar o desempenho de um modelo de IA, e muitas vezes exigem um equilíbrio. O desafio é que melhorar uma métrica pode muitas vezes ocorrer à custa da outra.
Digamos que você busque maior precisão. O modelo pode se tornar mais seletivo e ser capaz de identificar apenas os positivos dos quais tem muita certeza. Por outro lado, se você pretende melhorar a revocação, o modelo pode identificar mais positivos, mas isso pode incluir mais falsos positivos e acabar diminuindo a precisão.
A chave é encontrar o equilíbrio certo entre precisão e recall com base nas necessidades específicas da sua aplicação. Uma ferramenta útil para isso é a curva Precisão-Recall, que mostra a relação entre as duas métricas em diferentes limiares. Ao analisar esta curva, você pode determinar o ponto ideal onde o modelo tem o melhor desempenho para seu caso de uso específico. Entender essa compensação ajuda ao ajustar modelos de IA para que tenham um desempenho ideal para seus casos de uso pretendidos.
A precisão médiamAP) é uma métrica utilizada para avaliar o desempenho dos modelos de IA para tarefas como a deteção de objectos, em que o modelo tem de identificar e classifymAP dá-lhe uma pontuação única que mostra o desempenho do modelo em todas as diferentes categorias que foi treinado para reconhecer. Vejamos como é calculada.
A área sob uma curva de precisão-recuperação fornece a precisão médiaAP) para essa classe. AP mede a exatidão com que o modelo faz previsões para uma classe específica, considerando tanto a precisão como a recuperação em vários níveis de confiança (os níveis de confiança referem-se ao grau de certeza do modelo nas suas previsões). Uma vez calculado o AP para cada classe, o mAP é determinado pela média desses valores AP em todas as classes.
mAP é útil em aplicações como a condução autónoma, em que vários objectos, como peões, veículos e sinais de trânsito, têm de ser detectados simultaneamente. Uma pontuação mAP elevada significa que o modelo tem um desempenho consistente em todas as categorias, tornando-o fiável e preciso numa vasta gama de cenários.
As fórmulas e os métodos de cálculo das principais métricas de desempenho da IA podem parecer assustadores. No entanto, ferramentas como o pacoteUltralytics podem tornar isso simples e rápido. Quer esteja a trabalhar em tarefas de deteção, segmentação ou classificação de objectos, Ultralytics fornece os utilitários necessários para calcular rapidamente métricas importantes como a precisão, a recuperação e a precisão médiamAP).
Para começar a calcular as métricas de desempenho utilizando Ultralytics, pode instalar o pacote Ultralytics conforme indicado abaixo.
Para este exemplo, vamos carregar um modelo YOLOv8 pré-treinado e utilizá-lo para validar as métricas de desempenho, mas pode carregar qualquer um dos modelos suportados fornecidos pelo Ultralytics. Eis como o pode fazer:
Assim que o modelo for carregado, pode efetuar a validação no seu conjunto de dados. O trecho de código a seguir ajudará a calcular várias métricas de desempenho, incluindo precisão, recuperação e mAP:
A utilização de ferramentas como o Ultralytics facilita muito o cálculo das métricas de desempenho, pelo que pode passar mais tempo a melhorar o seu modelo e menos tempo a preocupar-se com os pormenores do processo de avaliação.
Ao desenvolver o seu modelo de IA, é fácil testar o seu desempenho num ambiente controlado. No entanto, uma vez que o modelo é implementado, as coisas podem tornar-se mais complicadas. Felizmente, existem ferramentas e melhores práticas que podem ajudá-lo a monitorizar a sua solução de IA após a implementação.
Ferramentas como Prometheus, Grafana e Evidently AI são projetadas para track continuamente o desempenho do seu modelo. Elas podem fornecer insights em tempo real, detect anomalias e alertá-lo sobre quaisquer problemas potenciais. Essas ferramentas vão além do monitoramento tradicional, oferecendo soluções automatizadas e escalonáveis que se adaptam à natureza dinâmica dos modelos de IA na produção.
Para medir o sucesso do seu modelo de IA após a implementação, aqui estão algumas práticas recomendadas a seguir:
Implementar e gerenciar uma solução de IA com sucesso depende da escolha dos KPIs certos e de mantê-los atualizados. No geral, é vital escolher métricas que destaquem o quão bem a solução de IA está funcionando tecnicamente e em termos de impacto nos negócios. À medida que as coisas mudam, seja por avanços tecnológicos ou mudanças na sua estratégia de negócios, é importante revisitar e ajustar esses KPIs.
Ao manter as suas avaliações de desempenho dinâmicas, pode manter o seu sistema de IA relevante e eficaz. Ao manter-se a par destas métricas, obterá informações valiosas que ajudam a melhorar as suas operações. Uma abordagem proativa garante que os seus esforços de IA são verdadeiramente valiosos e ajudam a impulsionar o seu negócio!
Junte-se à nossa comunidade e inove conosco! Explore nosso repositório GitHub para ver nossos avanços em IA. Saiba como estamos remodelando setores como manufatura e saúde com tecnologia de IA pioneira. 🚀
