Como avaliar o desempenho de modelos Ultralytics YOLO, como o YOLO11

Com o número crescente de modelos de IA disponíveis atualmente, escolher o mais adequado para sua aplicação específica é essencial para obter resultados precisos e confiáveis. Cada modelo varia em velocidade, precisão e desempenho geral. Então, como determinar qual modelo é mais adequado para uma determinada tarefa? Isso é especialmente importante em sistemas em tempo real, como veículos autônomos, soluções de segurança e robótica, nos quais é fundamental tomar decisões rápidas e confiáveis.

Os testes de desempenho ajudam a responder a essa pergunta, avaliando um modelo em diferentes condições. Eles fornecem informações sobre o desempenho do modelo em diversas configurações de hardware e software, permitindo tomar decisões mais embasadas.

Por exemplo, o Ultralytics YOLO11 (sucedido pelo Ultralytics YOLO26) é um modelo de visão computacional compatível com várias tarefas de análise de dados visuais, como detecção de objetos e segmentação de instâncias. Para entender todos os seus recursos, você pode comparar o desempenho em diferentes configurações e ver como o modelo se comporta em situações do mundo real.

Neste artigo, vamos explorar como avaliar modelos Ultralytics YOLO, como o YOLO11, comparar o desempenho deles em diferentes hardwares e ver como os vários formatos de exportação afetam a velocidade e a eficiência.

O que são testes de desempenho de modelos?#

Ao usar um modelo de IA visual em uma aplicação do mundo real, como saber se ele será rápido, preciso e confiável o suficiente? Os testes de desempenho podem ajudar a responder a essa pergunta. Testar o desempenho de modelos é o processo de avaliar e comparar diferentes modelos de IA para descobrir qual tem o melhor desempenho.

Isso envolve estabelecer uma linha de base para comparação, escolher as métricas de desempenho certas (como precisão ou velocidade) e testar todos os modelos nas mesmas condições. Os resultados ajudam a identificar os pontos fortes e fracos de cada modelo, facilitando a escolha do mais adequado para sua solução de IA específica. Em particular, costuma-se usar um conjunto de dados de referência para garantir comparações justas e avaliar o desempenho de um modelo em diferentes situações do mundo real.

Fig. 1. Por que testar o desempenho de modelos de visão computacional? Imagem do autor.

Um exemplo claro da importância dos testes de desempenho são as aplicações em tempo real, como vigilância ou robótica, nas quais até mesmo pequenos atrasos podem afetar a tomada de decisões. Os testes de desempenho ajudam a avaliar se um modelo consegue processar imagens rapidamente e, ao mesmo tempo, fornecer previsões confiáveis.

Os testes também têm um papel fundamental na identificação de gargalos de desempenho. Se um modelo for executado lentamente ou usar recursos em excesso, os testes de desempenho podem revelar se o problema vem das limitações do hardware, das configurações do modelo ou dos formatos de exportação. Essas informações são essenciais para escolher a configuração mais eficaz.

Testes de desempenho de modelos em comparação com avaliação e teste de modelos#

Testes de desempenho, avaliação e teste de modelos são termos populares de IA que costumam ser usados em conjunto. Embora sejam semelhantes, não significam a mesma coisa e têm funções diferentes. O teste de modelos verifica o desempenho de um único modelo, executando-o em um conjunto de dados de teste e medindo fatores como precisão e velocidade. Já a avaliação de modelos vai além e analisa os resultados para entender os pontos fortes e fracos do modelo e seu desempenho em situações do mundo real. Ambos se concentram em apenas um modelo por vez.

Já os testes de desempenho de modelos comparam vários modelos lado a lado, usando os mesmos testes e conjuntos de dados. Eles ajudam a descobrir qual modelo é mais adequado para uma tarefa específica, destacando as diferenças entre eles em precisão, velocidade e eficiência. Enquanto o teste e a avaliação se concentram em um único modelo, os testes de desempenho ajudam a escolher a opção certa (ou a melhor) por meio de uma comparação justa entre diferentes modelos.

Fig. 2. Diferenças entre testes de desempenho, avaliação e teste de modelos. Imagem do autor.

Visão geral do Ultralytics YOLO11#

O Ultralytics YOLO11 é um modelo confiável de IA visual, desenvolvido para executar com precisão diversas tarefas de visão computacional. Ele aprimora as versões anteriores dos modelos YOLO e oferece recursos que podem ajudar a resolver problemas do mundo real. Por exemplo, pode ser usado para detectar objetos, classificar imagens, segmentar regiões, rastrear movimentos e muito mais. Também pode ser usado em aplicações de diversos setores, da segurança à automação e à análise de dados.

Fig. 3. Exemplo de uso do Ultralytics YOLO11 para segmentar pessoas em uma imagem.

Uma das principais vantagens do Ultralytics YOLO11 é a facilidade de uso. Com apenas algumas linhas de código, qualquer pessoa pode integrá-lo a projetos de IA sem precisar lidar com configurações complicadas ou ter conhecimentos técnicos avançados.

Ele também funciona bem em diferentes hardwares, com execução eficiente em CPUs (unidades centrais de processamento), GPUs (unidades de processamento gráfico) e outros aceleradores especializados de IA. Seja em dispositivos de borda ou servidores em nuvem, ele oferece alto desempenho.

O Ultralytics YOLO11 está disponível em vários tamanhos de modelo, cada um otimizado para tarefas diferentes. A avaliação de desempenho ajuda a determinar qual versão atende melhor às suas necessidades específicas. Por exemplo, uma conclusão importante que essa avaliação pode revelar é que modelos menores, como Nano ou Small, tendem a ser mais rápidos, mas podem sacrificar um pouco da precisão.

Como testar o desempenho de modelos YOLO, como o Ultralytics YOLO11#

Agora que explicamos o que é a avaliação de desempenho e por que ela importa, vamos ver como você pode avaliar modelos YOLO, como o Ultralytics YOLO11, e analisar a eficiência deles para obter informações valiosas.

Para começar, instale o pacote Python da Ultralytics executando o seguinte comando no terminal ou no prompt de comando: “pip install ultralytics”. Se tiver problemas durante a instalação, consulte nosso guia de problemas comuns para obter dicas de solução de problemas.

Depois de instalar o pacote, você pode testar facilmente o desempenho do Ultralytics YOLO11 com apenas algumas linhas de código Python:

from ultralytics.utils.benchmarks import benchmark

# Teste de desempenho na GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, device=0)

Ao executar o código mostrado acima, você calcula a velocidade de processamento de imagens do modelo, quantos quadros ele consegue processar por segundo e com que precisão detecta objetos.

A referência a “coco8.yaml” no código indica um arquivo de configuração de conjunto de dados baseado no conjunto de dados COCO8 (objetos comuns em contexto) — uma pequena amostra do conjunto de dados COCO completo, geralmente usada para testes e experimentação.

Se você estiver testando o Ultralytics YOLO11 para uma aplicação específica, como monitoramento do trânsito ou exames de imagens médicas, o uso de um conjunto de dados relevante (por exemplo, um conjunto de dados de trânsito ou de imagens médicas) fornecerá informações mais precisas. Testar o desempenho com COCO dá uma ideia geral do desempenho, mas, para obter os melhores resultados, você pode escolher um conjunto de dados que reflita seu caso de uso real.

Como interpretar os resultados dos testes de desempenho do Ultralytics YOLO11#

Depois de testar o desempenho do Ultralytics YOLO11, a próxima etapa é interpretar os resultados. Ao executar o teste de desempenho, você verá vários números nos resultados. Essas métricas ajudam a avaliar o desempenho do YOLO11 em termos de precisão e velocidade.

Veja algumas métricas importantes dos testes de desempenho do Ultralytics YOLO11:

• mAP_50-95: Mede a precisão da detecção de objetos. Um valor mais alto significa que o modelo reconhece melhor os objetos.
• accuracy_top5: É comumente usada em tarefas de classificação. Ela mostra com que frequência o rótulo correto aparece entre as cinco principais previsões.
• Tempo de inferência: O tempo necessário para processar uma única imagem, medido em milissegundos. Valores mais baixos indicam um processamento mais rápido.

Fig. 4. Gráfico que mostra o desempenho do YOLO11 nos testes.

Outros fatores a considerar ao testar o desempenho do Ultralytics YOLO11#

Analisar apenas os resultados dos testes de desempenho conta só parte da história. Para entender melhor o desempenho, é útil comparar diferentes configurações e opções de hardware. Veja alguns aspectos importantes:

• GPU vs. CPU: As GPUs podem processar imagens muito mais rapidamente do que as CPUs. Os testes de desempenho ajudam você a descobrir se uma CPU é rápida o suficiente para suas necessidades ou se vale a pena usar uma GPU.
• Configurações de precisão (FP32, FP16, INT8): Elas controlam como o modelo processa os números e são definidas com o argumento quantize (por exemplo, quantize=16). Uma precisão menor (como FP16 ou INT8) faz o modelo funcionar mais rápido e usar menos memória, mas pode reduzir um pouco a precisão.
• Formatos de exportação: converter o modelo para um formato como TensorRT pode acelerar bastante sua execução em determinados hardwares. Isso é útil se você estiver otimizando a velocidade em dispositivos específicos.

Como testar o desempenho do Ultralytics YOLO11 em diferentes hardwares#

O pacote Python da Ultralytics permite converter modelos YOLO11 para diferentes formatos que funcionam com mais eficiência em hardwares específicos, melhorando a velocidade e o uso de memória. Cada formato de exportação é otimizado para dispositivos diferentes.

Por um lado, o formato ONNX pode acelerar o desempenho em diversos ambientes. Por outro lado, o OpenVINO melhora a eficiência em hardware Intel, o CoreML é ideal para dispositivos Apple, e o LiteRT (antigo TensorFlow Lite) é adequado para aplicações móveis.

Vamos ver como testar o desempenho do Ultralytics YOLO11 em um formato específico. O código abaixo testa o desempenho do YOLO11 no formato ONNX, muito usado para executar modelos de IA em CPUs e GPUs.

from ultralytics.utils.benchmarks import benchmark

# Teste de desempenho em um formato de exportação específico (por exemplo, ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Além dos resultados da avaliação de desempenho, a escolha do formato certo depende das especificações do seu sistema e das necessidades de implantação. Por exemplo, carros autônomos precisam detectar objetos rapidamente. Se você planeja usar GPUs NVIDIA para acelerar o desempenho, o formato TensorRT é a opção ideal para executar o Ultralytics YOLO11 em uma GPU NVIDIA.

Fig. 5. Uso do YOLO11 para detecção de objetos em carros autônomos.

Principais conclusões#

O pacote Python da Ultralytics facilita os testes de desempenho do YOLO11 com comandos simples que executam os testes para você. Em poucas etapas, você pode ver como diferentes configurações afetam a velocidade e a precisão dos modelos e tomar decisões embasadas sem precisar de conhecimentos técnicos avançados.

O hardware e as configurações corretos também podem fazer uma grande diferença. Ajustar parâmetros como o tamanho do modelo e o conjunto de dados permite otimizar o Ultralytics YOLO11 para obter o melhor desempenho, seja em uma GPU de alto desempenho ou localmente em um dispositivo de borda.

Conecte-se à nossa comunidade e explore nossos projetos de IA no nosso repositório do GitHub. Saiba mais sobre o impacto da IA na agricultura e o papel da visão computacional na indústria nas páginas das nossas soluções. Explore nossos planos de licenciamento e comece agora sua jornada em IA!