Como fazer o benchmarking de modelos Ultralytics YOLO como o YOLO11

Com o número crescente de modelos de IA disponíveis atualmente, selecionar o mais adequado para a tua aplicação de IA específica é essencial para obter resultados precisos e confiáveis. Cada modelo varia em velocidade, precisão e desempenho geral. Então, como podemos determinar qual modelo é o mais adequado para uma determinada tarefa? Isso é especialmente importante para sistemas de tempo real, como veículos autônomos, soluções de segurança e robótica, onde uma tomada de decisão rápida e confiável é crítica.

A avaliação (benchmarking) ajuda a responder a essa pergunta ao testar um modelo sob diferentes condições. Ela fornece insights sobre o desempenho do modelo em várias configurações e hardwares, permitindo uma tomada de decisão mais informada.

Por exemplo, o Ultralytics YOLO11 é um modelo de computer vision que suporta várias tarefas de análise de dados visuais, como detecção de objetos e segmentação de instâncias. Para entender completamente as suas capacidades, podes avaliar o seu desempenho em diferentes configurações para ver como ele lidará com cenários do mundo real.

Neste artigo, vamos explorar como avaliar Ultralytics YOLO models como o YOLO11, comparar o seu desempenho em vários hardwares e ver como diferentes formatos de exportação impactam a sua velocidade e eficiência. Vamos começar!

Link to this sectionO que é avaliação de modelos?#

Quando se trata de usar um modelo de visão computacional em uma aplicação real, como saber se ele será rápido, preciso e confiável o suficiente? Avaliar o modelo pode fornecer insights para responder a isso. A avaliação de modelos é o processo de testar e comparar diferentes modelos de IA para ver qual deles apresenta o melhor desempenho.

Isso envolve definir uma linha de base para comparação, escolher as métricas de desempenho certas (como precisão ou velocidade) e testar todos os modelos sob as mesmas condições. Os resultados ajudam a identificar os pontos fortes e fracos de cada modelo, tornando mais fácil decidir qual é o mais adequado para a tua AI solution específica. Em particular, um benchmark dataset é frequentemente usado para fornecer comparações justas e avaliar o desempenho do modelo em diferentes cenários reais.

Fig 1. Por que avaliar modelos de visão computacional? Imagem do autor.

Um exemplo claro de por que a avaliação é vital está em aplicações de tempo real, como vigilância ou robótica, onde até pequenos atrasos podem impactar a tomada de decisão. A avaliação ajuda a determinar se um modelo consegue processar imagens rapidamente enquanto ainda entrega previsões confiáveis.

Também desempenha um papel fundamental na identificação de gargalos de desempenho. Se um modelo executa lentamente ou usa recursos excessivos, a avaliação pode revelar se o problema decorre de limitações de hardware, configurações do modelo ou formatos de exportação. Esses insights são cruciais para selecionar a configuração mais eficaz.

Link to this sectionAvaliação de modelos comparada à avaliação de desempenho e testes#

Avaliação de modelos (benchmarking), avaliação de desempenho (evaluation) e testes (testing) são termos populares de IA usados juntos. Embora semelhantes, eles não são iguais e têm funções diferentes. O Model testing verifica o desempenho de um único modelo executando-o em um conjunto de dados de teste e medindo fatores como precisão e velocidade. Enquanto isso, a avaliação de desempenho vai um passo além ao analisar os resultados para entender os pontos fortes e fracos do modelo e como ele funciona em situações reais. Ambos focam em apenas um modelo de cada vez.

A avaliação de modelos (benchmarking), no entanto, compara vários modelos lado a lado usando os mesmos testes e conjuntos de dados. Ela ajuda a descobrir qual modelo funciona melhor para uma tarefa específica, destacando as diferenças de precisão, velocidade e eficiência entre eles. Enquanto os testes e a avaliação de desempenho focam em um único modelo, a avaliação comparativa ajuda a escolher o modelo certo (ou o melhor) comparando diferentes opções de forma justa.

Fig 2. Como a avaliação de modelos é diferente da avaliação de desempenho e dos testes. Imagem do autor.

Link to this sectionUma visão geral do Ultralytics YOLO11#

O Ultralytics YOLO11 é um modelo confiável de visão computacional projetado para realizar várias computer vision tasks com precisão. Ele aprimora versões anteriores do modelo YOLO e está repleto de recursos que podem ajudar a resolver problemas do mundo real. Por exemplo, pode ser usado para detectar objetos, classificar imagens, segmentar regiões, rastrear movimentos e muito mais. Também pode ser utilizado em aplicações em muitos setores, desde segurança até automação e análise.

Fig 3. Um exemplo de uso do YOLO11 para segmentar pessoas em uma imagem.

Um dos principais benefícios relacionados ao Ultralytics YOLO11 é a sua facilidade de uso. Com apenas algumas linhas de código, qualquer pessoa pode integrá-lo aos seus projetos de IA sem lidar com configurações complicadas ou experiência técnica avançada.

Ele também funciona perfeitamente em diferentes hardwares, executando com eficiência em CPUs (Central Processing Units), GPUs (Graphics Processing Units) e outros aceleradores de IA especializados. Seja implantado em dispositivos de borda (edge devices) ou servidores em nuvem, ele oferece um desempenho robusto.

O YOLO11 está disponível em vários tamanhos de modelo, cada um otimizado para tarefas diferentes. A avaliação ajuda a determinar qual versão melhor se adapta às tuas necessidades específicas. Por exemplo, um insight importante que a avaliação pode revelar é que modelos menores, como o nano ou o small, tendem a rodar mais rápido, mas podem sacrificar um pouco da precisão.

Link to this sectionComo avaliar modelos YOLO como o YOLO11#

Agora que entendemos o que é a avaliação e a sua importância, vamos ver como podes avaliar modelos YOLO como o YOLO11 e analisar a sua eficiência para obter insights valiosos.

Para começar, podes instalar o Ultralytics Python package executando o seguinte comando no teu terminal ou prompt de comando: “pip install ultralytics”. Se encontrares algum problema durante a instalação, confere o nosso Common Issues Guide para dicas de solução de problemas.

Uma vez que o pacote esteja instalado, podes facilmente benchmark YOLO11 com apenas algumas linhas de código Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Quando executas o código mostrado acima, ele calcula a rapidez com que o modelo processa imagens, quantos frames ele pode lidar em um segundo e com que precisão ele detecta objetos.

A menção ao “coco8.yaml” no código refere-se a um arquivo de configuração de conjunto de dados baseado no COCO8 (Common Objects in Context) — uma versão pequena e de amostra do conjunto de dados COCO completo, frequentemente usada para testes e experimentação.

Se estás a testar o YOLO11 para uma aplicação específica, como monitoramento de tráfego ou imagem médica, usar um conjunto de dados relevante (por exemplo, um conjunto de dados de tráfego ou médico) dará insights mais precisos. Avaliar com o COCO fornece uma ideia geral de desempenho, mas para obter os melhores resultados, podes escolher um conjunto de dados que reflita o teu caso de uso real.

Link to this sectionEntendendo os resultados da avaliação do YOLO11#

Uma vez que o YOLO11 tenha sido avaliado, o próximo passo é interpretar os resultados. Após executar a avaliação, verás vários números nos resultados. Essas métricas ajudam a avaliar o desempenho do YOLO11 em termos de precisão e velocidade.

Aqui estão algumas métricas de avaliação do YOLO11 importantes a serem observadas:

• mAP50-95: Mede a precisão da detecção de objetos. Um valor mais alto significa que o modelo é melhor em reconhecer objetos.
• accuracy_top5: É comumente usado para tarefas de classificação. Mostra com que frequência o rótulo correto aparece nas cinco principais previsões.
• Inference time: O tempo necessário para processar uma única imagem, medido em milissegundos. Valores mais baixos significam um processamento mais rápido.

Fig 4. Um gráfico mostrando o desempenho da avaliação do YOLO11.

Link to this sectionOutros fatores a considerar ao avaliar o YOLO11#

Olhar apenas para os resultados da avaliação conta apenas parte da história. Para obter uma melhor compreensão do desempenho, é útil comparar diferentes configurações e opções de hardware. Aqui estão alguns pontos importantes a observar:

• GPU vs. CPU: GPUs podem processar imagens muito mais rápido que CPUs. A avaliação ajuda a ver se uma CPU é rápida o suficiente para as tuas necessidades ou se te beneficiarás do uso de uma GPU.
• Configurações de precisão (FP32, FP16, INT8): Estas controlam como o modelo lida com números. Menor precisão (como FP16 ou INT8) faz o modelo rodar mais rápido e usar menos memória, mas pode reduzir levemente a precisão.
• Export formats: Converter o modelo para um formato como TensorRT pode fazê-lo rodar muito mais rápido em determinados hardwares. Isso é útil se estiveres otimizando para velocidade em dispositivos específicos.

Link to this sectionComo avaliar o YOLO11 em diferentes hardwares#

O pacote Ultralytics Python permite converter modelos YOLO11 em diferentes formatos que rodam com mais eficiência em hardwares específicos, melhorando tanto a velocidade quanto o uso de memória. Cada formato de exportação é otimizado para dispositivos diferentes.

Por um lado, o ONNX format pode acelerar o desempenho em vários ambientes. Por outro lado, o OpenVINO melhora a eficiência no hardware Intel, e formatos como CoreML ou TF SavedModel são ideais para dispositivos Apple e aplicações móveis.

Vamos dar uma olhada em como podes avaliar o YOLO11 em um formato específico. O código abaixo avalia o YOLO11 no formato ONNX, que é amplamente utilizado para executar modelos de IA tanto em CPUs quanto em GPUs.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Além dos resultados da avaliação, a escolha do formato certo depende das especificações do teu sistema e das necessidades de implantação. Por exemplo, self-driving cars precisam de detecção de objetos rápida. Se planejas usar GPUs NVIDIA para acelerar o desempenho, o formato TensorRT é a escolha ideal para rodar o YOLO11 em uma GPU NVIDIA.

Fig 5. Usando o YOLO11 para detecção de objetos em carros autônomos.

Link to this sectionPrincipais pontos#

O pacote Ultralytics Python torna a avaliação do YOLO11 fácil ao fornecer comandos simples que podem realizar testes de desempenho para ti. Com apenas alguns passos, podes ver como diferentes configurações afetam a velocidade e a precisão dos modelos, ajudando-te a fazer escolhas informadas sem precisar de profunda experiência técnica.

O hardware e as configurações corretas também podem fazer uma grande diferença. Ajustar parâmetros como o tamanho do modelo e o conjunto de dados permite que ajustes o YOLO11 para o melhor desempenho, estejas a rodar em uma GPU de alto nível ou localmente em um dispositivo de borda.

Conecta-te com nossa comunidade e explora projetos de IA de ponta em nosso repositório GitHub. Aprende sobre o impacto da AI in agriculture e o papel da computer vision in manufacturing através das nossas páginas de soluções. Explora nossos planos de licenciamento e começa a tua jornada em IA agora!