Como fazer o benchmark de modelos Ultralytics YOLO, como o YOLO11

Com o número crescente de modelos de IA disponíveis atualmente, selecionar o mais adequado para a sua aplicação de IA específica é essencial para obter resultados precisos e fiáveis. Cada modelo varia em velocidade, precisão e desempenho geral. Então, como podemos determinar qual é o melhor modelo para uma determinada tarefa? Isto é especialmente importante para sistemas em tempo real, como veículos autónomos, soluções de segurança e robótica, onde uma tomada de decisão rápida e fiável é essencial.

A comparação de desempenho ajuda a responder a esta questão ao avaliar um modelo em diferentes condições. Fornece informações sobre o desempenho do modelo em várias configurações de hardware, permitindo tomar decisões mais fundamentadas.

Por exemplo, o Ultralytics YOLO11 é um modelo de visão computacional que suporta várias tarefas de análise de dados visuais, como deteção de objetos e segmentação de instâncias. Para compreender totalmente as suas capacidades, podes comparar o seu desempenho em diferentes configurações e verificar como lidará com cenários do mundo real.

Neste artigo, vamos explorar como comparar modelos Ultralytics YOLO como o YOLO11, comparar o seu desempenho em vários hardwares e verificar como diferentes formatos de exportação afetam a sua velocidade e eficiência. Vamos começar!

O que é a comparação de desempenho de modelos?#

Quando se trata de utilizar um modelo de IA de visão numa aplicação do mundo real, como podes saber se será suficientemente rápido, preciso e fiável? A comparação de desempenho do modelo pode fornecer informações para responder a esta questão. A comparação de desempenho de modelos é o processo de testar e comparar diferentes modelos de IA para verificar qual tem o melhor desempenho.

Isto envolve estabelecer uma referência para comparação, escolher as métricas de desempenho adequadas, como precisão ou velocidade, e testar todos os modelos nas mesmas condições. Os resultados ajudam a identificar os pontos fortes e fracos de cada modelo, facilitando a decisão sobre qual é o mais adequado para a tua solução de IA específica. Em particular, é frequentemente utilizado um conjunto de dados de referência para permitir comparações justas e avaliar o desempenho de um modelo em diferentes cenários do mundo real.

Fig. 1. Por que comparar modelos de visão computacional? Imagem do autor.

Um exemplo claro da importância da comparação de desempenho encontra-se em aplicações em tempo real, como vigilância ou robótica, onde até pequenos atrasos podem afetar a tomada de decisões. A comparação ajuda a avaliar se um modelo consegue processar imagens rapidamente e, ao mesmo tempo, fornecer previsões fiáveis.

Também desempenha um papel fundamental na identificação de gargalos de desempenho. Se um modelo funcionar lentamente ou utilizar recursos excessivos, a comparação pode revelar se o problema resulta de limitações de hardware, configurações do modelo ou formatos de exportação. Estas informações são essenciais para selecionar a configuração mais eficaz.

Comparação de desempenho de modelos versus avaliação e teste de modelos#

Comparação de desempenho, avaliação e teste de modelos são termos populares de IA utilizados em conjunto. Embora sejam semelhantes, não são a mesma coisa e têm funções diferentes. O teste do modelo verifica o desempenho de um único modelo, executando-o num conjunto de dados de teste e medindo fatores como precisão e velocidade. Entretanto, a avaliação do modelo vai um passo além, analisando os resultados para compreender os pontos fortes e fracos do modelo e o seu desempenho em situações do mundo real. Ambos se concentram num único modelo de cada vez.

A comparação de desempenho de modelos, no entanto, compara vários modelos lado a lado, utilizando os mesmos testes e conjuntos de dados. Ajuda a descobrir qual modelo funciona melhor para uma tarefa específica, destacando as diferenças de precisão, velocidade e eficiência entre eles. Enquanto o teste e a avaliação se concentram num único modelo, a comparação ajuda a escolher o modelo certo (ou o melhor) ao comparar diferentes opções de forma justa.

Fig. 2. Como a comparação de desempenho de modelos difere da avaliação e do teste. Imagem do autor.

Uma visão geral do Ultralytics YOLO11#

O Ultralytics YOLO11 é um modelo de IA de visão fiável, concebido para executar com precisão várias tarefas de visão computacional. Melhora as versões anteriores dos modelos YOLO e inclui funcionalidades que podem ajudar a resolver problemas do mundo real. Por exemplo, pode ser utilizado para detetar objetos, classificar imagens, segmentar regiões, acompanhar movimentos e muito mais. Também pode ser utilizado em aplicações de muitos setores, desde segurança a automação e análise.

Fig. 3. Um exemplo da utilização do Ultralytics YOLO11 para segmentar pessoas numa imagem.

Um dos principais benefícios do Ultralytics YOLO11 é a sua facilidade de utilização. Com apenas algumas linhas de código, qualquer pessoa pode integrá-lo nos seus projetos de IA sem lidar com configurações complicadas ou conhecimentos técnicos avançados.

Também funciona de forma fluida em diferentes hardwares, executando-se com eficiência em CPUs, GPUs e outros aceleradores de IA especializados. Quer seja implementado em dispositivos de edge ou em servidores na nuvem, oferece um desempenho sólido.

O Ultralytics YOLO11 está disponível em vários tamanhos de modelo, cada um otimizado para tarefas diferentes. A comparação de desempenho ajuda a determinar qual versão se adapta melhor às tuas necessidades específicas. Por exemplo, uma informação importante que a comparação pode revelar é que modelos mais pequenos, como os modelos nano ou small, tendem a ser mais rápidos, mas podem sacrificar alguma precisão.

Como comparar modelos YOLO como o Ultralytics YOLO11#

Agora que compreendemos o que é a comparação de desempenho e a sua importância, vamos explicar como podes comparar modelos YOLO como o Ultralytics YOLO11 e avaliar a sua eficiência para obter informações valiosas.

Para começar, podes instalar o pacote Python da Ultralytics executando o seguinte comando no teu terminal ou prompt de comandos: “pip install ultralytics”. Se encontrares algum problema durante a instalação, consulta o nosso Guia de problemas comuns para obter dicas de resolução de problemas.

Depois de instalares o pacote, podes comparar o desempenho do Ultralytics YOLO11 facilmente com apenas algumas linhas de código Python:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Quando executas o código apresentado acima, ele calcula a rapidez com que o modelo processa imagens, quantos frames consegue processar num segundo e com que precisão deteta objetos.

A menção a “coco8.yaml” no código refere-se a um ficheiro de configuração de conjunto de dados baseado no conjunto de dados COCO8 — uma versão pequena e de exemplo do conjunto de dados COCO completo, frequentemente utilizada para testes e experiências.

Se estiveres a testar o Ultralytics YOLO11 para uma aplicação específica, como monitorização de tráfego ou imagiologia médica, utilizar um conjunto de dados relevante, por exemplo, um conjunto de dados de tráfego ou médico, fornecerá informações mais precisas. Comparar o desempenho com COCO fornece uma ideia geral do desempenho, mas, para obter os melhores resultados, podes escolher um conjunto de dados que reflita o teu caso de utilização real.

Compreender os resultados da comparação de desempenho do Ultralytics YOLO11#

Depois de comparar o desempenho do Ultralytics YOLO11, o passo seguinte é interpretar os resultados. Após executares a comparação, verás vários números nos resultados. Estas métricas ajudam a avaliar o desempenho do YOLO11 em termos de precisão e velocidade.

Eis algumas métricas importantes da comparação de desempenho do Ultralytics YOLO11 a que deves estar atento:

• mAP50-95: Mede a precisão da deteção de objetos. Um valor mais elevado significa que o modelo reconhece melhor os objetos.
• accuracy_top5: É habitualmente utilizada para tarefas de classificação. Mostra a frequência com que o rótulo correto aparece entre as cinco principais previsões.
• Tempo de inferência: O tempo necessário para processar uma única imagem, medido em milissegundos. Valores mais baixos significam um processamento mais rápido.

Fig. 4. Um gráfico que mostra o desempenho de referência do YOLO11.

Outros fatores a considerar ao comparar o desempenho do Ultralytics YOLO11#

Analisar apenas os resultados da comparação mostra apenas parte da realidade. Para compreender melhor o desempenho, é útil comparar diferentes definições e opções de hardware. Eis alguns aspetos importantes a analisar:

• GPU vs. CPU: As GPUs conseguem processar imagens muito mais rapidamente do que as CPUs. A comparação de desempenho ajuda-te a perceber se uma CPU é suficientemente rápida para as tuas necessidades ou se beneficiarás da utilização de uma GPU.
• Definições de precisão (FP32, FP16, INT8): Controlam a forma como o modelo processa os números. Uma precisão inferior, como FP16 ou INT8, faz com que o modelo seja executado mais rapidamente e utilize menos memória, mas pode reduzir ligeiramente a precisão.
• Formatos de exportação: Converter o modelo para um formato como TensorRT pode fazê-lo funcionar muito mais rapidamente em determinados hardwares. Isto é útil quando estás a otimizar a velocidade em dispositivos específicos.

Como comparar o desempenho do Ultralytics YOLO11 em diferentes hardwares#

O pacote Python da Ultralytics permite converter modelos YOLO11 para diferentes formatos que funcionam de forma mais eficiente em hardwares específicos, melhorando tanto a velocidade como a utilização de memória. Cada formato de exportação é otimizado para dispositivos diferentes.

Por um lado, o formato ONNX pode acelerar o desempenho em vários ambientes. Por outro lado, o OpenVINO melhora a eficiência em hardware Intel, e formatos como CoreML ou TF SavedModel são ideais para dispositivos Apple e aplicações móveis.

Vejamos como podes comparar o desempenho do Ultralytics YOLO11 num formato específico. O código abaixo compara o desempenho do YOLO11 no formato ONNX, amplamente utilizado para executar modelos de IA em CPUs e GPUs.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Além dos resultados da comparação, a escolha do formato certo depende das especificações do teu sistema e das necessidades de implementação. Por exemplo, carros autónomos precisam de deteção rápida de objetos. Se planeias utilizar GPUs NVIDIA para acelerar o desempenho, o formato TensorRT é a escolha ideal para executar o Ultralytics YOLO11 numa GPU NVIDIA.

Fig. 5. Utilização do YOLO11 para deteção de objetos em carros autónomos.

Principais conclusões#

O pacote Python da Ultralytics facilita a comparação do desempenho do YOLO11, fornecendo comandos simples que podem executar os testes de desempenho por ti. Com apenas alguns passos, podes ver como diferentes configurações afetam a velocidade e a precisão dos modelos, ajudando-te a tomar decisões fundamentadas sem precisares de conhecimentos técnicos aprofundados.

O hardware e as definições corretos também podem fazer uma grande diferença. Ajustar parâmetros como o tamanho do modelo e o conjunto de dados permite otimizar o Ultralytics YOLO11 para obter o melhor desempenho, quer o estejas a executar numa GPU topo de gama, quer localmente num dispositivo de edge.

Liga-te à nossa comunidade e explora projetos de IA de ponta no nosso repositório do GitHub. Aprende sobre o impacto da IA na agricultura e o papel da visão computacional na indústria através das nossas páginas de soluções. Explora os nossos planos de licenciamento e começa já a tua jornada de IA!