Otimizando modelos Ultralytics YOLO com a integração TensorRT

Imagina um carro autónomo a circular numa rua movimentada com apenas alguns milissegundos para detetar um peão a sair do passeio. Ao mesmo tempo, pode precisar de reconhecer um sinal de stop parcialmente escondido por uma árvore ou reagir rapidamente a um veículo próximo que se desvia para a sua faixa. Em situações como estas, a velocidade e as respostas em tempo real são cruciais.

É aqui que a inteligência artificial (IA), especificamente a computer vision, um ramo da IA que ajuda as máquinas a interpretar dados visuais, desempenha um papel fundamental. Para que as soluções de visão computacional funcionem de forma fiável em ambientes do mundo real, muitas vezes precisam de processar informações rapidamente, lidar com várias tarefas ao mesmo tempo e usar a memória de forma eficiente.

Uma forma de conseguir isto é através da aceleração de hardware, usando dispositivos especializados como graphics processing units (GPUs) para executar modelos mais rapidamente. As GPUs da NVIDIA são especialmente conhecidas por tais tarefas, graças à sua capacidade de fornecer baixa latência e alto rendimento.

No entanto, executar um modelo numa GPU tal como ele é nem sempre garante o desempenho ideal. Os modelos de visão por IA requerem normalmente otimização para aproveitar totalmente as capacidades dos dispositivos de hardware. Para obter o desempenho máximo com um hardware específico, precisamos de compilar o modelo para utilizar o conjunto específico de instruções do hardware.

Por exemplo, o TensorRT é um formato de exportação e uma biblioteca de otimização desenvolvida pela NVIDIA para melhorar o desempenho em máquinas de gama alta. Utiliza técnicas avançadas para reduzir significativamente o tempo de inferência, mantendo a precisão.

Fig 1. O NVIDIA TensorRT permite que os modelos sejam executados de forma ideal em vários dispositivos NVIDIA.

Neste artigo, vamos explorar a TensorRT integration suportada pelo Ultralytics e ver como podes exportar o teu modelo YOLO11 para uma implementação mais rápida e eficiente em hardware NVIDIA. Vamos começar!

Uma visão geral do TensorRT#

O TensorRT é um kit de ferramentas desenvolvido pela NVIDIA para ajudar os modelos de IA a funcionarem mais rapidamente e de forma mais eficiente em GPUs NVIDIA. Foi concebido para aplicações do mundo real onde a velocidade e o desempenho são realmente importantes, como carros autónomos e controlo de qualidade na indústria transformadora e farmacêutica.

O TensorRT inclui ferramentas como compiladores e otimizadores de modelos que podem trabalhar nos bastidores para garantir que os teus modelos funcionam com baixa latência e conseguem lidar com um débito mais elevado.

A integração com o TensorRT suportada pelo Ultralytics funciona otimizando o teu modelo YOLO para ser executado de forma mais eficiente em GPUs utilizando métodos como a redução da precision. Isto refere-se à utilização de formatos de bits inferiores, tais como vírgula flutuante de 16 bits (FP16) ou inteiro de 8 bits (INT8), para representar os dados do modelo, o que reduz a utilização de memória e acelera o cálculo com um impacto mínimo na precisão.

Além disso, as camadas de rede neuronal compatíveis são fundidas em modelos TensorRT otimizados para reduzir a utilização de memória, resultando numa inferência mais rápida e eficiente.

Fig 2. Uma vista sobre a técnica de fusão de camadas do TensorRT.

Principais características do formato de exportação TensorRT#

Antes de discutirmos como podes exportar o Ultralytics YOLO11 utilizando a integração com o TensorRT, vamos dar uma vista de olhos a algumas funcionalidades principais do formato de modelo TensorRT:

• Integração fácil de frameworks: O TensorRT suporta a integração direta com frameworks de IA populares como PyTorch, Hugging Face e ONNX, oferecendo até 6x mais desempenho. Também suporta MATLAB, permitindo o desenvolvimento de motores de IA de alta velocidade em plataformas como Jetson, NVIDIA DRIVE e centros de dados.

• Implementação escalável com Triton: Os modelos otimizados no formato TensorRT podem ser implementados em escala usando o NVIDIA Triton Inference Server, que melhora a eficiência através de funcionalidades como agrupamento de entradas (batching), execução concorrente de modelos, suporte a ensembles de modelos e transmissão de áudio/vídeo em tempo real.

• Flexível entre dispositivos: Desde pequenos dispositivos de edge até servidores potentes, o TensorRT funciona em todo o ecossistema NVIDIA, suportando ferramentas como DeepStream para vídeo, Riva para IA de voz, e outras para cibersegurança, recomendações e muito mais.

Como funciona a integração TensorRT?#

Exportar Ultralytics YOLO models, como o YOLO11, para o formato de modelo TensorRT é fácil. Vamos ver os passos envolvidos.

Para começar, podes instalar o Ultralytics Python package usando um gestor de pacotes como o ‘pip’. Podes fazê-lo executando o comando “pip install ultralytics” na tua linha de comandos ou terminal.

Após instalar com sucesso o pacote Python do Ultralytics, podes treinar, testar, afinar, exportar e implementar modelos para várias tarefas de visão computacional, como deteção de objetos, classificação e segmentação de instâncias. Ao instalar o pacote, se encontrares alguma dificuldade, podes consultar o Common Issues guide para obter soluções e dicas.

Para o próximo passo, precisarás de um dispositivo NVIDIA. Usa o excerto de código abaixo para carregar e exportar o YOLO11 para o formato de modelo TensorRT. Ele carrega uma variante nano pré-treinada do modelo YOLO11 (yolo11n.pt) e exporta-a como um ficheiro de motor TensorRT (yolo11n.engine), tornando-o pronto para implementação em dispositivos NVIDIA.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="engine")

Após converter o teu modelo para o formato TensorRT, podes implementá-lo para várias aplicações.

O exemplo abaixo mostra como carregar o modelo YOLO11 exportado (yolo11n.engine) e executar uma inferência usando-o. A inferência envolve usar o modelo treinado para fazer previsões em novos dados. Neste caso, usaremos uma imagem de entrada de um cachorro para testar o modelo.

tensorrt_model = YOLO("yolo11n.engine")
results = tensorrt_model("https://images.pexels.com/photos/1254140/pexels-photo-1254140.jpeg?auto=compress&cs=tinysrgb&w=1260&h=750&dpr=2.jpg", save=True)

Quando executares este código, a seguinte imagem de saída será guardada na pasta runs/detect/predict.

Fig 3. O resultado da execução de uma inferência utilizando o modelo Ultralytics YOLO11 exportado no formato TensorRT.

Quando aproveitar a integração TensorRT#

O pacote Python do Ultralytics suporta várias integrações que permitem exporting modelos YOLO para diferentes formatos como TorchScript, CoreML, ONNX e TensorRT. Portanto, quando deves optar por utilizar a integração com o TensorRT?

Aqui estão alguns fatores que distinguem o formato de modelo TensorRT de outras opções de integration de exportação:

• Tamanho de modelo mais pequeno: Exportar um modelo YOLO para o formato TensorRT com precisão INT8 pode reduzir significativamente o tamanho do modelo. A quantização de FP32 para INT8 pode levar a uma redução de 4x no tamanho do modelo, o que permite tempos de transferência mais rápidos, requisitos de armazenamento mais baixos e uma pegada de memória reduzida durante a implementação.

• Menor consumo de energia: A quantização INT8 não só reduz o tamanho do modelo, como também diminui o consumo de energia. As operações de precisão reduzida para modelos YOLO exportados em INT8 podem consumir menos energia em comparação com modelos FP32, o que é especialmente benéfico para dispositivos alimentados por bateria, como drones, smartphones ou dispositivos de edge.

• Desempenho mais rápido: Combinar a arquitetura eficiente do YOLO com a otimização INT8 do TensorRT pode melhorar as velocidades de inferência.

Aplicações do Ultralytics YOLO11 e do formato de modelo TensorRT#

Os modelos Ultralytics YOLO exportados para o formato TensorRT podem ser implementados numa vasta gama de cenários do mundo real. Estes modelos otimizados são especialmente úteis onde o desempenho rápido e eficiente da IA é fundamental. Vamos explorar alguns exemplos interessantes de como podem ser utilizados.

Caixas de pagamento inteligentes em lojas de retalho#

Uma vasta gama de tarefas em lojas de retalho, como digitalizar códigos de barras, pesar produtos ou embalar artigos, ainda é tratada manualmente pelos funcionários. No entanto, depender apenas dos funcionários pode atrasar as operações e levar à frustração dos clientes, especialmente no momento do pagamento. As filas longas são inconvenientes tanto para os compradores como para os proprietários das lojas. As caixas de self-checkout inteligentes são uma excelente solução para este problema.

Estes contadores utilizam visão computacional e GPUs para acelerar o processo, ajudando a reduzir os tempos de espera. A visão computacional permite que estes sistemas vejam e compreendam o seu ambiente através de tarefas como a deteção de objetos. Modelos avançados como o Ultralytics YOLO11, quando otimizados com ferramentas como o TensorRT, podem ser executados muito mais rapidamente em dispositivos GPU.

Estes modelos exportados são ideais para configurações de retalho inteligente que utilizam dispositivos de hardware compactos mas potentes, como o NVIDIA Jetson Nano, concebido especificamente para aplicações de IA na edge.

Fig 4. Um exemplo de uma caixa de pagamento inteligente.

Deteção automatizada de defeitos na indústria transformadora#

Um modelo de visão computacional como o Ultralytics YOLO11 pode ser treinado de forma personalizada para detetar produtos defeituosos na indústria manufatureira. Uma vez treinado, o modelo pode ser exportado para o formato TensorRT para implementação em instalações equipadas com sistemas de IA de alto desempenho.

À medida que os produtos avançam pelas esteiras transportadoras, as câmeras capturam imagens e o modelo Ultralytics YOLO11, executado no formato TensorRT, as analisa em tempo real para detectar defeitos. Esta configuração permite que as empresas detectem problemas de forma rápida e precisa, reduzindo erros e melhorando a eficiência.

Da mesma forma, indústrias como a farmacêutica estão a usar este tipo de sistemas para identificar defeitos em embalagens médicas. De facto, o mercado global para defect detection systems inteligentes deverá crescer para 5 mil milhões de dólares até 2026.

Fig 5. A usar o YOLO para detetar defeitos na indústria farmacêutica.

Considerações a ter em conta ao utilizar o TensorRT#

Embora a integração TensorRT traga muitas vantagens, como velocidades de inferência mais rápidas e latência reduzida, aqui estão algumas limitações a ter em conta:

• Ligeira queda na precisão: Quando exportas o teu modelo no formato TensorRT, o modelo exportado pode não ser tão preciso quanto o original. As performance metrics, como precisão, revocação (recall) e quão bem o modelo deteta objetos (pontuações mAP), podem cair ligeiramente. Isto pode ser mitigado usando um conjunto de dados representativo durante a quantização.

• Aumento da complexidade da depuração: As otimizações feitas pelo TensorRT podem tornar mais complicado rastrear erros ou compreender comportamentos inesperados, especialmente ao comparar resultados com o modelo original.

• Sensibilidade ao tamanho do lote: Os ganhos de desempenho do TensorRT são mais pronunciados com tamanhos de lote maiores. Para aplicações que processam imagens únicas ou pequenos lotes, as melhorias de desempenho podem ser menos significativas.

Principais pontos#

Exportar modelos Ultralytics YOLO para o formato TensorRT faz com que funcionem de forma significativamente mais rápida e eficiente, tornando-os ideais para tarefas em tempo real, como detetar defeitos em fábricas, alimentar sistemas de pagamento inteligentes ou monitorizar áreas urbanas movimentadas.

Esta otimização ajuda os modelos a terem um melhor desempenho em GPUs NVIDIA ao acelerar as previsões e reduzir a utilização de memória e energia. Embora existam algumas limitações, o aumento de desempenho torna a integração TensorRT uma excelente escolha para qualquer pessoa que construa sistemas de visão computacional de alta velocidade em hardware NVIDIA.

Queres saber mais sobre IA? Explora o nosso GitHub repository, conecta-te com our community e consulta our licensing options para impulsionar o teu projeto de visão computacional. Descobre mais sobre inovações como AI in manufacturing e computer vision in the logistics na nossa página de soluções.