Implementa facilmente o Ultralytics YOLO11 com OpenVINO™

A adoção de AI depende de as soluções de AI serem acessíveis, e uma grande parte disso consiste em facilitar a sua implementação no hardware que as pessoas já têm. Executar modelos de AI em GPUs (unidades de processamento gráfico) é uma excelente opção em termos de desempenho e capacidade de processamento paralelo.

No entanto, a realidade é que nem todas as pessoas têm acesso a GPUs de alto desempenho, especialmente em ambientes edge ou em portáteis comuns. É por isso que é tão importante otimizar os modelos para funcionarem de forma eficiente em hardware mais amplamente disponível, como CPUs (unidades de processamento central), GPUs integradas e NPUs (unidades de processamento neural).

A visão computacional, por exemplo, é um ramo da AI que permite às máquinas analisar e compreender imagens e fluxos de vídeo em tempo real. Os modelos de AI para visão, como o Ultralytics YOLO11, suportam tarefas essenciais, como deteção de objetos e segmentação de instâncias, que alimentam aplicações desde a análise do retalho até ao diagnóstico médico.

Fig. 1 Utilização do Ultralytics YOLO11 para detetar e segmentar objetos numa loja de retalho.

Para tornar a visão computacional mais acessível, a Ultralytics lançou uma integração atualizada com o toolkit OpenVINO, que é um projeto de código aberto para otimizar e executar inferência de AI em CPUs, GPUs e NPUs.

Com esta integração, é mais fácil exportar e implementar modelos YOLO11, com inferência até 3× mais rápida em CPUs e desempenho acelerado em GPUs e NPUs Intel. Neste artigo, vamos explicar como utilizar o pacote Python da Ultralytics para exportar modelos YOLO11 para o formato OpenVINO e utilizá-lo para inferência. Vamos começar!

Uma visão geral do Ultralytics YOLO11#

Antes de analisarmos os detalhes da integração OpenVINO suportada pela Ultralytics, vamos observar mais atentamente o que torna o YOLO11 um modelo de visão computacional fiável e impactante. O YOLO11 é o modelo mais recente da série YOLO da Ultralytics, oferecendo melhorias significativas tanto na velocidade como na precisão.

Um dos seus principais destaques é a eficiência. Por exemplo, o Ultralytics YOLO11m tem menos 22% de parâmetros do que o Ultralytics YOLOv8m, mas alcança uma precisão média média (mAP) superior no conjunto de dados COCO. Isto significa que é executado mais rapidamente e também deteta objetos com maior precisão, sendo ideal para aplicações em tempo real nas quais o desempenho e a capacidade de resposta são críticos.

Fig. 2 Benchmarks de desempenho do Ultralytics YOLO11.

Para além da deteção de objetos, o YOLO11 suporta várias tarefas de visão computacional avançadas, como segmentação de instâncias, estimativa de pose, classificação de imagens, rastreamento de objetos e deteção de caixas delimitadoras orientadas. O YOLO11 também é fácil de utilizar por programadores, com o pacote Python da Ultralytics a fornecer uma interface simples e consistente para treinar, avaliar e implementar modelos.

Além disso, o pacote Python da Ultralytics suporta várias integrações e vários formatos de exportação, incluindo OpenVINO, ONNX e TorchScript, permitindo integrar facilmente o YOLO11 em diferentes pipelines de implementação. Quer o objetivo sejam infraestruturas de cloud, dispositivos edge ou sistemas incorporados, o processo de exportação é simples e adaptável às necessidades do teu hardware.

O que é o OpenVINO™?#

O OpenVINO™ (inferência visual aberta e otimização de redes neurais) é um toolkit de código aberto para otimizar e implementar inferência de AI numa vasta gama de hardware. Permite aos programadores executar aplicações de inferência de alto desempenho de forma eficiente em várias plataformas Intel, incluindo CPUs, GPUs integradas e discretas, NPUs e matrizes de portas programáveis em campo (FPGAs).

O OpenVINO fornece uma interface de runtime unificada que abstrai as diferenças de hardware através de plugins específicos para cada dispositivo. Isto significa que os programadores podem escrever o código uma vez e implementá-lo em vários destinos de hardware Intel utilizando uma API consistente.

Eis algumas das principais funcionalidades que fazem do OpenVINO uma excelente escolha para implementação:

• Conversor de modelos: esta ferramenta converte e prepara modelos de frameworks populares, como PyTorch, ONNX, TensorFlow, PaddlePaddle e outros, para que possam ser otimizados para uma inferência eficiente em hardware Intel.
• Execução heterogénea: não precisas de reescrever o código para diferentes hardwares Intel. O OpenVINO facilita a execução do mesmo modelo em qualquer hardware suportado, desde CPUs a GPUs.
• Suporte para quantização: o toolkit suporta formatos de precisão reduzida, como FP16 (predefinido) e INT8, que ajudam a reduzir o tamanho do modelo e a acelerar a inferência sem afetar significativamente a precisão.

Fig. 3 O OpenVINO permite diversas opções de implementação.

Explorar a integração Ultralytics x OpenVINO#

Agora que analisámos o que é o OpenVINO e a sua importância, vamos abordar como exportar modelos Ultralytics YOLO11 para o formato OpenVINO e executar inferência eficiente em hardware Intel.

Passo 1: Instalar o pacote Python da Ultralytics#

Para exportar um modelo para o formato OpenVINO, primeiro precisas de instalar o pacote Python da Ultralytics. Este pacote fornece tudo o que precisas para treinar, avaliar e exportar modelos YOLO, incluindo o YOLO11.

Podes instalá-lo executando o comando "pip install ultralytics" no teu terminal ou linha de comandos. Se estiveres a trabalhar num ambiente interativo, como o Jupyter Notebook ou o Google Colab, basta adicionar um ponto de exclamação antes do comando.

Além disso, se encontrares problemas durante a instalação ou a exportação, a documentação da Ultralytics e os guias de resolução de problemas são excelentes recursos para te ajudarem a retomar o trabalho.

Passo 2: Exportar o teu modelo Ultralytics YOLO11 para o formato OpenVINO#

Depois de configurares o pacote Ultralytics, o passo seguinte é carregar o teu modelo YOLO11 e convertê-lo para um formato compatível com o OpenVINO.

No exemplo abaixo, estamos a utilizar um modelo YOLO11 pré-treinado (“yolo11n.pt”). A funcionalidade de exportação é utilizada para o converter para o formato OpenVINO. Depois de executares este código, o modelo convertido será guardado num novo diretório chamado “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Passo 3: Executar inferência com o modelo exportado#

Depois de exportares o teu modelo YOLO11 para o formato OpenVINO, podes executar inferências de duas formas: utilizando o pacote Python da Ultralytics ou o OpenVINO Runtime nativo.

Utilizar o pacote Python da Ultralytics#

O modelo YOLO11 exportado pode ser facilmente implementado utilizando o pacote Python da Ultralytics, conforme mostrado no excerto de código abaixo. Este método é ideal para experimentação rápida e implementação simplificada em hardware Intel.

Também podes especificar o dispositivo a utilizar para a inferência, como "intel:cpu", "intel:gpu" ou "intel:npu", dependendo do hardware Intel disponível no teu sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Depois de executares o código acima, a imagem de saída será guardada no diretório "runs/detect/predict".

Fig. 4. Utilização do modelo Ultralytics YOLO11 exportado para detetar objetos numa imagem.

Utilizar o OpenVINO Runtime nativo#

Se procuras uma forma personalizável de executar inferência, especialmente em ambientes de produção, o OpenVINO Runtime oferece-te mais controlo sobre a execução do modelo. Suporta funcionalidades avançadas, como execução assíncrona (execução paralela de vários pedidos de inferência) e balanceamento de carga (distribuição eficiente das cargas de trabalho de inferência pelo hardware Intel).

Para utilizares o runtime nativo, precisas dos ficheiros do modelo exportado: um ficheiro .xml (que define a arquitetura da rede) e um ficheiro .bin (que armazena os pesos treinados do modelo). Também podes configurar parâmetros adicionais, como as dimensões de entrada ou as etapas de pré-processamento, dependendo da tua aplicação.

Um fluxo de implementação típico inclui inicializar o núcleo do OpenVINO, carregar e compilar o modelo para um dispositivo de destino, preparar a entrada e executar a inferência. Para obteres exemplos detalhados e orientações passo a passo, consulta a documentação oficial da Ultralytics sobre OpenVINO.

Porquê escolher a integração Ultralytics x OpenVINO?#

Ao explorares as integrações da Ultralytics, vais reparar que o pacote Python da Ultralytics suporta a exportação de modelos YOLO11 para vários formatos, como TorchScript, CoreML, TensorRT e ONNX. Então, porquê escolher a integração OpenVINO?

Eis algumas razões pelas quais o formato de exportação OpenVINO é uma excelente opção para implementar modelos em hardware Intel:

• Ganhos de desempenho: podes obter uma inferência até 3× mais rápida em CPUs Intel, com aceleração adicional disponível em GPUs integradas e NPUs.
• Não é necessário retreinar: podes exportar diretamente os teus modelos Ultralytics YOLO11 existentes para o formato OpenVINO sem os modificares ou retreinares.
• Preparado para escalar: o mesmo modelo exportado pode ser implementado em dispositivos edge de baixo consumo e em infraestruturas de cloud de grande escala, simplificando a implementação de AI escalável.

Também podes avaliar os benchmarks de desempenho do modelo Ultralytics YOLO11 numa variedade de plataformas Intel® no OpenVINO™ Model Hub. O OpenVINO Model Hub é um recurso para os programadores avaliarem modelos de AI em hardware Intel e descobrirem a vantagem de desempenho do OpenVINO em CPUs Intel, GPUs integradas, NPUs e gráficos discretos.

Fig. 5. OpenVINO™ Model Hub: benchmarks de desempenho do modelo Ultralytics YOLO11 numa variedade de plataformas Intel®.

Aplicações do Ultralytics YOLO11 e do formato de exportação OpenVINO#

Com a ajuda da integração OpenVINO, torna-se muito mais simples implementar modelos Ultralytics YOLO11 em hardware Intel em situações do mundo real.

Um excelente exemplo é o retalho inteligente, onde o Ultralytics YOLO11 pode ajudar a detetar prateleiras vazias em tempo real, acompanhar os produtos que estão a ficar com pouco stock e analisar a forma como os clientes se deslocam pela loja. Isto permite aos retalhistas melhorar a gestão do inventário e otimizar a disposição das lojas para aumentar o envolvimento dos clientes.

De forma semelhante, nas cidades inteligentes, o YOLO11 pode ser utilizado para monitorizar o trânsito, contando veículos, acompanhando peões e detetando infrações de semáforo vermelho em tempo real. Estes dados podem contribuir para otimizar o fluxo de trânsito, melhorar a segurança rodoviária e apoiar sistemas automatizados de fiscalização.

Fig. 6 Contagem de veículos utilizando o YOLO11.

Outro caso de utilização interessante é a inspeção industrial, onde o Ultralytics YOLO11 pode ser implementado em linhas de produção para detetar automaticamente defeitos visuais, como componentes em falta, desalinhamentos ou danos superficiais. Isto aumenta a eficiência, reduz os custos e contribui para uma melhor qualidade dos produtos.

Principais fatores a considerar ao utilizar o toolkit OpenVINO#

Ao implementares modelos Ultralytics YOLO11 com OpenVINO, eis alguns aspetos importantes a ter em conta para obteres os melhores resultados:

• Verifica a compatibilidade do hardware: certifica-te de que o teu hardware Intel, seja uma CPU, uma GPU integrada ou uma NPU, é suportado pelo OpenVINO para que o modelo possa ser executado de forma eficiente.
• Instala os controladores corretos: se estiveres a utilizar GPUs ou NPUs Intel, confirma que todos os controladores necessários estão corretamente instalados e atualizados.
• Compreende os compromissos de precisão: o OpenVINO suporta precisões de modelo FP32, FP16 e INT8. Cada uma implica um compromisso entre velocidade e precisão, pelo que é importante escolher a opção adequada com base nos teus objetivos de desempenho e no hardware disponível.

Principais conclusões#

Exportar o Ultralytics YOLO11 para o formato OpenVINO facilita a execução de modelos de AI para visão rápidos e eficientes em hardware Intel. Podes implementá-los em CPUs, GPUs e NPUs sem precisares de os retreinar ou alterar o código. É uma excelente forma de aumentar o desempenho, mantendo tudo simples e escalável.

Com suporte integrado no pacote Python da Ultralytics, exportar e executar inferência com OpenVINO é simples. Em apenas alguns passos, podes otimizar o teu modelo e executá-lo numa variedade de plataformas Intel. Quer estejas a trabalhar em retalho inteligente, monitorização de trânsito ou inspeção industrial, este fluxo de trabalho ajuda-te a passar do desenvolvimento à implementação com rapidez e confiança.

Junta-te à comunidade YOLO e consulta o repositório GitHub da Ultralytics para saberes mais sobre as integrações relevantes suportadas pela Ultralytics. Consulta também as opções de licenciamento da Ultralytics para começares hoje mesmo a trabalhar com visão computacional!

Inscreve-te no nosso próximo webinar para veres a integração Ultralytics × OpenVINO em ação e visita o site do OpenVINO para explorares ferramentas de otimização e implementação de AI em grande escala.