Implementa perfeitamente o Ultralytics YOLO11 usando OpenVINO™

A adoção da IA depende da acessibilidade das soluções de IA, e uma grande parte disso é tornar sua implantação fácil no hardware que as pessoas já possuem. Executar modelos de IA em GPUs (unidades de processamento gráfico) é uma excelente opção em termos de desempenho e potência de processamento paralelo.

No entanto, a realidade é que nem todos têm acesso a GPUs de alto desempenho, especialmente em ambientes de edge ou em laptops do dia a dia. É por isso que é tão importante otimizar os modelos para que funcionem de forma eficiente em hardwares mais amplamente disponíveis, como CPUs (unidades centrais de processamento), GPUs integradas e NPUs (unidades de processamento neural).

Visão computacional, por exemplo, é um ramo da IA que permite às máquinas analisar e entender imagens e fluxos de vídeo em tempo real. Modelos de visão artificial como o Ultralytics YOLO11 suportam tarefas fundamentais, como detecção de objetos e segmentação de instâncias, que impulsionam aplicações desde análises de varejo até diagnósticos médicos.

Fig 1. Usando o Ultralytics YOLO11 para detectar e segmentar objetos em uma loja de varejo.

Para tornar a visão computacional mais acessível, a Ultralytics lançou uma integração atualizada com o kit de ferramentas OpenVINO, que é um projeto de código aberto para otimizar e executar inferência de IA em CPUs, GPUs e NPUs.

Com esta integração, é mais fácil exportar e implantar modelos YOLO11 com uma inferência até 3× mais rápida em CPUs e desempenho acelerado em GPUs e NPUs da Intel. Neste artigo, veremos como usar o pacote Python da Ultralytics para exportar modelos YOLO11 para o formato OpenVINO e utilizá-lo para inferência. Vamos começar!

Link to this sectionUma visão geral do Ultralytics YOLO11#

Antes de mergulharmos nos detalhes da integração com o OpenVINO suportada pela Ultralytics, vamos analisar de perto o que torna o YOLO11 um modelo de visão computacional confiável e impactante. O YOLO11 é o modelo mais recente da série Ultralytics YOLO, oferecendo melhorias significativas tanto em velocidade quanto em precisão.

Um de seus principais destaques é a eficiência. Por exemplo, o Ultralytics YOLO11m possui 22% menos parâmetros do que o Ultralytics YOLOv8m, mas alcança uma precisão média (mAP) superior no conjunto de dados COCO. Isso significa que ele é executado mais rapidamente e também detecta objetos com maior precisão, tornando-o ideal para aplicações em tempo real onde o desempenho e a capacidade de resposta são cruciais.

Fig 2. Benchmarks de desempenho do Ultralytics YOLO11.

Além da detecção de objetos, o YOLO11 suporta várias tarefas de visão computacional avançadas, como segmentação de instâncias, estimativa de pose, classificação de imagens, rastreamento de objetos e detecção de caixas delimitadoras orientadas. O YOLO11 também é amigável para desenvolvedores, com o pacote Python da Ultralytics fornecendo uma interface simples e consistente para treinar, avaliar e implantar modelos.

Além disso, o pacote Python da Ultralytics suporta várias integrações e múltiplos formatos de exportação, incluindo OpenVINO, ONNX, TorchScript, permitindo que você integre facilmente o YOLO11 em diversos pipelines de implantação. Esteja você visando infraestrutura em nuvem, dispositivos de edge ou sistemas embarcados, o processo de exportação é direto e adaptável às suas necessidades de hardware.

Link to this sectionO que é o OpenVINO™?#

O OpenVINO™ (Open Visual Inference and Neural Network Optimization) é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA em uma ampla variedade de hardwares. Ele permite que desenvolvedores executem aplicações de inferência de alto desempenho de maneira eficiente em várias plataformas Intel, incluindo CPUs, GPUs integradas e discretas, NPUs e FPGAs (arranjos de portas programáveis em campo).

O OpenVINO fornece uma interface de runtime unificada que abstrai as diferenças de hardware por meio de plugins específicos de dispositivo. Isso significa que os desenvolvedores podem escrever código uma vez e implantar em vários alvos de hardware Intel usando uma API consistente.

Aqui estão alguns dos principais recursos que tornam o OpenVINO uma ótima escolha para implantação:

• Conversor de modelos: Esta ferramenta converte e prepara modelos de frameworks populares como PyTorch, ONNX, TensorFlow, PaddlePaddle e outros, para que possam ser otimizados para uma inferência eficiente em hardware Intel.
• Execução heterogênea: Você não precisa reescrever seu código para diferentes hardwares Intel. O OpenVINO facilita a execução do mesmo modelo em qualquer hardware suportado, desde CPUs até GPUs.
• Suporte a quantização: O kit de ferramentas suporta formatos de precisão reduzida como FP16 (padrão) e INT8, que ajudam a diminuir o tamanho do modelo e acelerar a inferência sem afetar significativamente a precisão.

Fig 3. O OpenVINO permite diversas opções de implantação.

Link to this sectionExplorando a integração Ultralytics x OpenVINO#

Agora que exploramos o que é o OpenVINO e sua importância, vamos discutir como exportar modelos YOLO11 para o formato OpenVINO e executar uma inferência eficiente em hardware Intel.

Link to this sectionPasso 1: Instale o pacote Python da Ultralytics#

Para exportar um modelo para o formato OpenVINO, primeiro você precisará instalar o pacote Python da Ultralytics. Este pacote fornece tudo o que você precisa para treinar, avaliar e exportar modelos YOLO, incluindo o YOLO11.

Você pode instalá-lo executando o comando "pip install ultralytics" em seu terminal ou prompt de comando. Se estiver trabalhando em um ambiente interativo como o Jupyter Notebook ou Google Colab, basta adicionar um ponto de exclamação antes do comando.

Além disso, se você encontrar algum problema durante a instalação ou exportação, a documentação da Ultralytics e os guias de solução de problemas são ótimos recursos para ajudá-lo a retomar o caminho.

Link to this sectionPasso 2: Exporte seu modelo YOLO11 para o formato OpenVINO#

Uma vez que o pacote Ultralytics esteja configurado, o próximo passo é carregar seu modelo YOLO11 e convertê-lo em um formato compatível com o OpenVINO.

No exemplo abaixo, estamos usando um modelo YOLO11 pré-treinado (“yolo11n.pt”). A funcionalidade de exportação é usada para convertê-lo para o formato OpenVINO. Após executar este código, o modelo convertido será salvo em um novo diretório chamado “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Link to this sectionPasso 3: Execute a inferência com o modelo exportado#

Depois que seu modelo YOLO11 for exportado para o formato OpenVINO, você pode executar inferências de duas maneiras: usando o pacote Python da Ultralytics ou o OpenVINO Runtime nativo.

Link to this sectionUsando o pacote Python da Ultralytics#

O modelo YOLO11 exportado pode ser facilmente implantado usando o pacote Python da Ultralytics, conforme mostrado no trecho de código abaixo. Este método é ideal para experimentações rápidas e implantação simplificada em hardware Intel.

Você também pode especificar qual dispositivo usar para inferência, como "intel:cpu", "intel:gpu" ou "intel:npu", dependendo do hardware Intel disponível em seu sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Após executar o código acima, a imagem de saída será salva no diretório "runs/detect/predict".

Fig 4. Usando o modelo YOLO11 exportado para detectar objetos em uma imagem.

Link to this sectionUsando o OpenVINO Runtime nativo#

Se você está procurando uma maneira personalizável de executar inferência, especialmente em ambientes de produção, o OpenVINO Runtime oferece mais controle sobre como seu modelo é executado. Ele suporta recursos avançados como execução assíncrona (executando várias solicitações de inferência em paralelo) e balanceamento de carga (distribuindo cargas de trabalho de inferência de forma eficiente entre o hardware Intel).

Para usar o runtime nativo, você precisará dos arquivos do modelo exportado: um arquivo .xml (que define a arquitetura da rede) e um arquivo .bin (que armazena os pesos treinados do modelo). Você também pode configurar parâmetros adicionais, como dimensões de entrada ou etapas de pré-processamento, dependendo da sua aplicação.

Um fluxo de implantação típico inclui inicializar o core do OpenVINO, carregar e compilar o modelo para um dispositivo de destino, preparar a entrada e executar a inferência. Para exemplos detalhados e orientações passo a passo, consulte a documentação oficial do OpenVINO da Ultralytics.

Link to this sectionPor que escolher a integração Ultralytics x OpenVINO?#

Ao explorar as integrações da Ultralytics, você notará que o pacote Python da Ultralytics suporta a exportação de modelos YOLO11 para uma variedade de formatos, como TorchScript, CoreML, TensorRT e ONNX. Então, por que escolher a integração com o OpenVINO?

Aqui estão algumas razões pelas quais o formato de exportação OpenVINO é uma ótima opção para implantar modelos em hardware Intel:

• Ganhos de desempenho: Você pode experimentar uma inferência até 3× mais rápida em CPUs Intel, com aceleração adicional disponível em GPUs integradas e NPUs.
• Sem necessidade de retreinamento: Você pode exportar seus modelos YOLO11 existentes diretamente para o formato OpenVINO sem modificá-los ou retreiná-los.
• Criado para escalar: O mesmo modelo exportado pode ser implantado em dispositivos de edge de baixo consumo e em infraestrutura de nuvem de grande escala, simplificando a implantação de IA escalável.

Você também pode avaliar os benchmarks de desempenho para o modelo YOLO11 em uma variedade de plataformas Intel® no OpenVINO™ Model Hub. O OpenVINO Model Hub é um recurso para desenvolvedores avaliarem modelos de IA em hardware Intel e descobrirem a vantagem de desempenho do OpenVINO em CPUs, GPUs integradas, NPUs e gráficos discretos Intel.

Fig 5. OpenVINO™ Model Hub: Benchmarks de desempenho para o modelo YOLO11 em uma variedade de plataformas Intel®.

Link to this sectionAplicações do YOLO11 e do formato de exportação OpenVINO#

Com a ajuda da integração OpenVINO, implantar modelos YOLO11 em hardware Intel em situações do mundo real torna-se muito mais simples.

Um ótimo exemplo é o varejo inteligente, onde o YOLO11 pode ajudar a detectar prateleiras vazias em tempo real, rastrear quais produtos estão com estoque baixo e analisar como os clientes se movem pela loja. Isso permite que os varejistas melhorem a gestão de estoque e otimizem os layouts das lojas para um melhor engajamento do comprador.

Da mesma forma, em cidades inteligentes, o YOLO11 pode ser usado para monitorar o tráfego contando veículos, rastreando pedestres e detectando violações de semáforo em tempo real. Esses insights podem apoiar a otimização do fluxo de tráfego, melhorar a segurança viária e auxiliar em sistemas de fiscalização automatizada.

Fig 6. Contagem de veículos usando o YOLO11.

Outro caso de uso interessante é a inspeção industrial, onde o YOLO11 pode ser implantado em linhas de produção para detectar automaticamente defeitos visuais como componentes ausentes, desalinhamento ou danos superficiais. Isso aumenta a eficiência, reduz custos e apoia uma melhor qualidade do produto.

Link to this sectionPrincipais fatores a considerar ao usar o kit de ferramentas OpenVINO#

Ao implantar modelos YOLO11 com o OpenVINO, aqui estão algumas coisas importantes para manter em mente para obter os melhores resultados:

• Verifique a compatibilidade de hardware: Certifique-se de que seu hardware Intel, seja ele uma CPU, GPU integrada ou NPU, seja suportado pelo OpenVINO para que o modelo possa ser executado de forma eficiente.
• Instale os drivers corretos: Se você estiver usando GPUs ou NPUs da Intel, verifique novamente se todos os drivers necessários estão instalados corretamente e atualizados.
• Entenda as compensações de precisão: O OpenVINO suporta as precisões de modelo FP32, FP16 e INT8. Cada uma vem com uma compensação entre velocidade e precisão, por isso é importante escolher a opção certa com base em seus objetivos de desempenho e hardware disponível.

Link to this sectionPrincipais pontos#

Exportar o Ultralytics YOLO11 para o formato OpenVINO facilita a execução de modelos rápidos e eficientes de visão artificial em hardware Intel. Você pode implantar em CPUs, GPUs e NPUs sem precisar retreinar ou alterar seu código. É uma ótima maneira de aumentar o desempenho mantendo as coisas simples e escaláveis.

Com suporte integrado no pacote Python da Ultralytics, exportar e executar inferência com o OpenVINO é direto. Em apenas alguns passos, você pode otimizar seu modelo e executá-lo em uma variedade de plataformas Intel. Esteja você trabalhando em varejo inteligente, monitoramento de tráfego ou inspeção industrial, este fluxo de trabalho ajuda você a passar do desenvolvimento à implantação com rapidez e confiança.

Junte-se à comunidade YOLO e confira o repositório GitHub da Ultralytics para aprender mais sobre integrações impactantes suportadas pela Ultralytics. Além disso, dê uma olhada nas opções de licenciamento da Ultralytics para começar a usar a visão computacional hoje mesmo!

Inscreva-se em nosso próximo webinar para ver a integração Ultralytics × OpenVINO em ação e visite o site do OpenVINO para explorar ferramentas para otimizar e implantar IA em escala.