Implante o Ultralytics YOLO11 facilmente usando OpenVINO™

A adoção da IA depende da acessibilidade das soluções de IA, e uma parte importante disso é facilitar a sua implementação no hardware que as pessoas já têm. Executar modelos de IA em GPUs (unidades de processamento gráfico) é uma ótima opção em termos de desempenho e capacidade de processamento paralelo.

No entanto, na realidade, nem toda a gente tem acesso a GPUs de alto desempenho, especialmente em ambientes de edge ou em computadores portáteis comuns. Por isso, é tão importante otimizar os modelos para serem executados com eficiência em hardware mais disponível, como unidades centrais de processamento (CPUs), GPUs integradas e unidades de processamento neural (NPUs).

A visão computacional, por exemplo, é um ramo da IA que permite às máquinas analisar e compreender imagens e fluxos de vídeo em tempo real. Os modelos de IA visual, como o Ultralytics YOLO11, são compatíveis com tarefas essenciais, como deteção de objetos e segmentação de instâncias, que alimentam aplicações desde a análise do retalho até ao diagnóstico médico.

Fig. 1. Utilização do Ultralytics YOLO11 para detetar e segmentar objetos numa loja de retalho.

Para tornar a visão computacional mais acessível, a Ultralytics lançou uma integração atualizada com o kit de ferramentas OpenVINO, um projeto de código aberto para otimizar e executar inferências de IA em CPUs, GPUs e NPUs.

Com essa integração, fica mais fácil exportar e implantar modelos YOLO11, com inferência até 3× mais rápida em CPUs e desempenho acelerado em GPUs e NPUs Intel. Neste artigo, vamos mostrar como usar o pacote Python da Ultralytics para exportar modelos YOLO11 para o formato OpenVINO e usá-los para inferência. Vamos começar!

Visão geral do Ultralytics YOLO11#

Antes de entrarmos nos detalhes da integração com OpenVINO compatível com a Ultralytics, vamos analisar mais de perto o que torna o YOLO11 um modelo de visão computacional confiável e impactante. O YOLO11 é o modelo mais recente da série YOLO da Ultralytics e oferece melhorias significativas tanto em velocidade quanto em precisão.

Um dos principais destaques é a eficiência. Por exemplo, o Ultralytics YOLO11m tem 22% menos parâmetros que o Ultralytics YOLOv8m, mas alcança uma precisão média média (mAP) superior no conjunto de dados COCO. Isso significa que ele executa mais rápido e também detecta objetos com mais precisão, sendo ideal para aplicações em tempo real, nas quais o desempenho e a capacidade de resposta são essenciais.

Fig. 2. Benchmarks de desempenho do Ultralytics YOLO11.

Além da detecção de objetos, o YOLO11 oferece suporte a várias tarefas de visão computacional avançadas, como segmentação de instâncias, estimativa de pose, classificação de imagens, rastreamento de objetos e detecção de caixas delimitadoras orientadas. O YOLO11 também é fácil de usar para desenvolvedores: o pacote Python da Ultralytics oferece uma interface simples e consistente para treinar, avaliar e implantar modelos.

Além disso, o pacote Python da Ultralytics oferece suporte a várias integrações e a diversos formatos de exportação, incluindo OpenVINO, ONNX e TorchScript, permitindo que você integre facilmente o YOLO11 a diferentes pipelines de implantação. Seja para infraestrutura na nuvem, dispositivos de borda ou sistemas embarcados, o processo de exportação é simples e adaptável às necessidades do seu hardware.

O que é o OpenVINO™?#

OpenVINO™ (Inferência Visual Aberta e Otimização de Redes Neurais) é um kit de ferramentas de código aberto para otimizar e implantar inferências de IA em uma ampla variedade de hardware. Ele permite que desenvolvedores executem aplicações de inferência de alto desempenho com eficiência em várias plataformas Intel, incluindo CPUs, GPUs integradas e discretas, NPUs e matrizes de portas programáveis em campo (FPGAs).

O OpenVINO oferece uma interface de execução unificada que abstrai as diferenças de hardware por meio de plug-ins específicos para cada dispositivo. Isso significa que os desenvolvedores podem escrever o código uma vez e implantá-lo em vários alvos de hardware Intel usando uma API consistente.

Veja alguns dos principais recursos que fazem do OpenVINO uma ótima opção para implantação:

• Conversor de modelos: esta ferramenta converte e prepara modelos de frameworks populares, como PyTorch, ONNX, TensorFlow, PaddlePaddle e outros, para que possam ser otimizados para inferência eficiente em hardware Intel.
• Execução heterogênea: você não precisa reescrever o código para diferentes hardwares Intel. O OpenVINO facilita a execução do mesmo modelo em qualquer hardware compatível, de CPUs a GPUs.
• Suporte à quantização: o kit de ferramentas oferece suporte a formatos de precisão reduzida, como FP16 (padrão) e INT8, que ajudam a diminuir o tamanho do modelo e acelerar a inferência sem afetar significativamente a precisão.

Fig. 3. O OpenVINO oferece diversas opções de implantação.

Conheça a integração da Ultralytics com o OpenVINO#

Agora que vimos o que é o OpenVINO e por que ele é importante, vamos falar sobre como exportar modelos Ultralytics YOLO11 para o formato OpenVINO e executar inferências eficientes em hardware Intel.

Passo 1: Instalar o pacote Python da Ultralytics#

Para exportar um modelo para o formato OpenVINO, primeiro você precisa instalar o pacote Python da Ultralytics. Esse pacote oferece tudo o que você precisa para treinar, avaliar e exportar modelos YOLO, incluindo o YOLO11.

Você pode instalá-lo executando o comando "pip install ultralytics" no terminal ou no prompt de comando. Se estiver trabalhando em um ambiente interativo, como Jupyter Notebook ou Google Colab, basta adicionar um ponto de exclamação antes do comando.

Além disso, se você encontrar algum problema durante a instalação ou a exportação, a documentação da Ultralytics e os guias de solução de problemas são ótimos recursos para ajudar você a resolver a situação.

Etapa 2: exporte seu modelo Ultralytics YOLO11 para o formato OpenVINO#

Depois de configurar o pacote Ultralytics, o próximo passo é carregar seu modelo YOLO11 e convertê-lo para um formato compatível com o OpenVINO.

No exemplo abaixo, usamos um modelo YOLO11 pré-treinado ("yolo11n.pt"). A funcionalidade de exportação é usada para convertê-lo para o formato OpenVINO. Depois de executar esse código, o modelo convertido será salvo em um novo diretório chamado "yolo11n_openvino_model".

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Etapa 3: execute inferências com o modelo exportado#

Depois de exportar seu modelo YOLO11 para o formato OpenVINO, você pode executar inferências de duas maneiras: usando o pacote Python da Ultralytics ou o OpenVINO Runtime nativo.

Usando o pacote Python da Ultralytics#

O modelo YOLO11 exportado pode ser implantado facilmente usando o pacote Python da Ultralytics, como mostra o trecho de código abaixo. Esse método é ideal para experimentação rápida e implantação simplificada em hardware Intel.

Você também pode especificar o dispositivo a ser usado para inferência, como "intel:cpu", "intel:gpu" ou "intel:npu", dependendo do hardware Intel disponível no seu sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Depois de executar o código acima, a imagem de saída será salva no diretório "runs/detect/predict".

Fig. 4. Uso do modelo Ultralytics YOLO11 exportado para detectar objetos em uma imagem.

Usando o OpenVINO Runtime nativo#

Se você procura uma forma personalizável de executar inferências, especialmente em ambientes de produção, o OpenVINO Runtime oferece mais controle sobre a execução do modelo. Ele oferece suporte a recursos avançados, como execução assíncrona (execução de várias solicitações de inferência em paralelo) e balanceamento de carga (distribuição eficiente das cargas de trabalho de inferência entre hardwares Intel).

Para usar o runtime nativo, você precisa dos arquivos do modelo exportado: um arquivo .xml (que define a arquitetura da rede) e um arquivo .bin (que armazena os pesos treinados do modelo). Você também pode configurar parâmetros adicionais, como dimensões de entrada ou etapas de pré-processamento, conforme a aplicação.

Um fluxo de implantação típico inclui inicializar o núcleo do OpenVINO, carregar e compilar o modelo para um dispositivo de destino, preparar a entrada e executar a inferência. Para ver exemplos detalhados e instruções passo a passo, consulte a documentação oficial da Ultralytics sobre OpenVINO.

Por que escolher a integração da Ultralytics com o OpenVINO?#

Ao explorar as integrações da Ultralytics, você verá que o pacote Python da Ultralytics oferece suporte à exportação de modelos YOLO11 para vários formatos, como TorchScript, CoreML, TensorRT e ONNX. Então, por que escolher a integração com OpenVINO?

Veja alguns motivos pelos quais o formato de exportação OpenVINO é uma ótima opção para implantar modelos em hardware Intel:

• Ganhos de desempenho: você pode obter uma inferência até 3× mais rápida em CPUs Intel, com aceleração adicional disponível em GPUs integradas e NPUs.
• Não é necessário retreinar: você pode exportar seus modelos Ultralytics YOLO11 existentes diretamente para o formato OpenVINO sem modificá-los nem retreiná-los.
• Feito para escalar: o mesmo modelo exportado pode ser implantado tanto em dispositivos de borda de baixo consumo quanto em infraestrutura de nuvem em larga escala, simplificando a implantação de IA escalável.

Você também pode avaliar os benchmarks de desempenho do modelo Ultralytics YOLO11 em diversas plataformas Intel® no OpenVINO™ Model Hub. O OpenVINO Model Hub é um recurso para desenvolvedores avaliarem modelos de IA em hardware Intel e conhecerem as vantagens de desempenho do OpenVINO em CPUs Intel, GPUs integradas, NPUs e placas gráficas discretas.

Fig. 5. OpenVINO™ Model Hub: benchmarks de desempenho do modelo Ultralytics YOLO11 em várias plataformas Intel®.

Aplicações do Ultralytics YOLO11 e do formato de exportação OpenVINO#

Com a integração com OpenVINO, fica muito mais simples implantar modelos Ultralytics YOLO11 em hardware Intel para situações do mundo real.

Um ótimo exemplo é o varejo inteligente, em que o Ultralytics YOLO11 pode ajudar a detectar prateleiras vazias em tempo real, acompanhar quais produtos estão acabando e analisar como os clientes se movimentam pela loja. Isso permite que os varejistas melhorem a gestão de estoque e otimizem o layout das lojas para proporcionar uma experiência melhor aos clientes.

Da mesma forma, em cidades inteligentes, o YOLO11 pode ser usado para monitorar o trânsito, contando veículos, rastreando pedestres e detectando infrações de sinal vermelho em tempo real. Essas informações podem ajudar a otimizar o fluxo do trânsito, melhorar a segurança viária e contribuir para sistemas automatizados de fiscalização.

Fig. 6. Contagem de veículos usando o YOLO11.

Outro caso de uso interessante é a inspeção industrial, em que o Ultralytics YOLO11 pode ser implantado em linhas de produção para detectar automaticamente defeitos visuais, como componentes ausentes, desalinhamentos ou danos na superfície. Isso aumenta a eficiência, reduz custos e contribui para melhorar a qualidade dos produtos.

Principais fatores a considerar ao usar o kit de ferramentas OpenVINO#

Ao implantar modelos Ultralytics YOLO11 com OpenVINO, tenha em mente alguns pontos importantes para obter os melhores resultados:

• Verifique a compatibilidade do hardware: confirme se o OpenVINO oferece suporte ao seu hardware Intel, seja ele uma CPU, GPU integrada ou NPU, para que o modelo seja executado com eficiência.
• Instale os drivers corretos: se você estiver usando GPUs ou NPUs Intel, confirme se todos os drivers necessários estão instalados corretamente e atualizados.
• Entenda as compensações de precisão: o OpenVINO oferece suporte a modelos com precisões FP32, FP16 e INT8. Cada opção envolve uma compensação entre velocidade e precisão, por isso é importante escolher a opção certa de acordo com seus objetivos de desempenho e o hardware disponível.

Principais conclusões#

Exportar o Ultralytics YOLO11 para o formato OpenVINO facilita a execução de modelos de IA visual rápidos e eficientes em hardware Intel. Você pode implantá-los em CPUs, GPUs e NPUs sem precisar retreinar o modelo nem alterar o código. É uma ótima maneira de aumentar o desempenho mantendo a simplicidade e a escalabilidade.

Com o suporte integrado ao pacote Python da Ultralytics, exportar e executar inferências com OpenVINO é simples. Em poucas etapas, você pode otimizar seu modelo e executá-lo em várias plataformas Intel. Seja trabalhando com varejo inteligente, monitoramento do trânsito ou inspeção industrial, esse fluxo de trabalho ajuda você a passar do desenvolvimento à implantação com rapidez e confiança.

Participe da comunidade YOLO e confira o repositório da Ultralytics no GitHub para saber mais sobre integrações impactantes compatíveis com a Ultralytics. Além disso, confira as opções de licenciamento da Ultralytics para começar hoje mesmo com visão computacional!

Inscreva-se no nosso próximo webinar para ver a integração da Ultralytics com o OpenVINO em ação e visite o site do OpenVINO para conhecer ferramentas de otimização e implantação de IA em grande escala.