Implementa perfeitamente o Ultralytics YOLO11 usando OpenVINO™

A adoção da IA depende da acessibilidade das soluções de IA, e uma grande parte disso é tornar sua implantação fácil no hardware que as pessoas já possuem. Executar modelos de IA em GPUs (unidades de processamento gráfico) é uma excelente opção em termos de desempenho e potência de processamento paralelo.

No entanto, a realidade é que nem todos têm acesso a GPUs de alto desempenho, especialmente em ambientes de edge ou em laptops do dia a dia. É por isso que é tão importante otimizar os modelos para que funcionem de forma eficiente em hardwares mais amplamente disponíveis, como CPUs (unidades centrais de processamento), GPUs integradas e NPUs (unidades de processamento neural).

Computer vision, por exemplo, é um ramo da IA que permite às máquinas analisar e compreender imagens e fluxos de vídeo em tempo real. Modelos de Vision AI como o Ultralytics YOLO11 suportam tarefas essenciais, como deteção de objetos e segmentação de instâncias, que alimentam aplicações desde a análise de retalho até ao diagnóstico médico.

Fig 1. Utilização do Ultralytics YOLO11 para detetar e segmentar objetos numa loja de retalho.

Para tornar a visão computacional mais acessível, a Ultralytics lançou uma integração atualizada com o OpenVINO toolkit, que é um open-source project para otimizar e executar inferência de IA em CPUs, GPUs e NPUs.

Com esta integração, é mais fácil exportar e implementar modelos YOLO11 com uma inferência até 3× mais rápida em CPUs e desempenho acelerado em Intel GPUs e NPUs. Neste artigo, vamos ver como usar o pacote Python da Ultralytics para exportar modelos YOLO11 para o OpenVINO format e usá-lo para inferência. Vamos começar!

Uma visão geral do Ultralytics YOLO11#

Antes de mergulharmos nos detalhes da integração com o OpenVINO suportada pela Ultralytics, vamos analisar de perto o que torna o YOLO11 um modelo de visão computacional confiável e impactante. O YOLO11 é o modelo mais recente da série Ultralytics YOLO, oferecendo melhorias significativas tanto em velocidade quanto em precisão.

Um de seus principais destaques é a eficiência. Por exemplo, o Ultralytics YOLO11m possui 22% menos parâmetros do que o Ultralytics YOLOv8m, mas alcança uma precisão média (mAP) superior no conjunto de dados COCO. Isso significa que ele é executado mais rapidamente e também detecta objetos com maior precisão, tornando-o ideal para aplicações em tempo real onde o desempenho e a capacidade de resposta são cruciais.

Fig 2. Testes de desempenho do Ultralytics YOLO11.

Além da deteção de objetos, o YOLO11 suporta várias computer vision tasks avançadas, como segmentação de instâncias, estimativa de pose, classificação de imagens, rastreio de objetos e deteção de caixas delimitadoras orientadas. O YOLO11 também é intuitivo para programadores, com o pacote Python da Ultralytics a fornecer uma interface simples e consistente para treinar, avaliar e implementar modelos.

Além disso, o pacote Python da Ultralytics suporta várias integrations e múltiplos formatos de exportação, incluindo OpenVINO, ONNX, TorchScript, permitindo-te integrar facilmente o YOLO11 em vários pipelines de implementação. Quer estejas a apontar para infraestruturas na cloud, dispositivos de edge ou sistemas embebidos, o processo de exportação é simples e adaptável às tuas necessidades de hardware.

O que é o OpenVINO™?#

O OpenVINO™ (Open Visual Inference and Neural Network Optimization) é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA em uma ampla variedade de hardwares. Ele permite que desenvolvedores executem aplicações de inferência de alto desempenho de maneira eficiente em várias plataformas Intel, incluindo CPUs, GPUs integradas e discretas, NPUs e FPGAs (arranjos de portas programáveis em campo).

O OpenVINO fornece uma interface de runtime unificada que abstrai as diferenças de hardware por meio de plugins específicos de dispositivo. Isso significa que os desenvolvedores podem escrever código uma vez e implantar em vários alvos de hardware Intel usando uma API consistente.

Aqui estão alguns dos principais recursos que tornam o OpenVINO uma ótima escolha para implantação:

• Model converter: Esta ferramenta converte e prepara modelos de popular frameworks como PyTorch, ONNX, TensorFlow, PaddlePaddle e outras, para que possam ser otimizados para uma inferência eficiente em hardware Intel.
• Execução heterogênea: Você não precisa reescrever seu código para diferentes hardwares Intel. O OpenVINO facilita a execução do mesmo modelo em qualquer hardware suportado, desde CPUs até GPUs.
• Suporte a quantização: O kit de ferramentas suporta formatos de precisão reduzida como FP16 (padrão) e INT8, que ajudam a diminuir o tamanho do modelo e acelerar a inferência sem afetar significativamente a precisão.

Fig 3. O OpenVINO permite diversas opções de implementação.

Explorando a integração Ultralytics x OpenVINO#

Agora que já exploramos o que é o OpenVINO e a sua importância, vamos falar sobre como exportar modelos do Ultralytics YOLO11 para o formato OpenVINO e executar inferência eficiente em hardware da Intel.

Passo 1: Instale o pacote Python da Ultralytics#

Para exportar um modelo para o formato OpenVINO, primeiro precisas de instalar o Ultralytics Python package. Este pacote fornece tudo o que precisas para treinar, avaliar e exportar modelos YOLO, incluindo o YOLO11.

Você pode instalá-lo executando o comando "pip install ultralytics" em seu terminal ou prompt de comando. Se estiver trabalhando em um ambiente interativo como o Jupyter Notebook ou Google Colab, basta adicionar um ponto de exclamação antes do comando.

Além disso, se tiveres algum problema durante a instalação ou exportação, a documentação da Ultralytics e os troubleshooting guides são ótimos recursos para te ajudar a voltar ao caminho certo.

Passo 2: Exporta o teu modelo Ultralytics YOLO11 para o formato OpenVINO#

Uma vez que o pacote Ultralytics esteja configurado, o próximo passo é carregar seu modelo YOLO11 e convertê-lo em um formato compatível com o OpenVINO.

No exemplo abaixo, estamos usando um modelo YOLO11 pré-treinado (“yolo11n.pt”). A funcionalidade de exportação é usada para convertê-lo para o formato OpenVINO. Após executar este código, o modelo convertido será salvo em um novo diretório chamado “yolo11n_openvino_model”.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="openvino")

Passo 3: Execute a inferência com o modelo exportado#

Depois que seu modelo YOLO11 for exportado para o formato OpenVINO, você pode executar inferências de duas maneiras: usando o pacote Python da Ultralytics ou o OpenVINO Runtime nativo.

Usando o pacote Python da Ultralytics#

O modelo YOLO11 exportado pode ser facilmente implantado usando o pacote Python da Ultralytics, conforme mostrado no trecho de código abaixo. Este método é ideal para experimentações rápidas e implantação simplificada em hardware Intel.

Você também pode especificar qual dispositivo usar para inferência, como "intel:cpu", "intel:gpu" ou "intel:npu", dependendo do hardware Intel disponível em seu sistema.

ov_model = YOLO("yolo11n_openvino_model/")
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

Após executar o código acima, a imagem de saída será salva no diretório "runs/detect/predict".

Fig 4. A utilizar o modelo Ultralytics YOLO11 exportado para detetar objetos numa imagem.

Usando o OpenVINO Runtime nativo#

Se você está procurando uma maneira personalizável de executar inferência, especialmente em ambientes de produção, o OpenVINO Runtime oferece mais controle sobre como seu modelo é executado. Ele suporta recursos avançados como execução assíncrona (executando várias solicitações de inferência em paralelo) e balanceamento de carga (distribuindo cargas de trabalho de inferência de forma eficiente entre o hardware Intel).

Para usar o runtime nativo, você precisará dos arquivos do modelo exportado: um arquivo .xml (que define a arquitetura da rede) e um arquivo .bin (que armazena os pesos treinados do modelo). Você também pode configurar parâmetros adicionais, como dimensões de entrada ou etapas de pré-processamento, dependendo da sua aplicação.

Um fluxo de implementação típico inclui a inicialização do núcleo do OpenVINO, o carregamento e compilação do modelo para um dispositivo de destino, a preparação da entrada e a execução da inferência. Para exemplos detalhados e orientação passo a passo, consulta a official Ultralytics OpenVINO documentation.

Por que escolher a integração Ultralytics x OpenVINO?#

Ao explorar as integrações da Ultralytics, você notará que o pacote Python da Ultralytics suporta a exportação de modelos YOLO11 para uma variedade de formatos, como TorchScript, CoreML, TensorRT e ONNX. Então, por que escolher a integração com o OpenVINO?

Aqui estão algumas razões pelas quais o formato de exportação OpenVINO é uma ótima opção para implantar modelos em hardware Intel:

• Performance gains: Podes experienciar uma 3× faster inference em CPUs Intel, com aceleração adicional disponível em GPUs integrados e NPUs.
• Sem necessidade de novo treino: Podes exportar os teus modelos atuais do Ultralytics YOLO11 diretamente para o formato OpenVINO sem precisar de os modificar ou treinar novamente.
• Built for scale: O mesmo modelo exportado pode ser implementado em dispositivos de edge de baixo consumo e em infraestruturas cloud de grande escala, simplificando a AI deployment escalável.

Também podes avaliar os benchmarks de desempenho do modelo Ultralytics YOLO11 numa variedade de plataformas Intel® no OpenVINO™ Model Hub. O OpenVINO Model Hub é um recurso para os programadores avaliarem modelos de IA em hardware Intel e descobrirem a vantagem de desempenho do OpenVINO em CPUs Intel, GPUs integradas, NPUs e placas gráficas dedicadas.

Fig 5. OpenVINO™ Model Hub: Testes de Desempenho para o Modelo Ultralytics YOLO11 numa variedade de plataformas Intel®.

Aplicações do Ultralytics YOLO11 e do formato de exportação OpenVINO#

Com a ajuda da integração do OpenVINO, implementar modelos do Ultralytics YOLO11 em hardware da Intel em situações do mundo real torna-se muito mais simples.

Um excelente exemplo é o retalho inteligente, onde o Ultralytics YOLO11 pode ajudar a detetar prateleiras vazias em tempo real, monitorizar quais os produtos em vias de esgotar e analisar a circulação dos clientes pela loja. Isto permite aos retalhistas melhorar a gestão de inventário e otimizar a disposição da loja para um maior envolvimento dos compradores.

Da mesma forma, em cidades inteligentes, o YOLO11 pode ser usado para monitor traffic através da contagem de veículos, rastreio de pedestres e deteção de infrações de sinais vermelhos em tempo real. Estes insights podem apoiar a otimização do fluxo de tráfego, melhorar a segurança rodoviária e auxiliar em sistemas de aplicação automatizada.

Fig 6. Contagem de veículos com o YOLO11.

Outro caso de uso interessante é a inspeção industrial, onde o Ultralytics YOLO11 pode ser implementado em linhas de produção para detetar automaticamente defeitos visuais, como componentes em falta, desalinhamento ou danos superficiais. Isto aumenta a eficiência, reduz custos e apoia uma melhor qualidade do produto.

Principais fatores a considerar ao usar o kit de ferramentas OpenVINO#

Ao implementares modelos do Ultralytics YOLO11 com o OpenVINO, aqui ficam alguns pontos importantes a ter em conta para obteres os melhores resultados:

• Check hardware compatibility: Certifica-te de que o teu hardware Intel, seja um CPU, GPU integrado ou NPU, é suportado pelo OpenVINO para que o modelo possa correr eficientemente.
• Instale os drivers corretos: Se você estiver usando GPUs ou NPUs da Intel, verifique novamente se todos os drivers necessários estão instalados corretamente e atualizados.
• Understand precision tradeoffs: O OpenVINO suporta precisões de modelo FP32, FP16 e INT8. Cada uma traz um compromisso entre velocidade e precisão, por isso é importante escolher a opção certa com base nos teus objetivos de desempenho e no hardware disponível.

Principais pontos#

Exportar o Ultralytics YOLO11 para o formato OpenVINO facilita a execução de modelos rápidos e eficientes de visão artificial em hardware Intel. Você pode implantar em CPUs, GPUs e NPUs sem precisar retreinar ou alterar seu código. É uma ótima maneira de aumentar o desempenho mantendo as coisas simples e escaláveis.

Com suporte integrado no pacote Python da Ultralytics, exportar e executar inferência com o OpenVINO é direto. Em apenas alguns passos, você pode otimizar seu modelo e executá-lo em uma variedade de plataformas Intel. Esteja você trabalhando em varejo inteligente, monitoramento de tráfego ou inspeção industrial, este fluxo de trabalho ajuda você a passar do desenvolvimento à implantação com rapidez e confiança.

Junta-te à YOLO community e consulta o GitHub repository da Ultralytics para saberes mais sobre integrações impactantes suportadas pela Ultralytics. Além disso, dá uma vista de olhos às Ultralytics licensing options para começares com a visão computacional hoje mesmo!

Inscreve-te no nosso próximo webinar para ver a integração Ultralytics × OpenVINO em ação e visita o OpenVINO website para explorar ferramentas para otimizar e implementar IA à escala.