Execução de modelos Ultralytics YOLO no AI PC da Intel com OpenVINO

YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics, reuniu entusiastas de IA, desenvolvedores e especialistas de todo o mundo para explorar as últimas inovações em computer vision. O YV24 foi uma excelente oportunidade e plataforma para discutir novos avanços. O evento contou com a presença de principais players da indústria de IA apresentando suas inovações mais recentes. Entre eles estava a Intel, que participou do evento apresentando uma palestra principal sobre seu novo e inovador AI PC e a integração do Intel OpenVINO’s com Ultralytics YOLO models como o Ultralytics YOLO11.

A palestra foi conduzida por Adrian Boguszewski, um evangelista de software que co-assinou o dataset LandCover.ai e educa desenvolvedores sobre o kit de ferramentas OpenVINO da Intel, e Dmitriy Pastushenkov, um evangelista de AI PC com mais de 20 anos de experiência em industrial automation e IA. Durante o evento, Adrian compartilhou seu entusiasmo e disse: "Este é um ótimo evento hoje, não apenas porque a Ultralytics lançou a new YOLO version, mas também porque podemos apresentar este novo modelo rodando no nosso novo hardware, bem como uma nova versão do OpenVINO."

Neste artigo, vamos dar uma olhada nos principais destaques da Intel’s talk at YV24, mergulhando nos detalhes do seu AI PC, a série Intel Core Ultra 200V, e como eles se integram com os modelos Ultralytics YOLO usando o kit de ferramentas OpenVINO. Vamos começar!

Tecnologias de IA de ponta em 2024#

Dmitriy iniciou a palestra mergulhando nas principais diferenças entre a IA tradicional e a generative AI. O foco girou em torno de como essas tecnologias e seus casos de uso estão evoluindo em 2024. Técnicas tradicionais de IA como computer vision e natural language processing têm sido essenciais para tasks como pose estimation, object detection e voice recognition. A IA generativa, no entanto, representa uma nova onda de tecnologia de IA que envolve aplicações como chatbots, text-to-image generation, code writing e até text-to-video.

Fig 1. Adrian e Dmitriy da Intel, no palco do YV24, discutindo casos de uso de IA.

Dmitriy apontou a diferença de escala entre as duas. Ele explicou que, enquanto os traditional AI models consistem em milhões de parâmetros, os modelos de IA generativa operam em uma escala muito maior. Os Generative AI models frequentemente envolvem bilhões ou até trilhões de parâmetros, tornando-os muito mais computationally demanding.

O AI PC da Intel: Uma nova fronteira de hardware de IA#

Dmitriy apresentou o AI PC da Intel como uma nova solução de hardware projetada para lidar com os crescentes desafios de executar modelos de IA tradicionais e generativos de forma eficiente. O AI PC da Intel é uma máquina poderosa e energeticamente eficiente. Ele é capaz de executar uma ampla gama de modelos de IA localmente, sem a necessidade de processamento em nuvem.

O processamento local ajuda a manter data private e sensíveis. Quando os modelos de IA conseguem operar independentemente de conexões com a internet, as ethical concerns das indústrias em relação à privacidade e segurança são atendidas.

A força impulsionadora por trás do Intel AI PC é o processador Intel Core Ultra 200V Series. Este processador incorpora três componentes principais: a Unidade Central de Processamento (CPU), a Unidade de Processamento Gráfico (GPU) e a Unidade de Processamento Neural (NPU). Cada um desempenha um papel específico no tratamento de diferentes tipos de cargas de trabalho de IA. A CPU é ideal para tarefas menores e de baixa latência que exigem respostas rápidas, enquanto a GPU é otimizada para operações de alta vazão, como a execução de modelos de IA. A NPU, projetada para eficiência energética, é ideal para tarefas de longa duração, como real-time object detection com modelos como o YOLO11.

Foi destacado que a CPU pode entregar até 5 TOPS (Trilhões de Operações por Segundo), a GPU até 67 TOPS, e a NPU fornece uma maneira energeticamente eficiente de executar tarefas de IA continuamente sem esgotar os recursos do sistema.

Avanços de IA da Intel: Série Intel Core Ultra 200V#

O processador da série Intel Core Ultra 200V integra todos os três mecanismos de IA - NPU, CPU e GPU - em um único chip pequeno. Seu design é perfeitamente adequado para dispositivos compactos como notebooks, sem sacrificar o desempenho.

O processador também inclui RAM integrada, reduzindo a necessidade de placas gráficas separadas. Isso ajuda a diminuir o consumo de energia e mantém o dispositivo compacto. Dmitriy também enfatizou a flexibilidade do processador. Os usuários podem decidir se desejam executar modelos de IA na CPU, GPU ou NPU, dependendo da tarefa. Por exemplo, a object detection with YOLO11 models pode rodar em qualquer um desses motores, enquanto tarefas mais complexas, como a geração de texto para imagem, podem usar tanto a GPU quanto a NPU ao mesmo tempo para um melhor desempenho.

Durante a apresentação, Dmitriy tirou o chip do bolso, dando a todos uma noção clara de quão pequeno ele realmente é, apesar de sua capacidade de lidar com tarefas de IA tão avançadas. Foi uma maneira divertida e memorável de mostrar como a Intel está trazendo recursos poderosos de IA para dispositivos mais portáteis e práticos.

Fig 2. O processador Intel Core Ultra 200V pode caber no bolso.

Otimizando modelos de IA com Intel OpenVINO#

Tendo apresentado os mais recentes hardware advancements da Intel, Dmitriy mudou o foco para o ecossistema de software da Intel que dá suporte à IA. Ele apresentou o OpenVINO, a estrutura open-source da Intel projetada para optimize and deploy AI models de forma eficiente em diferentes dispositivos. O OpenVINO vai além de tarefas visuais, estendendo seu suporte a modelos de IA usados para processamento de linguagem natural, audio processing, transformers, etc.

O OpenVINO é compatível com plataformas populares como PyTorch, TensorFlow, e ONNX, e os desenvolvedores podem incorporá-lo facilmente em seus fluxos de trabalho. Um recurso importante para o qual ele chamou a atenção foi a quantização. A Quantization comprime os pesos do modelo para reduzir seu tamanho, de modo que modelos grandes possam rodar sem problemas em dispositivos locais sem precisar da nuvem. O OpenVINO funciona em vários frameworks, rodando em CPU, GPU, NPU, FPGA ou até mesmo dispositivos ARM, e suporta Windows, Linux e macOS. Dmitriy também guiou o público sobre como é fácil começar a usar o OpenVINO.

Fig 3. Dmitriy demonstrando como começar a usar o OpenVINO.

Integrando a Ultralytics com o Intel OpenVino#

Na segunda parte da palestra, o microfone foi passado para o Adrian, que explicou a integração perfeita entre os modelos Ultralytics YOLO e o kit de ferramentas OpenVINO da Intel, simplificando o processo de YOLO model deployment. Ele forneceu uma explicação passo a passo de como exporting a YOLO model usando o Ultralytics Python package para o formato OpenVINO é rápido e direto. Essa integração torna muito mais fácil para os desenvolvedores otimizarem seus modelos para o hardware da Intel e aproveitarem ao máximo ambas as plataformas.

Fig 4. Adrian explicando como a Ultralytics torna fácil exportar seu modelo para o formato OpenVINO.

Adrian demonstrou que, uma vez que um modelo Ultralytics YOLO é trained, os usuários podem exportá-lo usando alguns comandos simples de terminal. Por exemplo, os usuários podem especificar se desejam exportar o modelo como uma versão de ponto flutuante para máxima precision ou como uma versão quantizada para maior velocidade e eficiência. Ele também destacou como os desenvolvedores podem gerenciar esse processo directly through code, usando opções como a quantização INT8 para aprimorar a performance sem sacrificar muita precisão.

Demos de IA em tempo real no AI PC da Intel#

Colocando toda essa teoria em prática, a equipe da Intel apresentou uma demonstração em tempo real de detecção de objetos executando o YOLO11 no Intel AI PC. Adrian demonstrou como o sistema lidou com o modelo em diferentes processadores, alcançando 36 quadros por segundo (FPS) na CPU com um modelo de ponto flutuante, mais de 100 FPS na GPU integrada e 70 FPS com a versão quantizada em INT8. Eles conseguiram mostrar quão eficientemente o Intel AI PC pode gerenciar tarefas complexas de IA.

Ele também destacou que o sistema pode executar modelos em paralelo, usando a CPU, GPU e NPU juntos para tarefas onde todos os dados ou quadros de vídeo estão disponíveis antecipadamente. Isso é útil ao processar cargas pesadas, como vídeos. O sistema pode dividir a carga de trabalho entre diferentes processadores, tornando-o mais rápido e eficiente.

Para encerrar, Adrian mencionou que os usuários podiam try out demos em casa, incluindo solutions como people counting e intelligent queue management. Ele então mostrou uma bonus demo onde os usuários podiam inserir comandos (prompts) para gerar imagens surreais em tempo real na GPU. Isso demonstrou a versatilidade do Intel AI PC tanto para tarefas tradicionais de IA quanto para projetos criativos de IA generativa.

Detecção de objetos em tempo real com Intel OpenVINO#

No evento, a Intel tinha um estande onde exibiu uma demonstrao de deteo de objetos em tempo real usando o Ultralytics YOLO11, rodando no PC com IA da Intel. Os participantes puderam ver o modelo em ao, otimizado com OpenVINO e implantado no processador Intel Core Ultra 200V.

Fig 5. Os participantes tiveram a chance de ver uma demonstração em tempo real no estande da Intel OpenVINO.

No estande da Intel, Dmitriy compartilhou: "Esta é minha primeira vez no YOLO Vision e estou feliz por estar em Madrid. Estamos apresentando o modelo YOLO11 da Ultralytics, rodando no processador Intel Core Ultra 200V. Ele apresenta um desempenho excelente, e usamos o OpenVINO para otimizar e implantar o modelo. Foi muito fácil colaborar com a Ultralytics e rodar o modelo no hardware Intel mais recente, utilizando a CPU, GPU e NPU." O estande também teve alguns brindes divertidos, como camisetas e cadernos para os participantes levarem para casa.

Principais pontos#

A palestra técnica da Intel no YV24, apresentando os processadores da série Intel Core Ultra 200V, mostrou como o toolkit OpenVINO otimiza modelos de IA como o Ultralytics YOLO11. Essa integração permite que os usuários executem modelos YOLO diretamente em seus dispositivos, entregando um ótimo desempenho para tarefas de visão computacional, como detecção de objetos. O principal benefício é que os usuários não precisam depender de serviços em nuvem.

Desenvolvedores e entusiastas de IA podem executar e ajustar modelos YOLO sem esforço, utilizando totalmente hardware como CPUs, GPUs e NPUs para aplicações em tempo real. O toolkit Intel OpenVINO, em combinação com os modelos Ultralytics YOLO, abre novas possibilidades para trazer recursos avançados de IA diretamente para dispositivos pessoais, tornando-o uma opção ideal para desenvolvedores ansiosos por impulsionar inovações de IA em vários setores.

Vamos colaborar e inovar! Visite nosso GitHub repository para explorar nossas contribuições e interagir com our community. Veja como estamos usando a IA para causar impacto em indústrias como manufacturing e healthcare.