Execução de modelos Ultralytics YOLO no AI PC da Intel com OpenVINO

YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics, reuniu entusiastas de IA, desenvolvedores e especialistas de todo o mundo para explorar as últimas inovações em visão computacional. O YV24 foi uma ótima oportunidade e plataforma para discutir novos avanços. O evento contou com a presença de grandes nomes da indústria de IA apresentando suas últimas inovações. Entre eles estava a Intel, que participou do evento apresentando uma palestra sobre seu novo e inovador AI PC e a integração do Intel OpenVINO com os modelos Ultralytics YOLO, como o Ultralytics YOLO11.

A palestra foi conduzida por Adrian Boguszewski, um Software Evangelist que co-autorou o dataset LandCover.ai e educa desenvolvedores sobre o toolkit OpenVINO da Intel, e Dmitriy Pastushenkov, um AI PC Evangelist com mais de 20 anos de experiência em automação industrial e IA. Durante o evento, Adrian compartilhou seu entusiasmo e disse: "Este é um ótimo evento hoje, não apenas porque a Ultralytics entregou uma nova versão do YOLO, mas também porque podemos apresentar este novo modelo rodando em nosso novo hardware, bem como uma nova versão do OpenVINO."

Neste artigo, veremos os principais destaques da palestra da Intel no YV24, explorando os detalhes de seu AI PC, a série Intel Core Ultra 200V, e como eles se integram aos modelos Ultralytics YOLO usando o toolkit OpenVINO. Vamos começar!

Link to this sectionTecnologias de IA de ponta em 2024#

Dmitriy começou a palestra mergulhando nas principais diferenças entre a IA tradicional e a IA generativa. O foco girou em torno de como essas tecnologias e seus casos de uso estão evoluindo em 2024. Técnicas tradicionais de IA como visão computacional e processamento de linguagem natural têm sido essenciais para tarefas como estimativa de pose, detecção de objetos e reconhecimento de voz. A IA generativa, no entanto, representa uma nova onda de tecnologia de IA que envolve aplicações como chatbots, geração de texto para imagem, escrita de código e até mesmo texto para vídeo.

Fig 1. Adrian e Dmitriy da Intel, no palco do YV24, discutindo casos de uso de IA.

Dmitriy destacou a diferença de escala entre as duas. Ele explicou que, enquanto modelos de IA tradicionais consistem em milhões de parâmetros, os modelos de IA generativa operam em uma escala muito maior. Modelos de IA generativa geralmente envolvem bilhões ou até trilhões de parâmetros, tornando-os muito mais exigentes computacionalmente.

Link to this sectionO AI PC da Intel: Uma nova fronteira de hardware de IA#

Dmitriy apresentou o AI PC da Intel como uma nova solução de hardware projetada para lidar com os crescentes desafios de executar modelos de IA tradicionais e generativos de forma eficiente. O AI PC da Intel é uma máquina poderosa e energeticamente eficiente. Ele é capaz de executar uma ampla gama de modelos de IA localmente, sem a necessidade de processamento em nuvem.

O processamento local ajuda a manter dados confidenciais privados. Quando os modelos de IA podem operar independentemente de conexões com a internet, as preocupações éticas das indústrias em relação à privacidade e segurança são atendidas.

A força motriz por trás do AI PC da Intel é o processador da série Intel Core Ultra 200V. Este processador incorpora três componentes principais: a Unidade Central de Processamento (CPU), a Unidade de Processamento Gráfico (GPU) e a Unidade de Processamento Neural (NPU). Cada uma desempenha um papel específico no tratamento de diferentes tipos de cargas de trabalho de IA. A CPU é ideal para tarefas menores e de baixa latência que exigem respostas rápidas, enquanto a GPU é otimizada para operações de alto rendimento, como a execução de modelos de IA. A NPU, projetada para eficiência energética, é adequada para tarefas de longa duração, como detecção de objetos em tempo real com modelos como o YOLO11.

Foi destacado que a CPU pode entregar até 5 TOPS (Trilhões de Operações por Segundo), a GPU até 67 TOPS, e a NPU fornece uma maneira energeticamente eficiente de executar tarefas de IA continuamente sem esgotar os recursos do sistema.

Link to this sectionAvanços de IA da Intel: Série Intel Core Ultra 200V#

O processador da série Intel Core Ultra 200V integra todos os três mecanismos de IA - NPU, CPU e GPU - em um único chip pequeno. Seu design é perfeitamente adequado para dispositivos compactos como notebooks, sem sacrificar o desempenho.

O processador também inclui RAM integrada, reduzindo a necessidade de placas gráficas separadas. Isso ajuda a diminuir o consumo de energia e mantém o dispositivo compacto. Dmitriy também enfatizou a flexibilidade do processador. Os usuários podem decidir se desejam executar modelos de IA na CPU, GPU ou NPU, dependendo da tarefa. Por exemplo, a detecção de objetos com modelos YOLO11 pode rodar em qualquer um desses motores, enquanto tarefas mais complexas, como a geração de texto para imagem, podem usar tanto a GPU quanto a NPU ao mesmo tempo para um melhor desempenho.

Durante a apresentação, Dmitriy tirou o chip do bolso, dando a todos uma noção clara de quão pequeno ele realmente é, apesar de sua capacidade de lidar com tarefas de IA tão avançadas. Foi uma maneira divertida e memorável de mostrar como a Intel está trazendo recursos poderosos de IA para dispositivos mais portáteis e práticos.

Fig 2. O processador Intel Core Ultra 200V pode caber no bolso.

Link to this sectionOtimizando modelos de IA com Intel OpenVINO#

Tendo demonstrado os mais recentes avanços de hardware da Intel, Dmitriy mudou o foco para a pilha de software da Intel que suporta IA. Ele apresentou o OpenVINO, o framework de código aberto da Intel projetado para otimizar e implantar modelos de IA de forma eficiente em diferentes dispositivos. O OpenVINO vai além das tarefas visuais, estendendo seu suporte a modelos de IA usados para processamento de linguagem natural, processamento de áudio, transformers, etc.

O OpenVINO é compatível com plataformas populares como PyTorch, TensorFlow e ONNX, e os desenvolvedores podem facilmente incorporá-lo aos seus fluxos de trabalho. Um recurso importante ao qual ele chamou a atenção foi a quantização. A quantização comprime os pesos do modelo para reduzir seu tamanho, para que grandes modelos possam rodar suavemente em dispositivos locais sem a necessidade de nuvem. O OpenVINO funciona em várias estruturas, rodando em CPU, GPU, NPU, FPGA ou até mesmo dispositivos ARM, e suporta Windows, Linux e macOS. Dmitriy também orientou o público sobre como é fácil começar a usar o OpenVINO.

Fig 3. Dmitriy demonstrando como começar a usar o OpenVINO.

Link to this sectionIntegrando a Ultralytics com o Intel OpenVino#

Na segunda parte da palestra, o microfone foi passado para Adrian, que explicou a integração perfeita entre os modelos Ultralytics YOLO e o toolkit OpenVINO da Intel, simplificando o processo de implantação de modelos YOLO. Ele forneceu uma explicação passo a passo de como exportar um modelo YOLO usando o pacote Python da Ultralytics para o formato OpenVINO é rápido e simples. Essa integração torna muito mais fácil para os desenvolvedores otimizarem seus modelos para o hardware da Intel e aproveitarem ao máximo ambas as plataformas.

Fig 4. Adrian explicando como a Ultralytics torna fácil exportar seu modelo para o formato OpenVINO.

Adrian demonstrou que, uma vez que um modelo Ultralytics YOLO é treinado, os usuários podem exportá-lo usando alguns comandos simples via linha de comando. Por exemplo, os usuários podem especificar se desejam exportar o modelo como uma versão de ponto flutuante para máxima precisão ou como uma versão quantizada para melhor velocidade e eficiência. Ele também destacou como os desenvolvedores podem gerenciar esse processo diretamente via código, usando opções como quantização INT8 para melhorar o desempenho sem sacrificar muita precisão.

Link to this sectionDemos de IA em tempo real no AI PC da Intel#

Colocando toda essa teoria em prática, a equipe da Intel apresentou uma demonstração em tempo real de detecção de objetos executando o YOLO11 no AI PC da Intel. Adrian mostrou como o sistema lidou com o modelo em diferentes processadores, alcançando 36 quadros por segundo (FPS) na CPU com um modelo de ponto flutuante, mais de 100 FPS na GPU integrada e 70 FPS com a versão quantizada INT8. Eles conseguiram mostrar quão eficientemente o AI PC da Intel pode gerenciar tarefas complexas de IA.

Ele também destacou que o sistema pode executar modelos em paralelo, usando a CPU, GPU e NPU juntos para tarefas onde todos os dados ou quadros de vídeo estão disponíveis antecipadamente. Isso é útil ao processar cargas pesadas, como vídeos. O sistema pode dividir a carga de trabalho entre diferentes processadores, tornando-o mais rápido e eficiente.

Para encerrar, Adrian mencionou que os usuários poderiam testar demos em casa, incluindo soluções como contagem de pessoas e gerenciamento inteligente de filas. Ele então mostrou um demo bônus onde os usuários podiam inserir prompts para gerar imagens oníricas em tempo real na GPU. Isso demonstrou a versatilidade do AI PC da Intel tanto para tarefas tradicionais de IA quanto para projetos criativos de IA generativa.

Link to this sectionDetecção de objetos em tempo real com Intel OpenVINO#

No evento, a Intel tinha um estande onde exibiram uma demonstração de detecção de objetos em tempo real usando o YOLO11, rodando em seu AI PC da Intel. Os participantes puderam ver o modelo em ação, otimizado com OpenVINO e implantado no processador Intel Core Ultra 200V.

Fig 5. Os participantes tiveram a chance de ver uma demonstração em tempo real no estande da Intel OpenVINO.

No estande da Intel, Dmitriy compartilhou: "Esta é minha primeira vez no YOLO Vision e estou feliz por estar em Madrid. Estamos apresentando o modelo YOLO11 da Ultralytics, rodando no processador Intel Core Ultra 200V. Ele apresenta um desempenho excelente, e usamos o OpenVINO para otimizar e implantar o modelo. Foi muito fácil colaborar com a Ultralytics e rodar o modelo no hardware Intel mais recente, utilizando a CPU, GPU e NPU." O estande também teve alguns brindes divertidos, como camisetas e cadernos para os participantes levarem para casa.

Link to this sectionPrincipais pontos#

A palestra técnica da Intel no YV24, apresentando os processadores da série Intel Core Ultra 200V, mostrou como o toolkit OpenVINO otimiza modelos de IA como o Ultralytics YOLO11. Essa integração permite que os usuários executem modelos YOLO diretamente em seus dispositivos, entregando um ótimo desempenho para tarefas de visão computacional, como detecção de objetos. O principal benefício é que os usuários não precisam depender de serviços em nuvem.

Desenvolvedores e entusiastas de IA podem executar e ajustar modelos YOLO sem esforço, utilizando totalmente hardware como CPUs, GPUs e NPUs para aplicações em tempo real. O toolkit Intel OpenVINO, em combinação com os modelos Ultralytics YOLO, abre novas possibilidades para trazer recursos avançados de IA diretamente para dispositivos pessoais, tornando-o uma opção ideal para desenvolvedores ansiosos por impulsionar inovações de IA em vários setores.

Vamos colaborar e inovar! Visita o nosso repositório GitHub para explorar as nossas contribuições e interagir com a nossa comunidade. Vê como estamos a usar IA para causar impacto em setores como manufatura e cuidados de saúde.