A STMicroelectronics executa o Ultralytics YOLO num MCU com apenas 9,4 mJ por inferência

À medida que a adoção de IA aumenta em diversos setores, cresce a demanda por soluções de alto desempenho e baixo consumo, capazes de executar inferência em tempo real na edge. Para responder a essa necessidade tecnológica, a STMicroelectronics apresentou o microcontrolador STM32N6, que conta com uma Neural Processing Unit (NPU) integrada projetada para cargas de trabalho de IA embarcada.

Ao executar modelos Ultralytics YOLO no STM32N6, a STMicroelectronics demonstrou que é possível ter uma Vision AI embarcada precisa e eficiente em microcontroladores, abrindo novas oportunidades para inteligência escalável no dispositivo em setores como cidades inteligentes, saúde e eletrônicos de consumo.

Link to this sectionExplorando a Vision AI para dispositivos de baixo consumo na edge#

A STMicroelectronics é líder global em tecnologia de semicondutores, com mais de 50.000 funcionários e mais de 200.000 clientes em todo o mundo. Eles projetam e fabricam chips que permitem aplicações desde veículos elétricos e equipamentos industriais até dispositivos domésticos inteligentes e eletrônicos de consumo.

À medida que mais indústrias recorrem à IA para tornar os dispositivos mais inteligentes e responsivos, a STMicroelectronics tem focado em trazer essas capacidades diretamente para a edge. Por exemplo, o microcontrolador STM32N6, um chip potente e com eficiência energética, pode lidar com tarefas de IA no dispositivo como visão computacional.

Para ajudar desenvolvedores a criar aplicações de visão embarcada no STM32N6, a STMicroelectronics procurou modelos flexíveis e de alto desempenho que pudessem rodar eficientemente num microcontrolador. Os modelos Ultralytics YOLO mostraram ser uma ótima escolha, oferecendo uma combinação confiável de velocidade, precisão e facilidade de integração.

Link to this sectionAs restrições de permitir sistemas embarcados baseados em IA#

Antes do conceito de Edge AI se tornar amplamente aceito, os modelos de visão computacional eram normalmente desenvolvidos para rodar em grandes sistemas centralizados, como servidores na nuvem ou GPUs (Graphics Processing Units). Essas plataformas ofereciam a capacidade computacional necessária para treinar e implementar grandes modelos, mas também introduziam limitações como alto consumo de energia, dependência de rede, latência e custos operacionais acrescidos.

À medida que crescia o interesse na implementação de aplicações em tempo real mais inteligentes em setores como saúde, eletrônicos de consumo e cidades inteligentes, ficou claro que levar o processamento de IA para mais perto de onde os dados são gerados, no próprio dispositivo, era tanto uma necessidade técnica quanto uma oportunidade estratégica.

No entanto, executar modelos de IA em microcontroladores de baixo consumo pode ser um desafio. Estes dispositivos geralmente possuem memória, poder computacional e capacidade energética limitados, tornando difícil implementar modelos de visão complexos sem comprometer o desempenho ou a precisão.

A STMicroelectronics precisava de identificar um conjunto de modelos versáteis o suficiente para trazer capacidades confiáveis de visão computacional em tempo real para o seu microcontrolador STM32N6, sem exigir que os desenvolvedores simplificassem drasticamente os seus modelos ou fluxos de trabalho. O seu objetivo era entregar uma IA no dispositivo significativa, mantendo-se dentro das restrições rígidas dos sistemas embarcados.

Link to this sectionImplementação simplificada de modelos YOLO em microcontroladores#

Para permitir uma IA avançada em dispositivos embarcados de baixo consumo, a STMicroelectronics introduziu o STM32N6, um microcontrolador de alto desempenho equipado com o Neural-ART Accelerator™. Trata-se de uma Neural Processing Unit (NPU) interna, construída especificamente para cargas de trabalho de Edge AI. Essa tecnologia possibilita que os desenvolvedores executem inferências de IA diretamente no dispositivo, reduzindo a dependência da computação em nuvem e melhorando a velocidade, a responsividade e a eficiência energética.

A STMicroelectronics formou uma parceria com a Ultralytics para avaliar e mostrar as capacidades do STM32N6 executando modelos Ultralytics YOLO no microcontrolador. Conhecidos pelo seu equilíbrio entre velocidade e precisão, os modelos Ultralytics YOLO são adequados para ambientes com recursos limitados e implementações embarcadas.

Fig 1. Um exemplo de execução de um modelo Ultralytics YOLO no STM32N6.

Ao executar várias variantes de modelos YOLO diretamente no STM32N6, a STMicroelectronics conseguiu demonstrar uma gama de casos de uso de Vision AI, como detecção de objetos, classificação e rastreamento, tudo dentro dos limites de energia e memória de um microcontrolador. Esta colaboração oferece aos desenvolvedores uma opção confiável para implementar sistemas embarcados baseados em IA em tempo real, utilizando modelos de visão escaláveis e prontos para produção.

Link to this sectionPor que escolher Ultralytics YOLO models?#

Os modelos Ultralytics YOLO ofereceram à STMicroelectronics a combinação certa de precisão, eficiência e versatilidade necessária para sistemas embarcados habilitados por IA. Os modelos são leves o suficiente para rodar em microcontroladores de baixo consumo como o STM32N6, mas poderosos o suficiente para entregar desempenho de detecção de objetos e segmentação de instâncias em tempo real.

Por exemplo, ao executar o modelo Ultralytics YOLOv8n na resolução 256 por 256 no STM32N6, o sistema atingiu 34 frames por segundo, com cada inferência levando cerca de 29 milissegundos. As medições de energia mostraram que consumiu apenas 9,4 milijoules por inferência, tornando-o ideal para tarefas de visão em tempo real em dispositivos de baixo consumo.

Com suporte a várias variantes de modelos YOLO, os desenvolvedores têm a flexibilidade de ajustar para velocidade, tamanho ou precisão, dependendo das restrições da sua aplicação. A arquitetura fácil de integrar, combinada com um forte suporte da comunidade e documentação, fez do Ultralytics YOLO uma escolha natural para o objetivo da STMicroelectronics de acelerar a adoção da Vision AI numa ampla gama de casos de uso embarcados.

Através de uma licença Ultralytics Enterprise, a STMicroelectronics oferece aos clientes acesso a toda a suíte de modelos YOLO para testes internos e desenvolvimento. No entanto, para qualquer implementação comercial, os clientes precisam de solicitar a sua própria licença comercial diretamente à Ultralytics através do formulário de licença. Isso garante a conformidade e apoia um caminho escalável para soluções de Vision AI prontas para produção.

Link to this sectionDas cidades inteligentes à saúde: Edge AI escalável em ação#

A capacidade de executar modelos Ultralytics YOLO diretamente no microcontrolador STM32N6 desbloqueou uma ampla gama de aplicações de Vision AI para a STMicroelectronics e o seu ecossistema de desenvolvedores. Ao entregar inferência rápida e precisa no dispositivo, sem depender de processamento externo ou conectividade com a nuvem, esta solução torna possível implementar recursos inteligentes em sistemas compactos de baixo consumo.

Os clientes estão explorando casos de uso em setores como detecção de pedestres e veículos em tempo real em infraestruturas de cidades inteligentes, verificações de segurança no dispositivo e controle de qualidade em automação industrial, e diagnósticos assistidos por IA em ferramentas de saúde portáteis. Da mesma forma, no espaço de eletrônicos de consumo, os modelos YOLO permitem recursos responsivos como detecção de presença, reconhecimento de gestos e rastreamento de objetos — tudo dentro das limitações de desempenho de dispositivos operados por bateria.

Link to this sectionConstruindo as soluções de Vision AI de amanhã hoje#

À medida que a IA continua a evoluir, a STMicroelectronics foca-se em tornar mais fácil trazer soluções poderosas e eficientes para dispositivos de edge. Trabalhando em estreita colaboração com parceiros como a Ultralytics, eles estão ajudando os desenvolvedores a começar mais rapidamente com modelos prontos para uso, ferramentas e recursos compatíveis com STM32.

Dê o próximo passo na inovação em Edge AI. Visite o nosso repositório GitHub para descobrir como os modelos Ultralytics YOLO estão transformando a visão embarcada. Explore aplicações de IA na saúde e visão computacional no varejo, e confira as nossas opções de licenciamento hoje mesmo!