A STMicroelectronics executa o Ultralytics YOLO num MCU com apenas 9,4 mJ por inferência

À medida que a adoção de IA aumenta em diversos setores, cresce a demanda por soluções de alto desempenho e baixo consumo, capazes de executar inferência em tempo real na edge. Para responder a essa necessidade tecnológica, a STMicroelectronics apresentou o microcontrolador STM32N6, que conta com uma Neural Processing Unit (NPU) integrada projetada para cargas de trabalho de IA embarcada.

Ao executar Ultralytics YOLO models no STM32N6, a STMicroelectronics demonstrou que é possível ter uma Vision AI embarcada precisa e eficiente em microcontroladores, abrindo novas oportunidades para inteligência escalável diretamente no dispositivo em setores como cidades inteligentes, saúde e eletrônicos de consumo.

Explorando a Vision AI para dispositivos de baixo consumo na edge#

A STMicroelectronics é líder global em tecnologia de semicondutores, com mais de 50.000 funcionários e mais de 200.000 clientes em todo o mundo. Eles projetam e fabricam chips que permitem aplicações desde veículos elétricos e equipamentos industriais até dispositivos domésticos inteligentes e eletrônicos de consumo.

À medida que mais indústrias recorrem à IA para tornar os dispositivos mais inteligentes e responsivos, a STMicroelectronics tem se concentrado em trazer essas capacidades diretamente para a borda. Por exemplo, o microcontrolador STM32N6, um chip potente e energeticamente eficiente, pode lidar com tarefas de IA diretamente no dispositivo, como computer vision.

Para ajudar desenvolvedores a criar aplicações de visão embarcada no STM32N6, a STMicroelectronics procurou modelos flexíveis e de alto desempenho que pudessem rodar eficientemente num microcontrolador. Os modelos Ultralytics YOLO mostraram ser uma ótima escolha, oferecendo uma combinação confiável de velocidade, precisão e facilidade de integração.

As restrições de permitir sistemas embarcados baseados em IA#

Antes do conceito de Edge AI se tornar amplamente aceito, os modelos de visão computacional eram normalmente desenvolvidos para rodar em grandes sistemas centralizados, como servidores na nuvem ou GPUs (Graphics Processing Units). Essas plataformas ofereciam a capacidade computacional necessária para treinar e implementar grandes modelos, mas também introduziam limitações como alto consumo de energia, dependência de rede, latência e custos operacionais acrescidos.

Com o crescimento do interesse na implementação de real-time applications mais inteligentes em indústrias como saúde, eletrônicos de consumo e cidades inteligentes, tornou-se claro que aproximar o processamento de IA de onde os dados são gerados, no próprio dispositivo, era tanto uma necessidade técnica quanto uma oportunidade estratégica.

No entanto, executar modelos de IA em microcontroladores de baixo consumo pode ser um desafio. Estes dispositivos geralmente possuem memória, poder computacional e capacidade energética limitados, tornando difícil implementar modelos de visão complexos sem comprometer o desempenho ou a precisão.

A STMicroelectronics precisava de identificar um conjunto de modelos versáteis o suficiente para trazer capacidades confiáveis de visão computacional em tempo real para o seu microcontrolador STM32N6, sem exigir que os desenvolvedores simplificassem drasticamente os seus modelos ou fluxos de trabalho. O seu objetivo era entregar uma IA no dispositivo significativa, mantendo-se dentro das restrições rígidas dos sistemas embarcados.

Implementação simplificada de modelos YOLO em microcontroladores#

Para permitir uma IA avançada em dispositivos embarcados de baixo consumo, a STMicroelectronics introduziu o STM32N6, um microcontrolador de alto desempenho equipado com o Neural-ART Accelerator™. Trata-se de uma Neural Processing Unit (NPU) interna, construída especificamente para cargas de trabalho de Edge AI. Essa tecnologia possibilita que os desenvolvedores executem inferências de IA diretamente no dispositivo, reduzindo a dependência da computação em nuvem e melhorando a velocidade, a responsividade e a eficiência energética.

A STMicroelectronics formou uma parceria com a Ultralytics para avaliar e mostrar as capacidades do STM32N6 executando modelos Ultralytics YOLO no microcontrolador. Conhecidos pelo seu equilíbrio entre velocidade e precisão, os modelos Ultralytics YOLO são adequados para ambientes com recursos limitados e implementações embarcadas.

Fig 1. Um exemplo de execução de um modelo Ultralytics YOLO no STM32N6.

Ao executar várias variantes de modelos YOLO diretamente no STM32N6, a STMicroelectronics conseguiu demonstrar uma variedade de casos de uso de Vision AI, como object detection, classificação e rastreamento, tudo dentro dos limites de energia e memória de um microcontrolador. Essa colaboração oferece aos desenvolvedores uma opção confiável para implantar sistemas embarcados em tempo real alimentados por IA usando modelos de visão escaláveis e prontos para produção.

Por que escolher Ultralytics YOLO models?#

Os modelos Ultralytics YOLO ofereceram à STMicroelectronics a combinação certa de precisão, eficiência e versatilidade necessária para sistemas embarcados habilitados por IA. Os modelos são leves o suficiente para rodar em microcontroladores de baixo consumo como o STM32N6, mas poderosos o suficiente para entregar desempenho de detecção de objetos e segmentação de instâncias em tempo real.

Por exemplo, ao executar o modelo Ultralytics YOLOv8n na resolução de 256 por 256 no STM32N6, o sistema atingiu 34 quadros por segundo, com cada inferência levando cerca de 29 milissegundos. As medições de energia mostraram que ele consumiu apenas 9.4 millijoules per inference, tornando-o ideal para tarefas de visão em tempo real em dispositivos de baixo consumo.

Com suporte a várias variantes de modelos YOLO, os desenvolvedores têm a flexibilidade de ajustar para velocidade, tamanho ou precisão, dependendo das restrições da sua aplicação. A arquitetura fácil de integrar, combinada com um forte suporte da comunidade e documentação, fez do Ultralytics YOLO uma escolha natural para o objetivo da STMicroelectronics de acelerar a adoção da Vision AI numa ampla gama de casos de uso embarcados.

Por meio de uma Ultralytics Enterprise license, a STMicroelectronics oferece aos clientes acesso à suíte completa de modelos YOLO para testes e desenvolvimento internos. No entanto, para qualquer implantação comercial, os clientes devem solicitar sua própria licença comercial diretamente à Ultralytics por meio do formulário de licença. Isso garante a conformidade e apoia um caminho escalável para soluções de Vision AI prontas para produção.

Das cidades inteligentes à saúde: Edge AI escalável em ação#

A capacidade de executar modelos Ultralytics YOLO diretamente no microcontrolador STM32N6 desbloqueou uma ampla gama de aplicações de Vision AI para a STMicroelectronics e o seu ecossistema de desenvolvedores. Ao entregar inferência rápida e precisa no dispositivo, sem depender de processamento externo ou conectividade com a nuvem, esta solução torna possível implementar recursos inteligentes em sistemas compactos de baixo consumo.

Os clientes estão explorando casos de uso em setores como detecção em tempo real de pedestres e veículos em infraestrutura de cidades inteligentes, verificações de segurança diretamente no dispositivo e controle de qualidade em automação industrial, e diagnósticos auxiliados por IA em ferramentas de saúde portáteis. Da mesma forma, no espaço de eletrônicos de consumo, os modelos YOLO permitem recursos responsivos como detecção de presença, reconhecimento de gestos e object tracking - tudo dentro das restrições de desempenho de dispositivos operados por bateria.

Construindo as soluções de Vision AI de amanhã hoje#

À medida que a IA continua a evoluir, a STMicroelectronics foca-se em tornar mais fácil trazer soluções poderosas e eficientes para dispositivos de edge. Trabalhando em estreita colaboração com parceiros como a Ultralytics, eles estão ajudando os desenvolvedores a começar mais rapidamente com modelos prontos para uso, ferramentas e recursos compatíveis com STM32.

Dá o próximo passo na inovação de IA de borda. Visita o nosso GitHub repository para descobrir como os modelos Ultralytics YOLO estão transformando a visão embarcada. Explora aplicações de AI in healthcare e computer vision in retail, e confere as nossas licensing options hoje mesmo!