Levando os modelos Ultralytics YOLO ao hardware da Axelera AI para IA de borda

Na Ultralytics, estamos observando uma tendência crescente de executar modelos de visão computacional diretamente em dispositivos de borda, à medida que a IA se torna cada vez mais amplamente adotada. Em nossas conversas com a comunidade de visão computacional, tanto online quanto pessoalmente em conferências de tecnologia recentes, nossa equipe notou um interesse crescente em implantar IA de visão mais perto de onde os dados são gerados.

De ambientes de varejo inteligente e automação industrial à robótica, os insights em tempo real estão se tornando essenciais, e depender apenas da nuvem já não é suficiente.

Em poucas palavras, a IA de borda consiste em executar modelos de IA localmente nos dispositivos, em vez de enviar dados a servidores centralizados para processamento. Isso permite reduzir a latência, melhorar a confiabilidade e responder a eventos do mundo real em tempo real.

No entanto, implantar modelos de alto desempenho nesses ambientes traz seus próprios desafios, pois os recursos computacionais limitados e as restrições de energia exigem que os modelos sejam eficientes e otimizados para o hardware em que são executados.

Modelos Ultralytics YOLO, como o Ultralytics YOLO26, foram projetados para visão computacional em tempo real, mas aproveitar todo o seu potencial na borda exige a combinação certa de software e hardware. Por isso, estamos muito animados em anunciar nossa colaboração com a Axelera AI.

Firmamos uma parceria com a Axelera AI para apresentar uma integração de exportação atualizada, que permite a implantação eficiente e de alto desempenho de modelos Ultralytics YOLO nas unidades de processamento de IA Metis® (AIPUs).

Fig. 1. Uma visão geral de uma unidade de processamento de IA Metis (Fonte)

Neste artigo, vamos explorar como compilar facilmente modelos Ultralytics YOLO para implantação no Metis. Vamos começar!

A IA de borda é o futuro da visão computacional#

À medida que as aplicações de visão computacional continuam evoluindo, a necessidade de um processamento mais rápido e eficiente se torna cada vez mais crucial. As abordagens tradicionais baseadas na nuvem podem introduzir latência, depender de uma conexão estável e talvez não atendam às exigências de tempo real de muitos casos de uso de visão inteligente.

A IA de borda enfrenta esses desafios ao permitir que os modelos sejam executados diretamente em dispositivos locais, possibilitando o processamento dos dados mais perto da origem. Por exemplo, considere drones equipados com visão computacional usados em operações de busca e resgate.

Esses sistemas precisam analisar transmissões de vídeo em tempo real para detectar pessoas, obstáculos ou perigos, muitas vezes em áreas remotas com conectividade limitada ou sem acesso à internet. Ao executar modelos de visão computacional diretamente no drone, a IA de borda permite tomar decisões mais rapidamente e obter um desempenho mais confiável, sem depender da infraestrutura de nuvem.

Essa mudança está abrindo novas possibilidades em diversos setores. Aplicações como a detecção de objetos em tempo real no varejo, a inspeção automatizada de qualidade na indústria e a percepção robótica se beneficiam de tempos de resposta menores e maior confiabilidade.

A IA de borda está se tornando rapidamente essencial para implantar sistemas de visão computacional escaláveis e responsivos em ambientes do mundo real.

Conhecendo as unidades de processamento de IA Metis da Axelera AI#

Antes de explorar a nova integração de exportação, vamos fazer uma pausa para conhecer melhor as unidades de processamento de IA Metis da Axelera AI e entender o papel delas na viabilização de uma IA de borda eficiente.

A Axelera AI desenvolve hardware criado especificamente para acelerar a inferência de IA na borda. Uma parte essencial desse hardware é a Metis AIPU, ou unidade de processamento de IA, um processador especializado projetado para executar redes neurais com eficiência em dispositivos de borda.

Ao contrário das unidades centrais de processamento (CPUs) de uso geral ou mesmo das unidades de processamento gráfico (GPUs), as AIPUs foram projetadas para lidar com os padrões computacionais específicos das cargas de trabalho de IA. Isso permite que ofereçam alto desempenho e, ao mesmo tempo, mantenham baixo consumo de energia, algo fundamental em ambientes de borda, onde os recursos costumam ser limitados.

O que torna a abordagem da Axelera AI especialmente inovadora é seu design de pilha completa. O Metis foi desenvolvido com computação digital em memória (D-IMC) e RISC-V para oferecer alto desempenho com a eficiência energética exigida pela computação de borda. Os quatro núcleos do Metis podem ser programados de forma independente, o que significa que você pode executar quatro modelos em paralelo por chip. Além do hardware, o Voyager SDK inclui um compilador e um runtime que trabalham em conjunto para otimizar os modelos para implantação.

Isso permite que os desenvolvedores passem de modelos treinados à inferência pronta para produção com mais eficiência. Especificamente, as AIPUs Metis possibilitam executar modelos avançados de visão computacional, como os modelos Ultralytics YOLO, diretamente em dispositivos de borda, desde ambientes empresariais, de varejo, de saúde e de manufatura até fazendas, equipamentos industriais e satélites.

Exportando modelos Ultralytics YOLO para implantação no Metis#

O pacote Python Ultralytics oferece uma interface unificada para treinar, avaliar e implantar modelos YOLO em diversas tarefas de visão computacional. Os modelos YOLO geralmente são desenvolvidos e treinados com PyTorch, que é adequado para experimentação e desenvolvimento de modelos.

No entanto, ao implantar esses modelos em hardware de borda especializado, é preciso convertê-los para um formato otimizado para o dispositivo de destino. É aí que entram as [integrações de exportação](https://ultralytics-translation-0.invalid compatíveis com o pacote Python Ultralytics.

A Ultralytics oferece várias opções de exportação que permitem converter modelos YOLO para diferentes formatos, conforme o destino da implantação, como ONNX, TensorRT e outros backends específicos de hardware. Essas integrações simplificam a preparação dos modelos para aplicações do mundo real, cuidando das etapas necessárias de otimização e conversão.

Como parte desse trabalho, a Ultralytics lançou uma integração com a Axelera AI atualizada para exportação, que permite exportar modelos YOLO para implantação nas AIPUs Metis.

Durante a exportação, o modelo é compilado e quantizado em uma representação otimizada, projetada especificamente para o hardware da Axelera. Esse processo gera um modelo compilado no formato ".axm", além dos metadados necessários para implantação e inferência.

Fig. 2. Os modelos Ultralytics YOLO podem ser executados nas AIPUs Metis. (Fonte)

A integração oferece suporte a uma ampla variedade de tarefas de visão computacional no Ultralytics YOLOv8, no Ultralytics YOLO11 e nos modelos Ultralytics YOLO26, incluindo detecção de objetos, estimativa de pose, segmentação de instâncias, detecção com caixas delimitadoras orientadas (OBB) e classificação de imagens. Embora a maioria das tarefas tenha suporte direto no fluxo de trabalho de exportação, a segmentação do YOLO26 pode ser usada por meio do zoológico de modelos com o Voyager SDK.

Esse suporte ampliado dá aos desenvolvedores flexibilidade para implantar diferentes tipos de modelos de visão conforme a aplicação, desde detectar objetos em tempo real até interpretar cenas, acompanhar movimentos e analisar dados visuais complexos.

Depois de exportados, os modelos podem ser implantados e executados sem depender do PyTorch durante a inferência. Em vez disso, eles são executados usando o runtime do Voyager SDK, que permite criar pipelines completos para tarefas como processamento de vídeo, detecção em tempo real e rastreamento diretamente em dispositivos de borda.

Primeiros passos na exportação de modelos Ultralytics YOLO#

Agora que entendemos melhor a nova integração de exportação, vamos ver como exportar modelos Ultralytics YOLO para esse formato personalizado e executá-los no hardware Metis na borda.

Etapa 1: instalar o pacote Python da Ultralytics#

Para começar, primeiro você precisa instalar o pacote Python Ultralytics. Ele oferece uma interface simples e consistente para treinar, avaliar e exportar modelos YOLO.

Você pode instalá-lo usando pip. Para isso, execute o seguinte comando no terminal ou no prompt de comando:

pip install ultralytics

Se encontrar algum problema durante a instalação ou exportação, a documentação oficial da Ultralytics e o guia de problemas comuns são ótimos recursos para solucionar problemas.

Etapa 2: instalar os drivers da Axelera e o Voyager SDK#

Para exportar e executar modelos no hardware da Axelera, você também precisa instalar os drivers da Axelera e o Voyager SDK. Essa etapa habilita a comunicação com a AIPU Metis e fornece as ferramentas necessárias de runtime e compilador.

As etapas abaixo devem ser realizadas em um ambiente Linux com acesso ao hardware Metis da Axelera AI. Abra um terminal no sistema ou use uma célula do notebook se estiver executando o Jupyter Notebook em uma configuração local compatível e execute os comandos abaixo.

Comece adicionando a chave do repositório da Axelera da seguinte forma:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Em seguida, como mostrado abaixo, adicione o repositório da Axelera ao sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Depois, instale o Voyager SDK e carregue o driver Metis da seguinte forma:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Depois de concluir essas etapas, o sistema estará pronto para exportar e executar modelos Ultralytics YOLO em dispositivos Metis da Axelera AI.

Etapa 3: exportar modelos Ultralytics YOLO#

Depois de instalar o pacote Ultralytics, você pode carregar seu modelo YOLO e exportá-lo como um pacote compilado para o Metis. Esse processo converte o modelo para um formato otimizado para implantação no hardware Metis da Axelera AI.

No exemplo abaixo, usamos um modelo YOLO26 nano pré-treinado e o exportamos para Metis. O modelo exportado será salvo em um diretório chamado "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Etapa 4: executar inferência com o modelo exportado#

Depois de exportar o modelo, você pode carregá-lo e executar inferência em imagens inéditas ou fluxos de vídeo. Isso permite realizar tarefas de visão computacional em tempo real diretamente em dispositivos Metis da Axelera AI.

Por exemplo, o trecho de código abaixo mostra como carregar o modelo exportado e executar inferência usando um URL disponível publicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Nesse caso, o modelo analisa a imagem de entrada e detecta objetos, salvando os resultados no diretório "runs/detect/predict".

Onde os modelos Ultralytics YOLO e o hardware da Axelera AI podem fazer a diferença#

Agora, vamos falar sobre algumas aplicações comuns de IA de borda nas quais modelos Ultralytics YOLO podem ser implantados em hardware da Axelera AI em situações do mundo real.

As AIPUs Metis da Axelera AI foram projetadas para diversos ambientes de implantação, desde sistemas embarcados e PCs industriais até robótica e servidores de borda. Com inferência de alto desempenho e eficiência energética, elas permitem executar aplicações de visão computacional diretamente no dispositivo em vários setores. O Voyager SDK também inclui um criador de pipelines para que engenheiros de ML e de aplicações levem modelos à produção na borda.

Sistemas de visão inteligente na borda para o varejo#

Em ambientes de varejo, entender o comportamento dos clientes em tempo real pode fazer uma grande diferença.

Com modelos Ultralytics YOLO executados no hardware da Axelera AI, as lojas podem monitorar o fluxo de pessoas, contar clientes e analisar os padrões de movimentação na loja à medida que acontecem. Como tudo é executado no dispositivo, é possível gerar insights instantaneamente sem depender da conexão com a nuvem, ajudando as equipes a responder mais rapidamente e a manter a privacidade dos dados.

Fig. 3. Detecção e contagem de pessoas em um shopping usando o Ultralytics YOLO26

Usando IA de borda para inspecionar serviços públicos e infraestrutura#

A manutenção de infraestruturas de grande escala, como linhas de energia, é complexa e consome muitos recursos. Essas redes costumam se estender por grandes distâncias, o que torna as inspeções demoradas, caras e potencialmente perigosas. Quando falhas ou sinais iniciais de desgaste passam despercebidos, podem evoluir para interrupções no serviço, danos aos equipamentos ou riscos à segurança.

O uso de drones para melhorar a eficiência das inspeções está cada vez mais comum. Eles podem cobrir longas distâncias, acessar áreas de difícil alcance e capturar imagens de alta resolução de ativos críticos.

Combinar drones com IA de borda aprimora ainda mais esses fluxos de trabalho. Modelos Ultralytics YOLO executados no hardware da Axelera AI permitem analisar dados em tempo real durante as inspeções, identificar falhas, classificar componentes e detectar anomalias no local. Isso reduz a necessidade de revisão manual e permite monitorar a infraestrutura com mais rapidez e confiabilidade.

Fig. 4. Detecção de várias partes de uma linha de energia com o Ultralytics YOLO26

Robótica com insights de IA de visão em tempo real#

Na robótica, velocidade e capacidade de resposta são fundamentais. Seja ao se deslocar por um armazém ou operar em ambientes industriais dinâmicos, os robôs precisam interpretar o que está ao redor instantaneamente.

Modelos Ultralytics YOLO executados no hardware da Axelera AI permitem que os robôs interpretem o ambiente ao redor em tempo real, desde a detecção de obstáculos até o rastreamento de pessoas e a identificação de objetos. Isso permite que os sistemas se movimentem com mais segurança, se adaptem a condições dinâmicas e operem com maior autonomia, sem depender de uma conexão constante com a nuvem.

Principais vantagens de executar modelos Ultralytics YOLO nas AIPUs Metis#

Veja algumas das principais vantagens de implantar modelos Ultralytics YOLO no hardware Metis da Axelera AI com a nova integração:

• Integração perfeita ao fluxo de trabalho da Ultralytics: Exportar modelos YOLO para implantação no Metis se encaixa naturalmente no pacote Python Ultralytics, simplificando a transição do treinamento à inferência.
• Compatibilidade com várias tarefas de visão computacional: Você pode implantar modelos de detecção de objetos, estimativa de pose, segmentação, classificação e muito mais com YOLOv8, YOLO11 e YOLO26.
• Execução de modelos em paralelo: As AIPUs Metis foram projetadas com quatro núcleos programáveis de forma independente, capazes de executar quatro modelos diferentes em paralelo conforme suas necessidades.
• Escalabilidade em aplicações de IA de borda: De análises no varejo e inspeções industriais à robótica e infraestrutura inteligente, a integração é compatível com uma ampla variedade de casos de uso do mundo real.

Principais conclusões#

Os modelos Ultralytics YOLO e as AIPUs Metis da Axelera AI facilitam levar visão computacional de alto desempenho para a borda. Ao simplificar a implantação e otimizar os modelos para hardware especializado, essa integração ajuda a aproximar o desenvolvimento das aplicações do mundo real.

À medida que a IA de borda continua crescendo, ter opções de implantação eficientes e escaláveis será fundamental para criar sistemas responsivos e confiáveis. Essa colaboração é um passo para tornar a IA de visão avançada mais acessível em diversos setores.

Quer saber mais sobre IA? Explore nosso repositório no GitHub, conecte-se com nossa comunidade e confira nossas opções de licenciamento para dar início ao seu projeto de visão computacional. Descubra como inovações como IA no varejo e visão computacional na saúde estão moldando o futuro.