Trazendo modelos do Ultralytics YOLO para o hardware da Axelera AI para IA de borda

Na Ultralytics, observamos uma mudança crescente em direção à execução de modelos de visão computacional diretamente em dispositivos de borda à medida que a IA se torna mais amplamente adotada. Em nossas conversas com a comunidade de visão computacional, tanto online quanto pessoalmente em conferências de tecnologia recentes, nossa equipe notou um interesse crescente em implantar visão computacional de IA mais próxima de onde os dados são gerados.

De ambientes de varejo inteligentes e automação industrial à robótica, insights em tempo real estão se tornando essenciais, e depender apenas da nuvem já não é suficiente.

Em termos simples, edge AI envolve executar modelos de IA localmente em dispositivos, em vez de enviar dados para servidores centralizados para processamento. Isso torna possível reduzir a latência, melhorar a confiabilidade e responder a eventos do mundo real em tempo real.

No entanto, implantar modelos de alto desempenho nesses ambientes traz seus próprios desafios, já que recursos de computação limitados e restrições de energia exigem que os modelos sejam eficientes e otimizados para o hardware no qual são executados.

Modelos Ultralytics YOLO, como o Ultralytics YOLO26, são projetados para visão computacional em tempo real, mas liberar todo o seu potencial na borda requer a combinação certa de software e hardware. É por isso que estamos empolgados em anunciar nossa colaboração com a Axelera AI.

Fizemos uma parceria com a Axelera AI para introduzir uma integração de exportação atualizada, permitindo a implantação eficiente e de alto desempenho de modelos Ultralytics YOLO em Metis® AI Processing Units (AIPUs).

Fig 1. Uma visão de uma Metis AI Processing Unit (Fonte)

Neste artigo, exploraremos como os modelos Ultralytics YOLO podem ser facilmente compilados para a implantação no Metis. Vamos começar!

Link to this sectionEdge AI é o futuro da visão computacional#

À medida que as aplicações de visão computacional continuam a evoluir, a necessidade de um processamento mais rápido e eficiente está se tornando cada vez mais crucial. Abordagens tradicionais baseadas em nuvem podem introduzir latência, depender de conectividade estável e podem não atender às demandas de tempo real de muitos casos de uso de visão inteligente.

A edge AI aborda esses desafios permitindo que os modelos sejam executados diretamente em dispositivos locais, possibilitando que os dados sejam processados mais perto de sua fonte. Por exemplo, considere drones equipados com visão usados em operações de busca e salvamento.

Esses sistemas precisam analisar feeds de vídeo em tempo real para detectar pessoas, obstáculos ou perigos, frequentemente em áreas remotas com conectividade de internet limitada ou inexistente. Ao executar modelos de visão computacional diretamente no drone, a edge AI permite uma tomada de decisão mais rápida e um desempenho mais confiável sem depender da infraestrutura de nuvem.

Essa mudança está abrindo novas possibilidades em vários setores. Aplicações como detecção de objetos em tempo real no varejo, inspeção automatizada de qualidade na fabricação e percepção em robótica se beneficiam de tempos de resposta mais rápidos e maior confiabilidade.

A edge AI está se tornando rapidamente um facilitador chave para implantar sistemas de visão computacional escaláveis e responsivos em ambientes do mundo real.

Link to this sectionExplorando as Metis AI Processing Units da Axelera AI#

Antes de mergulhar na nova integração de exportação, vamos dar um passo atrás e aprender mais sobre as Metis AI Processing Units da Axelera AI e o papel que desempenham na viabilização de uma edge AI eficiente.

A Axelera AI desenvolve hardware construído especificamente para acelerar a inferência de IA na borda. Uma parte fundamental disso é a Metis AIPU, ou AI Processing Unit, um processador especializado criado para executar redes neurais de forma eficiente em dispositivos de borda.

Diferente de unidades de processamento central (CPUs) de uso geral ou mesmo unidades de processamento gráfico (GPUs), as AIPUs são projetadas para lidar com os padrões computacionais específicos de cargas de trabalho de IA. Isso permite que entreguem alto desempenho mantendo um baixo consumo de energia, o que é crítico para ambientes de borda onde os recursos são frequentemente limitados.

O que torna a abordagem da Axelera AI particularmente inovadora é seu design full-stack. O Metis é construído com computação digital em memória (D-IMC) e RISC-V para alto desempenho com a eficiência energética que a computação de borda exige. Os quatro núcleos do Metis são independentemente programáveis, o que significa que você pode executar quatro modelos por chip em paralelo. Além do hardware, o Voyager SDK inclui um compilador e runtime que trabalham juntos para otimizar modelos para implantação.

Isso permite aos desenvolvedores passar de modelos treinados para inferência pronta para produção de forma mais eficiente. Especificamente, as Metis AIPUs tornam possível executar modelos avançados de visão computacional, como modelos Ultralytics YOLO, diretamente em dispositivos de borda em ambientes de empresas, varejo, saúde e fabricação, até equipamentos agrícolas, industriais e satélites.

Link to this sectionExportando modelos Ultralytics YOLO para implantação no Metis#

O pacote Python Ultralytics fornece uma interface unificada para treinamento, avaliação e implantação de modelos YOLO em uma variedade de tarefas de visão computacional. Modelos YOLO são normalmente desenvolvidos e treinados usando PyTorch, que é bem adequado para experimentação e desenvolvimento de modelos.

No entanto, ao implantar esses modelos em hardware de borda especializado, eles precisam ser convertidos em um formato otimizado para o dispositivo de destino. É aqui que entram as integrações de exportação suportadas pelo pacote Python Ultralytics.

A Ultralytics fornece uma gama de opções de exportação que permitem que modelos YOLO sejam convertidos em diferentes formatos, dependendo do destino da implantação, como ONNX, TensorRT e outros backends específicos de hardware. Essas integrações simplificam o processo de preparação de modelos para aplicações do mundo real ao lidar com as etapas necessárias de otimização e conversão.

Com base nisso, a Ultralytics introduziu uma integração de exportação atualizada com a Axelera AI, permitindo que modelos YOLO sejam exportados para implantação em Metis AIPUs.

Durante a exportação, o modelo é compilado e quantizado em uma representação otimizada projetada especificamente para o hardware da Axelera. Esse processo produz um modelo compilado no formato ".axm", juntamente com metadados necessários para implantação e inferência.

Fig 2. Modelos Ultralytics YOLO podem ser executados em Metis AIPUs. (Fonte)

A integração suporta uma ampla gama de tarefas de visão computacional em modelos Ultralytics YOLOv8, Ultralytics YOLO11 e Ultralytics YOLO26, incluindo detecção de objetos, estimativa de pose, segmentação de instâncias, detecção de caixa delimitadora orientada (OBB) e classificação de imagens. Embora a maioria das tarefas seja suportada diretamente através do fluxo de exportação, a segmentação YOLO26 pode ser usada através do model zoo com o Voyager SDK.

Esse suporte expandido oferece aos desenvolvedores a flexibilidade de implantar diferentes tipos de modelos de visão dependendo de sua aplicação, desde detectar objetos em tempo real até entender cenas, rastrear movimentos e analisar dados visuais complexos.

Uma vez exportados, os modelos podem ser implantados e executados sem depender do PyTorch no momento da inferência. Em vez disso, são executados usando o runtime do Voyager SDK, que suporta a construção de pipelines ponta a ponta para tarefas como processamento de vídeo, detecção em tempo real e rastreamento diretamente em dispositivos de borda.

Link to this sectionComeçando a exportar modelos Ultralytics YOLO#

Agora que temos uma compreensão melhor da nova integração de exportação, vamos percorrer como exportar modelos Ultralytics YOLO para este formato personalizado e executá-los em hardware Metis na borda.

Link to this sectionPasso 1: Instale o pacote Python da Ultralytics#

Para começar, você primeiro precisará instalar o pacote Python Ultralytics. Ele fornece uma interface simples e consistente para treinar, avaliar e exportar modelos YOLO.

Você pode instalá-lo usando pip executando o seguinte comando no seu terminal ou prompt de comando:

pip install ultralytics

Se você encontrar algum problema durante a instalação ou exportação, a documentação oficial da Ultralytics e o guia de Problemas Comuns são ótimos recursos para solução de problemas.

Link to this sectionPasso 2: Instale os drivers Axelera e o Voyager SDK#

Para exportar e executar modelos no hardware Axelera, você também precisará instalar os drivers Axelera e o Voyager SDK. Esta etapa permite a comunicação com a Metis AIPU e fornece as ferramentas de runtime e compilador necessárias.

As etapas abaixo devem ser realizadas em um ambiente Linux com acesso ao hardware Axelera AI Metis. Abra um terminal no seu sistema, ou use uma célula de notebook se estiver executando o Jupyter Notebook em uma configuração local compatível, e execute os comandos abaixo.

Comece adicionando a chave do repositório Axelera da seguinte forma:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Em seguida, conforme mostrado abaixo, adicione o repositório Axelera ao seu sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Então, instale o Voyager SDK e carregue o driver Metis da seguinte forma:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Uma vez concluídas essas etapas, seu sistema estará pronto para exportar e executar modelos Ultralytics YOLO em dispositivos Axelera AI Metis.

Link to this sectionPasso 3: Exportando modelos Ultralytics YOLO#

Uma vez que o pacote Ultralytics esteja instalado, você pode carregar seu modelo YOLO e exportá-lo como um pacote compilado para o Metis. Esse processo converte o modelo em um formato otimizado para implantação em hardware Axelera AI Metis.

No exemplo abaixo, usamos um modelo nano YOLO26 pré-treinado e o exportamos para o Metis. O modelo exportado será salvo em um diretório chamado "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionPasso 4: Execute a inferência com o modelo exportado#

Após exportar o modelo, você pode carregá-lo e executar a inferência em imagens ou streams de vídeo não vistos. Isso possibilita tarefas de visão computacional em tempo real diretamente em dispositivos Axelera AI Metis.

Por exemplo, o snippet de código abaixo mostra como carregar o modelo exportado e executar a inferência em uma URL disponível publicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Neste caso, o modelo analisa a imagem de entrada e detecta objetos, salvando os resultados no diretório "runs/detect/predict".

Link to this sectionOnde os modelos Ultralytics YOLO e o hardware Axelera AI podem causar impacto#

A seguir, vamos discutir algumas aplicações comuns de edge AI onde modelos Ultralytics YOLO podem ser implantados em hardware Axelera AI em cenários do mundo real.

As Metis AIPUs da Axelera AI são projetadas para uma variedade de ambientes de implantação, desde sistemas embarcados e PCs industriais até robótica e servidores de borda. Com inferência de alto desempenho e eficiência energética, elas permitem que aplicações de visão computacional rodem diretamente no dispositivo em todos os setores. O Voyager SDK também inclui um construtor de pipelines para engenheiros de ML e APP comercializarem modelos para a borda.

Link to this sectionSistemas de visão inteligentes no varejo operando na borda#

Em ambientes de varejo, entender o comportamento do cliente em tempo real pode fazer uma diferença significativa.

Usando modelos Ultralytics YOLO executados em hardware Axelera AI, as lojas podem monitorar o tráfego de pessoas, contar indivíduos e analisar padrões de movimento dentro da loja conforme acontecem. Como tudo roda no dispositivo, insights podem ser gerados instantaneamente sem depender de conectividade com a nuvem, ajudando as equipes a responder mais rápido enquanto mantêm a privacidade dos dados.

Fig 3. Detectando e contando pessoas em um shopping usando YOLO26

Link to this sectionUsando edge AI para inspeção de serviços públicos e infraestrutura#

Manter infraestrutura em grande escala, como linhas de energia, é complexo e consome muitos recursos. Essas redes frequentemente abrangem vastas distâncias, tornando as inspeções demoradas, caras e potencialmente perigosas. Quando falhas ou sinais precoces de desgaste não são detectados, podem escalar para interrupções, danos ao equipamento ou riscos à segurança.

Drones estão sendo cada vez mais usados para melhorar a eficiência da inspeção. Eles podem cobrir longas distâncias, acessar áreas de difícil alcance e capturar imagens de alta resolução de ativos críticos.

Combinar drones com edge AI aprimora ainda mais esses fluxos de trabalho. Modelos Ultralytics YOLO rodando em hardware Axelera AI permitem análise em tempo real durante as inspeções, identificando falhas, classificando componentes e detectando anomalias no local. Isso reduz a necessidade de revisão manual e suporta um monitoramento de infraestrutura mais rápido e confiável.

Fig 4. Detectando várias partes de uma linha de energia com YOLO26

Link to this sectionImpulsionando a robótica com insights de visão computacional em tempo real#

Para a robótica, velocidade e responsividade são críticas. Seja navegando em um armazém ou operando em ambientes industriais dinâmicos, os robôs precisam interpretar seus arredores instantaneamente.

Modelos Ultralytics YOLO rodando em hardware Axelera AI permitem que robôs interpretem seus arredores em tempo real, desde detectar obstáculos até rastrear pessoas e identificar objetos. Isso permite que sistemas se movam com mais segurança, adaptem-se a condições dinâmicas e operem com maior autonomia sem depender de conectividade constante com a nuvem.

Link to this sectionPrincipais benefícios de executar modelos Ultralytics YOLO em Metis AIPUs#

Aqui estão algumas das principais vantagens de implantar modelos Ultralytics YOLO no hardware Metis da Axelera AI usando a nova integração:

• Integração perfeita com o fluxo de trabalho da Ultralytics: Exportar modelos YOLO para implantação no Metis se encaixa naturalmente no pacote Python Ultralytics, simplificando a transição do treinamento para a inferência.
• Suporte para múltiplas tarefas de visão computacional: Você pode implantar modelos para detecção de objetos, estimativa de pose, segmentação, classificação e mais, no YOLOv8, YOLO11 e YOLO26.
• Execute modelos em paralelo: As Metis AIPUs são projetadas com quatro núcleos programáveis independentemente, capazes de executar quatro modelos separados em paralelo para atender às suas necessidades.
• Escalável em aplicações de edge AI: De análises de varejo e inspeção industrial a robótica e infraestrutura inteligente, a integração suporta uma ampla gama de casos de uso do mundo real.

Link to this sectionPrincipais pontos#

Modelos Ultralytics YOLO e Metis AIPUs da Axelera AI tornam mais fácil trazer visão computacional de alto desempenho para a borda. Ao simplificar a implantação e otimizar modelos para hardware especializado, esta integração ajuda a preencher a lacuna entre o desenvolvimento e as aplicações do mundo real.

À medida que a edge AI continua a crescer, ter opções de implantação eficientes e escaláveis será fundamental para construir sistemas responsivos e confiáveis. Esta colaboração é um passo em direção a tornar a IA de visão avançada mais acessível em todos os setores.

Quer saber mais sobre IA? Explore nosso repositório GitHub, conecte-se com nossa comunidade e confira nossas opções de licenciamento para impulsionar seu projeto de visão computacional. Descubra como inovações como IA no varejo e visão computacional na saúde estão moldando o futuro.