Levando os modelos Ultralytics YOLO ao hardware da Axelera AI para IA de borda

Na Ultralytics, estamos observando uma tendência crescente de executar modelos de visão computacional diretamente em dispositivos de borda, à medida que a IA se torna mais difundida. Em nossas conversas com a comunidade de visão computacional, tanto online quanto presencialmente em conferências recentes de tecnologia, nossa equipe tem observado um interesse cada vez maior em implantar IA para visão mais perto de onde os dados são gerados.

De ambientes de varejo inteligente e automação industrial à robótica, os insights em tempo real estão se tornando essenciais, e depender apenas da nuvem já não é suficiente.

Em poucas palavras, a IA de borda consiste em executar modelos de IA localmente nos dispositivos, em vez de enviar os dados a servidores centralizados para processamento. Isso permite reduzir a latência, melhorar a confiabilidade e responder a eventos do mundo real em tempo real.

No entanto, implantar modelos de alto desempenho nesses ambientes traz seus próprios desafios, pois os recursos computacionais limitados e as restrições de energia exigem modelos eficientes e otimizados para o hardware em que são executados.

Os modelos Ultralytics YOLO, como o Ultralytics YOLO26, foram projetados para visão computacional em tempo real, mas aproveitar todo o seu potencial na borda exige a combinação certa de software e hardware. Por isso, temos o prazer de anunciar nossa colaboração com a Axelera AI.

Firmamos uma parceria com a Axelera AI para apresentar uma integração de exportação atualizada, que permite a implantação eficiente e de alto desempenho dos modelos Ultralytics YOLO nas unidades de processamento de IA Metis® (AIPUs).

Fig. 1. Conheça uma unidade de processamento de IA Metis (Fonte)

Neste artigo, vamos explorar como compilar modelos Ultralytics YOLO para implantação no Metis.

A IA de borda é o futuro da visão computacional#

À medida que os aplicativos de visão computacional continuam evoluindo, a necessidade de processamento mais rápido e eficiente torna-se cada vez mais crucial. As abordagens tradicionais baseadas na nuvem podem introduzir latência, depender de uma conexão estável e não atender às demandas de tempo real de muitos casos de uso de visão inteligente.

A IA de borda enfrenta esses desafios ao permitir que os modelos sejam executados diretamente em dispositivos locais, processando os dados mais perto de sua origem. Por exemplo, considere drones com recursos de visão computacional usados em operações de busca e resgate.

Esses sistemas precisam analisar transmissões de vídeo em tempo real para detectar pessoas, obstáculos ou perigos, muitas vezes em áreas remotas com conectividade à internet limitada ou inexistente. Ao executar modelos de visão computacional diretamente no drone, a IA de borda permite tomar decisões mais rapidamente e obter um desempenho mais confiável, sem depender da infraestrutura de nuvem.

Essa mudança está abrindo novas possibilidades em diversos setores. Aplicativos como a detecção de objetos em tempo real no varejo, a inspeção automatizada de qualidade na manufatura e a percepção robótica se beneficiam de tempos de resposta mais rápidos e maior confiabilidade.

A IA de borda está se tornando rapidamente um elemento essencial para implantar sistemas de visão computacional escaláveis e responsivos em ambientes reais.

Conheça as unidades de processamento de IA Metis da Axelera AI#

Antes de explorar a nova integração de exportação, vamos dar um passo atrás e conhecer melhor as unidades de processamento de IA Metis da Axelera AI e o papel que desempenham para viabilizar uma IA de borda eficiente.

A Axelera AI desenvolve hardware especializado, projetado especificamente para acelerar a inferência de IA na borda. Um componente essencial é o Metis AIPU, ou unidade de processamento de IA, um processador especializado criado para executar redes neurais com eficiência em dispositivos de borda.

Ao contrário das unidades centrais de processamento (CPUs) de uso geral ou mesmo das unidades de processamento gráfico (GPUs), as AIPUs foram projetadas para lidar com os padrões computacionais específicos das cargas de trabalho de IA. Isso permite oferecer alto desempenho com baixo consumo de energia, algo essencial em ambientes de borda, onde os recursos costumam ser limitados.

O que diferencia a abordagem da Axelera AI é seu design de pilha completa. O Metis foi desenvolvido com computação digital na memória (D-IMC) e RISC-V para oferecer alto desempenho com a eficiência energética exigida pela computação de borda. Os quatro núcleos do Metis podem ser programados de forma independente, o que significa que você pode executar quatro modelos em paralelo por chip. Além do hardware, o Voyager SDK inclui um compilador e um ambiente de execução que trabalham em conjunto para otimizar modelos para implantação.

Isso permite que os desenvolvedores passem de modelos treinados à inferência pronta para produção com mais eficiência. Especificamente, as AIPUs Metis possibilitam executar modelos avançados de visão computacional, como os modelos Ultralytics YOLO, diretamente em dispositivos de borda, desde ambientes empresariais, de varejo, de saúde e de manufatura até equipamentos agrícolas e industriais e satélites.

Exportação de modelos Ultralytics YOLO para implantação no Metis#

O pacote Ultralytics para Python oferece uma interface unificada para treinar, avaliar e implantar modelos YOLO em diversas tarefas de visão computacional. Os modelos YOLO geralmente são desenvolvidos e treinados com PyTorch, que é adequado para experimentação e desenvolvimento de modelos.

No entanto, ao implantar esses modelos em hardware de borda especializado, é preciso convertê-los para um formato otimizado para o dispositivo de destino. É aí que entram as integrações de exportação compatíveis com o pacote Python da Ultralytics.

A Ultralytics oferece várias opções de exportação que permitem converter modelos YOLO para diferentes formatos, conforme o destino da implantação, como ONNX, TensorRT e outros backends específicos de hardware. Essas integrações simplificam a preparação de modelos para aplicativos do mundo real, cuidando das etapas necessárias de otimização e conversão.

Com base nisso, a Ultralytics lançou uma integração com a Axelera AI atualizada, que permite exportar modelos YOLO para implantação nas AIPUs Metis.

Durante a exportação, o modelo é compilado e quantizado em uma representação otimizada, projetada especificamente para o hardware da Axelera. Esse processo gera um modelo compilado no formato ".axm", além dos metadados necessários para implantação e inferência.

Fig. 2. É possível executar modelos Ultralytics YOLO nas AIPUs Metis. (Fonte)

A integração oferece suporte a uma ampla variedade de tarefas de visão computacional nos modelos Ultralytics YOLOv8, Ultralytics YOLO11 e Ultralytics YOLO26, incluindo detecção de objetos, segmentação de instâncias, classificação de imagens, estimativa de pose e detecção de caixas delimitadoras orientadas (OBB). As versões atuais exportam diretamente todas as tarefas da Ultralytics, incluindo segmentação semântica e estimativa de profundidade do YOLO26; consulte as tarefas compatíveis para saber mais. O zoológico de modelos do Voyager SDK também inclui modelos YOLO prontos para execução.

Esse suporte ampliado dá aos desenvolvedores flexibilidade para implantar diferentes tipos de modelos de visão conforme o aplicativo, desde detectar objetos em tempo real até compreender cenas, rastrear movimentos e analisar dados visuais complexos.

Após a exportação, os modelos podem ser implantados e executados sem depender do PyTorch durante a inferência. Em vez disso, são executados pelo ambiente de execução do Voyager SDK, que oferece suporte à criação de fluxos de trabalho completos para tarefas como processamento de vídeo, detecção em tempo real e rastreamento diretamente em dispositivos de borda.

Como começar a exportar modelos Ultralytics YOLO#

Agora que entendemos melhor a nova integração de exportação, vamos ver como exportar modelos Ultralytics YOLO para esse formato personalizado e executá-los no hardware Metis na borda.

Passo 1: Instalar o pacote Python da Ultralytics#

Para começar, você precisa instalar o pacote Ultralytics para Python. Ele oferece uma interface simples e consistente para treinar, avaliar e exportar modelos YOLO.

Você pode instalá-lo usando pip, executando o seguinte comando no terminal ou no prompt de comando:

pip install ultralytics

Se encontrar algum problema durante a instalação ou exportação, a documentação oficial da Ultralytics e o guia de problemas comuns são ótimos recursos para solucionar problemas.

Etapa 2: Instalar os drivers da Axelera e o Voyager SDK#

Para exportar e executar modelos no hardware da Axelera, você também precisa instalar os drivers da Axelera e o Voyager SDK. Essa etapa permite a comunicação com a AIPU Metis e fornece as ferramentas necessárias de ambiente de execução e compilação.

As etapas abaixo devem ser realizadas em um ambiente Linux com acesso ao hardware Metis da Axelera AI. Abra um terminal no seu sistema ou use uma célula de notebook se estiver executando o Jupyter Notebook em uma configuração local compatível e execute os comandos abaixo.

Comece adicionando a chave do repositório da Axelera, conforme indicado:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Em seguida, como mostrado abaixo, adicione o repositório da Axelera ao seu sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Depois, instale o Voyager SDK e carregue o driver Metis da seguinte forma:

sudo apt update
sudo apt install -y metis-dkms
sudo modprobe metis

Depois de concluir essas etapas, seu sistema estará pronto para exportar e executar modelos Ultralytics YOLO em dispositivos Metis da Axelera AI.

Etapa 3: Exportar modelos Ultralytics YOLO#

Depois de instalar o pacote Ultralytics, você pode carregar seu modelo YOLO e exportá-lo como um pacote compilado para o Metis. Esse processo converte o modelo para um formato otimizado para implantação no hardware Metis da Axelera AI.

No exemplo abaixo, usamos um modelo nano YOLO26 pré-treinado e o exportamos para o Metis. O modelo exportado será salvo em um diretório chamado "yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Etapa 4: Executar inferência com o modelo exportado#

Depois de exportar o modelo, você pode carregá-lo e executar inferência em imagens ainda não vistas ou transmissões de vídeo. Isso permite realizar tarefas de visão computacional em tempo real diretamente em dispositivos Metis da Axelera AI.

Por exemplo, o trecho de código abaixo mostra como carregar o modelo exportado e executar inferência em um URL disponível publicamente.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Neste caso, o modelo analisa a imagem de entrada e detecta objetos, salvando os resultados no diretório "runs/detect/predict".

Onde os modelos Ultralytics YOLO e o hardware da Axelera AI podem fazer a diferença#

A seguir, vamos discutir alguns aplicativos comuns de IA de borda nos quais os modelos Ultralytics YOLO podem ser implantados em hardware da Axelera AI em situações reais.

As AIPUs Metis da Axelera AI foram projetadas para vários ambientes de implantação, de sistemas embarcados e PCs industriais a robótica e servidores de borda. Com inferência de alto desempenho e eficiência energética, elas permitem executar aplicações de visão computacional diretamente no dispositivo em diversos setores. O Voyager SDK também inclui um criador de pipelines que ajuda engenheiros de ML e de aplicações a transformar modelos em produtos para a borda.

Sistemas inteligentes de visão na borda para o varejo#

Em ambientes de varejo, compreender o comportamento dos clientes em tempo real pode fazer uma grande diferença.

Com modelos Ultralytics YOLO executados em hardware da Axelera AI, as lojas podem monitorar o fluxo de pessoas, contá-las e analisar padrões de movimentação dentro da loja à medida que acontecem. Como tudo é executado no dispositivo, é possível gerar insights instantaneamente sem depender de conectividade com a nuvem, ajudando as equipes a agir mais rapidamente e, ao mesmo tempo, proteger a privacidade dos dados.

Fig. 3. Detecção e contagem de pessoas em um shopping usando o Ultralytics YOLO26

Usando IA de borda para inspecionar serviços públicos e infraestrutura#

A manutenção de infraestruturas de grande escala, como linhas de transmissão, é complexa e exige muitos recursos. Essas redes costumam se estender por grandes distâncias, o que torna as inspeções demoradas, caras e potencialmente perigosas. Quando falhas ou sinais iniciais de desgaste não são detectados, podem evoluir para interrupções no serviço, danos aos equipamentos ou riscos à segurança.

O uso de drones para melhorar a eficiência das inspeções está aumentando. Eles podem percorrer longas distâncias, acessar áreas de difícil alcance e capturar imagens em alta resolução de ativos críticos.

Combinar drones com IA de borda aprimora ainda mais esses fluxos de trabalho. Os modelos Ultralytics YOLO executados em hardware da Axelera AI permitem análises em tempo real durante inspeções, identificando falhas, classificando componentes e detectando anomalias no local. Isso reduz a necessidade de revisão manual e permite monitorar infraestruturas com mais rapidez e confiabilidade.

Fig. 4. Detecção de várias partes de uma linha de transmissão com Ultralytics YOLO26

Impulsionando a robótica com insights de IA de visão em tempo real#

Na robótica, velocidade e capacidade de resposta são fundamentais. Seja navegando por um armazém ou operando em ambientes industriais dinâmicos, os robôs precisam interpretar o que está ao redor instantaneamente.

Os modelos Ultralytics YOLO executados em hardware da Axelera AI permitem que os robôs interpretem o que está ao redor em tempo real, desde detectar obstáculos até rastrear pessoas e identificar objetos. Isso permite que os sistemas se movimentem com mais segurança, se adaptem a condições dinâmicas e operem com mais autonomia, sem depender de uma conexão constante com a nuvem.

Principais vantagens de executar modelos Ultralytics YOLO em AIPUs Metis#

Estas são algumas das principais vantagens de implantar modelos Ultralytics YOLO no hardware Metis da Axelera AI com a nova integração:

• Integração ao fluxo de trabalho da Ultralytics: A exportação de modelos YOLO para implantação no Metis se integra naturalmente ao pacote Python da Ultralytics, simplificando a transição do treinamento para a inferência.
• Suporte a várias tarefas de visão computacional: Você pode implantar modelos de detecção de objetos, segmentação, classificação, estimativa de pose e muito mais nas versões YOLOv8, YOLO11 e YOLO26.
• Execução de modelos em paralelo: As AIPUs Metis foram projetadas com quatro núcleos programáveis de forma independente, capazes de executar quatro modelos distintos em paralelo para atender às suas necessidades.
• Escalabilidade para aplicações de IA de borda: De análises de varejo e inspeção industrial à robótica e infraestrutura inteligente, a integração oferece suporte a uma ampla gama de casos de uso reais.

Principais conclusões#

Os modelos Ultralytics YOLO e as AIPUs Metis da Axelera AI facilitam a implementação de visão computacional de alto desempenho na borda. Ao simplificar a implantação e otimizar modelos para hardware especializado, essa integração ajuda a aproximar o desenvolvimento das aplicações do mundo real.

À medida que a IA de borda continua crescendo, contar com opções de implantação eficientes e escaláveis será fundamental para criar sistemas responsivos e confiáveis. Essa colaboração é um passo para tornar a IA de visão avançada mais acessível em diferentes setores.

Quer saber mais sobre IA? Explore nosso repositório no GitHub, conecte-se com nossa comunidade e confira nossas opções de licenciamento para dar início ao seu projeto de visão computacional. Descubra como inovações como IA no varejo e visão computacional na área da saúde estão moldando o futuro.