Levar os modelos Ultralytics YOLO para o hardware da Axelera AI para IA de edge

Na Ultralytics, estamos a assistir a uma mudança crescente para a execução de modelos de visão computacional diretamente em dispositivos edge, à medida que a IA é adotada de forma mais ampla. Nas nossas conversas com a comunidade de visão computacional, tanto online como presencialmente em conferências tecnológicas recentes, a nossa equipa tem observado um interesse cada vez maior em implementar IA de visão mais perto do local onde os dados são gerados.

Desde ambientes de retalho inteligente e automação industrial até à robótica, os insights em tempo real estão a tornar-se essenciais, e depender apenas da cloud já não é suficiente.

Em termos simples, a IA de edge consiste em executar modelos de IA localmente nos dispositivos, em vez de enviar os dados para servidores centralizados para processamento. Isto permite reduzir a latência, melhorar a fiabilidade e responder a eventos do mundo real em tempo real.

No entanto, implementar modelos de alto desempenho nestes ambientes traz os seus próprios desafios, uma vez que os recursos computacionais limitados e as restrições de energia exigem que os modelos sejam eficientes e otimizados para o hardware em que são executados.

Os modelos Ultralytics YOLO, como o Ultralytics YOLO26, foram concebidos para visão computacional em tempo real, mas libertar todo o seu potencial no edge exige a combinação certa de software e hardware. É por isso que temos o prazer de anunciar a nossa colaboração com a Axelera AI.

Estabelecemos uma parceria com a Axelera AI para apresentar uma integração de exportação atualizada, permitindo a implementação eficiente e de alto desempenho de modelos Ultralytics YOLO em Unidades de processamento de IA Metis® (AIPUs).

Fig. 1. Uma vista de uma Unidade de processamento de IA Metis (Fonte)

Neste artigo, vamos explorar como os modelos Ultralytics YOLO podem ser facilmente compilados para implementação em Metis. Vamos começar!

A IA de edge é o futuro da visão computacional#

À medida que as aplicações de visão computacional continuam a evoluir, a necessidade de um processamento mais rápido e eficiente torna-se cada vez mais crucial. As abordagens tradicionais baseadas na cloud podem introduzir latência, depender de uma conectividade estável e não responder às exigências de tempo real de muitos casos de uso de visão inteligente.

A IA de edge responde a estes desafios ao permitir que os modelos sejam executados diretamente em dispositivos locais, fazendo com que os dados sejam processados mais perto da sua origem. Por exemplo, considera drones com visão utilizados em operações de busca e salvamento.

Estes sistemas precisam de analisar fluxos de vídeo em tempo real para detetar pessoas, obstáculos ou perigos, muitas vezes em áreas remotas com conectividade à Internet limitada ou inexistente. Ao executar modelos de visão computacional diretamente no drone, a IA de edge permite tomar decisões mais rapidamente e obter um desempenho mais fiável, sem depender de uma infraestrutura cloud.

Esta mudança está a abrir novas possibilidades em vários setores. Aplicações como a deteção de objetos em tempo real no retalho, a inspeção automatizada da qualidade na indústria transformadora e a perceção na robótica beneficiam de tempos de resposta mais rápidos e de maior fiabilidade.

A IA de edge está rapidamente a tornar-se um facilitador essencial para implementar sistemas de visão computacional escaláveis e responsivos em ambientes do mundo real.

Explorar as Unidades de processamento de IA Metis da Axelera AI#

Antes de analisarmos a nova integração de exportação, vamos dar um passo atrás e conhecer melhor as Unidades de processamento de IA Metis da Axelera AI e o papel que desempenham na viabilização de uma IA de edge eficiente.

A Axelera AI desenvolve hardware concebido especificamente para acelerar a inferência de IA no edge. Uma parte essencial desta solução é a AIPU Metis, ou Unidade de processamento de IA, um processador especializado criado para executar redes neuronais de forma eficiente em dispositivos edge.

Ao contrário das unidades de processamento central (CPUs) de uso geral ou até das unidades de processamento gráfico (GPUs), as AIPUs foram concebidas para lidar com os padrões computacionais específicos das cargas de trabalho de IA. Isto permite-lhes proporcionar um desempenho elevado mantendo um baixo consumo de energia, algo fundamental em ambientes edge, onde os recursos são frequentemente limitados.

O que torna a abordagem da Axelera AI particularmente inovadora é o seu design de stack completa. A Metis foi concebida com computação digital na memória (D-IMC) e RISC-V para proporcionar um desempenho elevado com a eficiência energética exigida pela computação edge. Os quatro núcleos da Metis são programáveis de forma independente, o que significa que podes executar quatro modelos por chip em paralelo. Para além do hardware, o SDK Voyager inclui um compilador e um runtime que trabalham em conjunto para otimizar os modelos para implementação.

Isto permite aos developers passar de modelos treinados para inferência pronta para produção de forma mais eficiente. Mais especificamente, as AIPUs Metis tornam possível executar modelos avançados de visão computacional, como os modelos Ultralytics YOLO, diretamente em dispositivos edge, desde ambientes empresariais, de retalho, de saúde e de produção até explorações agrícolas, equipamento industrial e satélites.

Exportar modelos Ultralytics YOLO para implementação em Metis#

O pacote Python da Ultralytics fornece uma interface unificada para treinar, avaliar e implementar modelos YOLO numa ampla variedade de tarefas de visão computacional. Os modelos YOLO são normalmente desenvolvidos e treinados com PyTorch, que é adequado para experimentação e desenvolvimento de modelos.

No entanto, ao implementar estes modelos em hardware edge especializado, é necessário convertê-los para um formato otimizado para o dispositivo-alvo. É aqui que entram as integrações de exportação suportadas pelo pacote Python da Ultralytics.

A Ultralytics disponibiliza várias opções de exportação que permitem converter modelos YOLO para diferentes formatos, consoante o destino da implementação, como ONNX, TensorRT e outros backends específicos de hardware. Estas integrações simplificam a preparação dos modelos para aplicações do mundo real, tratando das etapas necessárias de otimização e conversão.

Com base neste trabalho, a Ultralytics introduziu uma integração de exportação atualizada com a Axelera AI, permitindo exportar modelos YOLO para implementação em AIPUs Metis.

Durante a exportação, o modelo é compilado e quantizado para uma representação otimizada, concebida especificamente para o hardware Axelera. Este processo produz um modelo compilado no formato ".axm", juntamente com os metadados necessários para a implementação e a inferência.

Fig. 2. Os modelos Ultralytics YOLO podem ser executados em AIPUs Metis. (Fonte)

A integração suporta uma ampla variedade de tarefas de visão computacional no Ultralytics YOLOv8, Ultralytics YOLO11 e nos modelos Ultralytics YOLO26, incluindo deteção de objetos, estimativa de pose, segmentação de instâncias, deteção de caixas delimitadoras orientadas (OBB) e classificação de imagens. Embora a maioria das tarefas seja suportada diretamente através do fluxo de trabalho de exportação, a segmentação do YOLO26 pode ser utilizada através do zoo de modelos com o SDK Voyager.

Este suporte alargado dá aos developers a flexibilidade para implementar diferentes tipos de modelos de visão, consoante a aplicação, desde detetar objetos em tempo real até compreender cenas, acompanhar movimentos e analisar dados visuais complexos.

Depois de exportados, os modelos podem ser implementados e executados sem depender do PyTorch durante a inferência. Em vez disso, são executados através do runtime do SDK Voyager, que suporta a criação de pipelines completos para tarefas como processamento de vídeo, deteção em tempo real e tracking diretamente em dispositivos edge.

Começar a exportar modelos Ultralytics YOLO#

Agora que compreendemos melhor a nova integração de exportação, vamos explicar como exportar modelos Ultralytics YOLO para este formato personalizado e executá-los em hardware Metis no edge.

Passo 1: Instalar o pacote Python da Ultralytics#

Para começar, primeiro precisas de instalar o pacote Python da Ultralytics. Este fornece uma interface simples e consistente para treinar, avaliar e exportar modelos YOLO.

Podes instalá-lo com pip, executando o seguinte comando no terminal ou na linha de comandos:

pip install ultralytics

Se encontrares algum problema durante a instalação ou a exportação, a documentação oficial da Ultralytics e o guia de Problemas comuns são excelentes recursos para resolução de problemas.

Passo 2: Instalar os drivers Axelera e o SDK Voyager#

Para exportar e executar modelos em hardware Axelera, também precisas de instalar os drivers Axelera e o SDK Voyager. Este passo permite a comunicação com a AIPU Metis e fornece as ferramentas de runtime e de compilação necessárias.

Os passos abaixo têm de ser executados num ambiente Linux com acesso a hardware Metis da Axelera AI. Abre um terminal no teu sistema ou utiliza uma célula de notebook se estiveres a executar o Jupyter Notebook numa configuração local compatível e executa os comandos abaixo.

Começa por adicionar a chave do repositório Axelera da seguinte forma:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Em seguida, como mostrado abaixo, adiciona o repositório Axelera ao teu sistema:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Depois, instala o SDK Voyager e carrega o driver Metis da seguinte forma:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Quando estes passos estiverem concluídos, o teu sistema estará pronto para exportar e executar modelos Ultralytics YOLO em dispositivos Metis da Axelera AI.

Passo 3: Exportar modelos Ultralytics YOLO#

Depois de instalares o pacote Ultralytics, podes carregar o teu modelo YOLO e exportá-lo como um pacote compilado para Metis. Este processo converte o modelo para um formato otimizado para implementação em hardware Metis da Axelera AI.

No exemplo abaixo, utilizamos um modelo YOLO26 nano pré-treinado e exportamo-lo para Metis. O modelo exportado será guardado num diretório denominado "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Passo 4: Executar inferência com o modelo exportado#

Depois de exportares o modelo, podes carregá-lo e executar inferência em imagens ou fluxos de vídeo não vistos anteriormente. Isto permite executar tarefas de visão computacional em tempo real diretamente em dispositivos Metis da Axelera AI.

Por exemplo, o excerto de código abaixo mostra como carregar o modelo exportado e executar inferência num URL publicamente disponível.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Neste caso, o modelo analisa a imagem de entrada e deteta objetos, guardando os resultados no diretório "runs/detect/predict".

Onde os modelos Ultralytics YOLO e o hardware Axelera AI podem ter impacto#

Em seguida, vamos abordar algumas aplicações comuns de IA de edge nas quais os modelos Ultralytics YOLO podem ser implementados em hardware Axelera AI em cenários do mundo real.

As AIPUs Metis da Axelera AI foram concebidas para vários ambientes de implementação, desde sistemas incorporados e PCs industriais até robótica e servidores edge. Com inferência de alto desempenho e energeticamente eficiente, permitem que as aplicações de visão computacional sejam executadas diretamente no dispositivo em vários setores. O SDK Voyager também inclui um construtor de pipelines para que engenheiros de ML e de aplicações possam transformar modelos em produtos para o edge.

Sistemas de visão inteligente no retalho a operar no edge#

Em ambientes de retalho, compreender o comportamento dos clientes em tempo real pode fazer uma diferença significativa.

Com modelos Ultralytics YOLO executados em hardware Axelera AI, as lojas podem monitorizar o fluxo de clientes, contar pessoas e analisar padrões de movimento dentro da loja à medida que acontecem. Como tudo é executado no dispositivo, os insights podem ser gerados instantaneamente sem depender da conectividade à cloud, ajudando as equipas a responder mais rapidamente e mantendo a privacidade dos dados.

Fig. 3. Deteção e contagem de pessoas num centro comercial com o Ultralytics YOLO26

Utilizar IA de edge para inspeção de serviços públicos e infraestruturas#

A manutenção de infraestruturas de grande escala, como linhas elétricas, é complexa e exige muitos recursos. Estas redes abrangem frequentemente grandes distâncias, tornando as inspeções demoradas, dispendiosas e potencialmente perigosas. Quando as falhas ou os primeiros sinais de desgaste não são detetados, podem evoluir para interrupções de serviço, danos no equipamento ou riscos de segurança.

Os drones são cada vez mais utilizados para melhorar a eficiência das inspeções. Podem percorrer longas distâncias, aceder a áreas difíceis de alcançar e captar imagens de alta resolução de ativos críticos.

A combinação de drones com IA de edge melhora ainda mais estes fluxos de trabalho. Os modelos Ultralytics YOLO executados em hardware Axelera AI permitem analisar dados em tempo real durante as inspeções, identificando falhas, classificando componentes e detetando anomalias no local. Isto reduz a necessidade de revisão manual e permite uma monitorização da infraestrutura mais rápida e fiável.

Fig. 4. Deteção de várias partes de uma linha elétrica com o Ultralytics YOLO26

Potenciar a robótica com insights de IA de visão em tempo real#

Na robótica, a velocidade e a capacidade de resposta são essenciais. Quer estejam a navegar num armazém ou a operar em ambientes industriais dinâmicos, os robots precisam de interpretar instantaneamente o que os rodeia.

Os modelos Ultralytics YOLO executados em hardware Axelera AI permitem que os robots interpretem o ambiente em tempo real, desde detetar obstáculos até acompanhar pessoas e identificar objetos. Isto permite aos sistemas deslocarem-se com maior segurança, adaptarem-se a condições dinâmicas e operarem com maior autonomia sem depender de uma conectividade constante à cloud.

Principais benefícios da execução de modelos Ultralytics YOLO em AIPUs Metis#

Eis algumas das principais vantagens de implementar modelos Ultralytics YOLO no hardware Metis da Axelera AI utilizando a nova integração:

• Integração perfeita com o fluxo de trabalho da Ultralytics: Exportar modelos YOLO para implementação em Metis integra-se naturalmente no pacote Python da Ultralytics, simplificando a transição do treino para a inferência.
• Suporte para várias tarefas de visão computacional: Podes implementar modelos para deteção de objetos, estimativa de pose, segmentação, classificação e muito mais no YOLOv8, YOLO11 e YOLO26.
• Executar modelos em paralelo: As AIPUs Metis foram concebidas com quatro núcleos programáveis de forma independente, capazes de executar quatro modelos separados em paralelo, de acordo com as tuas necessidades.
• Escalabilidade em aplicações de IA de edge: Desde análise de retalho e inspeção industrial até robótica e infraestruturas inteligentes, a integração suporta uma ampla variedade de casos de uso do mundo real.

Principais conclusões#

Os modelos Ultralytics YOLO e as AIPUs Metis da Axelera AI facilitam a disponibilização de visão computacional de alto desempenho no edge. Ao simplificar a implementação e otimizar os modelos para hardware especializado, esta integração ajuda a colmatar a distância entre o desenvolvimento e as aplicações do mundo real.

À medida que a IA de edge continua a crescer, dispor de opções de implementação eficientes e escaláveis será essencial para criar sistemas responsivos e fiáveis. Esta colaboração é um passo no sentido de tornar a IA de visão avançada mais acessível em vários setores.

Queres saber mais sobre IA? Explora o nosso repositório no GitHub, liga-te à nossa comunidade e consulta as nossas opções de licenciamento para começares o teu projeto de visão computacional. Descobre como inovações como a IA no retalho e a visão computacional na área da saúde estão a moldar o futuro.