Implantando o Ultralytics YOLO11 no Rockchip para edge AI eficiente

Um termo que tem circulado bastante na comunidade de IA é a edge AI, especialmente quando se trata de visão computacional. À medida que as aplicações impulsionadas por IA crescem, há uma necessidade maior de executar modelos de forma eficiente em dispositivos embarcados com energia e recursos computacionais limitados.

Por exemplo, drones usam IA de visão para navegação em tempo real, câmeras inteligentes detectam objetos instantaneamente e sistemas de automação industrial realizam controle de qualidade sem depender da computação em nuvem. Essas aplicações exigem um processamento de IA rápido e eficiente diretamente em dispositivos de borda para garantir desempenho em tempo real e baixa latência. No entanto, executar modelos de IA em dispositivos de borda nem sempre é fácil. Modelos de IA frequentemente exigem mais energia e memória do que muitos dispositivos de borda conseguem suportar.

O RKNN Toolkit da Rockchip ajuda a resolver este problema otimizando modelos de deep learning para dispositivos com processadores Rockchip. Ele utiliza Unidades de Processamento Neural (NPUs) dedicadas para acelerar a inferência, reduzindo a latência e o consumo de energia em comparação ao processamento via CPU ou GPU.

A comunidade de Visão Computacional estava ansiosa para executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip, e nós ouvimos você. Adicionamos suporte para exportar YOLO11 para o formato de modelo RKNN. Neste artigo, exploraremos como funciona a exportação para RKNN e por que implantar o YOLO11 em dispositivos com Rockchip muda o jogo.

Link to this sectionO que são o Rockchip e o RKNN Toolkit?#

Rockchip é uma empresa que projeta sistemas em chip (SoCs) - processadores minúsculos, porém poderosos, que executam muitos dispositivos embarcados. Esses chips combinam uma CPU, GPU e uma Unidade de Processamento Neural (NPU) para lidar com tudo, desde tarefas gerais de computação até aplicações de IA de visão que dependem de detecção de objetos e processamento de imagem.

Os SoCs Rockchip são usados em uma variedade de dispositivos, incluindo computadores de placa única (SBCs), placas de desenvolvimento, sistemas industriais de IA e câmeras inteligentes. Muitos fabricantes de hardware conhecidos, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, constroem dispositivos alimentados por SoCs Rockchip. Essas placas são populares para edge AI e aplicações de visão computacional porque oferecem um equilíbrio entre desempenho, eficiência energética e preço acessível.

Fig 1. Um exemplo de um dispositivo equipado com Rockchip.

Para ajudar os modelos de IA a funcionarem de forma eficiente nesses dispositivos, a Rockchip fornece o RKNN (Rockchip Neural Network) Toolkit. Ele permite que desenvolvedores convertam e otimizem modelos de deep learning para usar as Unidades de Processamento Neural (NPUs) da Rockchip.

Modelos RKNN são otimizados para inferência de baixa latência e uso eficiente de energia. Ao converter modelos para RKNN, os desenvolvedores podem obter velocidades de processamento mais rápidas, menor consumo de energia e eficiência aprimorada em dispositivos com processadores Rockchip.

Link to this sectionModelos RKNN são otimizados#

Vamos dar uma olhada mais de perto em como os modelos RKNN melhoram o desempenho da IA em dispositivos compatíveis com Rockchip.

Ao contrário de CPUs e GPUs, que lidam com uma ampla gama de tarefas computacionais, as NPUs da Rockchip são projetadas especificamente para deep learning. Ao converter modelos de IA para o formato RKNN, os desenvolvedores podem executar inferências diretamente na NPU. Isso torna os modelos RKNN especialmente úteis para tarefas de visão computacional em tempo real, onde o processamento rápido e eficiente é essencial.

As NPUs são mais rápidas e eficientes que CPUs e GPUs para tarefas de IA porque são criadas para lidar com computações de rede neural em paralelo. Enquanto as CPUs processam tarefas um passo de cada vez e as GPUs distribuem cargas de trabalho em múltiplos núcleos, as NPUs são otimizadas para realizar cálculos específicos de IA com mais eficiência.

Como resultado, os modelos RKNN rodam mais rápido e usam menos energia, tornando-os ideais para dispositivos a bateria, câmeras inteligentes, automação industrial e outras aplicações de edge AI que exigem tomada de decisão em tempo real.

Link to this sectionVisão geral dos modelos Ultralytics YOLO#

Os modelos Ultralytics YOLO (You Only Look Once) são projetados para tarefas de visão computacional em tempo real, como detecção de objetos, segmentação de instâncias e classificação de imagens. Eles são conhecidos por sua velocidade, precisão e eficiência, e são amplamente utilizados em setores como agricultura, manufatura, saúde e sistemas autônomos.

Esses modelos melhoraram substancialmente ao longo do tempo. Por exemplo, o Ultralytics YOLOv5 tornou a detecção de objetos mais fácil de usar com PyTorch. Então, o Ultralytics YOLOv8 adicionou novos recursos como estimativa de pose e classificação de imagens. Agora, o YOLO11 vai além, aumentando a precisão enquanto usa menos recursos. Na verdade, o YOLO11m apresenta melhor desempenho no conjunto de dados COCO usando 22% menos parâmetros que o YOLOv8m, tornando-o mais preciso e mais eficiente.

Fig 2. Detectando objetos usando YOLO11.

Os modelos Ultralytics YOLO também suportam exportação para múltiplos formatos, permitindo uma implantação flexível em diferentes plataformas. Esses formatos incluem ONNX, TensorRT, CoreML e OpenVINO, dando aos desenvolvedores a liberdade de otimizar o desempenho com base no seu hardware de destino.

Com o suporte adicional para exportar YOLO11 para o formato de modelo RKNN, o YOLO11 agora pode aproveitar as NPUs da Rockchip. O menor modelo, YOLO11n no formato RKNN, atinge um tempo de inferência impressionante de 99,5ms por imagem, permitindo processamento em tempo real mesmo em dispositivos embarcados.

Link to this sectionExportando seu modelo YOLO11 para o formato RKNN#

Atualmente, os modelos de detecção de objetos YOLO11 podem ser exportados para o formato RKNN. Além disso, fique ligado - estamos trabalhando para adicionar suporte para outras tarefas de visão computacional e quantização INT8 em futuras atualizações.

Exportar o YOLO11 para o formato RKNN é um processo direto. Você pode carregar seu modelo YOLO11 treinado de forma personalizada, especificar a plataforma Rockchip de destino e convertê-lo para o formato RKNN com algumas linhas de código. O formato RKNN é compatível com vários SoCs Rockchip, incluindo RK3588, RK3566 e RK3576, garantindo amplo suporte de hardware.

Fig 3. Exportando YOLO11 para formato de modelo RKNN.

Link to this sectionImplantando YOLO11 em dispositivos baseados em Rockchip#

Uma vez exportado, o modelo RKNN pode ser implantado em dispositivos baseados em Rockchip. Para implantar o modelo, você simplesmente carrega o arquivo RKNN exportado no seu dispositivo Rockchip e executa a inferência - o processo de usar o modelo de IA treinado para analisar novas imagens ou vídeos e detectar objetos em tempo real. Com apenas algumas linhas de código, você pode começar a identificar objetos de imagens ou fluxos de vídeo.

Fig 4. Executando uma inferência usando o modelo RKNN exportado.

Link to this sectionAplicações de edge AI de YOLO11 e Rockchip#

Para ter uma ideia melhor de onde o YOLO11 pode ser implantado em dispositivos com Rockchip no mundo real, vamos explorar algumas aplicações chave de edge AI.

Processadores Rockchip são amplamente usados em tablets baseados em Android, placas de desenvolvimento e sistemas industriais de IA. Com suporte para Android, Linux e Python, você pode facilmente construir e implantar soluções impulsionadas por IA de visão para uma variedade de setores.

Link to this sectionTablets robustos integrados com YOLO11#

Uma aplicação comum que envolve executar o YOLO11 em dispositivos com Rockchip são os tablets robustos. Eles são tablets duráveis e de alto desempenho projetados para ambientes difíceis como armazéns, canteiros de obras e configurações industriais. Esses tablets podem aproveitar a detecção de objetos para melhorar a eficiência e a segurança.

Por exemplo, na logística de armazéns, os trabalhadores podem usar um tablet com Rockchip e YOLO11 para escanear e detectar automaticamente o inventário, reduzindo o erro humano e acelerando os tempos de processamento. Da mesma forma, em canteiros de obras, esses tablets podem ser usados para detectar se os trabalhadores estão usando o equipamento de segurança obrigatório, como capacetes e coletes, ajudando as empresas a aplicar regulamentações e prevenir acidentes.

Fig 5. Detectando equipamento de segurança usando YOLO11.

Link to this sectionIA industrial para controle de qualidade#

Com relação à manufatura e automação, placas industriais alimentadas por Rockchip podem desempenhar um grande papel no controle de qualidade e monitoramento de processos. Uma placa industrial é um módulo de computação compacto de alto desempenho projetado para sistemas embarcados em ambientes industriais. Essas placas geralmente incluem processadores, memória, interfaces de E/S e opções de conectividade que podem se integrar a sensores, câmeras e máquinas automatizadas.

Executar modelos YOLO11 nessas placas torna possível analisar linhas de produção em tempo real, detectando problemas instantaneamente e melhorando a eficiência. Por exemplo, na fabricação de carros, um sistema de IA usando hardware Rockchip e YOLO11 pode detectar arranhões, peças desalinhadas ou defeitos na pintura à medida que os carros avançam na linha de montagem. Ao identificar esses defeitos em tempo real, os fabricantes podem reduzir o desperdício, diminuir os custos de produção e garantir padrões de qualidade mais elevados antes que os veículos cheguem aos clientes.

Link to this sectionBenefícios de executar YOLO11 em dispositivos baseados em Rockchip#

Dispositivos baseados em Rockchip oferecem um bom equilíbrio entre desempenho, custo e eficiência, tornando-os uma ótima escolha para implantar o YOLO11 em aplicações de edge AI.

Aqui estão algumas vantagens de executar o YOLO11 em dispositivos baseados em Rockchip:

• Desempenho de IA aprimorado: Dispositivos com suporte a Rockchip lidam com a inferência de IA de forma mais eficiente do que placas baseadas em CPU como a Raspberry Pi, entregando uma detecção de objetos mais rápida e menor latência.
• Solução de custo-benefício: Se você está experimentando com IA e precisa de uma opção econômica que ainda entregue um desempenho poderoso, o Rockchip é uma ótima opção. Ele oferece uma maneira acessível de executar o YOLO11 sem comprometer a velocidade ou a eficiência.
• Eficiência energética: Executar modelos de visão computacional em dispositivos com processadores Rockchip consome menos energia do que GPUs, tornando-o ideal para dispositivos operados por bateria e aplicações de IA embarcada.

Link to this sectionPrincipais pontos#

O Ultralytics YOLO11 pode rodar de forma eficiente em dispositivos baseados em Rockchip ao aproveitar a aceleração de hardware e o formato RKNN. Isso reduz o tempo de inferência e melhora o desempenho, tornando-o ideal para tarefas de visão computacional em tempo real e aplicações de edge AI.

O RKNN Toolkit fornece ferramentas de otimização importantes como quantização e ajuste fino, garantindo que os modelos YOLO11 tenham um bom desempenho em plataformas Rockchip. Otimizar modelos para um processamento eficiente no próprio dispositivo será essencial à medida que a adoção de edge AI cresce. Com as ferramentas e o hardware certos, os desenvolvedores podem desbloquear novas possibilidades para soluções de visão computacional em vários setores.

Junte-se à nossa comunidade e explore nosso repositório GitHub para aprender mais sobre IA. Veja como a visão computacional na agricultura e a IA na saúde estão impulsionando a inovação ao visitar nossas páginas de soluções. Além disso, confira nossas opções de licenciamento para começar a criar suas soluções de visão computacional hoje!