Implementação do Ultralytics YOLO11 em Rockchip para uma IA de borda eficiente

Um termo que tem estado em voga recentemente na comunidade de IA é IA de periférico, sobretudo no que diz respeito à visão por computador. À medida que as aplicações baseadas em IA crescem, aumenta a necessidade de executar modelos com eficiência em dispositivos integrados com recursos limitados de energia e computação.

Por exemplo, os drones usam IA de visão para navegação em tempo real, as câmaras inteligentes detetam objetos instantaneamente e os sistemas de automação industrial realizam o controlo de qualidade sem depender da computação na nuvem. Estas aplicações exigem um processamento de IA rápido e eficiente diretamente nos dispositivos de periférico para garantir o desempenho em tempo real e uma latência baixa. No entanto, nem sempre é fácil executar modelos de IA em dispositivos de periférico. Os modelos de IA muitas vezes exigem mais energia e memória do que muitos dispositivos de periférico conseguem disponibilizar.

O RKNN Toolkit da Rockchip ajuda a resolver esse problema otimizando modelos de deep learning para dispositivos com tecnologia Rockchip. Ele usa unidades de processamento neural (NPUs) dedicadas para acelerar a inferência, reduzindo a latência e o consumo de energia em comparação com o processamento em CPU ou GPU.

A comunidade de Vision AI queria muito executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip, e ouvimos vocês. Adicionamos suporte à exportação do YOLO11 para o formato de modelo RKNN. Neste artigo, vamos explorar como funciona a exportação para RKNN e por que implantar o YOLO11 em dispositivos com tecnologia Rockchip é tão útil para Edge AI.

O que são a Rockchip e o RKNN Toolkit?#

A Rockchip é uma empresa que concebe sistemas em chip (SoCs) — processadores pequenos, mas potentes, que equipam muitos dispositivos integrados. Estes chips combinam uma CPU, uma GPU e uma unidade de processamento neural (NPU) para lidar com tudo, desde tarefas de computação geral até aplicações de IA de visão que recorrem à deteção de objetos e ao processamento de imagens.

Os SoCs da Rockchip são utilizados numa grande variedade de dispositivos, incluindo computadores de placa única (SBCs), placas de desenvolvimento, sistemas de IA industriais e câmaras inteligentes. Muitos fabricantes de hardware conhecidos — Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi — produzem dispositivos equipados com SoCs da Rockchip. Estas placas são populares para aplicações de IA de periférico e visão por computador, pois oferecem um equilíbrio entre desempenho, eficiência energética e preço acessível.

Fig. 1. Exemplo de um dispositivo equipado com Rockchip.

Para ajudar os modelos de IA a funcionar com eficiência nestes dispositivos, a Rockchip disponibiliza o RKNN (Rockchip Neural Network) Toolkit. Esta ferramenta permite aos programadores converter e otimizar modelos de aprendizagem profunda para utilizar as unidades de processamento neural (NPUs) da Rockchip.

Os modelos RKNN são otimizados para inferência de baixa latência e utilização eficiente da energia. Ao converterem modelos para RKNN, os programadores podem obter velocidades de processamento mais elevadas, reduzir o consumo de energia e melhorar a eficiência em dispositivos equipados com Rockchip.

Os modelos RKNN são otimizados#

Vamos analisar mais de perto como os modelos RKNN melhoram o desempenho da IA em dispositivos compatíveis com Rockchip.

Ao contrário das CPUs e GPUs, que lidam com uma vasta gama de tarefas de computação, as NPUs da Rockchip foram concebidas especificamente para a aprendizagem profunda. Ao converterem modelos de IA para o formato RKNN, os programadores podem executar inferências diretamente na NPU. Isto torna os modelos RKNN especialmente úteis para tarefas de visão por computador em tempo real, que exigem um processamento rápido e eficiente.

As NPUs são mais rápidas e eficientes do que as CPUs e GPUs para tarefas de IA, pois foram concebidas para processar cálculos de redes neuronais em paralelo. Enquanto as CPUs processam as tarefas uma de cada vez e as GPUs distribuem as cargas de trabalho por vários núcleos, as NPUs estão otimizadas para realizar cálculos específicos de IA com maior eficiência.

Como resultado, os modelos RKNN funcionam mais rapidamente e consomem menos energia, o que os torna ideais para dispositivos alimentados por bateria, câmaras inteligentes, automação industrial e outras aplicações de IA de periférico que exigem decisões em tempo real.

Visão geral dos modelos Ultralytics YOLO#

Os modelos Ultralytics YOLO (You Only Look Once) foram concebidos para tarefas de visão por computador em tempo real, como a deteção de objetos, a segmentação de instâncias e a classificação de imagens. São conhecidos pela velocidade, precisão e eficiência, e são amplamente utilizados em setores como a agricultura, a indústria transformadora, a área da saúde e os sistemas autónomos.

Esses modelos melhoraram bastante com o tempo. Por exemplo, o Ultralytics YOLOv5 facilitou o uso da detecção de objetos com PyTorch. Em seguida, o Ultralytics YOLOv8 adicionou novas tarefas, como estimativa de pose, e reuniu detecção, segmentação, classificação e pose em uma única estrutura. Agora, o YOLO11 vai além, aumentando a precisão e usando menos recursos. Na verdade, o YOLO11m tem melhor desempenho no conjunto de dados COCO e usa 22% menos parâmetros do que o YOLOv8m, sendo mais preciso e eficiente.

Fig. 2. Deteção de objetos com o Ultralytics YOLO11.

Os modelos Ultralytics YOLO também permitem a exportação para vários formatos, possibilitando uma implementação flexível em diferentes plataformas. Entre estes formatos estão ONNX, TensorRT, CoreML e OpenVINO, que dão aos programadores liberdade para otimizar o desempenho de acordo com o hardware de destino.

Com o suporte recém-adicionado à exportação do YOLO11 para o formato de modelo RKNN, o YOLO11 agora pode aproveitar as NPUs da Rockchip. O menor modelo, YOLO11n no formato RKNN, alcança um tempo de inferência de 99,5 ms por imagem, permitindo o processamento em tempo real até mesmo em dispositivos embarcados.

Exportar o teu modelo Ultralytics YOLO11 para o formato RKNN#

No momento da redação, os modelos de detecção de objetos Ultralytics YOLO11 podiam ser exportados para o formato RKNN. Desde então, a exportação para RKNN foi ampliada para incluir todas as tarefas do Ultralytics e a quantização INT8 (quantize=8), conforme descrito no guia de integração do RKNN vinculado acima.

Exportar o Ultralytics YOLO11 para o formato RKNN é um processo simples. Podes carregar o teu modelo YOLO11 treinado de forma personalizada, especificar a plataforma Rockchip de destino e convertê-lo para o formato RKNN com algumas linhas de código. O formato RKNN é compatível com vários SoCs da Rockchip, incluindo RK3588, RK3566 e RK3576, garantindo amplo suporte de hardware.

Fig. 3. Exportação do Ultralytics YOLO11 para o formato de modelo RKNN.

Implementar o Ultralytics YOLO11 em dispositivos baseados em Rockchip#

Após a exportação, o modelo RKNN pode ser implementado em dispositivos baseados em Rockchip. Para implementar o modelo, basta carregar o ficheiro RKNN exportado no dispositivo Rockchip e executar a inferência — o processo de utilização do modelo de IA treinado para analisar novas imagens ou vídeos e detetar objetos em tempo real. Com apenas algumas linhas de código, podes começar a identificar objetos em imagens ou transmissões de vídeo.

Fig. 4. Execução de uma inferência com o modelo RKNN exportado.

Aplicações de IA de periférico do Ultralytics YOLO11 e da Rockchip#

Para teres uma melhor ideia de onde o Ultralytics YOLO11 pode ser implementado em dispositivos compatíveis com Rockchip no mundo real, vamos ver algumas aplicações importantes de IA de periférico.

Os processadores Rockchip são amplamente utilizados em tablets baseados em Android, placas de desenvolvimento e sistemas de IA industriais. Com suporte para Android, Linux e Python, podes criar e implementar facilmente soluções baseadas em IA de visão para vários setores.

Tablets robustos com integração do Ultralytics YOLO11#

Uma aplicação comum do Ultralytics YOLO11 em dispositivos equipados com Rockchip são os tablets robustos. São tablets duradouros e de alto desempenho, concebidos para ambientes difíceis, como armazéns, estaleiros de construção e instalações industriais. Estes tablets podem recorrer à deteção de objetos para melhorar a eficiência e a segurança.

Por exemplo, na logística de armazém, os trabalhadores podem utilizar um tablet equipado com Rockchip e YOLO11 para digitalizar e detetar automaticamente o inventário, reduzindo o erro humano e acelerando o processamento. Da mesma forma, nos estaleiros de construção, estes tablets podem ser utilizados para detetar se os trabalhadores estão a usar o equipamento de segurança obrigatório, como capacetes e coletes, ajudando as empresas a fazer cumprir os regulamentos e a prevenir acidentes.

Fig. 5. Deteção de equipamento de segurança com o Ultralytics YOLO11.

IA industrial para controlo de qualidade#

No que diz respeito à indústria transformadora e à automação, as placas industriais equipadas com Rockchip podem desempenhar um papel importante no controlo de qualidade e na monitorização de processos. Uma placa industrial é um módulo de computação compacto e de alto desempenho, concebido para sistemas integrados em ambientes industriais. Estas placas incluem, normalmente, processadores, memória, interfaces de entrada/saída e opções de conectividade que permitem a integração com sensores, câmaras e maquinaria automatizada.

A execução de modelos Ultralytics YOLO11 nestas placas permite analisar linhas de produção em tempo real, detetar problemas de imediato e melhorar a eficiência. Por exemplo, no fabrico automóvel, um sistema de IA que utilize hardware Rockchip e YOLO11 pode detetar riscos, peças desalinhadas ou defeitos na pintura à medida que os automóveis avançam pela linha de montagem. Ao identificarem estes defeitos em tempo real, os fabricantes podem reduzir o desperdício, baixar os custos de produção e garantir padrões de qualidade mais elevados antes de os veículos chegarem aos clientes.

Vantagens de executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip#

Os dispositivos baseados em Rockchip oferecem um bom equilíbrio entre desempenho, custo e eficiência, o que os torna uma excelente opção para implementar o Ultralytics YOLO11 em aplicações de IA de periférico.

Eis algumas vantagens de executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip:

• Melhor desempenho de IA: os dispositivos compatíveis com Rockchip processam a inferência de IA com mais eficiência do que placas baseadas em CPU, como Raspberry Pi, proporcionando uma deteção de objetos mais rápida e uma latência menor.
• Solução económica: se estás a experimentar com IA e precisas de uma opção acessível que continue a oferecer um desempenho potente, a Rockchip é uma excelente escolha. Permite executar o Ultralytics YOLO11 a um preço acessível, sem comprometer a velocidade nem a eficiência.
• Eficiência energética: a execução de modelos de visão por computador em dispositivos equipados com Rockchip consome menos energia do que em GPUs, o que os torna ideais para dispositivos alimentados por bateria e aplicações de IA integradas.

Principais conclusões#

O Ultralytics YOLO11 pode funcionar com eficiência em dispositivos baseados em Rockchip, tirando partido da aceleração por hardware e do formato RKNN. Isto reduz o tempo de inferência e melhora o desempenho, tornando-o ideal para tarefas de visão por computador em tempo real e aplicações de IA de periférico.

O RKNN Toolkit oferece ferramentas essenciais de otimização, como a quantização, para garantir que os modelos Ultralytics YOLO11 funcionem bem nas plataformas Rockchip. Otimizar modelos para um processamento eficiente no dispositivo será essencial à medida que a adoção de IA de borda crescer. Com as ferramentas e o hardware certos, os desenvolvedores podem abrir novas possibilidades para soluções de visão computacional em vários setores.

Junta-te à nossa comunidade e explora o nosso repositório do GitHub para saberes mais sobre IA. Descobre como a visão por computador na agricultura e a IA na área da saúde estão a impulsionar a inovação, visitando as nossas páginas de soluções. Consulta também as nossas opções de licenciamento para começares hoje a criar as tuas soluções de IA de visão!