Implementação do Ultralytics YOLO11 em Rockchip para obter IA de borda eficiente

Um termo muito usado recentemente na comunidade de IA é IA de edge, especialmente no que diz respeito à visão computacional. À medida que as aplicações baseadas em IA crescem, aumenta a necessidade de executar modelos de forma eficiente em dispositivos incorporados com recursos limitados de energia e computação.

Por exemplo, os drones usam IA de visão para navegação em tempo real, as câmaras inteligentes detetam objetos instantaneamente e os sistemas de automação industrial realizam o controlo de qualidade sem depender da computação na nuvem. Estas aplicações exigem um processamento de IA rápido e eficiente diretamente nos dispositivos de edge para garantir um desempenho em tempo real e baixa latência. No entanto, executar modelos de IA em dispositivos de edge nem sempre é fácil. Os modelos de IA frequentemente exigem mais energia e memória do que muitos dispositivos de edge conseguem disponibilizar.

O RKNN Toolkit da Rockchip ajuda a resolver este problema ao otimizar modelos de aprendizagem profunda para dispositivos equipados com Rockchip. Utiliza Unidades de Processamento Neural (NPUs) dedicadas para acelerar a inferência, reduzindo a latência e o consumo de energia em comparação com o processamento em CPU ou GPU.

A comunidade de IA de visão tem demonstrado grande interesse em executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip, e nós ouvimos-te. Adicionámos suporte para exportar o YOLO11 para o formato de modelo RKNN. Neste artigo, vamos explorar como funciona a exportação para RKNN e por que motivo implementar o YOLO11 em dispositivos equipados com Rockchip é uma mudança decisiva.

O que são a Rockchip e o RKNN Toolkit?#

A Rockchip é uma empresa que concebe sistemas num chip (SoCs) — processadores pequenos, mas potentes, que alimentam muitos dispositivos incorporados. Estes chips combinam uma CPU, uma GPU e uma Unidade de Processamento Neural (NPU) para lidar com tudo, desde tarefas de computação geral até aplicações de IA de visão que dependem de deteção de objetos e processamento de imagens.

Os SoCs da Rockchip são utilizados numa grande variedade de dispositivos, incluindo computadores de placa única (SBCs), placas de desenvolvimento, sistemas industriais de IA e câmaras inteligentes. Muitos fabricantes de hardware conhecidos, como Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, constroem dispositivos equipados com SoCs da Rockchip. Estas placas são populares para aplicações de IA de edge e visão computacional porque oferecem um equilíbrio entre desempenho, eficiência energética e preço acessível.

Fig. 1. Um exemplo de um dispositivo equipado com Rockchip.

Para ajudar os modelos de IA a serem executados de forma eficiente nestes dispositivos, a Rockchip disponibiliza o RKNN (Rede Neural da Rockchip) Toolkit. Permite aos programadores converter e otimizar modelos de aprendizagem profunda para utilizarem as Unidades de Processamento Neural (NPUs) da Rockchip.

Os modelos RKNN são otimizados para inferência de baixa latência e utilização eficiente de energia. Ao converter modelos para RKNN, os programadores podem obter velocidades de processamento mais elevadas, menor consumo de energia e maior eficiência em dispositivos equipados com Rockchip.

Os modelos RKNN são otimizados#

Vamos analisar mais detalhadamente como os modelos RKNN melhoram o desempenho da IA em dispositivos compatíveis com Rockchip.

Ao contrário das CPUs e GPUs, que lidam com uma vasta gama de tarefas computacionais, as NPUs da Rockchip foram concebidas especificamente para a aprendizagem profunda. Ao converter modelos de IA para o formato RKNN, os programadores podem executar inferências diretamente na NPU. Isto torna os modelos RKNN especialmente úteis para tarefas de visão computacional em tempo real, nas quais um processamento rápido e eficiente é essencial.

As NPUs são mais rápidas e eficientes do que as CPUs e GPUs em tarefas de IA porque foram concebidas para lidar com cálculos de redes neurais em paralelo. Enquanto as CPUs processam as tarefas uma etapa de cada vez e as GPUs distribuem as cargas de trabalho por vários núcleos, as NPUs estão otimizadas para realizar cálculos específicos de IA de forma mais eficiente.

Como resultado, os modelos RKNN são executados mais rapidamente e consomem menos energia, o que os torna ideais para dispositivos alimentados por bateria, câmaras inteligentes, automação industrial e outras aplicações de IA de edge que exigem tomada de decisões em tempo real.

Visão geral dos modelos Ultralytics YOLO#

Os modelos Ultralytics YOLO (Só Olhas Uma Vez) foram concebidos para tarefas de visão computacional em tempo real, como deteção de objetos, segmentação de instâncias e classificação de imagens. São conhecidos pela sua velocidade, precisão e eficiência, e são amplamente utilizados em setores como a agricultura, a indústria transformadora, os cuidados de saúde e os sistemas autónomos.

Estes modelos melhoraram substancialmente ao longo do tempo. Por exemplo, o Ultralytics YOLOv5 tornou a deteção de objetos mais fácil de utilizar com PyTorch. Em seguida, o Ultralytics YOLOv8 adicionou novas funcionalidades, como a estimativa de pose e a classificação de imagens. Agora, o YOLO11 vai mais longe, aumentando a precisão e utilizando menos recursos. Na verdade, o YOLO11m tem um desempenho superior no conjunto de dados COCO, utilizando simultaneamente menos 22% de parâmetros do que o YOLOv8m, o que o torna mais preciso e eficiente.

Fig. 2. Deteção de objetos com o Ultralytics YOLO11.

Os modelos Ultralytics YOLO também suportam a exportação para vários formatos, permitindo uma implementação flexível em diferentes plataformas. Estes formatos incluem ONNX, TensorRT, CoreML e OpenVINO, dando aos programadores a liberdade de otimizar o desempenho com base no hardware de destino.

Com o suporte adicional para exportar o YOLO11 para o formato de modelo RKNN, o YOLO11 pode agora tirar partido das NPUs da Rockchip. O modelo mais pequeno, o YOLO11n no formato RKNN, alcança um impressionante tempo de inferência de 99,5 ms por imagem, permitindo o processamento em tempo real até mesmo em dispositivos incorporados.

Exportar o teu modelo Ultralytics YOLO11 para o formato RKNN#

Atualmente, os modelos Ultralytics YOLO11 para deteção de objetos podem ser exportados para o formato RKNN. Além disso, fica atento — estamos a trabalhar para adicionar suporte às outras tarefas de visão computacional e à quantização INT8 em futuras atualizações.

Exportar o Ultralytics YOLO11 para o formato RKNN é um processo simples. Podes carregar o teu modelo YOLO11 treinado à medida, especificar a plataforma Rockchip de destino e convertê-lo para o formato RKNN com algumas linhas de código. O formato RKNN é compatível com vários SoCs da Rockchip, incluindo RK3588, RK3566 e RK3576, garantindo um amplo suporte de hardware.

Fig. 3. Exportar o Ultralytics YOLO11 para o formato de modelo RKNN.

Implementar o Ultralytics YOLO11 em dispositivos baseados em Rockchip#

Depois de exportado, o modelo RKNN pode ser implementado em dispositivos baseados em Rockchip. Para implementar o modelo, basta carregar o ficheiro RKNN exportado no teu dispositivo Rockchip e executar a inferência — o processo de utilizar o modelo de IA treinado para analisar novas imagens ou vídeos e detetar objetos em tempo real. Com apenas algumas linhas de código, podes começar a identificar objetos a partir de imagens ou fluxos de vídeo.

Fig. 4. Executar uma inferência com o modelo RKNN exportado.

Aplicações de IA de edge do Ultralytics YOLO11 e da Rockchip#

Para teres uma ideia melhor de onde o Ultralytics YOLO11 pode ser implementado no mundo real em dispositivos compatíveis com Rockchip, vamos analisar algumas aplicações importantes de IA de edge.

Os processadores Rockchip são amplamente utilizados em tablets baseados em Android, placas de desenvolvimento e sistemas industriais de IA. Com suporte para Android, Linux e Python, podes criar e implementar facilmente soluções baseadas em IA de visão para vários setores.

Tablets robustos integrados com o Ultralytics YOLO11#

Uma aplicação comum que envolve a execução do Ultralytics YOLO11 em dispositivos equipados com Rockchip são os tablets robustos. São tablets duráveis e de elevado desempenho, concebidos para ambientes exigentes, como armazéns, estaleiros de construção e instalações industriais. Estes tablets podem tirar partido da deteção de objetos para melhorar a eficiência e a segurança.

Por exemplo, na logística de armazéns, os trabalhadores podem utilizar um tablet equipado com Rockchip e YOLO11 para digitalizar e detetar automaticamente o inventário, reduzindo os erros humanos e acelerando os tempos de processamento. Do mesmo modo, em estaleiros de construção, estes tablets podem ser utilizados para detetar se os trabalhadores estão a usar o equipamento de segurança obrigatório, como capacetes e coletes, ajudando as empresas a fazer cumprir os regulamentos e a prevenir acidentes.

Fig. 5. Deteção de equipamento de segurança com o Ultralytics YOLO11.

IA industrial para controlo de qualidade#

No que diz respeito à indústria transformadora e à automação, as placas industriais equipadas com Rockchip podem desempenhar um papel importante no controlo de qualidade e na monitorização de processos. Uma placa industrial é um módulo de computação compacto e de elevado desempenho, concebido para sistemas incorporados em ambientes industriais. Estas placas incluem normalmente processadores, memória, interfaces de E/S e opções de conectividade que podem integrar-se com sensores, câmaras e maquinaria automatizada.

A execução de modelos Ultralytics YOLO11 nestas placas torna possível analisar linhas de produção em tempo real, detetando problemas instantaneamente e melhorando a eficiência. Por exemplo, no fabrico de automóveis, um sistema de IA que utilize hardware Rockchip e YOLO11 pode detetar riscos, peças desalinhadas ou defeitos na pintura à medida que os automóveis avançam pela linha de montagem. Ao identificar estes defeitos em tempo real, os fabricantes podem reduzir o desperdício, diminuir os custos de produção e garantir padrões de qualidade mais elevados antes de os veículos chegarem aos clientes.

Vantagens de executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip#

Os dispositivos baseados em Rockchip oferecem um bom equilíbrio entre desempenho, custo e eficiência, o que os torna uma excelente escolha para implementar o Ultralytics YOLO11 em aplicações de IA de edge.

Eis algumas vantagens de executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip:

• Melhor desempenho de IA: os dispositivos compatíveis com Rockchip lidam com a inferência de IA de forma mais eficiente do que placas baseadas em CPU, como a Raspberry Pi, proporcionando uma deteção de objetos mais rápida e menor latência.
• Solução económica: Se estás a experimentar com IA e precisas de uma opção acessível que ainda ofereça um desempenho potente, a Rockchip é uma excelente escolha. Permite executar o Ultralytics YOLO11 de forma económica, sem comprometer a velocidade ou a eficiência.
• Eficiência energética: executar modelos de visão computacional em dispositivos equipados com Rockchip consome menos energia do que utilizar GPUs, o que os torna ideais para dispositivos alimentados por bateria e aplicações de IA incorporada.

Principais conclusões#

O Ultralytics YOLO11 pode ser executado de forma eficiente em dispositivos baseados em Rockchip, tirando partido da aceleração de hardware e do formato RKNN. Isto reduz o tempo de inferência e melhora o desempenho, tornando-o ideal para tarefas de visão computacional em tempo real e aplicações de IA de edge.

O RKNN Toolkit disponibiliza ferramentas de otimização essenciais, como quantização e ajuste fino, garantindo que os modelos Ultralytics YOLO11 tenham um bom desempenho nas plataformas Rockchip. A otimização de modelos para um processamento eficiente no dispositivo será essencial à medida que a adoção da IA de edge cresce. Com as ferramentas e o hardware adequados, os programadores podem desbloquear novas possibilidades para soluções de visão computacional em vários setores.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para saberes mais sobre IA. Descobre como a visão computacional na agricultura e a IA nos cuidados de saúde estão a impulsionar a inovação, visitando as nossas páginas de soluções. Consulta também as nossas opções de licenciamento para começares hoje a criar as tuas soluções de IA de visão!