12 de fevereiro de 2025
Descubra como implementar o Ultralytics YOLO11 no Rockchip usando o RKNN Toolkit para Edge AI eficiente, aceleração de IA e deteção de objetos em tempo real.
Uma palavra da moda recente na comunidade de IA é edge AI, especialmente quando se trata de visão computacional. À medida que as aplicações orientadas por IA crescem, há uma necessidade maior de executar modelos de forma eficiente em dispositivos embarcados com energia e recursos computacionais limitados.
Por exemplo, drones usam Visão de IA para navegação em tempo real, câmeras inteligentes detectam objetos instantaneamente e sistemas de automação industrial realizam controle de qualidade sem depender da computação em nuvem. Essas aplicações exigem processamento de IA rápido e eficiente diretamente em dispositivos de borda para garantir desempenho em tempo real e baixa latência. No entanto, executar modelos de IA em dispositivos de borda nem sempre é fácil. Os modelos de IA geralmente exigem mais energia e memória do que muitos dispositivos de borda podem suportar.
O RKNN Toolkit da Rockchip ajuda a resolver esse problema, otimizando modelos de aprendizado profundo para dispositivos com tecnologia Rockchip. Ele usa Unidades de Processamento Neural (NPUs) dedicadas para acelerar a inferência, reduzindo a latência e o consumo de energia em comparação com o processamento de CPU ou GPU.
A comunidade de IA de visão tem demonstrado grande interesse em executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip, e nós ouvimos você. Adicionamos suporte para exportar o YOLO11 para o formato de modelo RKNN. Neste artigo, exploraremos como a exportação para RKNN funciona e por que a implantação do YOLO11 em dispositivos alimentados por Rockchip é uma virada de jogo.
A Rockchip é uma empresa que projeta sistemas em chip (SoCs) - processadores minúsculos, mas poderosos, que executam muitos dispositivos embarcados. Esses chips combinam uma CPU, GPU e uma Unidade de Processamento Neural (NPU) para lidar com tudo, desde tarefas gerais de computação até aplicações de Visão de IA que dependem de detecção de objetos e processamento de imagem.
Os SoCs Rockchip são usados em uma variedade de dispositivos, incluindo computadores de placa única (SBCs), placas de desenvolvimento, sistemas de IA industrial e câmeras inteligentes. Muitos fabricantes de hardware conhecidos, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, constroem dispositivos alimentados por SoCs Rockchip. Essas placas são populares para aplicações de IA de ponta e visão computacional porque oferecem um equilíbrio de desempenho, eficiência de energia e acessibilidade.
Para ajudar os modelos de IA a serem executados de forma eficiente nesses dispositivos, a Rockchip fornece o RKNN (Rockchip Neural Network) Toolkit. Ele permite que os desenvolvedores convertam e otimizem modelos de aprendizado profundo para usar as Unidades de Processamento Neural (NPUs) da Rockchip.
Os modelos RKNN são otimizados para inferência de baixa latência e uso eficiente de energia. Ao converter modelos para RKNN, os desenvolvedores podem obter velocidades de processamento mais rápidas, consumo de energia reduzido e eficiência aprimorada em dispositivos com tecnologia Rockchip.
Vamos analisar mais de perto como os modelos RKNN melhoram o desempenho da IA em dispositivos habilitados para Rockchip.
Ao contrário das CPUs e GPUs, que lidam com uma vasta gama de tarefas de computação, as NPUs da Rockchip são concebidas especificamente para aprendizagem profunda. Ao converter modelos de IA para o formato RKNN, os desenvolvedores podem executar inferências diretamente na NPU. Isto torna os modelos RKNN especialmente úteis para tarefas de visão computacional em tempo real, onde o processamento rápido e eficiente é essencial.
As NPUs são mais rápidas e eficientes do que as CPUs e GPUs para tarefas de IA porque são construídas para lidar com cálculos de redes neurais em paralelo. Enquanto as CPUs processam as tarefas um passo de cada vez e as GPUs distribuem as cargas de trabalho por vários núcleos, as NPUs são otimizadas para realizar cálculos específicos de IA de forma mais eficiente.
Como resultado, os modelos RKNN funcionam mais rapidamente e consomem menos energia, tornando-os ideais para dispositivos alimentados por bateria, câmaras inteligentes, automação industrial e outras aplicações de IA de ponta que exigem tomada de decisões em tempo real.
Os modelos Ultralytics YOLO (You Only Look Once) são projetados para tarefas de visão computacional em tempo real, como detecção de objetos, segmentação de instâncias e classificação de imagens. Eles são conhecidos por sua velocidade, precisão e eficiência, e são amplamente utilizados em setores como agricultura, manufatura, saúde e sistemas autônomos.
Esses modelos melhoraram substancialmente ao longo do tempo. Por exemplo, o YOLOv5 da Ultralytics facilitou o uso da detecção de objetos com o PyTorch. Em seguida, o YOLOv8 da Ultralytics adicionou novos recursos, como estimativa de pose e classificação de imagens. Agora, o YOLO11 vai além, aumentando a precisão e usando menos recursos. De fato, o YOLO11m tem um desempenho melhor no conjunto de dados COCO, usando 22% menos parâmetros do que o YOLOv8m, tornando-o mais preciso e mais eficiente.
Os modelos Ultralytics YOLO também suportam a exportação para vários formatos, permitindo uma implantação flexível em diferentes plataformas. Esses formatos incluem ONNX, TensorRT, CoreML e OpenVINO, dando aos desenvolvedores a liberdade de otimizar o desempenho com base em seu hardware de destino.
Com o suporte adicional para exportar o YOLO11 para o formato de modelo RKNN, o YOLO11 agora pode aproveitar as NPUs da Rockchip. O menor modelo, YOLO11n no formato RKNN, atinge um tempo de inferência impressionante de 99,5ms por imagem, permitindo o processamento em tempo real, mesmo em dispositivos embarcados.
Atualmente, os modelos de deteção de objetos YOLO11 podem ser exportados para o formato RKNN. Além disso, fique atento - estamos a trabalhar para adicionar suporte para as outras tarefas de visão computacional e quantização INT8 em futuras atualizações.
Exportar o YOLO11 para o formato RKNN é um processo direto. Você pode carregar seu modelo YOLO11 treinado de forma personalizada, especificar a plataforma Rockchip de destino e convertê-lo para o formato RKNN com algumas linhas de código. O formato RKNN é compatível com vários SoCs Rockchip, incluindo RK3588, RK3566 e RK3576, garantindo uma ampla compatibilidade de hardware.
Uma vez exportado, o modelo RKNN pode ser implementado em dispositivos baseados em Rockchip. Para implementar o modelo, basta carregar o arquivo RKNN exportado para o seu dispositivo Rockchip e executar a inferência - o processo de usar o modelo de IA treinado para analisar novas imagens ou vídeos e detectar objetos em tempo real. Com apenas algumas linhas de código, você pode começar a identificar objetos a partir de imagens ou fluxos de vídeo.
Para ter uma ideia melhor de onde o YOLO11 pode ser implementado em dispositivos habilitados para Rockchip no mundo real, vamos analisar algumas aplicações importantes de Edge AI.
Os processadores Rockchip são amplamente utilizados em tablets baseados em Android, placas de desenvolvimento e sistemas de IA industrial. Com suporte para Android, Linux e Python, você pode facilmente construir e implantar soluções baseadas em Visão de IA para uma variedade de setores.
Uma aplicação comum que envolve a execução do YOLO11 em dispositivos com tecnologia Rockchip são os tablets robustos. São tablets duráveis e de alto desempenho, projetados para ambientes difíceis, como armazéns, canteiros de obras e ambientes industriais. Esses tablets podem aproveitar a detecção de objetos para melhorar a eficiência e a segurança.
Por exemplo, na logística de armazéns, os trabalhadores podem usar um tablet com tecnologia Rockchip e YOLO11 para escanear e detectar automaticamente o inventário, reduzindo o erro humano e acelerando os tempos de processamento. Da mesma forma, em canteiros de obras, esses tablets podem ser usados para detectar se os trabalhadores estão usando o equipamento de segurança necessário, como capacetes e coletes, ajudando as empresas a aplicar os regulamentos e prevenir acidentes.
No que diz respeito à manufatura e automação, as placas industriais com tecnologia Rockchip podem desempenhar um grande papel no controle de qualidade e no monitoramento de processos. Uma placa industrial é um módulo de computação compacto e de alto desempenho projetado para sistemas embarcados em ambientes industriais. Essas placas normalmente incluem processadores, memória, interfaces de E/S e opções de conectividade que podem se integrar com sensores, câmeras e máquinas automatizadas.
Executar modelos YOLO11 nestas placas torna possível analisar linhas de produção em tempo real, identificando problemas instantaneamente e melhorando a eficiência. Por exemplo, na fabricação de automóveis, um sistema de IA usando hardware Rockchip e YOLO11 pode detectar arranhões, peças desalinhadas ou defeitos de pintura enquanto os carros se movem na linha de montagem. Ao identificar esses defeitos em tempo real, os fabricantes podem reduzir o desperdício, diminuir os custos de produção e garantir padrões de qualidade mais elevados antes que os veículos cheguem aos clientes.
Os dispositivos baseados em Rockchip oferecem um bom equilíbrio de desempenho, custo e eficiência, tornando-os uma ótima opção para implantar o YOLO11 em aplicações de IA de ponta.
Aqui estão algumas vantagens de executar o YOLO11 em dispositivos baseados em Rockchip:
O Ultralytics YOLO11 pode ser executado de forma eficiente em dispositivos baseados em Rockchip, aproveitando a aceleração de hardware e o formato RKNN. Isso reduz o tempo de inferência e melhora o desempenho, tornando-o ideal para tarefas de visão computacional em tempo real e aplicações de IA de ponta (edge AI).
O RKNN Toolkit fornece ferramentas de otimização importantes, como quantização e ajuste fino, garantindo que os modelos YOLO11 tenham um bom desempenho nas plataformas Rockchip. A otimização de modelos para um processamento eficiente no dispositivo será essencial à medida que a adoção da IA de ponta crescer. Com as ferramentas e o hardware certos, os desenvolvedores podem desbloquear novas possibilidades para soluções de visão computacional em vários setores.
Junte-se à nossa comunidade e explore nosso repositório do GitHub para saber mais sobre IA. Veja como a visão computacional na agricultura e a IA na área da saúde estão impulsionando a inovação visitando nossas páginas de soluções. Além disso, confira nossas opções de licenciamento para começar a construir suas soluções de Visão de IA hoje mesmo!
.webp)
