12 de fevereiro de 2025
Explore como implantar o Ultralytics YOLO11 no Rockchip usando o kit de ferramentas RKNN para IA de borda eficiente, aceleração de IA e deteção de objetos em tempo real.
Uma palavra de ordem recente na comunidade da IA é a IA de ponta, especialmente no que diz respeito à visão por computador. À medida que as aplicações orientadas para a IA crescem, há uma maior necessidade de executar modelos de forma eficiente em dispositivos incorporados com potência e recursos de computação limitados.
Por exemplo, os drones utilizam a IA de visão para navegação em tempo real, as câmaras inteligentes detectam objectos instantaneamente e os sistemas de automação industrial efectuam o controlo de qualidade sem dependerem da computação em nuvem. Estas aplicações requerem um processamento de IA rápido e eficiente diretamente nos dispositivos periféricos para garantir um desempenho em tempo real e uma baixa latência. No entanto, a execução de modelos de IA em dispositivos periféricos nem sempre é fácil. Os modelos de IA requerem frequentemente mais potência e memória do que muitos dispositivos periféricos conseguem suportar.
O kit de ferramentas RKNN da Rockchip ajuda a resolver esse problema otimizando modelos de aprendizado profundo para dispositivos com tecnologia Rockchip. Ele usa unidades de processamento neural (NPUs) dedicadas para acelerar a inferência, reduzindo a latência e o consumo de energia em comparação com o processamento de CPU ou GPU.
A comunidade Vision AI tem estado ansiosa por executar o Ultralytics YOLO11 em dispositivos baseados em Rockchip, e nós ouvimos-vos. Adicionamos suporte à exportação do YOLO11 para o formato de modelo RKNN. Neste artigo, exploraremos como a exportação para o RKNN funciona e por que a implantação do YOLO11 em dispositivos com Rockchip é uma virada de jogo.
A Rockchip é uma empresa que concebe system-on-chips (SoCs) - processadores minúsculos, mas potentes, que funcionam em muitos dispositivos incorporados. Estes chips combinam uma CPU, uma GPU e uma Unidade de Processamento Neural (NPU) para tratar de tudo, desde tarefas de computação geral a aplicações de IA de visão que dependem da deteção de objectos e do processamento de imagens.
Os SoCs Rockchip são utilizados numa variedade de dispositivos, incluindo computadores de placa única (SBCs), placas de desenvolvimento, sistemas industriais de IA e câmaras inteligentes. Muitos fabricantes de hardware conhecidos, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, constroem dispositivos equipados com SoCs Rockchip. Estas placas são populares para aplicações de IA de ponta e de visão por computador porque oferecem um equilíbrio entre desempenho, eficiência energética e preço acessível.
Para ajudar os modelos de IA a serem executados com eficiência nesses dispositivos, a Rockchip fornece o kit de ferramentas RKNN (Rockchip Neural Network). Ele permite que os desenvolvedores convertam e otimizem modelos de aprendizado profundo para usar as unidades de processamento neural (NPUs) da Rockchip.
Os modelos RKNN são otimizados para inferência de baixa latência e uso eficiente de energia. Ao converter modelos para RKNN, os desenvolvedores podem obter velocidades de processamento mais rápidas, consumo de energia reduzido e eficiência aprimorada em dispositivos com Rockchip.
Vamos ver de perto como os modelos RKNN melhoram o desempenho da IA em dispositivos compatíveis com Rockchip.
Ao contrário das CPUs e GPUs, que lidam com uma vasta gama de tarefas de computação, as NPUs da Rockchip são concebidas especificamente para a aprendizagem profunda. Ao converter modelos de IA no formato RKNN, os desenvolvedores podem executar inferências diretamente na NPU. Isso torna os modelos RKNN especialmente úteis para tarefas de visão computacional em tempo real, em que o processamento rápido e eficiente é essencial.
As NPUs são mais rápidas e mais eficientes do que as CPUs e GPUs para tarefas de IA porque foram criadas para lidar com cálculos de redes neurais em paralelo. Enquanto as CPUs processam as tarefas um passo de cada vez e as GPUs distribuem as cargas de trabalho por vários núcleos, as NPUs são optimizadas para efetuar cálculos específicos de IA de forma mais eficiente.
Como resultado, os modelos RKNN são executados mais rapidamente e consomem menos energia, o que os torna ideais para dispositivos alimentados por bateria, câmaras inteligentes, automação industrial e outras aplicações de IA de ponta que requerem tomadas de decisão em tempo real.
Os modelos Ultralytics YOLO (You Only Look Once) foram concebidos para tarefas de visão computacional em tempo real, como deteção de objectos, segmentação de instâncias e classificação de imagens. São conhecidos pela sua velocidade, precisão e eficiência e são amplamente utilizados em sectores como a agricultura, a indústria transformadora, os cuidados de saúde e os sistemas autónomos.
Estes modelos melhoraram substancialmente ao longo do tempo. Por exemplo, o Ultralytics YOLOv5 tornou a deteção de objectos mais fácil de utilizar com o PyTorch. Em seguida, o Ultralytics YOLOv8 adicionou novos recursos, como estimativa de pose e classificação de imagens. Agora, o YOLO11 vai mais longe, aumentando a precisão e utilizando menos recursos. De facto, o YOLO11m tem um melhor desempenho no conjunto de dados COCO, utilizando 22% menos parâmetros do que o YOLOv8m, o que o torna mais preciso e mais eficiente.
Os modelos Ultralytics YOLO também suportam a exportação para vários formatos, permitindo uma implementação flexível em diferentes plataformas. Estes formatos incluem ONNX, TensorRT, CoreML e OpenVINO, dando aos programadores a liberdade de otimizar o desempenho com base no seu hardware alvo.
Com o suporte adicional para exportar o YOLO11 para o formato de modelo RKNN, o YOLO11 pode agora tirar partido das NPUs da Rockchip. O modelo mais pequeno, YOLO11n em formato RKNN, atinge um tempo de inferência impressionante de 99,5 ms por imagem, permitindo o processamento em tempo real mesmo em dispositivos incorporados.
Atualmente, os modelos de deteção de objectos do YOLO11 podem ser exportados para o formato RKNN. Além disso, fique atento - estamos a trabalhar para adicionar suporte para outras tarefas de visão computacional e quantização INT8 em futuras actualizações.
A exportação do YOLO11 para o formato RKNN é um processo simples. É possível carregar o modelo YOLO11 treinado de forma personalizada, especificar a plataforma Rockchip de destino e convertê-lo para o formato RKNN com algumas linhas de código. O formato RKNN é compatível com vários SoCs Rockchip, incluindo RK3588, RK3566 e RK3576, garantindo amplo suporte de hardware.
Uma vez exportado, o modelo RKNN pode ser implantado em dispositivos baseados em Rockchip. Para implantar o modelo, basta carregar o arquivo RKNN exportado no dispositivo Rockchip e executar a inferência - o processo de usar o modelo de IA treinado para analisar novas imagens ou vídeos e detetar objetos em tempo real. Com apenas algumas linhas de código, é possível começar a identificar objectos a partir de imagens ou fluxos de vídeo.
Para ter uma ideia melhor de onde o YOLO11 pode ser implantado em dispositivos habilitados para Rockchip no mundo real, vamos percorrer algumas aplicações chave de IA de ponta.
Os processadores Rockchip são amplamente utilizados em tablets baseados em Android, placas de desenvolvimento e sistemas industriais de IA. Com suporte para Android, Linux e Python, pode facilmente construir e implementar soluções Vision AI-driven para uma variedade de indústrias.
Uma aplicação comum que envolve a execução do YOLO11 em dispositivos com Rockchip são os tablets robustos. Eles são tablets duráveis e de alto desempenho projetados para ambientes difíceis, como armazéns, canteiros de obras e ambientes industriais. Esses tablets podem aproveitar a deteção de objetos para melhorar a eficiência e a segurança.
Por exemplo, na logística de armazéns, os trabalhadores podem utilizar um tablet equipado com Rockchip com YOLO11 para digitalizar e detetar automaticamente o inventário, reduzindo o erro humano e acelerando os tempos de processamento. Do mesmo modo, nos estaleiros de construção, estes tablets podem ser utilizados para detetar se os trabalhadores estão a usar o equipamento de segurança necessário, como capacetes e coletes, ajudando as empresas a aplicar os regulamentos e a evitar acidentes.
No que diz respeito ao fabrico e à automação, as placas industriais alimentadas por Rockchip podem desempenhar um papel importante no controlo de qualidade e na monitorização de processos. Uma placa industrial é um módulo de computação compacto e de alto desempenho concebido para sistemas incorporados em ambientes industriais. Estas placas incluem normalmente processadores, memória, interfaces de E/S e opções de conetividade que podem ser integradas com sensores, câmaras e maquinaria automatizada.
A execução de modelos YOLO11 nestas placas torna possível analisar as linhas de produção em tempo real, detectando problemas instantaneamente e melhorando a eficiência. Por exemplo, no fabrico de automóveis, um sistema de IA que utilize o hardware Rockchip e o YOLO11 pode detetar riscos, peças desalinhadas ou defeitos de pintura à medida que os automóveis avançam na linha de montagem. Ao identificar estes defeitos em tempo real, os fabricantes podem reduzir o desperdício, diminuir os custos de produção e garantir padrões de qualidade mais elevados antes de os veículos chegarem aos clientes.
Os dispositivos baseados em Rockchip oferecem um bom equilíbrio entre desempenho, custo e eficiência, tornando-os uma óptima escolha para implementar o YOLO11 em aplicações de IA de ponta.
Eis algumas vantagens de executar o YOLO11 em dispositivos baseados em Rockchip:
O Ultralytics YOLO11 pode ser executado de forma eficiente em dispositivos baseados em Rockchip, aproveitando a aceleração de hardware e o formato RKNN. Isto reduz o tempo de inferência e melhora o desempenho, tornando-o ideal para tarefas de visão computacional em tempo real e aplicações de IA de ponta.
O kit de ferramentas RKNN fornece ferramentas de otimização importantes, como quantização e ajuste fino, garantindo que os modelos YOLO11 tenham um bom desempenho nas plataformas Rockchip. A otimização de modelos para um processamento eficiente no dispositivo será essencial à medida que a adoção da IA de ponta cresce. Com as ferramentas e o hardware certos, os desenvolvedores podem desbloquear novas possibilidades para soluções de visão computacional em vários setores.
Junte-se à nossa comunidade e explore o nosso repositório GitHub para saber mais sobre IA. Veja como a visão computacional na agricultura e a IA nos cuidados de saúde estão a impulsionar a inovação visitando as nossas páginas de soluções. Além disso, consulte as nossas opções de licenciamento para começar a criar as suas soluções Vision AI hoje mesmo!
.webp)
