Implantando aplicações de visão computacional em dispositivos de edge AI

Graças aos recentes avanços em computer vision e inteligência artificial (IA), o que antes era apenas um campo de pesquisa agora está impulsionando aplicações de alto impacto em vários setores. Desde carros autônomos até imagens médicas e segurança, os sistemas de visão computacional estão resolvendo problemas reais em grande escala.

Muitas dessas aplicações envolvem a análise de imagens e vídeos em tempo real, e depender de computação em nuvem nem sempre é prático devido à latência, aos custos e a questões de privacidade. O Edge AI é uma excelente solução nessas situações. Ao executar modelos de IA de visão diretamente em dispositivos de borda, as empresas podem processar dados mais rapidamente, de forma mais acessível e com maior segurança, tornando a IA em tempo real mais acessível.

Durante o YOLO Vision 2024 (YV24), o evento híbrido anual organizado pela Ultralytics, um dos temas centrais foi a democratização da vision AI tornando a implantação mais amigável e eficiente. Guy Dahan, Arquiteto Sênior de Soluções na NVIDIA, discutiu como as soluções de hardware e software da NVIDIA, incluindo dispositivos de computação de borda, servidores de inferência, frameworks de otimização e SDKs de implantação de IA, estão ajudando desenvolvedores a otimizar a IA na borda.

Neste artigo, exploraremos os pontos principais da palestra de Guy Dahan no YV24 e como as mais recentes inovações da NVIDIA estão tornando a implementação de visão por IA mais rápida e escalável.

O que é Edge AI?#

Guy Dahan começou sua palestra expressando seu entusiasmo por participar do YV24 virtualmente e seu interesse pelo pacote Python da Ultralytics e pelos YOLO models da Ultralytics, dizendo: "Uso o Ultralytics desde o dia em que foi lançado. Gosto muito do Ultralytics - eu já usava o YOLOv5 antes disso, e sou um verdadeiro entusiasta deste pacote."

Em seguida, ele introduziu o conceito de Edge AI, explicando que envolve executar cálculos de IA diretamente em dispositivos como câmeras, drones ou máquinas industriais, em vez de enviar dados para servidores distantes na nuvem para processamento.

Em vez de esperar que imagens ou vídeos sejam carregados, analisados e depois enviados de volta com os resultados, o Edge AI torna possível analisar os dados instantaneamente no próprio dispositivo. Isso torna os sistemas de visão por IA mais rápidos, mais eficientes e menos dependentes de conectividade com a internet. O Edge AI é particularmente útil para aplicações de tomada de decisão em tempo real, como carros autônomos, câmeras de segurança e fábricas inteligentes.

Principais benefícios do Edge AI#

Após apresentar o Edge AI, Guy Dahan destacou suas principais vantagens, focando em eficiência, redução de custos e segurança de dados. Ele explicou que um dos maiores benefícios é a baixa latência - como os modelos de IA processam dados diretamente no dispositivo, não há necessidade de enviar informações para a nuvem e esperar por uma resposta.

O Edge AI também ajuda a reduzir custos e proteger dados confidenciais. Enviar grandes volumes de dados para a nuvem, especialmente fluxos de vídeo, pode ser caro. No entanto, processá-los localmente reduz custos de largura de banda e armazenamento.

Outra vantagem fundamental é a data privacy porque as informações permanecem no dispositivo em vez de serem transferidas para um servidor externo. Isso é particularmente importante para aplicações de saúde, finanças e segurança, onde manter os dados locais e seguros é uma prioridade máxima.

Fig 1. Guy Dahan apresentando remotamente no YV24 sobre os benefícios do Edge AI.

Com base nesses benefícios, Guy Dahan comentou sobre a crescente adoção do Edge AI. Ele observou que, desde que a NVIDIA introduziu o Jetson em 2014, o uso aumentou dez vezes. Hoje, mais de 1,2 milhão de desenvolvedores trabalham com dispositivos Jetson.

Uma visão geral do NVIDIA Jetson: um dispositivo de Edge AI#

Guy Dahan focou então nos NVIDIA Jetson devices, uma família de dispositivos de computação de borda de IA projetados para oferecer alto desempenho com baixo consumo de energia. Os dispositivos Jetson são ideais para aplicações de visão computacional em setores como robótica, agricultura, saúde e automação industrial. "Os Jetsons são dispositivos de Edge AI feitos sob medida especificamente para IA. Posso até acrescentar que originalmente foram projetados principalmente para visão computacional", acrescentou Guy Dahan.

Os dispositivos Jetson vêm em três níveis, cada um adequado para necessidades diferentes:

• Nível de entrada: Esses dispositivos oferecem de 20 a 40 trilhões de operações por segundo (TOPS) de desempenho de IA com um consumo de energia de 10 a 15W, tornando-os uma escolha acessível para aplicações de borda.
• Convencional: Equilibra desempenho e eficiência, oferecendo de 70 a 200 TOPS com consumo de energia de 20 a 40W, adequado para cargas de trabalho de IA de nível intermediário.
• Alto desempenho: Oferece até 275 TOPS com consumo de energia de 60 a 75W, projetado para aplicações de IA exigentes, como robótica e automação.

Além disso, Guy Dahan falou sobre o próximo Jetson AGX Thor, que será lançado este ano, e disse que ele oferecerá oito vezes o desempenho da GPU (Unidade de Processamento Gráfico), o dobro da capacidade de memória e desempenho aprimorado da CPU (Unidade Central de Processamento). Ele é projetado especificamente para robótica humanoide e aplicações avançadas de Edge AI.

Desafios relacionados à implementação de modelos de visão computacional#

Guy Dahan passou então a discutir o lado de software do Edge AI e explicou que, mesmo com hardware potente, implementar modelos de forma eficiente pode ser um desafio.

Um dos maiores obstáculos é a compatibilidade, pois os desenvolvedores de IA frequentemente trabalham com diferentes AI frameworks como PyTorch e TensorFlow. Mudar entre esses frameworks pode ser difícil, exigindo que os desenvolvedores recriem ambientes para garantir que tudo seja executado corretamente.

A escalabilidade é outro desafio importante. Modelos de IA exigem poder computacional significativo e, como Dahan colocou, "Nunca houve uma empresa de IA que quisesse menos poder computacional". Expandir aplicações de IA em múltiplos dispositivos pode rapidamente se tornar caro, tornando a otimização essencial.

Além disso, os pipelines de IA são complexos, envolvendo frequentemente diferentes tipos de dados, processamento em tempo real e integração de sistemas. Os desenvolvedores dedicam muito esforço para garantir que seus modelos interajam perfeitamente com os ecossistemas de software existentes. Superar esses desafios é uma parte crucial para tornar as AI deployments mais eficientes e escaláveis.

Fig 2. Desafios na implementação de modelos.

Simplificando a implementação com o Triton Inference Server da NVIDIA#

Em seguida, Guy Dahan direcionou sua atenção para o Triton Inference Server da NVIDIA. Ele destacou que muitas empresas e startups iniciam o desenvolvimento de IA sem otimizar totalmente seus modelos. Redesenhar um pipeline de IA inteiro do zero pode ser perturbador e demorado, dificultando a escala eficiente.

Em vez de exigir uma revisão completa do sistema, o Triton permite que os desenvolvedores refinem e otimizem gradualmente seus fluxos de trabalho de IA, integrando componentes mais eficientes sem interromper sua configuração existente. Com suporte para múltiplas estruturas de IA, incluindo TensorFlow, PyTorch, ONNX e TensorRT, o Triton permite uma implementação contínua em ambientes de nuvem, data centers e dispositivos de borda com ajustes mínimos.

Fig 3. Uma visão geral do Triton Inference Server da NVIDIA.

Aqui estão algumas das principais vantagens do Triton Inference Server da NVIDIA:

• Agrupamento automático (batching): O Triton agrupa várias solicitações de IA antes de processá-las, reduzindo atrasos (latência) e melhorando a velocidade de inferência (o tempo que um modelo de IA leva para gerar resultados).
• Integração com Kubernetes: O Triton é nativo da nuvem, o que significa que funciona perfeitamente com o Kubernetes (um sistema que ajuda a gerenciar e escalar aplicações de IA em vários computadores ou servidores em nuvem).
• Código aberto e personalizável: Os desenvolvedores podem modificar o Triton para atender às suas necessidades específicas, garantindo flexibilidade para uma ampla gama de aplicações de IA.

Maximizando o desempenho da IA usando NVIDIA TensorRT#

Digamos que estás à procura de ainda mais aceleração; o NVIDIA TensorRT é uma opção interessante para otimizar os teus modelos de IA. Guy Dahan explicou detalhadamente que o TensorRT é um otimizador de aprendizado profundo de alto desempenho construído para GPUs da NVIDIA. Modelos de TensorFlow, PyTorch, ONNX e MXNet podem ser convertidos em arquivos executáveis por GPU altamente eficientes usando o TensorRT.

O que torna o TensorRT tão confiável são suas otimizações específicas de hardware. Um modelo otimizado para dispositivos Jetson não terá o mesmo desempenho eficiente em outras GPUs porque o TensorRT ajusta o desempenho com base no hardware de destino. Um modelo de visão computacional bem ajustado pode resultar em um aumento na velocidade de inferência de até 36 vezes em comparação com modelos não otimizados.

Guy Dahan também chamou a atenção para o suporte do Ultralytics ao TensorRT, falando sobre como isso torna a implantação de modelos de IA mais rápida e eficiente. Os modelos YOLO da Ultralytics podem ser diretamente exported para o formato TensorRT, permitindo que os desenvolvedores os otimizem para GPUs da NVIDIA sem precisar fazer nenhuma alteração.

DeepStream 7.0: um kit de ferramentas de análise de streaming#

Concluindo a palestra com chave de ouro, Guy Dahan apresentou o DeepStream 7.0 — um framework de IA projetado para processamento em tempo real de vídeo, áudio e dados de sensores usando GPUs da NVIDIA. Construído para suportar aplicações de visão computacional de alta velocidade, ele permite detecção, rastreamento e análise de objetos em sistemas autônomos, segurança, automação industrial e cidades inteligentes. Ao executar a IA diretamente em dispositivos de borda, o DeepStream elimina a dependência da nuvem, reduzindo a latência e melhorando a eficiência.

Fig 4. Explorando o DeepStream 7.0 no YV24 com Guy Dahan.

Especificamente, o DeepStream pode lidar com processamento de vídeo baseado em IA do início ao fim. Ele suporta fluxos de trabalho de ponta a ponta, desde decodificação de vídeo e pré-processamento até inferência de IA e pós-processamento.

Recentemente, o DeepStream introduziu várias atualizações para aprimorar a implementação de IA, tornando-a mais acessível e escalável. Novas ferramentas simplificam o desenvolvimento, melhoram o rastreamento de múltiplas câmeras e otimizam pipelines de IA para um melhor desempenho.

Os desenvolvedores agora têm suporte expandido para ambientes Windows, capacidades aprimoradas de fusão de sensores para integrar dados de múltiplas fontes e acesso a aplicações de referência pré-construídas para acelerar a implementação. Essas melhorias tornam o DeepStream uma solução mais flexível e eficiente para aplicações de IA em tempo real, ajudando os desenvolvedores a escalar análises de vídeo inteligentes com facilidade.

Principais pontos#

Como ilustrado na palestra de Guy Dahan no YV24, o Edge AI está redefinindo as aplicações de visão computacional. Com avanços em hardware e software, o processamento em tempo real está se tornando mais rápido, eficiente e econômico.

À medida que mais setores adotam o Edge AI, abordar desafios como fragmentação e complexidade de implementação será fundamental para liberar todo o seu potencial. Adotar essas inovações impulsionará aplicações de IA mais inteligentes e responsivas, moldando o futuro da visão computacional.

Torna-te parte da our growing community! Explora our GitHub repository para saberes mais sobre IA, e consulta our licensing options para dar o pontapé inicial nos teus projetos de visão de IA. Tens curiosidade sobre inovações como AI in healthcare e computer vision in manufacturing? Visita as nossas páginas de soluções para saber mais!