Implantando aplicações de visão computacional em dispositivos de edge AI

Graças aos avanços recentes em visão computacional e inteligência artificial (IA), o que antes era apenas um campo de pesquisa agora está impulsionando aplicações de impacto em diversos setores. De carros autônomos a imagens médicas e segurança, os sistemas de visão computacional estão resolvendo problemas reais em escala.

Muitas dessas aplicações envolvem a análise de imagens e vídeos em tempo real, e depender de computação em nuvem nem sempre é prático devido a latência, custos e preocupações com privacidade. Edge AI é uma excelente solução nessas situações. Ao executar modelos de IA de visão diretamente em dispositivos de borda, as empresas podem processar dados de forma mais rápida, acessível e com maior segurança, tornando a IA em tempo real mais acessível.

Durante o YOLO Vision 2024 (YV24), o evento híbrido anual organizado pela Ultralytics, um dos temas centrais foi a democratização da visão por IA, tornando a implementação mais eficiente e amigável para o usuário. Guy Dahan, Arquiteto de Soluções Sênior na NVIDIA, discutiu como as soluções de hardware e software da NVIDIA, incluindo dispositivos de computação de borda, servidores de inferência, estruturas de otimização e SDKs de implementação de IA, estão ajudando desenvolvedores a otimizar a IA na borda.

Neste artigo, exploraremos os pontos principais da palestra de Guy Dahan no YV24 e como as mais recentes inovações da NVIDIA estão tornando a implementação de visão por IA mais rápida e escalável.

Link to this sectionO que é Edge AI?#

Guy Dahan começou sua palestra expressando seu entusiasmo por participar virtualmente do YV24 e seu interesse pelo pacote Python da Ultralytics e pelos modelos YOLO da Ultralytics, dizendo: "Eu uso o Ultralytics desde o dia em que foi lançado. Gosto muito do Ultralytics - eu já usava o YOLOv5 antes disso, e sou um verdadeiro entusiasta deste pacote."

Em seguida, ele introduziu o conceito de Edge AI, explicando que envolve executar cálculos de IA diretamente em dispositivos como câmeras, drones ou máquinas industriais, em vez de enviar dados para servidores distantes na nuvem para processamento.

Em vez de esperar que imagens ou vídeos sejam carregados, analisados e depois enviados de volta com os resultados, o Edge AI torna possível analisar os dados instantaneamente no próprio dispositivo. Isso torna os sistemas de visão por IA mais rápidos, mais eficientes e menos dependentes de conectividade com a internet. O Edge AI é particularmente útil para aplicações de tomada de decisão em tempo real, como carros autônomos, câmeras de segurança e fábricas inteligentes.

Link to this sectionPrincipais benefícios do Edge AI#

Após apresentar o Edge AI, Guy Dahan destacou suas principais vantagens, focando em eficiência, redução de custos e segurança de dados. Ele explicou que um dos maiores benefícios é a baixa latência - como os modelos de IA processam dados diretamente no dispositivo, não há necessidade de enviar informações para a nuvem e esperar por uma resposta.

O Edge AI também ajuda a reduzir custos e proteger dados confidenciais. Enviar grandes volumes de dados para a nuvem, especialmente fluxos de vídeo, pode ser caro. No entanto, processá-los localmente reduz custos de largura de banda e armazenamento.

Outra vantagem fundamental é a privacidade de dados, pois as informações permanecem no dispositivo em vez de serem transferidas para um servidor externo. Isso é particularmente importante para aplicações de saúde, finanças e segurança, onde manter os dados locais e seguros é uma prioridade máxima.

Fig 1. Guy Dahan apresentando remotamente no YV24 sobre os benefícios do Edge AI.

Com base nesses benefícios, Guy Dahan comentou sobre a crescente adoção do Edge AI. Ele observou que, desde que a NVIDIA introduziu o Jetson em 2014, o uso aumentou dez vezes. Hoje, mais de 1,2 milhão de desenvolvedores trabalham com dispositivos Jetson.

Link to this sectionUma visão geral do NVIDIA Jetson: um dispositivo de Edge AI#

Guy Dahan focou então nos dispositivos NVIDIA Jetson, uma família de dispositivos de computação de borda de IA projetados para oferecer alto desempenho com baixo consumo de energia. Os dispositivos Jetson são ideais para aplicações de visão computacional em setores como robótica, agricultura, saúde e automação industrial. "Os Jetsons são dispositivos de Edge AI feitos especificamente sob medida para IA. Eu poderia até acrescentar que originalmente foram projetados principalmente para visão computacional", adicionou Guy Dahan.

Os dispositivos Jetson vêm em três níveis, cada um adequado para necessidades diferentes:

• Nível de entrada: Esses dispositivos oferecem de 20 a 40 trilhões de operações por segundo (TOPS) de desempenho de IA com um consumo de energia de 10 a 15W, tornando-os uma escolha acessível para aplicações de borda.
• Convencional: Equilibra desempenho e eficiência, oferecendo de 70 a 200 TOPS com consumo de energia de 20 a 40W, adequado para cargas de trabalho de IA de nível intermediário.
• Alto desempenho: Oferece até 275 TOPS com consumo de energia de 60 a 75W, projetado para aplicações de IA exigentes, como robótica e automação.

Além disso, Guy Dahan falou sobre o próximo Jetson AGX Thor, que será lançado este ano, e disse que ele oferecerá oito vezes o desempenho da GPU (Unidade de Processamento Gráfico), o dobro da capacidade de memória e desempenho aprimorado da CPU (Unidade Central de Processamento). Ele é projetado especificamente para robótica humanoide e aplicações avançadas de Edge AI.

Link to this sectionDesafios relacionados à implementação de modelos de visão computacional#

Guy Dahan passou então a discutir o lado de software do Edge AI e explicou que, mesmo com hardware potente, implementar modelos de forma eficiente pode ser um desafio.

Um dos maiores obstáculos é a compatibilidade, já que desenvolvedores de IA frequentemente trabalham com diferentes estruturas de IA, como PyTorch e TensorFlow. Mudar entre essas estruturas pode ser difícil, exigindo que os desenvolvedores recriem ambientes para garantir que tudo funcione corretamente.

A escalabilidade é outro desafio importante. Modelos de IA exigem poder computacional significativo e, como Dahan colocou, "Nunca houve uma empresa de IA que quisesse menos poder computacional". Expandir aplicações de IA em múltiplos dispositivos pode rapidamente se tornar caro, tornando a otimização essencial.

Além disso, os pipelines de IA são complexos, envolvendo frequentemente diferentes tipos de dados, processamento em tempo real e integração de sistemas. Os desenvolvedores investem muito esforço para garantir que seus modelos interajam perfeitamente com ecossistemas de software existentes. Superar esses desafios é uma parte crucial para tornar as implementações de IA mais eficientes e escaláveis.

Fig 2. Desafios na implementação de modelos.

Link to this sectionSimplificando a implementação com o Triton Inference Server da NVIDIA#

Em seguida, Guy Dahan voltou sua atenção para o Triton Inference Server da NVIDIA. Ele apontou que muitas empresas e startups começam o desenvolvimento de IA sem otimizar totalmente seus modelos. Redesenhar um pipeline de IA inteiro do zero pode ser disruptivo e demorado, tornando difícil escalar de forma eficiente.

Em vez de exigir uma revisão completa do sistema, o Triton permite que os desenvolvedores refinem e otimizem gradualmente seus fluxos de trabalho de IA, integrando componentes mais eficientes sem interromper sua configuração existente. Com suporte para múltiplas estruturas de IA, incluindo TensorFlow, PyTorch, ONNX e TensorRT, o Triton permite uma implementação contínua em ambientes de nuvem, data centers e dispositivos de borda com ajustes mínimos.

Fig 3. Uma visão geral do Triton Inference Server da NVIDIA.

Aqui estão algumas das principais vantagens do Triton Inference Server da NVIDIA:

• Agrupamento automático (batching): O Triton agrupa várias solicitações de IA antes de processá-las, reduzindo atrasos (latência) e melhorando a velocidade de inferência (o tempo que um modelo de IA leva para gerar resultados).
• Integração com Kubernetes: O Triton é nativo da nuvem, o que significa que funciona perfeitamente com o Kubernetes (um sistema que ajuda a gerenciar e escalar aplicações de IA em vários computadores ou servidores em nuvem).
• Código aberto e personalizável: Os desenvolvedores podem modificar o Triton para atender às suas necessidades específicas, garantindo flexibilidade para uma ampla gama de aplicações de IA.

Link to this sectionMaximizando o desempenho da IA usando NVIDIA TensorRT#

Digamos que você esteja procurando ainda mais aceleração; NVIDIA TensorRT é uma opção interessante para otimizar seus modelos de IA. Guy Dahan explicou que o TensorRT é um otimizador de aprendizado profundo de alto desempenho criado para GPUs NVIDIA. Modelos do TensorFlow, PyTorch, ONNX e MXNet podem ser convertidos em arquivos altamente eficientes executáveis por GPU usando o TensorRT.

O que torna o TensorRT tão confiável são suas otimizações específicas de hardware. Um modelo otimizado para dispositivos Jetson não terá o mesmo desempenho eficiente em outras GPUs porque o TensorRT ajusta o desempenho com base no hardware de destino. Um modelo de visão computacional bem ajustado pode resultar em um aumento na velocidade de inferência de até 36 vezes em comparação com modelos não otimizados.

Guy Dahan também chamou a atenção para o suporte da Ultralytics ao TensorRT, falando sobre como isso torna a implementação do modelo de IA mais rápida e eficiente. Os modelos YOLO da Ultralytics podem ser diretamente exportados para o formato TensorRT, permitindo que os desenvolvedores os otimizem para GPUs NVIDIA sem precisar fazer nenhuma alteração.

Link to this sectionDeepStream 7.0: um kit de ferramentas de análise de streaming#

Encerrando a palestra com chave de ouro, Guy Dahan apresentou o DeepStream 7.0 - uma estrutura de IA projetada para processamento em tempo real de vídeo, áudio e dados de sensores usando GPUs NVIDIA. Criado para suportar aplicações de visão computacional de alta velocidade, ele permite detecção de objetos, rastreamento e análise em sistemas autônomos, segurança, automação industrial e cidades inteligentes. Ao executar IA diretamente em dispositivos de borda, o DeepStream elimina a dependência da nuvem, reduzindo a latência e melhorando a eficiência.

Fig 4. Explorando o DeepStream 7.0 no YV24 com Guy Dahan.

Especificamente, o DeepStream pode lidar com processamento de vídeo baseado em IA do início ao fim. Ele suporta fluxos de trabalho de ponta a ponta, desde decodificação de vídeo e pré-processamento até inferência de IA e pós-processamento.

Recentemente, o DeepStream introduziu várias atualizações para aprimorar a implementação de IA, tornando-a mais acessível e escalável. Novas ferramentas simplificam o desenvolvimento, melhoram o rastreamento de múltiplas câmeras e otimizam pipelines de IA para um melhor desempenho.

Os desenvolvedores agora têm suporte expandido para ambientes Windows, capacidades aprimoradas de fusão de sensores para integrar dados de múltiplas fontes e acesso a aplicações de referência pré-construídas para acelerar a implementação. Essas melhorias tornam o DeepStream uma solução mais flexível e eficiente para aplicações de IA em tempo real, ajudando os desenvolvedores a escalar análises de vídeo inteligentes com facilidade.

Link to this sectionPrincipais pontos#

Como ilustrado na palestra de Guy Dahan no YV24, o Edge AI está redefinindo as aplicações de visão computacional. Com avanços em hardware e software, o processamento em tempo real está se tornando mais rápido, eficiente e econômico.

À medida que mais setores adotam o Edge AI, abordar desafios como fragmentação e complexidade de implementação será fundamental para liberar todo o seu potencial. Adotar essas inovações impulsionará aplicações de IA mais inteligentes e responsivas, moldando o futuro da visão computacional.

Faça parte da nossa comunidade em crescimento! Explore nosso repositório GitHub para saber mais sobre IA e confira nossas opções de licenciamento para dar início aos seus projetos de visão por IA. Ficou curioso sobre inovações como IA na saúde e visão computacional na manufatura? Visite nossas páginas de soluções para saber mais!