Implementar aplicações de visão computacional em dispositivos de edge AI

Graças aos avanços recentes em visão computacional e inteligência artificial (IA), o que antes era apenas uma área de pesquisa agora impulsiona aplicações relevantes em vários setores. De carros autônomos a exames de imagem médica e segurança, os sistemas de visão computacional resolvem problemas reais em grande escala.

Muitas dessas aplicações envolvem a análise de imagens e vídeos em tempo real, e depender da computação em nuvem nem sempre é prático devido à latência, aos custos e às preocupações com a privacidade. A IA de borda é uma ótima solução nessas situações. Ao executar modelos de IA para visão diretamente em dispositivos de borda, as empresas podem processar dados com mais rapidez, menor custo e maior segurança, tornando a IA em tempo real mais acessível.

Durante o YOLO Vision 2024 (YV24), evento híbrido anual organizado pela Ultralytics, um dos temas centrais foi democratizar a IA para visão computacional, tornando a implantação mais simples e eficiente para os usuários. Guy Dahan, arquiteto sênior de soluções da NVIDIA, falou sobre como as soluções de hardware e software da NVIDIA, incluindo dispositivos de computação de borda, servidores de inferência, estruturas de otimização e SDKs de implantação de IA, estão ajudando os desenvolvedores a otimizar a IA na borda.

Neste artigo, vamos explorar os principais aprendizados da palestra de Guy Dahan no YV24 e ver como as inovações mais recentes da NVIDIA estão tornando a implantação de IA para visão mais rápida e escalável.

O que é IA de borda?#

Guy Dahan começou sua palestra expressando entusiasmo por participar virtualmente do YV24 e seu interesse no pacote Python da Ultralytics e nos modelos YOLO da Ultralytics. Ele disse: "Uso a Ultralytics desde o dia em que foi lançada. Gosto muito da Ultralytics — já usava o YOLOv5 antes disso e sou um grande entusiasta desse pacote."

Em seguida, ele apresentou o conceito de IA de borda, explicando que ele envolve a execução de cálculos de IA diretamente em dispositivos como câmeras, drones ou máquinas industriais, em vez de enviar dados para servidores em nuvem distantes para processamento.

Em vez de esperar que imagens ou vídeos sejam enviados, analisados e depois retornem com os resultados, a IA de borda permite analisar os dados instantaneamente no próprio dispositivo. Isso torna os sistemas de IA para visão mais rápidos e eficientes, além de reduzir sua dependência da conectividade com a Internet. A IA de borda é particularmente útil para aplicações que exigem tomada de decisões em tempo real, como carros autônomos, câmeras de segurança e fábricas inteligentes.

Principais benefícios da IA de borda#

Após apresentar a IA de borda, Guy Dahan destacou suas principais vantagens, com foco em eficiência, redução de custos e segurança dos dados. Ele explicou que um dos maiores benefícios é a baixa latência: como os modelos de IA processam os dados diretamente no dispositivo, não é necessário enviar informações para a nuvem e esperar uma resposta.

A IA de borda também ajuda a reduzir custos e proteger dados confidenciais. Enviar grandes quantidades de dados para a nuvem, especialmente transmissões de vídeo, pode ser caro. No entanto, processar esses dados localmente reduz os custos de largura de banda e armazenamento.

Outra vantagem importante é a privacidade dos dados, pois as informações permanecem no dispositivo em vez de serem transferidas para um servidor externo. Isso é particularmente importante em aplicações de saúde, finanças e segurança, nas quais manter os dados localmente e protegidos é uma prioridade.

Fig. 1. Guy Dahan fazendo uma apresentação remota no YV24 sobre os benefícios da IA de borda.

Com base nesses benefícios, Guy Dahan comentou sobre a crescente adoção da IA de borda. Ele observou que, desde que a NVIDIA apresentou o Jetson em 2014, seu uso aumentou dez vezes. Hoje, mais de 1,2 milhão de desenvolvedores trabalham com dispositivos Jetson.

Visão geral do NVIDIA Jetson: um dispositivo de IA de borda#

Em seguida, Guy Dahan se concentrou nos dispositivos NVIDIA Jetson, uma família de dispositivos de computação de borda com IA projetados para oferecer alto desempenho com baixo consumo de energia. Os dispositivos Jetson são ideais para aplicações de visão computacional em setores como robótica, agricultura, saúde e automação industrial. "Os Jetsons são dispositivos de IA de borda projetados especificamente para IA. Eu diria até que, originalmente, foram desenvolvidos principalmente para visão computacional", acrescentou Guy Dahan.

Os dispositivos Jetson estão disponíveis em três categorias, cada uma adequada a necessidades diferentes:

• Nível de entrada: Estes dispositivos oferecem um desempenho de IA de 20 a 40 biliões de operações por segundo (TOPS), com um consumo energético de 10 a 15 W, o que os torna uma opção económica para aplicações de edge computing.
• Intermediário: equilibra desempenho e eficiência, oferecendo de 70 a 200 TOPS com um consumo de energia de 20 a 40 W, sendo adequado para cargas de trabalho de IA de médio porte.
• Alto desempenho: oferece até 275 TOPS com um consumo de energia de 60 a 75 W, sendo projetado para aplicações de IA exigentes, como robótica e automação.

Além disso, Guy Dahan falou sobre o próximo Jetson AGX Thor, que será lançado este ano, e disse que oferecerá oito vezes o desempenho da GPU (unidade de processamento gráfico), o dobro da capacidade de memória e um desempenho aprimorado da CPU (unidade central de processamento). Ele foi projetado especificamente para robótica humanoide e aplicações avançadas de IA de borda.

Desafios relacionados à implementação de modelos de visão computacional#

Guy Dahan passou então a falar sobre o lado do software da IA de borda e explicou que, mesmo com hardware potente, implementar modelos com eficiência pode ser um desafio.

Um dos maiores obstáculos é a compatibilidade, pois os desenvolvedores de IA costumam trabalhar com diferentes frameworks de IA, como PyTorch e TensorFlow. Alternar entre esses frameworks pode ser difícil e exigir que os desenvolvedores recriem ambientes para garantir que tudo funcione corretamente.

A escalabilidade é outro desafio importante. Os modelos de IA exigem um poder computacional significativo e, como disse Dahan, "Nunca houve uma empresa de IA que quisesse menos capacidade computacional." Expandir aplicações de IA para vários dispositivos pode ficar caro rapidamente, tornando a otimização essencial.

Além disso, os pipelines de IA são complexos e envolvem muitas vezes diferentes tipos de dados, processamento em tempo real e integração de sistemas. Os programadores dedicam muito esforço a garantir que os seus modelos funcionam sem problemas nos ecossistemas de software existentes. Superar estes desafios é essencial para tornar as implementações de IA mais eficientes e escaláveis.

Fig. 2. Desafios na implementação de modelos.

Simplificando a implementação com o NVIDIA Triton Inference Server#

Em seguida, Guy Dahan voltou sua atenção para o Triton Inference Server da NVIDIA. Ele observou que muitas empresas e startups começam a desenvolver IA sem otimizar totalmente os modelos. Redesenhar todo um pipeline de IA do zero pode ser disruptivo e demorado, dificultando a expansão eficiente.

Em vez de exigir uma reformulação completa do sistema, o Triton permite aos programadores aperfeiçoar e otimizar gradualmente os seus fluxos de trabalho de IA, integrando componentes mais eficientes sem comprometer a configuração existente. Com suporte para várias estruturas de IA, incluindo TensorFlow, PyTorch, ONNX e TensorRT, o Triton permite a implementação em ambientes de cloud, centros de dados e dispositivos de edge computing com ajustes mínimos.

Fig. 3. Visão geral do Triton Inference Server da NVIDIA.

Aqui estão algumas das principais vantagens do Triton Inference Server da NVIDIA:

• Agrupamento automático: O Triton agrupa vários pedidos de IA antes de os processar, melhorando o débito e a utilização da GPU.
• Integração com Kubernetes: O Triton é nativo da cloud, o que significa que se integra com o Kubernetes (um sistema que ajuda a gerir e escalar aplicações de IA em vários computadores ou servidores na cloud).
• Código aberto e personalizável: os desenvolvedores podem modificar o Triton para atender às suas necessidades específicas, garantindo flexibilidade para uma ampla variedade de aplicações de IA.

Maximizando o desempenho da IA com o NVIDIA TensorRT#

Digamos que você esteja procurando ainda mais aceleração; o NVIDIA TensorRT é uma opção interessante para otimizar seus modelos de IA. Guy Dahan explicou que o TensorRT é um otimizador de aprendizagem profunda de alto desempenho, desenvolvido para GPUs NVIDIA. Com o TensorRT, modelos do TensorFlow, PyTorch, ONNX e MXNet podem ser convertidos em arquivos altamente eficientes e executáveis em GPU.

O que torna o TensorRT tão confiável são suas otimizações específicas para cada hardware. Um modelo otimizado para dispositivos Jetson não terá o mesmo desempenho em outras GPUs, pois o TensorRT ajusta o desempenho ao hardware de destino. Segundo a NVIDIA, o TensorRT pode acelerar a inferência em até 36 vezes em comparação com plataformas que usam apenas CPU.

Guy Dahan também destacou o suporte da Ultralytics para TensorRT, explicando como este torna a implementação de modelos de IA mais rápida e eficiente. Os modelos Ultralytics YOLO podem ser exportados diretamente para o formato TensorRT, permitindo aos programadores otimizá-los para GPUs NVIDIA sem precisarem de fazer alterações.

DeepStream 7.0: um kit de ferramentas de análise de dados em fluxo#

Para encerrar a palestra em grande estilo, Guy Dahan apresentou o DeepStream 7.0 — um framework de IA projetado para o processamento em tempo real de vídeo, áudio e dados de sensores usando GPUs NVIDIA. Desenvolvido para oferecer suporte a aplicações de visão computacional de alta velocidade, ele permite a detecção e o rastreamento de objetos, além de análises em sistemas autônomos, segurança, automação industrial e cidades inteligentes. Ao executar a IA diretamente em dispositivos de borda, o DeepStream elimina a dependência da nuvem, reduzindo a latência e melhorando a eficiência.

Fig. 4. Explorando o DeepStream 7.0 no YV24 com Guy Dahan.

Mais especificamente, o DeepStream pode processar vídeo com IA do início ao fim. Ele oferece suporte a fluxos de trabalho de ponta a ponta, da decodificação e do pré-processamento de vídeo à inferência de IA e ao pós-processamento.

Recentemente, o DeepStream recebeu várias atualizações para aprimorar a implementação de IA, tornando-a mais acessível e escalável. Novas ferramentas simplificam o desenvolvimento, melhoram o rastreamento com várias câmeras e otimizam os pipelines de IA para aumentar o desempenho.

Agora, os desenvolvedores contam com suporte ampliado para ambientes Windows, recursos aprimorados de fusão de sensores para integrar dados de várias fontes e acesso a aplicações de referência pré-criadas para acelerar a implementação. Essas melhorias tornam o DeepStream uma solução mais flexível e eficiente para aplicações de IA em tempo real, ajudando os desenvolvedores a escalar análises inteligentes de vídeo com facilidade.

Principais conclusões#

Como demonstrado na palestra principal de Guy Dahan no YV24, a IA de borda está redefinindo as aplicações de visão computacional. Com os avanços em hardware e software, o processamento em tempo real está ficando mais rápido, eficiente e econômico.

À medida que mais setores adotam a IA de borda, enfrentar desafios como a fragmentação e a complexidade da implementação será essencial para liberar todo o seu potencial. Adotar essas inovações impulsionará aplicações de IA mais inteligentes e responsivas, moldando o futuro da visão computacional.

Faça parte da nossa comunidade em expansão! Explore nosso repositório no GitHub para saber mais sobre IA e confira nossas opções de licenciamento para dar início aos seus projetos de IA para visão. Quer saber mais sobre inovações como IA na área da saúde e visão computacional na indústria? Acesse nossas páginas de soluções para saber mais!