Edge AI permite que modelos de inteligência artificial (IA) operem diretamente em dispositivos como smartphones, câmeras e drones. Sua principal vantagem é que oferece suporte a uma tomada de decisão mais rápida e em tempo real, sem depender da nuvem. De fato, estudos mostram que o uso de IA em plataformas de edge pode aumentar a eficiência operacional em até 40%. 

Os recentes avanços em IA de borda, particularmente em visão computacional, tornaram-no um tópico central na YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics que reúne entusiastas e especialistas em IA para explorar o que há de mais recente em Vision AI. Um dos destaques do evento foi a apresentação principal da Sony, onde eles mostraram suas novas soluções de software e hardware de IA de ponta. O sensor IMX500 e a plataforma AITRIOS foram apresentados, e a Sony demonstrou como essas inovações estão tornando mais fácil e eficiente implementar modelos Ultralytics YOLO como Ultralytics YOLO11 e Ultralytics YOLOv8 na borda.

A sessão foi liderada por Wei Tang, um Gerente de Desenvolvimento de Negócios que se concentra nas soluções de imagem da Sony, e Amir Servi, um Gerente de Produto de Deep Learning de Borda com experiência na implantação de modelos de deep learning em dispositivos de borda. 

Neste artigo, revisitaremos a palestra da Sony no YV24 e exploraremos como o sensor IMX500 e a plataforma AITRIOS otimizam o uso de modelos YOLO para um processamento de IA on-edge mais rápido e em tempo real. Vamos começar!

A visão da Sony: Democratizar a IA em dispositivos de borda

Wei Tang abriu a sessão falando sobre o objetivo da Sony de tornar a edge AI tão acessível como fizeram com a fotografia anos atrás. Ela enfatizou como a Sony está agora focada em levar a Vision AI avançada a mais pessoas através da computação de ponta. Um dos fatores determinantes por trás disso é o impacto positivo que a edge AI pode ter no meio ambiente. Ao processar dados diretamente nos dispositivos, em vez de depender de data centers massivos, a computação de ponta ajuda a reduzir o uso de energia e a diminuir as emissões de carbono. É uma abordagem mais inteligente e ecológica que se encaixa perfeitamente com o compromisso da Sony de construir tecnologia que não só funciona melhor, mas também ajuda a criar um futuro mais sustentável.

Wei continuou explicando como a Sony Semiconductor Solutions, a divisão da Sony especializada em tecnologias de imagem e sensoriamento, cria sensores de imagem avançados. Esses sensores são usados em uma variedade de dispositivos, convertendo luz em sinais eletrónicos para capturar imagens. Com mais de 1,2 bilhão de sensores enviados todos os anos, eles são encontrados em quase metade dos telefones celulares do mundo, tornando a Sony um dos principais players na indústria de imagem. 

‍

Com base nessa experiência, a Sony está agora indo mais longe, transformando esses sensores de dispositivos de captura de imagem em ferramentas inteligentes que podem processar dados em tempo real, permitindo insights baseados em IA diretamente nos dispositivos. Antes de discutirmos as soluções de hardware e software que a Sony está usando para apoiar essa mudança, vamos entender os desafios da edge AI que essas inovações visam resolver.

Desafios relacionados ao processamento de imagem com IA em dispositivos de borda

O desenvolvimento de soluções de IA na borda apresenta alguns desafios importantes, especialmente ao trabalhar com dispositivos como câmeras e sensores. Muitos desses dispositivos têm energia e capacidade de processamento limitadas, o que dificulta a execução eficiente de modelos avançados de IA.

Aqui estão algumas das outras principais limitações:

• Complexidade do software: Adaptar modelos de IA para funcionar em vários dispositivos de borda com diferentes configurações de hardware pode ser complexo e exigir ajustes e otimizações.
  ‍
• Gargalos de pós-processamento: Frequentemente, há um atraso ao transferir grandes quantidades de dados do dispositivo para o host para pós-processamento. Muitas vezes, consome mais tempo do que a inferência do modelo de IA real.
  ‍
• Explosão de dados: Com muitos dispositivos IoT constantemente gerando dados, o volume de dados que precisa ser tratado localmente pode ser esmagador, sobrecarregando ainda mais os dispositivos de borda.

Conhecendo o sensor de visão inteligente Sony IMX500

O Sensor de Visão Inteligente Sony IMX500 é uma peça de hardware revolucionária no processamento de IA de borda. É o primeiro sensor de visão inteligente do mundo com recursos de IA no chip. Este sensor ajuda a superar muitos desafios na IA de borda, incluindo gargalos no processamento de dados, preocupações com a privacidade e limitações de desempenho.

Enquanto outros sensores apenas transmitem imagens e quadros, o IMX500 conta toda uma história. Ele processa dados diretamente no sensor, permitindo que os dispositivos gerem insights em tempo real. Durante a sessão, Wei Tang disse: "Ao aproveitar nossa tecnologia avançada de sensor de imagem, pretendemos capacitar uma nova geração de aplicações que possam melhorar a vida cotidiana." O IMX500 foi projetado para atender a esse objetivo, transformando a forma como os dispositivos lidam com os dados diretamente no sensor, sem precisar enviá-los para a nuvem para processamento.

Aqui estão algumas de suas principais características:

• Saída de metadados: Em vez de enviar imagens completas, ele gera metadados, reduzindo significativamente o tamanho dos dados, o que diminui o uso de largura de banda e os custos.
  ‍
• Privacidade aprimorada: Ao processar dados no dispositivo, o IMX500 melhora a privacidade, especialmente em situações que envolvem informações confidenciais, como tarefas de visão computacional relacionadas a humanos, como a contagem de pessoas.
  ‍
• Processamento em tempo real: A capacidade do sensor de lidar com dados rapidamente significa que ele oferece suporte à tomada de decisão rápida e em tempo real, o que permite aplicações de IA de ponta, como sistemas autônomos.

O IMX500 não é apenas um sensor de câmera - é uma ferramenta de detecção poderosa que transforma a forma como os dispositivos percebem e interagem com o mundo ao seu redor. Ao incorporar a IA diretamente no sensor, a Sony está tornando a edge AI mais acessível para setores como automotivo, saúde e cidades inteligentes. Nas seções subsequentes, vamos nos aprofundar em como o IMX500 funciona com os modelos Ultralytics YOLO para melhorar a detecção de objetos e o processamento de dados em dispositivos de borda.

‍

Plataforma AITRIOS da Sony: Simplificando a IA de borda

Após apresentar o sensor IMX500, Wei Tang expressou que, embora o hardware seja crucial, não é suficiente por si só para abordar toda a gama de desafios envolvidos na implementação de IA na borda. Ela falou sobre como integrar a IA em dispositivos como câmeras e sensores exige mais do que apenas hardware avançado - é preciso um software inteligente para gerenciá-la. É aqui que entra a plataforma AITRIOS da Sony, oferecendo uma solução de software confiável projetada para tornar a implementação de IA em dispositivos de borda mais simples e eficiente.

O AITRIOS atua como uma ponte entre modelos complexos de IA e as limitações de dispositivos de borda. Ele fornece aos desenvolvedores uma variedade de ferramentas para implantar rapidamente modelos de IA pré-treinados. Mas, mais importante, ele oferece suporte ao retreinamento contínuo para que os modelos de IA possam permanecer adaptáveis às mudanças do mundo real. 

Wei também destacou como o AITRIOS simplifica o processo para aqueles que não têm grande experiência em IA, oferecendo flexibilidade para personalizar modelos de IA para casos de uso específicos de edge AI. Ele também aborda desafios comuns como restrições de memória e quedas de desempenho, tornando mais fácil integrar a IA em dispositivos menores sem sacrificar a precisão ou a velocidade. 

‍

Otimizando modelos YOLO no IMX500

Na segunda parte da palestra, o microfone foi passado para Amir, que mergulhou no lado técnico de como a Sony otimizou os modelos YOLO no sensor IMX500. 

Amir começou dizendo: "Os modelos YOLO são habilitados para a borda e são bastante fáceis de otimizar, graças a Glenn e à equipe. Eu vou convencê-los disso, não se preocupem." Amir então explicou que, embora muita atenção seja normalmente dada à otimização do próprio modelo de IA, essa abordagem muitas vezes ignora uma preocupação crucial: os gargalos de pós-processamento.

Amir salientou que, em muitos casos, uma vez que o modelo de IA conclui sua tarefa, o processo de transferência de dados e tratamento do pós-processamento em um dispositivo host pode causar atrasos significativos. Essa transferência de dados de vaivém entre o dispositivo e o host introduz latência, o que pode ser um grande obstáculo para alcançar o melhor desempenho.

‍

Para resolver isto, Amir enfatizou a importância de analisar todo o sistema de ponta a ponta, em vez de se concentrar apenas no modelo de IA. Com o sensor IMX500, descobriram que o pós-processamento era o principal gargalo que estava a atrasar tudo. Ele partilhou que o verdadeiro avanço foi desbloquear a supressão não máxima (NMS) no chip. 

Ele permitiu que o pós-processamento ocorresse diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo host. Ao executar o NMS diretamente no IMX500, a Sony rompeu o que Amir chamou de “teto de vidro do pós-processamento”, alcançando um desempenho muito melhor e redução de latência.

‍

Em seguida, veremos como essa inovação ajudou os modelos YOLO, especialmente o YOLOv8 Nano, a serem executados de forma mais eficiente em dispositivos edge, criando novas oportunidades para o processamento de IA em tempo real em hardware menor e com recursos limitados.

Os modelos YOLOv8 alcançam um aumento de velocidade de 4x com o IMX500 da Sony

Encerrando a palestra em grande estilo, Amir demonstrou como eles conseguiram quadruplicar o desempenho do modelo YOLOv8 Nano executando o NMS na borda. Ele mostrou isso em um Raspberry Pi 5, que foi integrado com o sensor de IA IMX500. Amir comparou o desempenho quando o pós-processamento foi tratado em um dispositivo host versus no chip IMX500. 

Os resultados mostraram claramente uma grande melhoria em frames por segundo (FPS) e na eficiência geral quando o processamento foi feito no chip. A otimização tornou a detecção de objetos mais rápida e suave e também demonstrou a praticidade do processamento de IA em tempo real em dispositivos menores e com recursos limitados, como o Raspberry Pi.

Principais conclusões

O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO estão remodelando o desenvolvimento de IA de borda. O processamento de IA no chip reduz a transferência de dados e a latência, ao mesmo tempo em que aumenta a privacidade, a segurança e a eficiência. Ao focar no sistema como um todo, e não apenas no modelo de IA, essas inovações tornam a IA de borda mais acessível a desenvolvedores e àqueles sem profundo conhecimento em IA. À medida que a tecnologia de IA de borda continua a avançar, é provável que ela permita dispositivos mais inteligentes, tomada de decisões mais rápida e proteções de privacidade mais fortes em uma ampla gama de indústrias e aplicações.

Mantenha-se conectado com a nossa comunidade para continuar aprendendo sobre IA! Confira nosso repositório GitHub para descobrir como podemos usar a IA para criar soluções inovadoras em vários setores, como agricultura e manufatura. 🚀