Potenciando a Edge AI com o Sony IMX500 e AITRIOS

Edge AI permite que modelos de inteligência artificial (IA) operem diretamente em dispositivos como smartphones, câmeras e drones. Sua principal vantagem é que ela suporta uma tomada de decisão mais rápida e em tempo real, sem depender da nuvem. De fato, estudos mostram que usar IA em plataformas de borda pode aumentar a eficiência operacional em até 40%.

Avanços recentes em edge AI, particularmente em visão computacional, tornaram-na um tópico central no YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics, que reúne entusiastas e especialistas em IA para explorar as últimas novidades em Vision AI. Um dos destaques do evento foi a apresentação principal da Sony, onde exibiram suas novas soluções de hardware de IA e software de ponta. O sensor IMX500 e a plataforma AITRIOS foram apresentados, e a Sony demonstrou como essas inovações estão tornando mais fácil e eficiente implantar modelos Ultralytics YOLO, como Ultralytics YOLO11 e Ultralytics YOLOv8, na borda.

A sessão foi conduzida por Wei Tang, gerente de desenvolvimento de negócios focado em soluções de imagem da Sony, e Amir Servi, gerente de produto de Edge Deep Learning com experiência em implantar modelos de deep learning em dispositivos de borda.

Neste artigo, vamos revisitar a palestra da Sony no YV24 e explorar como o sensor IMX500 e a plataforma AITRIOS otimizam o uso de modelos YOLO para um processamento de IA na borda mais rápido e em tempo real. Vamos começar!

Link to this sectionA visão da Sony: Democratizando a IA em dispositivos de borda#

Wei Tang abriu a sessão falando sobre o objetivo da Sony de tornar a edge AI tão acessível quanto tornaram a fotografia anos atrás. Ela enfatizou como a Sony agora está focada em trazer Vision AI avançada para mais pessoas por meio da computação de borda. Um dos fatores motivadores por trás disso é o impacto positivo que a edge AI pode ter no meio ambiente. Ao processar dados diretamente nos dispositivos em vez de depender de grandes data centers, a computação de borda ajuda a reduzir o consumo de energia e as emissões de carbono. É uma abordagem mais inteligente e mais verde que se encaixa perfeitamente com o compromisso da Sony de construir tecnologia que não apenas funcione melhor, mas que também ajude a criar um futuro mais sustentável.

Wei continuou explicando como a Sony Semiconductor Solutions, a divisão da Sony especializada em tecnologias de imagem e detecção, cria sensores de imagem avançados. Esses sensores são usados em uma variedade de dispositivos, convertendo luz em sinais eletrônicos para capturar imagens. Com mais de 1,2 bilhão de sensores enviados todos os anos, eles são encontrados em quase metade dos celulares do mundo, tornando a Sony um player importante na indústria de imagem.

Fig 1. Exemplos de sensores de imagem da Sony.

Com base nessa experiência, a Sony agora está indo mais longe ao transformar esses sensores de dispositivos de captura de imagem em ferramentas inteligentes que podem processar dados em tempo real, permitindo insights alimentados por IA diretamente nos dispositivos. Antes de discutirmos as soluções de hardware e software que a Sony está usando para apoiar essa mudança, vamos entender os desafios da edge AI que essas inovações visam resolver.

Link to this sectionDesafios relacionados ao processamento de imagem por IA em dispositivos de borda#

Desenvolver soluções de edge AI traz alguns desafios importantes, especialmente ao trabalhar com dispositivos como câmeras e sensores. Muitos desses dispositivos têm energia e capacidade de processamento limitadas, o que torna difícil executar modelos de IA avançados de forma eficiente.

Aqui estão algumas das outras principais limitações:

• Complexidade de software: Adaptar modelos de IA para trabalhar em vários dispositivos de borda com diferentes configurações de hardware pode ser complexo e exigir ajustes e otimizações.
• Gargalos de pós-processamento: Frequentemente, há um atraso ao transferir grandes volumes de dados do dispositivo para o host para pós-processamento. Isso costuma consumir mais tempo do que a própria inferência de modelo de IA.
• Explosão de dados: Com muitos dispositivos IoT constantemente gerando dados, o volume de dados que precisa ser tratado localmente pode ser esmagador, sobrecarregando ainda mais os dispositivos de borda.

Link to this sectionConhecendo o sensor de visão inteligente Sony IMX500#

O sensor de visão inteligente Sony IMX500 é um hardware revolucionário no processamento de edge AI. É o primeiro sensor de visão inteligente do mundo com capacidades de IA on-chip. Este sensor ajuda a superar muitos desafios na edge AI, incluindo gargalos de processamento de dados, preocupações com a privacidade e limitações de desempenho.

Enquanto outros sensores apenas passam imagens e quadros, o IMX500 conta uma história completa. Ele processa dados diretamente no sensor, permitindo que os dispositivos gerem insights em tempo real. Durante a sessão, Wei Tang disse: "Ao alavancar nossa tecnologia avançada de sensor de imagem, pretendemos capacitar uma nova geração de aplicações que podem melhorar a vida cotidiana." O IMX500 foi projetado para atingir esse objetivo, transformando a forma como os dispositivos lidam com dados diretamente no sensor, sem precisar enviá-los para a nuvem para processamento.

Aqui estão alguns de seus principais recursos:

• Saída de metadados: Em vez de enviar imagens completas, ele gera metadados, reduzindo significativamente o tamanho dos dados, o que diminui o uso de largura de banda e custos.
• Privacidade aprimorada: Ao processar dados no dispositivo, o IMX500 melhora a privacidade, especialmente em situações onde informações sensíveis estão envolvidas, como tarefas de visão computacional relacionadas a humanos, como contagem de pessoas.
• Processamento em tempo real: A capacidade do sensor de lidar com dados rapidamente significa que ele suporta uma tomada de decisão rápida em tempo real, o que permite aplicações de edge AI como sistemas autônomos.

O IMX500 não é apenas um sensor de câmera - é uma ferramenta de detecção poderosa que transforma como os dispositivos percebem e interagem com o mundo ao seu redor. Ao incorporar IA diretamente no sensor, a Sony está tornando a edge AI mais acessível para indústrias como automotiva, saúde e cidades inteligentes. Nas seções seguintes, mergulharemos mais fundo em como o IMX500 funciona com modelos Ultralytics YOLO para melhorar a detecção de objetos e o processamento de dados em dispositivos de borda.

Fig 2. Wei Tang no palco do YOLO Vision 2024 apresentando o sensor de visão inteligente Sony IMX500.

Link to this sectionPlataforma AITRIOS da Sony: Simplificando a edge AI#

Após apresentar o sensor IMX500, Wei Tang expressou que, embora o hardware seja crucial, ele não é suficiente por si só para lidar com toda a gama de desafios envolvidos na implantação de IA na borda. Ela falou sobre como integrar IA em dispositivos como câmeras e sensores requer mais do que apenas hardware avançado - requer software inteligente para gerenciá-lo. É aqui que entra a plataforma AITRIOS da Sony, oferecendo uma solução de software confiável projetada para tornar a implantação de IA em dispositivos de borda mais simples e eficiente.

O AITRIOS atua como uma ponte entre modelos complexos de IA e as limitações dos dispositivos de borda. Ele fornece aos desenvolvedores uma variedade de ferramentas para implantar rapidamente modelos de IA pré-treinados. Mas, mais importante, ele suporta o retreinamento contínuo para que os modelos de IA possam permanecer adaptáveis a mudanças no mundo real.

Wei também destacou como o AITRIOS simplifica o processo para aqueles que não possuem experiência profunda em IA, oferecendo flexibilidade para personalizar modelos de IA para casos de uso específicos de edge AI. Ele também aborda desafios comuns como restrições de memória e quedas de desempenho, tornando mais fácil integrar IA em dispositivos menores sem sacrificar a precisão ou a velocidade.

Fig 3. Exemplos de casos de uso de edge AI. Fonte da imagem: SONY Semicon | AITRIOS.

Link to this sectionOtimizando modelos YOLO no IMX500#

Na segunda parte da palestra, o microfone foi passado para Amir, que mergulhou no lado técnico de como a Sony otimizou modelos YOLO no sensor IMX500.

Amir começou dizendo: “Os modelos YOLO são habilitadores de borda e são razoavelmente fáceis de otimizar, graças a Glenn e à equipe. Vou convencer você disso, não se preocupe." Amir então explicou que, embora muito foco geralmente seja colocado na otimização do próprio modelo de IA, essa abordagem muitas vezes ignora uma preocupação crucial: gargalos de pós-processamento.

Amir destacou que, em muitos casos, uma vez que o modelo de IA completa sua tarefa, o processo de transferência de dados e o manuseio do pós-processamento em um dispositivo host podem causar atrasos significativos. Essa transferência de dados de ida e volta entre o dispositivo e o host introduz latência, que pode ser um grande obstáculo para alcançar o melhor desempenho.

Fig 4. Amir Servi no palco do YOLO Vision 2024 explicando sobre gargalos de pós-processamento.

Para resolver isso, Amir enfatizou a importância de olhar para todo o sistema de ponta a ponta, em vez de focar apenas no modelo de IA. Com o sensor IMX500, eles descobriram que o pós-processamento era o principal gargalo desacelerando tudo. Ele compartilhou que o verdadeiro avanço foi desbloquear a supressão não máxima (NMS) on-chip.

Isso permitiu que o pós-processamento acontecesse diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo host. Ao executar NMS diretamente no IMX500, a Sony rompeu o que Amir chamou de “teto de vidro do pós-processamento”, alcançando um desempenho muito melhor e redução de latência.

Fig 5. Superando o gargalo de pós-processamento. Fonte da imagem: SONY Semicon | AITRIOS

Em seguida, daremos uma olhada em como essa inovação ajudou modelos YOLO, especialmente YOLOv8 Nano, a rodar de forma mais eficiente em dispositivos de borda, criando novas oportunidades para processamento de IA em tempo real em hardware menor e com recursos limitados.

Link to this sectionModelos YOLOv8 alcançam aumento de velocidade de 4x com o IMX500 da Sony#

Encerrando a palestra com uma nota positiva, Amir demonstrou como eles conseguiram quadruplicar o desempenho do modelo YOLOv8 Nano executando NMS na borda. Ele exibiu isso em um Raspberry Pi 5, que foi integrado com o sensor de IA IMX500. Amir comparou o desempenho quando o pós-processamento era tratado em um dispositivo host versus no chip IMX500.

Os resultados mostraram claramente uma melhoria importante em quadros por segundo (FPS) e eficiência geral quando o processamento era feito on-chip. A otimização tornou a detecção de objetos mais rápida e suave e também demonstrou a praticidade do processamento de IA em tempo real em dispositivos menores e com recursos limitados, como o Raspberry Pi.

Link to this sectionPrincipais pontos#

O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO estão remodelando o desenvolvimento de edge AI. O processamento de IA on-chip reduz a transferência de dados e a latência, ao mesmo tempo que impulsiona a privacidade, a segurança e a eficiência. Ao focar em todo o sistema, não apenas no modelo de IA, essas inovações tornam a edge AI mais acessível para desenvolvedores e para aqueles sem experiência profunda em IA. À medida que a tecnologia de edge AI continua a avançar, ela provavelmente permitirá dispositivos mais inteligentes, tomada de decisão mais rápida e proteções de privacidade mais fortes em uma ampla gama de indústrias e aplicações.

Fique conectado com nossa comunidade para continuar aprendendo sobre IA! Confira nosso repositório GitHub para descobrir como podemos usar a IA para criar soluções inovadoras em várias indústrias, como agricultura e manufatura. 🚀