Potenciando a Edge AI com o Sony IMX500 e AITRIOS

Edge AI permite que modelos de inteligência artificial (IA) operem diretamente em dispositivos como smartphones, câmeras e drones. Sua principal vantagem é que suporta tomadas de decisão mais rápidas e em tempo real, sem depender da nuvem. De fato, estudos mostram que o uso de IA em plataformas de edge pode aumentar a eficiência operacional em até 40%.

Avanços recentes em edge AI, particularmente em computer vision, tornaram o tema central no YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics que reúne entusiastas e especialistas de IA para explorar as últimas novidades em Vision AI. Um dos destaques do evento foi a apresentação principal da Sony, onde mostraram suas novas e avançadas soluções de hardware de IA e software. O sensor IMX500 e a plataforma AITRIOS foram apresentados, e a Sony demonstrou como essas inovações estão tornando mais fácil e eficiente implantar modelos Ultralytics YOLO como o Ultralytics YOLO11 e o Ultralytics YOLOv8 na borda.

A sessão foi liderada por Wei Tang, Gerente de Desenvolvimento de Negócios com foco nas soluções de imagem da Sony, e Amir Servi, Gerente de Produtos de Deep Learning em Edge com expertise em implantar modelos de deep learning em dispositivos de borda.

Neste artigo, vamos revisitar a palestra da Sony no YV24 e explorar como o sensor IMX500 e a plataforma AITRIOS otimizam o uso de modelos YOLO para um processamento de IA na borda mais rápido e em tempo real. Vamos começar!

A visão da Sony: Democratizando a IA em dispositivos de borda#

Wei Tang abriu a sessão falando sobre o objetivo da Sony de tornar a edge AI tão acessível quanto fizeram com a fotografia anos atrás. Ela enfatizou como a Sony agora está focada em trazer Vision AI avançada para mais pessoas por meio de computação de borda. Um dos fatores impulsionadores por trás disso é o impacto positivo que a edge AI pode ter no meio ambiente. Ao processar dados diretamente nos dispositivos em vez de depender de grandes data centers, a computação de borda ajuda a reduzir o uso de energia e as emissões de carbono. É uma abordagem mais inteligente e ecológica que se alinha perfeitamente ao compromisso da Sony de construir tecnologia que não apenas funcione melhor, mas também ajude a criar um futuro mais sustentável.

Wei continuou explicando como a Sony Semiconductor Solutions, a divisão da Sony especializada em tecnologias de imagem e detecção, cria sensores de imagem avançados. Esses sensores são usados em uma variedade de dispositivos, convertendo luz em sinais eletrônicos para capturar imagens. Com mais de 1,2 bilhão de sensores enviados todos os anos, eles são encontrados em quase metade dos telefones celulares do mundo, tornando a Sony um player importante na indústria de imagem.

Fig 1. Exemplos de sensores de imagem da Sony.

Com base nessa expertise, a Sony agora está indo além, transformando esses sensores de dispositivos de captura de imagem em ferramentas inteligentes que podem processar dados em tempo real, permitindo insights impulsionados por IA diretamente nos dispositivos. Antes de discutirmos as soluções de hardware e software que a Sony está usando para apoiar essa mudança, vamos entender os desafios de edge AI que essas inovações buscam resolver.

Desafios relacionados ao processamento de imagem por IA em dispositivos de borda#

O desenvolvimento de soluções de edge AI traz alguns desafios importantes, especialmente ao trabalhar com dispositivos como câmeras e sensores. Muitos desses dispositivos têm energia e capacidade de processamento limitadas, o que torna difícil executar modelos de IA avançados com eficiência.

Aqui estão algumas das outras principais limitações:

• Complexidade de software: Adaptar modelos de IA para funcionar em vários dispositivos de borda com diferentes configurações de hardware pode ser complexo e exigir ajustes e otimizações.
• Gargalos de pós-processamento: Muitas vezes há um atraso ao transferir grandes quantidades de dados do dispositivo para o host para pós-processamento. Isso frequentemente consome mais tempo do que a própria inferência de modelo de IA.
• Explosão de dados: Com muitos dispositivos IoT gerando dados constantemente, o volume de informações que precisa ser tratado localmente pode ser esmagador, sobrecarregando ainda mais os dispositivos de borda.

Conhecendo o sensor de visão inteligente Sony IMX500#

O Sensor de Visão Inteligente Sony IMX500 é um hardware revolucionário no processamento de edge AI. É o primeiro sensor de visão inteligente do mundo com recursos de IA integrados no chip. Esse sensor ajuda a superar muitos desafios na edge AI, incluindo gargalos de processamento de dados, preocupações com privacidade e limitações de desempenho.

Enquanto outros sensores apenas passam imagens e quadros, o IMX500 conta uma história completa. Ele processa dados diretamente no sensor, permitindo que os dispositivos gerem insights em tempo real. Durante a sessão, Wei Tang disse: "Ao aproveitar nossa avançada tecnologia de sensores de imagem, pretendemos capacitar uma nova geração de aplicativos que possam melhorar a vida cotidiana." O IMX500 foi projetado para atender a esse objetivo, transformando a forma como os dispositivos lidam com dados diretamente no sensor, sem precisar enviá-los para a nuvem para processamento.

Aqui estão alguns de seus principais recursos:

• Saída de metadados: Em vez de enviar imagens completas, ele gera metadados, reduzindo significativamente o tamanho dos dados, o que diminui o uso de largura de banda e custos.
• Privacidade aprimorada: Ao processar dados no próprio dispositivo, o IMX500 melhora a privacidade, especialmente em situações que envolvem informações sensíveis, como tarefas de computer vision relacionadas a humanos, a exemplo de contagem de pessoas.
• Processamento em tempo real: A capacidade do sensor de lidar com dados rapidamente significa que ele suporta tomadas de decisão rápidas em tempo real, viabilizando aplicações de edge AI como sistemas autônomos.

O IMX500 não é apenas um sensor de câmera — é uma ferramenta de detecção poderosa que transforma a forma como os dispositivos percebem e interagem com o mundo ao seu redor. Ao embutir IA diretamente no sensor, a Sony está tornando a edge AI mais acessível para indústrias como automotiva, saúde e cidades inteligentes. Nas seções seguintes, vamos nos aprofundar em como o IMX500 funciona com modelos Ultralytics YOLO para melhorar a detecção de objetos e o processamento de dados em dispositivos de borda.

Fig 2. Wei Tang no palco do YOLO Vision 2024 apresentando o sensor de visão inteligente Sony IMX500.

Plataforma AITRIOS da Sony: Simplificando a edge AI#

Após apresentar o sensor IMX500, Wei Tang expressou que, embora o hardware seja crucial, ele não é suficiente por si só para lidar com todo o escopo de desafios envolvidos na implantação de IA na borda. Ela falou sobre como integrar IA em dispositivos como câmeras e sensores exige mais do que apenas hardware avançado — precisa de software inteligente para gerenciá-lo. É aqui que entra a plataforma AITRIOS da Sony, oferecendo uma solução de software confiável projetada para tornar a implantação de IA em dispositivos de borda mais simples e eficiente.

O AITRIOS atua como uma ponte entre modelos complexos de IA e as limitações dos dispositivos de borda. Ele fornece aos desenvolvedores uma variedade de ferramentas para implantar rapidamente modelos de IA pré-treinados. Mas, mais importante, ele suporta o retreinamento contínuo para que os modelos de IA possam permanecer adaptáveis a mudanças do mundo real.

Wei também destacou como o AITRIOS simplifica o processo para quem não possui profunda expertise em IA, oferecendo flexibilidade para customizar modelos de IA para casos de uso específicos de edge AI. Ele também aborda desafios comuns, como restrições de memória e quedas de desempenho, facilitando a integração de IA em dispositivos menores sem sacrificar precisão ou velocidade.

Fig 3. Exemplos de casos de uso de edge AI. Fonte da imagem: SONY Semicon | AITRIOS.

Otimizando modelos YOLO no IMX500#

Na segunda parte da palestra, o microfone foi passado para Amir, que mergulhou no lado técnico de como a Sony otimizou os modelos YOLO no sensor IMX500.

Amir começou dizendo: “Os modelos YOLO habilitam a borda e são fáceis de otimizar, graças ao Glenn e à equipe. Vou convencer vocês disso, não se preocupem.” Amir explicou então que, embora muito foco seja normalmente direcionado à otimização do próprio modelo de IA, essa abordagem frequentemente negligencia uma preocupação crucial: os gargalos de pós-processamento.

Amir destacou que, em muitos casos, assim que o modelo de IA conclui sua tarefa, o processo de transferência de dados e gerenciamento do pós-processamento em um dispositivo host pode causar atrasos significativos. Essa transferência de dados de ida e volta entre o dispositivo e o host introduz latência, o que pode ser um grande obstáculo para alcançar o melhor desempenho.

Fig 4. Amir Servi no palco do YOLO Vision 2024 explicando sobre gargalos de pós-processamento.

Para lidar com isso, Amir enfatizou a importância de analisar todo o sistema de ponta a ponta, em vez de focar apenas no modelo de IA. Com o sensor IMX500, eles descobriram que o pós-processamento era o principal gargalo que desacelerava tudo. Ele compartilhou que a verdadeira inovação foi desbloquear a non-maximum suppression (NMS) no chip.

Isso permitiu que o pós-processamento acontecesse diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo host. Ao executar NMS diretamente no IMX500, a Sony rompeu o que Amir chamou de “teto de vidro do pós-processamento”, alcançando um desempenho muito melhor e redução de latência.

Fig 5. Superando o gargalo de pós-processamento. Fonte da imagem: SONY Semicon | AITRIOS

A seguir, vamos ver como esta inovação ajudou os modelos YOLO, especialmente o Ultralytics YOLOv8 Nano, a executar de forma mais eficiente em dispositivos de borda, criando novas oportunidades para o processamento de IA em tempo real em hardware menor e com restrição de recursos.

Os modelos Ultralytics YOLOv8 alcançam um aumento de velocidade de 4x com o IMX500 da Sony#

Concluindo a palestra com chave de ouro, Amir demonstrou como eles conseguiram quadruplicar o desempenho do modelo Ultralytics YOLOv8 Nano executando o NMS na borda. Ele demonstrou isso em um Raspberry Pi 5, que foi integrado ao sensor de IA IMX500. Amir comparou o desempenho quando o pós-processamento foi tratado em um dispositivo host versus no chip IMX500.

Os resultados mostraram claramente uma grande melhoria em quadros por segundo (FPS) e na eficiência geral quando o processamento foi feito no chip. A otimização tornou a detecção de objetos mais rápida e fluida, além de demonstrar a praticidade do processamento de IA em tempo real em dispositivos menores e com restrição de recursos, como o Raspberry Pi.

Principais pontos#

O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO estão remodelando o desenvolvimento de edge AI. O processamento de IA on-chip reduz a transferência de dados e a latência, ao mesmo tempo que impulsiona a privacidade, a segurança e a eficiência. Ao focar em todo o sistema, não apenas no modelo de IA, essas inovações tornam a edge AI mais acessível para desenvolvedores e para aqueles sem experiência profunda em IA. À medida que a tecnologia de edge AI continua a avançar, ela provavelmente permitirá dispositivos mais inteligentes, tomada de decisão mais rápida e proteções de privacidade mais fortes em uma ampla gama de indústrias e aplicações.

Mantém-te ligado à nossa community para continuares a aprender sobre IA! Vê o nosso GitHub repository para descobrires como podemos usar a IA para criar soluções inovadoras em várias indústrias, como agriculture e manufacturing. 🚀