A potenciar a IA de borda com Sony IMX500 e AITRIOS

A IA de borda permite que modelos de inteligência artificial (AI) sejam executados diretamente em dispositivos como smartphones, câmeras e drones. Sua principal vantagem é permitir decisões mais rápidas e em tempo real, sem depender da nuvem. De fato, estudos mostram que o uso de IA em plataformas de borda pode aumentar a eficiência operacional em até 40%.

Os avanços recentes em IA de borda, especialmente em visão computacional, tornaram o tema central no YOLO Vision 2024 (YV24), evento híbrido anual da Ultralytics que reúne entusiastas e especialistas em IA para explorar as novidades em IA de visão. Um dos destaques do evento foi a apresentação principal da Sony, na qual a empresa apresentou suas novas soluções de hardware e software de IA. O sensor IMX500 e a plataforma AITRIOS foram destaque, e a Sony demonstrou como essas inovações facilitam e tornam mais eficiente a implantação de modelos Ultralytics YOLO, como Ultralytics YOLO11 e Ultralytics YOLOv8, na borda.

A sessão foi conduzida por Wei Tang, gerente de desenvolvimento de negócios com foco nas soluções de imagem da Sony, e Amir Servi, gerente de produto de aprendizado profundo na borda, especialista na implantação de modelos de aprendizado profundo em dispositivos de borda.

Neste artigo, vamos revisitar a apresentação da Sony no YV24 e explorar como o sensor IMX500 e a plataforma AITRIOS otimizam o uso de modelos YOLO para um processamento de IA mais rápido e em tempo real na borda.

A visão da Sony: democratizar a IA em dispositivos de borda#

Wei Tang abriu a sessão falando sobre o objetivo da Sony de tornar a IA de borda tão acessível quanto a fotografia se tornou anos atrás. Ela destacou que a Sony agora está focada em levar a IA de visão avançada a mais pessoas por meio da computação de borda. Um dos fatores que impulsionam esse objetivo é o impacto positivo que a IA de borda pode ter no meio ambiente. Ao processar dados diretamente nos dispositivos, em vez de depender de enormes centros de dados, a computação de borda ajuda a reduzir o consumo de energia e as emissões de carbono. É uma abordagem mais inteligente e ecológica, alinhada ao compromisso da Sony de criar tecnologias que não só funcionem melhor, mas também contribuam para um futuro mais sustentável.

Wei explicou em seguida como a Sony Semiconductor Solutions, divisão da Sony especializada em tecnologias de imagem e sensoriamento, cria sensores de imagem avançados. Esses sensores são usados em vários dispositivos e convertem luz em sinais eletrônicos para capturar imagens. Com mais de 1,2 bilhão de sensores enviados todos os anos, eles estão presentes em quase metade dos celulares do mundo, fazendo da Sony uma das principais empresas do setor de imagem.

Fig. 1. Exemplos de sensores de imagem da Sony.

Com base nessa experiência, a Sony agora está avançando e transformando esses sensores: de dispositivos que capturam imagens em ferramentas inteligentes capazes de processar dados em tempo real e gerar insights com IA diretamente nos dispositivos. Antes de discutirmos as soluções de hardware e software que a Sony está usando para viabilizar essa mudança, vamos entender os desafios da IA de borda que essas inovações pretendem resolver.

Desafios do processamento de imagens com IA em dispositivos de borda#

O desenvolvimento de soluções de IA de borda traz alguns desafios importantes, especialmente ao trabalhar com dispositivos como câmeras e sensores. Muitos desses dispositivos têm capacidade limitada de energia e processamento, o que dificulta a execução eficiente de modelos avançados de IA.

Veja algumas das outras principais limitações:

• Complexidade do software: adaptar modelos de IA para funcionar em diferentes dispositivos de borda, com várias configurações de hardware, pode ser complexo e exigir ajustes e otimizações.
• Gargalos no pós-processamento: Muitas vezes, há um atraso ao transferir grandes quantidades de dados do dispositivo para o host para o pós-processamento. Esse processo costuma consumir mais tempo do que a própria inferência do modelo de IA.
• Explosão de dados: com muitos dispositivos de IoT gerando dados constantemente, o volume de dados que precisa ser processado localmente pode ser avassalador e sobrecarregar ainda mais os dispositivos de borda.

Conhecendo o sensor de visão inteligente Sony IMX500#

O sensor de visão inteligente Sony IMX500 é um componente de hardware essencial para o processamento de IA de borda. A Sony o descreve como o primeiro sensor de visão inteligente do mundo com recursos de IA integrados ao chip. Esse sensor ajuda a superar muitos desafios da IA de borda, incluindo gargalos de processamento de dados, questões de privacidade e limitações de desempenho.

Enquanto outros sensores apenas transmitem imagens e quadros, o IMX500 conta uma história completa. Ele processa dados diretamente no sensor, permitindo que os dispositivos gerem insights em tempo real. Durante a sessão, Wei Tang disse: "Ao aproveitar nossa tecnologia avançada de sensores de imagem, queremos viabilizar uma nova geração de aplicações que possam melhorar o dia a dia." O IMX500 foi projetado para cumprir esse objetivo, transformando a maneira como os dispositivos processam dados diretamente no sensor, sem precisar enviá-los à nuvem para processamento.

Eis algumas das suas principais características:

• Saída de metadados: Em vez de enviar imagens completas, o sensor gera metadados, reduzindo significativamente o volume de dados e, consequentemente, o uso de largura de banda e os custos.
• Mais privacidade: ao processar dados no dispositivo, o IMX500 aumenta a privacidade, especialmente em situações que envolvem informações confidenciais, como tarefas de visão computacional relacionadas a pessoas, por exemplo, a contagem de pessoas.
• Processamento em tempo real: A capacidade do sensor de processar dados rapidamente permite decisões ágeis e em tempo real, viabilizando aplicações de IA de borda, como sistemas autônomos.

O IMX500 não é apenas um sensor de câmera: é uma poderosa ferramenta de sensoriamento que transforma a maneira como os dispositivos percebem e interagem com o mundo ao seu redor. Ao integrar IA diretamente ao sensor, a Sony está tornando a IA de borda mais acessível a setores como o automotivo, a saúde e as cidades inteligentes. Nas próximas seções, vamos analisar em mais detalhes como o IMX500 funciona com os modelos Ultralytics YOLO para aprimorar a detecção de objetos e o processamento de dados em dispositivos de borda.

Fig. 2. Wei Tang no palco do YOLO Vision 2024 apresentando o sensor de visão inteligente Sony IMX500.

Plataforma AITRIOS da Sony: simplificando a IA de borda#

Após apresentar o sensor IMX500, Wei Tang explicou que, embora o hardware seja fundamental, ele não basta por si só para enfrentar todos os desafios envolvidos na implantação de IA na borda. Ela falou sobre como integrar IA a dispositivos como câmeras e sensores exige mais do que hardware avançado: é preciso software inteligente para gerenciá-lo. É aí que entra a plataforma AITRIOS da Sony, que oferece uma solução de software confiável, criada para simplificar e tornar mais eficiente a implantação de IA em dispositivos de borda.

A AITRIOS atua como uma ponte entre modelos complexos de IA e as limitações dos dispositivos de borda. Ela oferece aos desenvolvedores diversas ferramentas para implantar rapidamente modelos de IA pré-treinados. Mais importante ainda, permite o retreinamento contínuo para que os modelos de IA continuem se adaptando às mudanças no mundo real.

Wei também destacou como a AITRIOS simplifica o processo para quem não tem experiência aprofundada em IA, oferecendo flexibilidade para personalizar modelos de IA para casos de uso específicos na borda. A plataforma também resolve desafios comuns, como limitações de memória e quedas de desempenho, facilitando a integração de IA em dispositivos menores sem comprometer a precisão ou a velocidade.

Fig. 3. Exemplos de casos de uso de IA de borda. Fonte da imagem: SONY Semicon | AITRIOS.

Otimizando modelos YOLO no IMX500#

Na segunda parte da apresentação, Amir assumiu o microfone e abordou os aspectos técnicos de como a Sony otimizou os modelos YOLO no sensor IMX500.

Amir começou dizendo: “Os modelos YOLO viabilizam a IA de borda e são relativamente fáceis de otimizar, graças ao Glenn e à equipe. Vou convencer vocês disso, não se preocupem.” Em seguida, Amir explicou que, embora geralmente se dê muita atenção à otimização do próprio modelo de IA, essa abordagem muitas vezes deixa de lado uma questão crucial: os gargalos no pós-processamento.

Amir observou que, em muitos casos, depois que o modelo de IA conclui sua tarefa, a transferência de dados e o pós-processamento em um dispositivo anfitrião podem causar atrasos significativos. Essa transferência de dados entre o dispositivo e o anfitrião introduz latência, que pode ser um grande obstáculo para alcançar o melhor desempenho.

Fig. 4. Amir Servi no palco do YOLO Vision 2024 explicando os gargalos do pós-processamento.

Para resolver esse problema, Amir enfatizou a importância de analisar todo o sistema de ponta a ponta, em vez de se concentrar apenas no modelo de IA. Com o sensor IMX500, eles descobriram que o pós-processamento era o principal gargalo que deixava tudo mais lento. Ele explicou que o grande avanço foi habilitar a supressão não máxima (NMS) no chip.

Isso permitiu realizar o pós-processamento diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo host. Ao executar NMS diretamente no IMX500, a Sony superou o que Amir chamou de “limite intransponível do pós-processamento”, obtendo um desempenho muito melhor e reduzindo a latência.

Fig. 5. Superando o gargalo do pós-processamento. Fonte da imagem: SONY Semicon | AITRIOS

Em seguida, vamos ver como essa inovação ajudou os modelos YOLO, especialmente o Ultralytics YOLOv8 Nano, a funcionar com mais eficiência em dispositivos de borda, criando novas oportunidades para o processamento de IA em tempo real em hardware menor e com recursos limitados.

Modelos Ultralytics YOLOv8 alcançam aumento de velocidade de 4x com o IMX500 da Sony#

Para encerrar a apresentação em grande estilo, Amir demonstrou como foi possível quadruplicar o desempenho do modelo Ultralytics YOLOv8 Nano executando o NMS na borda. Ele mostrou isso em um Raspberry Pi 5 integrado ao sensor de IA IMX500. Amir comparou o desempenho do pós-processamento em um dispositivo anfitrião com o processamento no chip IMX500.

Os resultados mostraram claramente um grande aumento de quadros por segundo (FPS) e da eficiência geral quando o processamento foi realizado no chip. A otimização tornou a detecção de objetos mais rápida e fluida e também demonstrou a viabilidade do processamento de IA em tempo real em dispositivos menores e com recursos limitados, como o Raspberry Pi.

Principais conclusões#

O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO, reunidos pela parceria entre a Ultralytics e a Sony, estão transformando o desenvolvimento de IA de borda. O processamento de IA no chip reduz a transferência de dados e a latência, além de aumentar a privacidade, a segurança e a eficiência. Ao se concentrarem no sistema como um todo, e não apenas no modelo de IA, essas inovações tornam a IA de borda mais acessível a desenvolvedores e a pessoas sem experiência aprofundada em IA. À medida que a tecnologia de IA de borda avança, ela provavelmente permitirá dispositivos mais inteligentes, decisões mais rápidas e proteções de privacidade mais robustas em vários setores e aplicações.

Mantenha contato com nossa comunidade para continuar aprendendo sobre IA! Confira nosso repositório do GitHub para descobrir como podemos usar a IA para criar soluções inovadoras em vários setores, como agricultura e indústria.