A impulsionar a IA de edge com o Sony IMX500 e o AITRIOS

A Edge AI permite que modelos de inteligência artificial (AI) operem diretamente em dispositivos como smartphones, câmaras e drones. A sua principal vantagem é permitir uma tomada de decisões mais rápida e em tempo real, sem depender da cloud. De facto, estudos mostram que usar AI em plataformas de edge pode aumentar a eficiência operacional em até 40%.

Os avanços recentes na edge AI, particularmente na visão computacional, tornaram-na um tema central no YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics que reúne entusiastas e especialistas em AI para explorar as novidades em Vision AI. Um dos destaques do evento foi a apresentação principal da Sony, na qual a empresa apresentou o seu novo hardware de AI de ponta e soluções de software. O sensor IMX500 e a plataforma AITRIOS estiveram em destaque, e a Sony demonstrou como estas inovações tornam mais fácil e eficiente implementar modelos Ultralytics YOLO, como o Ultralytics YOLO11 e o Ultralytics YOLOv8, no edge.

A sessão foi conduzida por Wei Tang, Business Development Manager com foco nas soluções de imagem da Sony, e Amir Servi, Edge Deep Learning Product Manager especializado em implementar modelos de deep learning em dispositivos de edge.

Neste artigo, vamos revisitar a apresentação da Sony no YV24 e explorar como o sensor IMX500 e a plataforma AITRIOS otimizam a utilização de modelos YOLO para um processamento de AI mais rápido e em tempo real no edge. Vamos começar!

A visão da Sony: democratizar a AI em dispositivos de edge#

Wei Tang iniciou a sessão falando sobre o objetivo da Sony de tornar a edge AI tão acessível quanto tornou a fotografia há alguns anos. Salientou que a Sony está agora focada em levar a Vision AI avançada a mais pessoas através da computação de edge. Um dos fatores que impulsionam esta iniciativa é o impacto positivo que a edge AI pode ter no ambiente. Ao processar dados diretamente nos dispositivos, em vez de depender de enormes centros de dados, a computação de edge ajuda a reduzir o consumo de energia e as emissões de carbono. É uma abordagem mais inteligente e ecológica que se alinha perfeitamente com o compromisso da Sony de criar tecnologia que não só funciona melhor, como também ajuda a construir um futuro mais sustentável.

Wei explicou ainda como a Sony Semiconductor Solutions, a divisão da Sony especializada em tecnologias de imagem e deteção, cria sensores de imagem avançados. Estes sensores são utilizados numa variedade de dispositivos, convertendo luz em sinais eletrónicos para captar imagens. Com mais de 1,2 mil milhões de sensores expedidos todos os anos, estão presentes em quase metade dos telemóveis do mundo, tornando a Sony um dos principais intervenientes no setor de imagem.

Fig. 1. Exemplos de sensores de imagem da Sony.

Com base nesta experiência, a Sony está agora a ir mais longe, transformando estes sensores de dispositivos de captura de imagens em ferramentas inteligentes capazes de processar dados em tempo real, permitindo obter informações geradas por AI diretamente nos dispositivos. Antes de abordarmos as soluções de hardware e software que a Sony está a utilizar para apoiar esta mudança, vamos compreender os desafios da edge AI que estas inovações pretendem resolver.

Desafios relacionados com o processamento de imagens por AI em dispositivos de edge#

Desenvolver soluções de edge AI envolve alguns desafios importantes, especialmente ao trabalhar com dispositivos como câmaras e sensores. Muitos destes dispositivos têm capacidade limitada de energia e processamento, o que dificulta executar modelos de AI avançados de forma eficiente.

Eis algumas das outras principais limitações:

• Complexidade do software: Adaptar modelos de AI para funcionarem em vários dispositivos de edge com diferentes configurações de hardware pode ser complexo e exigir ajustes e otimizações.
• Estrangulamentos no pós-processamento: Muitas vezes, há um atraso ao transferir grandes quantidades de dados do dispositivo para o host para o pós-processamento. Isto consome frequentemente mais tempo do que a própria inferência do modelo de AI.
• Explosão de dados: Com muitos dispositivos IoT a gerar dados constantemente, o volume de dados que tem de ser processado localmente pode ser avassalador, sobrecarregando ainda mais os dispositivos de edge.

Conhecer o sensor de visão inteligente Sony IMX500#

O Sony IMX500 Intelligent Vision Sensor é uma peça de hardware revolucionária para o processamento de edge AI. É o primeiro sensor de visão inteligente do mundo com capacidades de AI no chip. Este sensor ajuda a superar muitos desafios da edge AI, incluindo estrangulamentos no processamento de dados, preocupações com a privacidade e limitações de desempenho.

Enquanto outros sensores se limitam a transmitir imagens e frames, o IMX500 conta uma história completa. Processa os dados diretamente no sensor, permitindo que os dispositivos gerem informações em tempo real. Durante a sessão, Wei Tang afirmou: "Ao tirar partido da nossa avançada tecnologia de sensores de imagem, pretendemos capacitar uma nova geração de aplicações que podem melhorar a vida quotidiana." O IMX500 foi concebido para concretizar este objetivo, transformando a forma como os dispositivos processam os dados diretamente no sensor, sem precisarem de os enviar para a cloud para processamento.

Eis algumas das suas principais funcionalidades:

• Saída de metadados: Em vez de enviar imagens completas, gera metadados, reduzindo significativamente o tamanho dos dados e, consequentemente, a utilização e os custos de largura de banda.
• Privacidade reforçada: Ao processar os dados no dispositivo, o IMX500 melhora a privacidade, especialmente em situações que envolvem informações sensíveis, como tarefas de visão computacional relacionadas com pessoas, por exemplo a contagem de pessoas.
• Processamento em tempo real: A capacidade do sensor de processar dados rapidamente permite uma tomada de decisões rápida e em tempo real, viabilizando aplicações de edge AI como sistemas autónomos.

O IMX500 não é apenas um sensor de câmara: é uma poderosa ferramenta de deteção que transforma a forma como os dispositivos percebem e interagem com o mundo à sua volta. Ao incorporar AI diretamente no sensor, a Sony está a tornar a edge AI mais acessível para setores como o automóvel, os cuidados de saúde e as cidades inteligentes. Nas secções seguintes, vamos explorar mais detalhadamente como o IMX500 funciona com modelos Ultralytics YOLO para melhorar a deteção de objetos e o processamento de dados em dispositivos de edge.

Fig. 2. Wei Tang no palco do YOLO Vision 2024 a apresentar o Sony IMX500 Intelligent Vision Sensor.

A plataforma AITRIOS da Sony: simplificar a edge AI#

Depois de apresentar o sensor IMX500, Wei Tang explicou que, embora o hardware seja crucial, não é suficiente por si só para responder a todo o conjunto de desafios envolvidos na implementação de AI no edge. Falou sobre como integrar AI em dispositivos como câmaras e sensores exige mais do que hardware avançado: requer software inteligente para o gerir. É aqui que entra a plataforma AITRIOS da Sony, que oferece uma solução de software fiável concebida para tornar mais simples e eficiente implementar AI em dispositivos de edge.

O AITRIOS funciona como uma ponte entre modelos de AI complexos e as limitações dos dispositivos de edge. Fornece aos programadores um conjunto de ferramentas para implementar rapidamente modelos de AI pré-treinados. Mais importante ainda, suporta retreino contínuo, para que os modelos de AI se mantenham adaptáveis às mudanças do mundo real.

Wei destacou também como o AITRIOS simplifica o processo para quem não tem conhecimentos profundos de AI, oferecendo flexibilidade para personalizar modelos de AI para casos de utilização específicos de edge AI. Também aborda desafios comuns, como restrições de memória e quebras de desempenho, facilitando a integração de AI em dispositivos mais pequenos sem sacrificar a precisão ou a velocidade.

Fig. 3. Exemplos de casos de utilização de edge AI. Fonte da imagem: SONY Semicon | AITRIOS.

Otimizar modelos YOLO no IMX500#

Na segunda parte da apresentação, o microfone passou para Amir, que abordou a vertente técnica de como a Sony otimizou modelos YOLO no sensor IMX500.

Amir começou por dizer: “Os modelos YOLO permitem a utilização no edge e são bastante fáceis de otimizar, graças ao Glenn e à equipa. Vou convencê-los disso, não se preocupem." Em seguida, explicou que, embora normalmente se dedique muita atenção à otimização do próprio modelo de AI, esta abordagem ignora frequentemente uma questão crucial: os estrangulamentos no pós-processamento.

Amir salientou que, em muitos casos, depois de o modelo de AI concluir a sua tarefa, o processo de transferir os dados e tratar do pós-processamento num dispositivo host pode causar atrasos significativos. Esta transferência de dados entre o dispositivo e o host introduz latência, o que pode constituir um grande obstáculo para alcançar o melhor desempenho.

Fig. 4. Amir Servi no palco do YOLO Vision 2024 a explicar os estrangulamentos no pós-processamento.

Para resolver este problema, Amir salientou a importância de analisar todo o sistema de ponta a ponta, em vez de se concentrar apenas no modelo de AI. Com o sensor IMX500, descobriram que o pós-processamento era o principal estrangulamento a abrandar todo o sistema. Partilhou que o verdadeiro avanço foi desbloquear a supressão não máxima (NMS) no chip.

Isto permitiu que o pós-processamento ocorresse diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo host. Ao executar NMS diretamente no IMX500, a Sony ultrapassou aquilo a que Amir chamou o “teto de vidro do pós-processamento”, alcançando um desempenho muito melhor e reduzindo a latência.

Fig. 5. Ultrapassar o estrangulamento do pós-processamento. Fonte da imagem: SONY Semicon | AITRIOS

De seguida, veremos como esta inovação ajudou os modelos YOLO, especialmente o Ultralytics YOLOv8 Nano, a funcionar de forma mais eficiente em dispositivos de edge, criando novas oportunidades para o processamento de AI em tempo real em hardware mais pequeno e com recursos limitados.

Os modelos Ultralytics YOLOv8 alcançam um aumento de velocidade de 4x com o IMX500 da Sony#

Para concluir a apresentação em alta, Amir demonstrou como conseguiram quadruplicar o desempenho do modelo Ultralytics YOLOv8 Nano ao executar NMS no edge. Apresentou esta demonstração num Raspberry Pi 5, integrado com o sensor de AI IMX500. Amir comparou o desempenho quando o pós-processamento era realizado num dispositivo host e quando era realizado no chip IMX500.

Os resultados mostraram claramente uma grande melhoria no número de frames por segundo (FPS) e na eficiência geral quando o processamento era realizado no chip. A otimização tornou a deteção de objetos mais rápida e fluida e também demonstrou a viabilidade do processamento de AI em tempo real em dispositivos mais pequenos e com recursos limitados, como o Raspberry Pi.

Principais conclusões#

O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO estão a transformar o desenvolvimento de edge AI. O processamento de AI no chip reduz a transferência de dados e a latência, ao mesmo tempo que reforça a privacidade, a segurança e a eficiência. Ao concentrarem-se no sistema completo, e não apenas no modelo de AI, estas inovações tornam a edge AI mais acessível a programadores e a pessoas sem conhecimentos profundos de AI. À medida que a tecnologia de edge AI continua a avançar, é provável que permita dispositivos mais inteligentes, uma tomada de decisões mais rápida e proteções de privacidade mais robustas numa vasta gama de setores e aplicações.

Mantém-te ligado à nossa comunidade para continuares a aprender sobre AI! Consulta o nosso repositório no GitHub para descobrires como podemos utilizar a AI para criar soluções inovadoras em vários setores, como a agricultura e a indústria transformadora. 🚀