Edge AI permite que modelos de inteligência artificial (IA) operem diretamente em dispositivos como smartphones, câmeras e drones. Sua principal vantagem é que oferece suporte a uma tomada de decisão mais rápida e em tempo real, sem depender da nuvem. De fato, estudos mostram que o uso de IA em plataformas de edge pode aumentar a eficiência operacional em até 40%. 

Os recentes avanços na IA de ponta, em particular na visão computacional, tornaram-na um tópico central no YOLO Vision 2024 (YV24), o evento híbrido anual da Ultralytics que reúne entusiastas e especialistas em IA para explorar as últimas novidades em IA de visão. Um dos destaques do evento foi a apresentação da Sony, que mostrou as suas novas soluções de hardware e software de IA de ponta. O sensor IMX500 e a plataforma AITRIOS foram apresentados, e a Sony demonstrou como estas inovações estão a tornar mais fácil e eficiente a implementação de modelosUltralytics YOLO como Ultralytics YOLO11 e Ultralytics YOLOv8 no limite.

A sessão foi liderada por Wei Tang, um Gerente de Desenvolvimento de Negócios que se concentra nas soluções de imagem da Sony, e Amir Servi, um Gerente de Produto de Deep Learning de Borda com experiência na implantação de modelos de deep learning em dispositivos de borda. 

Neste artigo, vamos revisitar a palestra da Sony no YV24 e explorar a forma como o sensor IMX500 e a plataforma AITRIOS optimizam a utilização de modelos YOLO para um processamento de IA de ponta mais rápido e em tempo real. Vamos começar!

A visão da Sony: Democratizar a IA em dispositivos de borda

Wei Tang abriu a sessão falando sobre o objetivo da Sony de tornar a edge AI tão acessível como fizeram com a fotografia anos atrás. Ela enfatizou como a Sony está agora focada em levar a Vision AI avançada a mais pessoas através da computação de ponta. Um dos fatores determinantes por trás disso é o impacto positivo que a edge AI pode ter no meio ambiente. Ao processar dados diretamente nos dispositivos, em vez de depender de data centers massivos, a computação de ponta ajuda a reduzir o uso de energia e a diminuir as emissões de carbono. É uma abordagem mais inteligente e ecológica que se encaixa perfeitamente com o compromisso da Sony de construir tecnologia que não só funciona melhor, mas também ajuda a criar um futuro mais sustentável.

Wei continuou explicando como a Sony Semiconductor Solutions, a divisão da Sony especializada em tecnologias de imagem e sensoriamento, cria sensores de imagem avançados. Esses sensores são usados em uma variedade de dispositivos, convertendo luz em sinais eletrónicos para capturar imagens. Com mais de 1,2 bilhão de sensores enviados todos os anos, eles são encontrados em quase metade dos telefones celulares do mundo, tornando a Sony um dos principais players na indústria de imagem. 

‍

Com base nessa experiência, a Sony está agora indo mais longe, transformando esses sensores de dispositivos de captura de imagem em ferramentas inteligentes que podem processar dados em tempo real, permitindo insights baseados em IA diretamente nos dispositivos. Antes de discutirmos as soluções de hardware e software que a Sony está usando para apoiar essa mudança, vamos entender os desafios da edge AI que essas inovações visam resolver.

Desafios relacionados ao processamento de imagem com IA em dispositivos de borda

O desenvolvimento de soluções de IA na borda apresenta alguns desafios importantes, especialmente ao trabalhar com dispositivos como câmeras e sensores. Muitos desses dispositivos têm energia e capacidade de processamento limitadas, o que dificulta a execução eficiente de modelos avançados de IA.

Aqui estão algumas das outras principais limitações:

• Complexidade do software: Adaptar modelos de IA para funcionar em vários dispositivos de borda com diferentes configurações de hardware pode ser complexo e exigir ajustes e otimizações.
  ‍
• Gargalos de pós-processamento: Frequentemente, há um atraso ao transferir grandes quantidades de dados do dispositivo para o host para pós-processamento. Muitas vezes, consome mais tempo do que a inferência do modelo de IA real.
  ‍
• Explosão de dados: Com muitos dispositivos IoT constantemente gerando dados, o volume de dados que precisa ser tratado localmente pode ser esmagador, sobrecarregando ainda mais os dispositivos de borda.

Conhecendo o sensor de visão inteligente Sony IMX500

O Sensor de Visão Inteligente Sony IMX500 é uma peça de hardware revolucionária no processamento de IA de borda. É o primeiro sensor de visão inteligente do mundo com recursos de IA no chip. Este sensor ajuda a superar muitos desafios na IA de borda, incluindo gargalos no processamento de dados, preocupações com a privacidade e limitações de desempenho.

Enquanto outros sensores apenas transmitem imagens e quadros, o IMX500 conta toda uma história. Ele processa dados diretamente no sensor, permitindo que os dispositivos gerem insights em tempo real. Durante a sessão, Wei Tang disse: "Ao aproveitar nossa tecnologia avançada de sensor de imagem, pretendemos capacitar uma nova geração de aplicações que possam melhorar a vida cotidiana." O IMX500 foi projetado para atender a esse objetivo, transformando a forma como os dispositivos lidam com os dados diretamente no sensor, sem precisar enviá-los para a nuvem para processamento.

Aqui estão algumas de suas principais características:

• Saída de metadados: Em vez de enviar imagens completas, ele gera metadados, reduzindo significativamente o tamanho dos dados, o que diminui o uso de largura de banda e os custos.
  ‍
• Privacidade aprimorada: Ao processar dados no dispositivo, o IMX500 melhora a privacidade, especialmente em situações que envolvem informações confidenciais, como tarefas de visão computacional relacionadas a humanos, como a contagem de pessoas.
  ‍
• Processamento em tempo real: A capacidade do sensor de lidar com dados rapidamente significa que ele oferece suporte à tomada de decisão rápida e em tempo real, o que permite aplicações de IA de ponta, como sistemas autônomos.

O IMX500 não é apenas um sensor de câmara - é uma poderosa ferramenta de deteção que transforma a forma como os dispositivos percepcionam e interagem com o mundo que os rodeia. Ao incorporar a IA diretamente no sensor, a Sony está a tornar a IA de ponta mais acessível a sectores como o automóvel, os cuidados de saúde e as cidades inteligentes. Nas secções seguintes, iremos aprofundar a forma como o IMX500 funciona com os modelos Ultralytics YOLO para melhorar a deteção de objectos e o processamento de dados em dispositivos periféricos.

‍

Plataforma AITRIOS da Sony: Simplificando a IA de borda

Após apresentar o sensor IMX500, Wei Tang expressou que, embora o hardware seja crucial, não é suficiente por si só para abordar toda a gama de desafios envolvidos na implementação de IA na borda. Ela falou sobre como integrar a IA em dispositivos como câmeras e sensores exige mais do que apenas hardware avançado - é preciso um software inteligente para gerenciá-la. É aqui que entra a plataforma AITRIOS da Sony, oferecendo uma solução de software confiável projetada para tornar a implementação de IA em dispositivos de borda mais simples e eficiente.

O AITRIOS atua como uma ponte entre modelos complexos de IA e as limitações de dispositivos de borda. Ele fornece aos desenvolvedores uma variedade de ferramentas para implantar rapidamente modelos de IA pré-treinados. Mas, mais importante, ele oferece suporte ao retreinamento contínuo para que os modelos de IA possam permanecer adaptáveis às mudanças do mundo real. 

Wei também destacou como o AITRIOS simplifica o processo para aqueles que não têm grande experiência em IA, oferecendo flexibilidade para personalizar modelos de IA para casos de uso específicos de edge AI. Ele também aborda desafios comuns como restrições de memória e quedas de desempenho, tornando mais fácil integrar a IA em dispositivos menores sem sacrificar a precisão ou a velocidade. 

‍

Otimização dos modelos YOLO na IMX500

Na segunda parte da palestra, o microfone foi passado para Amir, que se debruçou sobre a parte técnica da forma como a Sony optimizou os modelosYOLO no sensor IMX500. 

Amir começou por dizer: "Os modelosYOLO permitem a utilização de extremidades e são bastante fáceis de otimizar, graças a Glenn e à sua equipa. Vou convencer-vos disso, não se preocupem". Amir explicou então que, apesar de se concentrar muito na otimização do modelo de IA em si, esta abordagem esquece muitas vezes uma preocupação crucial: os estrangulamentos do pós-processamento.

Amir salientou que, em muitos casos, uma vez que o modelo de IA conclui sua tarefa, o processo de transferência de dados e tratamento do pós-processamento em um dispositivo host pode causar atrasos significativos. Essa transferência de dados de vaivém entre o dispositivo e o host introduz latência, o que pode ser um grande obstáculo para alcançar o melhor desempenho.

‍

Para resolver este problema, Amir salientou a importância de analisar todo o sistema de ponta a ponta, em vez de se concentrar apenas no modelo de IA. Com o sensor IMX500, descobriram que o pós-processamento era o principal obstáculo que atrasava tudo. Ele compartilhou que o verdadeiro avanço foi desbloquear a supressão não máxima (NMS) no chip. 

Permitiu que o pós-processamento fosse efectuado diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo anfitrião. Ao executar NMS diretamente no IMX500, a Sony ultrapassou aquilo a que Amir chamou o "teto de vidro do pós-processamento", conseguindo um desempenho muito melhor e uma redução da latência.

‍

De seguida, veremos como esta inovação ajudou os modelos YOLO , especialmente o YOLOv8 Nano, a funcionar de forma mais eficiente em dispositivos periféricos, criando novas oportunidades para o processamento de IA em tempo real em hardware mais pequeno e com recursos limitados.

Os modelos YOLOv8 atingem um aumento de velocidade de 4x com a IMX500 da Sony

Para terminar a palestra com uma nota alta, Amir demonstrou como conseguiram quadruplicar o desempenho do modelo YOLOv8 Nano executando NMS no limite. Apresentou-o num Raspberry Pi 5, que foi integrado com o sensor IMX500 AI. Amir comparou o desempenho quando o pós-processamento foi efectuado num dispositivo anfitrião e no chip IMX500. 

Os resultados mostraram claramente uma grande melhoria em frames por segundo (FPS) e na eficiência geral quando o processamento foi feito no chip. A otimização tornou a detecção de objetos mais rápida e suave e também demonstrou a praticidade do processamento de IA em tempo real em dispositivos menores e com recursos limitados, como o Raspberry Pi.

Principais conclusões

O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO estão a remodelar o desenvolvimento de IA de ponta. O processamento de IA no chip reduz a transferência de dados e a latência, ao mesmo tempo que aumenta a privacidade, a segurança e a eficiência. Ao concentrarem-se em todo o sistema, e não apenas no modelo de IA, estas inovações tornam a IA de ponta mais acessível aos programadores e àqueles que não possuem conhecimentos profundos de IA. À medida que a tecnologia de IA de ponta continua a avançar, irá provavelmente permitir dispositivos mais inteligentes, tomadas de decisão mais rápidas e protecções de privacidade mais fortes numa vasta gama de indústrias e aplicações.

Mantenha-se conectado com a nossa comunidade para continuar aprendendo sobre IA! Confira nosso repositório GitHub para descobrir como podemos usar a IA para criar soluções inovadoras em vários setores, como agricultura e manufatura. 🚀