Melhores modelos de deteção de objetos para aplicações iOS em chips Apple Silicon

Os dispositivos Android e os iPhones tornaram-se indispensáveis no dia a dia. As pessoas utilizam-nos para fazer compras, navegar, tirar fotografias, digitalizar produtos e interagir com aplicações ao longo do dia.

Com o rápido crescimento da inteligência artificial, muitos smartphones incluem agora funcionalidades capazes de compreender imagens e vídeos captados pela câmara do dispositivo. A capacidade de executar estas funcionalidades de forma eficiente depende, em grande medida, do hardware subjacente.

Por exemplo, no ecossistema Apple, dispositivos como iPhones, iPads e Macs são alimentados por chips Apple Silicon, incluindo as séries A e M. Estes designs de sistema num chip (SoC) integram unidades centrais de processamento (CPU), unidades de processamento gráfico (GPU) e aceleradores dedicados de aprendizagem automática, permitindo a inferência no dispositivo para cargas de trabalho de IA.

Em particular, as capacidades de análise de imagens são possibilitadas pela visão computacional, um campo da IA que permite às máquinas interpretar e compreender informação visual de imagens e vídeos através de tarefas como a deteção de objetos.

Especificamente, os modelos de deteção de objetos analisam imagens e identificam objetos desenhando caixas delimitadoras à sua volta. Estes modelos podem ser otimizados para funcionar de forma eficiente em hardware móvel, como chips Apple Silicon, permitindo a análise visual em tempo real diretamente no dispositivo em dispositivos iOS.

Fig. 1. Um exemplo de deteção de objetos, com objetos identificados por caixas delimitadoras. (Fonte)

Neste artigo, vamos explorar alguns dos melhores modelos de deteção de objetos para criar aplicações iOS rápidas e em tempo real. Vamos começar!

Como funcionam os detetores de objetos em dispositivos iOS#

A deteção de objetos ajuda as aplicações a reconhecer e localizar objetos numa imagem. Quando uma aplicação processa uma imagem de entrada, um modelo de deteção de objetos pode analisar a cena e identificar diferentes objetos, colocando caixas delimitadoras à sua volta e atribuindo-lhes etiquetas.

A maioria dos sistemas de deteção de objetos depende de redes neuronais capazes de reconhecer padrões nos dados de treino. Para tarefas de imagem, estes modelos aprendem representações visuais analisando informação ao nível dos píxeis a partir de grandes conjuntos de dados de treino.

As redes neuronais convolucionais (CNNs) são frequentemente utilizadas como base dos modelos de deteção de objetos. As CNNs são excelentes para previsões de imagens porque aprendem características visuais hierárquicas, como contornos, formas e texturas, que ajudam o modelo a reconhecer objetos numa cena.

Os investigadores também estão a explorar arquiteturas baseadas em Transformer para tarefas de visão computacional. Estes modelos analisam as relações entre diferentes regiões de uma imagem e captam informação contextual mais abrangente em toda a cena.

Para além do tipo de arquitetura do modelo, a eficiência é uma consideração crucial para a deteção de objetos em dispositivos iOS. Como estes modelos funcionam diretamente em dispositivos móveis, têm de processar imagens rapidamente utilizando recursos computacionais limitados.

Os modelos eficientes mantêm uma latência reduzida e permitem a deteção de objetos em tempo real em aplicações móveis, especialmente ao analisar uma entrada contínua da câmara.

O que torna um modelo de deteção de objetos adequado para iOS?#

Antes de analisarmos alguns dos melhores modelos de deteção de objetos para iOS, vamos recuar um pouco e compreender o que torna um modelo excelente para aplicações móveis.

O modelo de deteção de objetos ideal para uma aplicação iOS equilibra desempenho, eficiência e fiabilidade. Eis alguns fatores fundamentais que definem um modelo robusto para implementação em iOS:

• Baixa latência: O modelo deve processar imagens rapidamente para permitir a deteção de objetos em tempo real, sobretudo em aplicações que dependem de uma entrada contínua da câmara.
• Tamanho eficiente do modelo: Os modelos compactos funcionam de forma mais eficiente em dispositivos móveis e, normalmente, requerem menos memória e recursos computacionais.
• Precisão da deteção: Uma deteção precisa garante que os objetos são corretamente classificados e que as caixas delimitadoras permanecem precisas em diferentes cenas, escalas de objetos e condições de iluminação.
• Estabilidade da inferência: Um tempo de inferência consistente entre fotogramas é importante para aplicações em tempo real. Grandes variações no tempo de processamento podem causar perda de fotogramas ou experiências instáveis com a câmara.
• Pegada de memória: A quantidade de RAM necessária durante a inferência afeta a fluidez com que um modelo funciona em conjunto com outros processos da aplicação em dispositivos iOS.

Uma análise dos melhores modelos de deteção de objetos para iOS#

Em seguida, vamos analisar alguns dos modelos de deteção de objetos mais utilizados em dispositivos iOS.

1. Modelos Ultralytics YOLO#

Os modelos Ultralytics YOLO são uma família popular de modelos de deteção de objetos concebidos para aplicações de visão computacional em tempo real. Ao longo dos anos, a Ultralytics lançou modelos de visão como o Ultralytics YOLOv5, o Ultralytics YOLOv8, o Ultralytics YOLO11 e o mais recente modelo de última geração, o Ultralytics YOLO26.

Cada novo lançamento introduziu melhorias na precisão da deteção, na eficiência do modelo e no desempenho em tempo de execução. Estas atualizações tornaram os modelos Ultralytics YOLO cada vez mais adequados para dispositivos de edge, como smartphones.

Fig. 2. O YOLO26 pode ser utilizado para detetar vários objetos numa cena do mundo real. (Fonte)

Um dos principais benefícios de utilizar modelos Ultralytics YOLO em aplicações iOS é a integração com CoreML disponibilizada através do pacote Python da Ultralytics. Esta biblioteca de código aberto ajuda os programadores a treinar, testar e exportar modelos Ultralytics YOLO através de um fluxo de trabalho simples.

O pacote permite exportar modelos treinados para CoreML, o formato de aprendizagem automática da Apple utilizado para implementar modelos em dispositivos iOS. Após a exportação, o modelo CoreML pode ser integrado numa aplicação e executado diretamente no dispositivo utilizando hardware como a CPU, a GPU e o Apple Neural Engine.

Fig. 3. O CoreML é a framework da Apple para integrar e executar modelos de IA em aplicações. (Fonte)

Isto facilita a integração da deteção de objetos em tempo real em aplicações iOS, mantendo a inferência do modelo no dispositivo.

Opções de implementação de modelos Ultralytics YOLO em Apple Silicon#

Para além dos próprios modelos, o ecossistema Ultralytics oferece várias opções que facilitam a implementação de modelos YOLO em chips Apple Silicon.

Por exemplo, a Ultralytics introduziu recentemente a Ultralytics Platform, que reúne a gestão de conjuntos de dados, o treino, a validação e a implementação de modelos num único ambiente. Este fluxo de trabalho unificado reduz a necessidade de várias ferramentas e ajuda a simplificar o percurso da experimentação até às aplicações do mundo real.

Como parte da plataforma, os modelos treinados podem ser exportados para vários formatos, incluindo CoreML para dispositivos Apple. Isto permite exportar um modelo Ultralytics YOLO para inferência no dispositivo com apenas alguns cliques.

Para além das capacidades de exportação, a Ultralytics disponibiliza uma implementação de Swift de código aberto (a linguagem de programação da Apple utilizada para criar aplicações iOS) para iOS. Esta inclui uma aplicação YOLO para iOS pronta a utilizar, escrita em Swift, que demonstra como os modelos CoreML podem ser integrados, executados com entrada da câmara e utilizados para a deteção de objetos em tempo real.

Vantagens adicionais dos modelos Ultralytics YOLO#

Eis algumas outras características fundamentais que tornam os modelos Ultralytics YOLO uma excelente opção para criar aplicações iOS:

• Suporte para várias tarefas de visão: Para além da deteção de objetos, os modelos Ultralytics YOLO podem ser utilizados para segmentação de instâncias, estimativa de pose, rastreamento de objetos, deteção de caixas delimitadoras orientadas (OBB) e classificação de imagens.
• Vários tamanhos de modelo: A Ultralytics disponibiliza diferentes variantes de modelos (como nano, small, medium, large e extra-large), permitindo aos programadores escolher uma versão adequada às restrições de desempenho dos dispositivos móveis.
• Modelos pré-treinados: Os modelos Ultralytics YOLO estão disponíveis como modelos pré-treinados, que podem ser utilizados imediatamente ou ajustados para tarefas específicas, reduzindo o tempo de desenvolvimento.

2. EfficientDet#

EfficientDet é uma arquitetura de deteção de objetos introduzida por investigadores da Google em 2019. Foi concebida para equilibrar a precisão da deteção e a eficiência computacional, tornando-a adequada para ambientes com recursos limitados.

Uma ideia fundamental do EfficientDet é um método de escalabilidade conhecido como escalabilidade composta. Em vez de aumentar apenas uma parte do modelo, como a profundidade da rede ou a resolução da imagem, esta abordagem dimensiona simultaneamente vários componentes da arquitetura.

Ao ajustar estes elementos em simultâneo, o modelo mantém um desempenho estável, quer esteja configurado para obter elevada precisão, quer esteja otimizado para implementações leves.

A arquitetura está disponível em várias variantes, desde EfficientDet-D0 até EfficientDet-D7. Os modelos mais pequenos foram concebidos para uma inferência mais rápida e menor utilização de recursos, enquanto as versões maiores se concentram em alcançar uma maior precisão de deteção.

3. MobileNet SSD#

MobileNet SSD é um modelo leve de deteção de objetos concebido para funcionar de forma eficiente em dispositivos móveis e de edge. Ganhou popularidade por volta de 2017.

O modelo combina a base MobileNet, que se concentra na extração eficiente de características, com a abordagem SSD (Detetor de Disparo Único) para detetar objetos. O método SSD deteta objetos e gera caixas delimitadoras numa única passagem direta.

Este design mantém o modelo relativamente rápido e simples, o que é útil para aplicações que necessitam de resultados de deteção rápidos. O MobileNet SSD é frequentemente utilizado em situações nas quais são importantes tamanhos de modelo reduzidos e velocidades de inferência mais elevadas.

A arquitetura MobileNet reduz a quantidade de computação necessária, facilitando a execução do modelo em dispositivos com capacidade de processamento limitada. Embora o MobileNet SSD possa não alcançar o mesmo nível de precisão que algumas arquiteturas de deteção mais recentes, continua a ter um bom desempenho em muitas tarefas comuns de deteção de objetos.

4. CenterNet#

CenterNet é um modelo de deteção de objetos que identifica objetos prevendo os seus pontos centrais. Foi introduzido em 2019.

Em vez de gerar muitas regiões candidatas, o modelo deteta o centro de um objeto e, em seguida, prevê o tamanho da caixa delimitadora à sua volta. Esta abordagem simplifica o pipeline de deteção e reduz o número de passos envolvidos durante a inferência.

Fig. 4. Uma visão geral das etapas de deteção de objetos no CenterNet (Fonte)

O CenterNet pode ser utilizado em tarefas de deteção em tempo real e é conhecido pela sua arquitetura relativamente simples em comparação com alguns detetores de várias etapas. Variantes como o CenterNet com bases ResNet são frequentemente utilizadas em diferentes aplicações de visão computacional.

O seu design eficiente torna o CenterNet adequado para sistemas que necessitam de deteção rápida de objetos, incluindo aplicações executadas em dispositivos iOS.

5. NanoDet#

NanoDet é um modelo leve de deteção de objetos concebido para aplicações em tempo real em dispositivos de edge e móveis. Foi introduzido em 2020 com o objetivo de proporcionar uma deteção de objetos eficiente, mantendo o tamanho do modelo e os requisitos computacionais muito reduzidos.

O modelo utiliza uma arquitetura de deteção de uma única etapa, permitindo prever localizações e categorias de objetos numa única passagem pela rede. Este design mantém o modelo rápido e adequado para sistemas com recursos de hardware limitados.

O NanoDet utiliza uma base compacta e uma cabeça de deteção otimizada para reduzir o número de parâmetros e de cálculos necessários durante a inferência. Estas escolhas de design ajudam a manter uma precisão de deteção razoável, dando prioridade à velocidade e à eficiência.

Escolher o modelo de deteção de objetos certo para a tua aplicação iOS#

A seleção de um modelo de deteção de objetos para uma aplicação iOS depende frequentemente dos requisitos específicos do caso de utilização. Como estes modelos funcionam diretamente em dispositivos como o iPhone e o iPad, vários fatores influenciam qual será a melhor opção.

Eis alguns aspetos importantes a considerar:

• Eficiência energética: Os modelos que consomem menos energia ajudam a preservar a duração da bateria, o que é importante para aplicações móveis que processam continuamente imagens da câmara.
• Suporte para otimização de modelos : Alguns modelos suportam técnicas de otimização, como quantização ou poda, que podem reduzir o tamanho do modelo e melhorar o desempenho em dispositivos iOS.
• Compatibilidade de hardware: A arquitetura do modelo escolhida deve funcionar de forma eficiente no hardware iOS, incluindo a CPU, a GPU e o Neural Engine da Apple.
• Escalabilidade: Algumas arquiteturas disponibilizam vários tamanhos ou variantes de modelos, permitindo aos programadores escolher versões que correspondam melhor aos requisitos de desempenho e hardware.

Principais conclusões#

Os modelos de deteção de objetos trazem capacidades avançadas de visão computacional para aplicações móveis inteligentes. Ao funcionarem diretamente em dispositivos iOS, estes modelos permitem que as aplicações analisem imagens e vídeos da câmara do dispositivo em tempo real. Ao escolherem o modelo certo, os programadores podem criar aplicações móveis responsivas orientadas para a visão, que proporcionam um desempenho fiável em tempo real.

Junta-te à nossa crescente comunidade e explora o nosso repositório do GitHub para obteres recursos práticos de AI. Para criares hoje com AI de visão, explora as nossas opções de licenciamento. Descobre como a AI na agricultura está a transformar a atividade agrícola e como a AI de visão na robótica está a moldar o futuro, visitando as nossas páginas de soluções.