Melhores modelos de detecção de objetos para apps iOS em chips Apple silicon

Dispositivos Android e iPhones tornaram-se uma necessidade do dia a dia. As pessoas os utilizam para fazer compras, navegar, tirar fotos, escanear produtos e interagir com aplicativos ao longo do dia.

Com o rápido crescimento da inteligência artificial, muitos smartphones agora incluem recursos que conseguem compreender imagens e vídeos capturados pela câmera do dispositivo. A capacidade de executar esses recursos de forma eficiente depende amplamente do hardware subjacente.

Por exemplo, no ecossistema Apple, dispositivos como iPhones, iPads e Macs são alimentados por chips Apple Silicon, incluindo a série A e a série M. Esses designs de sistema em um chip (SoC) integram unidades de processamento central (CPU), unidades de processamento gráfico (GPU) e aceleradores dedicados de aprendizado de máquina, permitindo inferência no dispositivo para cargas de trabalho de IA.

Em particular, as capacidades de análise de imagem são possíveis por meio da computação visual, um campo da IA que permite que máquinas interpretem e compreendam informações visuais de imagens e vídeos usando tarefas como detecção de objetos.

Especificamente, os modelos de detecção de objetos analisam imagens e identificam objetos desenhando caixas delimitadoras ao redor deles. Esses modelos podem ser otimizados para rodar eficientemente em hardware móvel, como chips Apple Silicon, permitindo análise visual em tempo real diretamente no dispositivo em aparelhos iOS.

Fig 1. Um exemplo de detecção de objetos, com objetos identificados por caixas delimitadoras. (Fonte)

Neste artigo, exploraremos alguns dos melhores modelos de detecção de objetos para construir aplicativos iOS rápidos e em tempo real. Vamos começar!

Link to this sectionComo os detectores de objetos funcionam em dispositivos iOS#

A detecção de objetos auxilia aplicativos a reconhecer e localizar objetos em uma imagem. Quando um aplicativo processa uma imagem de entrada, um modelo de detecção de objetos pode analisar a cena e identificar diferentes objetos colocando caixas delimitadoras ao redor deles e atribuindo rótulos.

A maioria dos sistemas de detecção de objetos depende de redes neurais que conseguem reconhecer padrões em dados de treinamento. Para tarefas de imagem, esses modelos aprendem representações visuais analisando informações em nível de pixel de grandes conjuntos de dados de treinamento.

Redes neurais convolucionais (CNNs) são frequentemente usadas como a base para modelos de detecção de objetos. As CNNs são excelentes para previsões de imagem porque aprendem características visuais hierárquicas, como bordas, formas e texturas, que ajudam o modelo a reconhecer objetos dentro de uma cena.

Pesquisadores também estão explorando arquiteturas baseadas em Transformer para tarefas de visão computacional. Esses modelos analisam relacionamentos entre diferentes regiões de uma imagem e capturam informações contextuais mais amplas em toda a cena.

Além do tipo de arquitetura do modelo, a eficiência é uma consideração crucial para a detecção de objetos em dispositivos iOS. Como esses modelos rodam diretamente em dispositivos móveis, eles precisam processar imagens rapidamente enquanto utilizam recursos computacionais limitados.

Modelos eficientes mantêm baixa latência e suportam detecção de objetos em tempo real em aplicativos móveis, especialmente ao analisar entradas contínuas da câmera.

Link to this sectionO que torna um modelo de detecção de objetos adequado para iOS?#

Antes de mergulhar em alguns dos melhores modelos de detecção de objetos para iOS, vamos dar um passo atrás e entender o que torna um modelo excelente para aplicativos móveis.

O modelo de detecção de objetos ideal para um aplicativo iOS equilibra desempenho, eficiência e confiabilidade. Aqui estão alguns fatores-chave que definem um modelo forte para implantação no iOS:

• Baixa latência: O modelo deve processar imagens rapidamente para suportar a detecção de objetos em tempo real, particularmente para aplicativos que dependem de entrada contínua da câmera.
• Tamanho eficiente do modelo: Modelos compactos rodam de forma mais eficiente em dispositivos móveis e normalmente requerem menos memória e recursos computacionais.
• Precisão de detecção: Uma detecção precisa garante que os objetos sejam classificados corretamente e que as caixas delimitadoras permaneçam precisas em diferentes cenas, escalas de objetos e condições de iluminação.
• Estabilidade de inferência: Um tempo de inferência consistente entre quadros é importante para aplicações em tempo real. Grandes flutuações no tempo de processamento podem causar queda de quadros ou experiências instáveis com a câmera.
• Uso de memória: A quantidade de RAM necessária durante a inferência afeta a fluidez com que um modelo é executado juntamente com outros processos do aplicativo em dispositivos iOS.

Link to this sectionUma olhada nos melhores modelos de detecção de objetos para iOS#

A seguir, vamos dar uma olhada em alguns dos modelos de detecção de objetos mais amplamente utilizados para dispositivos iOS.

Link to this sectionModelos Ultralytics YOLO#

Os modelos Ultralytics YOLO são uma família popular de modelos de detecção de objetos projetados para aplicações de visão computacional em tempo real. Ao longo dos anos, a Ultralytics lançou modelos de visão como Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 e o mais recente modelo de última geração, Ultralytics YOLO26.

Cada novo lançamento introduziu melhorias na precisão da detecção, eficiência do modelo e desempenho em tempo de execução. Essas atualizações tornaram os modelos Ultralytics YOLO cada vez mais adequados para dispositivos de borda, como smartphones.

Fig 2. O YOLO26 pode ser usado para detectar múltiplos objetos em uma cena do mundo real. (Fonte)

Um dos principais benefícios de usar os modelos Ultralytics YOLO para aplicativos iOS é a integração com CoreML fornecida através do pacote Python da Ultralytics. Esta biblioteca de código aberto ajuda desenvolvedores a treinar, testar e exportar modelos Ultralytics YOLO com um fluxo de trabalho simples.

O pacote suporta a exportação de modelos treinados para CoreML, o formato de aprendizado de máquina da Apple usado para implantar modelos em dispositivos iOS. Após a exportação, o modelo CoreML pode ser integrado a um aplicativo e executado diretamente no dispositivo usando hardware como CPU, GPU e Apple Neural Engine.

Fig 3. CoreML é a estrutura da Apple para integrar e executar modelos de IA dentro de aplicativos. (Fonte)

Isso torna direto para os desenvolvedores integrar a detecção de objetos em tempo real em aplicativos iOS, mantendo a inferência do modelo diretamente no dispositivo.

Link to this sectionOpções de implantação para modelos Ultralytics YOLO no Apple Silicon#

Além dos modelos em si, o ecossistema Ultralytics oferece uma gama de opções que facilitam a implantação de modelos YOLO em chips Apple Silicon.

Por exemplo, a Ultralytics apresentou recentemente a Plataforma Ultralytics, que reúne gerenciamento de conjuntos de dados, treinamento de modelos, validação e implantação em um único ambiente. Esse fluxo de trabalho unificado reduz a necessidade de múltiplas ferramentas e ajuda a agilizar o caminho da experimentação para aplicações no mundo real.

Como parte da plataforma, modelos treinados podem ser exportados para múltiplos formatos, incluindo CoreML para dispositivos Apple. Isso torna possível exportar um modelo Ultralytics YOLO para inferência no dispositivo com apenas alguns cliques.

Além das capacidades de exportação, a Ultralytics fornece uma implementação Swift (linguagem de programação da Apple usada para criar aplicativos iOS) de código aberto para iOS. Isso inclui um aplicativo iOS YOLO pronto para uso, escrito em Swift, que demonstra como modelos CoreML podem ser integrados, executados na entrada da câmera e usados para detecção de objetos em tempo real.

Link to this sectionVantagens adicionais dos modelos Ultralytics YOLO#

Aqui estão algumas outras características-chave que tornam os modelos Ultralytics YOLO uma ótima opção para construir aplicativos iOS:

• Suporta uma gama de tarefas de visão: Além da detecção de objetos, os modelos Ultralytics YOLO podem ser usados para segmentação de instâncias, estimativa de pose, rastreamento de objetos, detecção de caixa delimitadora orientada (OBB) e classificação de imagens.
• Múltiplos tamanhos de modelo: A Ultralytics fornece diferentes variantes de modelos (como nano, small, medium, large e extra-large), permitindo que os desenvolvedores escolham uma versão que se ajuste às restrições de desempenho de dispositivos móveis.
• Modelos pré-treinados: Os modelos Ultralytics YOLO estão disponíveis como modelos pré-treinados que podem ser usados imediatamente ou ajustados para tarefas específicas, reduzindo o tempo de desenvolvimento.

Link to this sectionEfficientDet#

EfficientDet é uma arquitetura de detecção de objetos introduzida por pesquisadores do Google em 2019. Foi projetada para equilibrar a precisão da detecção e a eficiência computacional, tornando-a adequada para ambientes com recursos limitados.

Uma ideia fundamental por trás do EfficientDet é um método de escalonamento conhecido como escalonamento composto. Em vez de aumentar apenas uma parte do modelo, como a profundidade da rede ou a resolução da imagem, essa abordagem escala múltiplos componentes da arquitetura em conjunto.

Ao ajustar esses elementos simultaneamente, o modelo mantém um desempenho estável, seja ele configurado para alta precisão ou otimizado para implantações leves.

A arquitetura está disponível em várias variantes, variando de EfficientDet-D0 a EfficientDet-D7. Modelos menores são projetados para uma inferência mais rápida e menor uso de recursos, enquanto versões maiores focam em alcançar maior precisão de detecção.

Link to this sectionMobileNet SSD#

MobileNet SSD é um modelo de detecção de objetos leve projetado para rodar eficientemente em dispositivos móveis e de borda. Ganhou popularidade por volta de 2017.

O modelo combina a espinha dorsal MobileNet, que foca na extração eficiente de recursos, com a abordagem SSD (Single Shot Detector) para detectar objetos. O método SSD detecta objetos e gera caixas delimitadoras em uma única passagem (forward pass).

Este design mantém o modelo relativamente rápido e simples, o que é útil para aplicações que precisam de resultados de detecção rápidos. O MobileNet SSD é frequentemente usado em situações onde tamanhos de modelo menores e velocidades de inferência mais rápidas são importantes.

A arquitetura MobileNet reduz a quantidade de computação necessária, tornando mais fácil executar o modelo em dispositivos com poder de processamento limitado. Embora o MobileNet SSD possa não alcançar o mesmo nível de precisão de algumas arquiteturas de detecção mais recentes, ele ainda apresenta um bom desempenho para muitas tarefas comuns de detecção de objetos.

Link to this sectionCenterNet#

CenterNet é um modelo de detecção de objetos que identifica objetos prevendo seus pontos centrais. Foi introduzido em 2019.

Em vez de gerar muitas regiões candidatas, o modelo detecta o centro de um objeto e, em seguida, prevê o tamanho da caixa delimitadora ao redor dele. Esta abordagem simplifica o pipeline de detecção e reduz o número de etapas envolvidas durante a inferência.

Fig 4. Uma visão geral dos estágios de detecção de objetos no CenterNet (Fonte)

O CenterNet pode ser usado para tarefas de detecção em tempo real e é conhecido por sua arquitetura relativamente simples em comparação com alguns detectores de múltiplos estágios. Variantes como o CenterNet com espinhas dorsais ResNet são comumente usadas em diferentes aplicações de visão computacional.

Seu design eficiente torna o CenterNet adequado para sistemas que precisam de detecção rápida de objetos, incluindo aplicativos rodando em dispositivos iOS.

Link to this sectionNanoDet#

NanoDet é um modelo de detecção de objetos leve projetado para aplicações em tempo real em dispositivos de borda e móveis. Foi introduzido em 2020 com o objetivo de fornecer detecção eficiente de objetos, mantendo o tamanho do modelo e os requisitos computacionais muito baixos.

O modelo utiliza uma arquitetura de detecção de estágio único, permitindo que ele preveja locais e categorias de objetos em uma única passagem pela rede. Este design mantém o modelo rápido e adequado para sistemas com recursos de hardware limitados.

O NanoDet usa uma espinha dorsal compacta e uma cabeça de detecção otimizada para reduzir o número de parâmetros e computações necessárias durante a inferência. Essas escolhas de design ajudam a manter uma precisão de detecção razoável enquanto priorizam a velocidade e a eficiência.

Link to this sectionEscolhendo o modelo de detecção de objetos certo para seu aplicativo iOS#

Selecionar um modelo de detecção de objetos para um aplicativo iOS frequentemente depende dos requisitos específicos do caso de uso. Como esses modelos rodam diretamente em dispositivos como iPhone e iPad, vários fatores influenciam qual opção funcionará melhor.

Aqui estão algumas considerações importantes:

• Eficiência energética: Modelos que consomem menos energia ajudam a preservar a vida útil da bateria, o que é importante para aplicativos móveis que realizam processamento contínuo da câmera.
• Suporte a otimização de modelo: Alguns modelos suportam técnicas de otimização como quantização ou poda (pruning), que podem reduzir o tamanho do modelo e melhorar o desempenho em dispositivos iOS.
• Compatibilidade de hardware: A arquitetura de modelo que você escolher deve rodar eficientemente no hardware iOS, incluindo a CPU, GPU e o Apple Neural Engine.
• Escalabilidade: Algumas arquiteturas fornecem múltiplos tamanhos ou variantes de modelos, permitindo que os desenvolvedores escolham versões que melhor correspondam aos requisitos de desempenho e hardware.

Link to this sectionPrincipais pontos#

Os modelos de detecção de objetos trazem recursos avançados de visão computacional para aplicativos móveis inteligentes. Rodando diretamente em dispositivos iOS, esses modelos tornam possível que aplicativos analisem imagens e vídeos da câmera do dispositivo em tempo real. Ao escolher o modelo certo, os desenvolvedores podem construir aplicativos móveis responsivos e baseados em visão que oferecem um desempenho confiável em tempo real.

Junte-se à nossa comunidade em crescimento e explore nosso repositório no GitHub para recursos práticos de IA. Para construir com IA visual hoje, explore nossas opções de licenciamento. Saiba como a IA na agricultura está transformando o cultivo e como a IA visual na robótica está moldando o futuro visitando nossas páginas de soluções.