Melhores modelos de detecção de objetos para apps iOS em chips Apple Silicon

Dispositivos Android e iPhones se tornaram indispensáveis no dia a dia. As pessoas os usam para fazer compras, navegar, tirar fotos, escanear produtos e interagir com aplicativos ao longo do dia.

Com o rápido avanço da inteligência artificial, muitos smartphones agora incluem recursos capazes de compreender imagens e vídeos capturados pela câmera do dispositivo. A capacidade de executar esses recursos com eficiência depende, em grande parte, do hardware subjacente.

Por exemplo, no ecossistema Apple, dispositivos como iPhones, iPads e Macs são equipados com chips Apple Silicon, incluindo as séries A e M. Esses projetos de sistema em um chip (SoC) integram unidades centrais de processamento (CPU), unidades de processamento gráfico (GPU) e aceleradores dedicados de aprendizado de máquina, permitindo a inferência no dispositivo para cargas de trabalho de IA.

Em particular, os recursos de análise de imagens são possíveis graças à visão computacional, um campo da IA que permite às máquinas interpretar e compreender informações visuais de imagens e vídeos usando tarefas como a detecção de objetos.

Especificamente, os modelos de detecção de objetos analisam imagens e identificam objetos desenhando caixas delimitadoras ao redor deles. Esses modelos podem ser otimizados para funcionar com eficiência em hardware móvel, como os chips Apple Silicon, permitindo a análise visual em tempo real diretamente no dispositivo, em aparelhos iOS.

Fig. 1. Exemplo de detecção de objetos, com objetos identificados por caixas delimitadoras. (Fonte)

Neste artigo, vamos explorar alguns dos melhores modelos de detecção de objetos para criar aplicações iOS rápidas e em tempo real.

Como os detectores de objetos funcionam em dispositivos iOS#

A detecção de objetos ajuda os apps a reconhecer e localizar objetos em uma imagem. Quando um app processa uma imagem de entrada, um modelo de detecção de objetos pode analisar a cena e identificar diferentes objetos, colocando caixas delimitadoras ao redor deles e atribuindo rótulos.

A maioria dos sistemas de detecção de objetos depende de redes neurais capazes de reconhecer padrões nos dados de treinamento. Para tarefas de imagem, esses modelos aprendem representações visuais analisando informações no nível dos pixels em grandes conjuntos de dados de treinamento.

As redes neurais convolucionais (CNNs) são frequentemente usadas como base para modelos de detecção de objetos. As CNNs são ótimas para fazer previsões em imagens porque aprendem características visuais hierárquicas, como bordas, formas e texturas, que ajudam o modelo a reconhecer objetos em uma cena.

Pesquisadores também estão explorando arquiteturas baseadas em Transformer para tarefas de visão computacional. Esses modelos analisam as relações entre diferentes regiões de uma imagem e capturam informações contextuais mais amplas de toda a cena.

Além do tipo de arquitetura do modelo, a eficiência é um fator crucial para a detecção de objetos em dispositivos iOS. Como esses modelos são executados diretamente em dispositivos móveis, precisam processar imagens rapidamente usando recursos computacionais limitados.

Modelos eficientes mantêm a latência baixa e permitem a detecção de objetos em tempo real em apps móveis, especialmente ao analisar a entrada contínua da câmera.

O que torna um modelo de detecção de objetos adequado para iOS?#

Antes de conhecer alguns dos melhores modelos de detecção de objetos para iOS, vamos dar um passo atrás e entender o que torna um modelo excelente para aplicativos móveis.

O modelo ideal de detecção de objetos para um app iOS equilibra desempenho, eficiência e confiabilidade. Estes são alguns fatores importantes que definem um bom modelo para implantação no iOS:

• Baixa latência: o modelo deve processar imagens rapidamente para permitir a detecção de objetos em tempo real, especialmente em aplicativos que dependem da entrada contínua da câmera.
• Tamanho eficiente do modelo: modelos compactos funcionam com mais eficiência em dispositivos móveis e normalmente exigem menos memória e recursos computacionais.
• Precisão da detecção: uma detecção precisa garante que os objetos sejam classificados corretamente e que as caixas delimitadoras permaneçam exatas em diferentes cenas, escalas de objetos e condições de iluminação.
• Estabilidade da inferência: um tempo de inferência consistente entre quadros é importante para aplicativos em tempo real. Grandes variações no tempo de processamento podem causar perda de quadros ou tornar instável a experiência com a câmera.
• Consumo de memória: a quantidade de RAM necessária durante a inferência afeta a fluidez com que um modelo é executado junto com outros processos de apps em dispositivos iOS.

Conheça os melhores modelos de detecção de objetos para iOS#

Agora, vamos conhecer alguns dos modelos de detecção de objetos mais usados em dispositivos iOS.

1. Modelos Ultralytics YOLO#

Os modelos Ultralytics YOLO são uma popular família de modelos de detecção de objetos projetados para aplicativos de visão computacional em tempo real. Ao longo dos anos, a Ultralytics lançou modelos de visão como Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 e o mais recente modelo de última geração, Ultralytics YOLO26.

Cada novo lançamento trouxe melhorias na precisão da detecção, na eficiência do modelo e no desempenho em tempo de execução. Essas atualizações tornaram os modelos Ultralytics YOLO cada vez mais adequados para dispositivos de borda, como smartphones.

Fig. 2. O YOLO26 pode ser usado para detectar vários objetos em uma cena do mundo real. (Fonte)

Um dos principais benefícios de usar modelos Ultralytics YOLO em apps iOS é a integração com CoreML, oferecida pelo pacote Python da Ultralytics. Essa biblioteca de código aberto ajuda os desenvolvedores a treinar, testar e exportar modelos Ultralytics YOLO com um fluxo de trabalho simples.

O pacote permite exportar modelos treinados para CoreML, o formato de aprendizado de máquina da Apple usado para implantar modelos em dispositivos iOS. Após a exportação, o modelo CoreML pode ser integrado a um aplicativo e executado diretamente no dispositivo usando hardware como CPU, GPU e Apple Neural Engine. Os modelos Ultralytics também podem ser exportados para o novo formato Core AI da Apple para iOS 27 e macOS 27, enquanto CoreML continua sendo o formato padrão no SDK para iOS da Ultralytics.

Fig. 3. CoreML é a estrutura da Apple para integrar e executar modelos de IA em apps. (Fonte)

Isso facilita a integração da detecção de objetos em tempo real em apps iOS, mantendo a inferência do modelo no próprio dispositivo.

Opções de implantação para modelos Ultralytics YOLO em Apple Silicon#

Além dos próprios modelos, o ecossistema da Ultralytics oferece várias opções que facilitam a implantação de modelos YOLO em chips Apple Silicon.

Por exemplo, a Ultralytics lançou recentemente a Ultralytics Platform, que reúne gerenciamento de conjuntos de dados, treinamento, validação e implantação de modelos em um único ambiente. Esse fluxo de trabalho unificado reduz a necessidade de usar várias ferramentas e ajuda a simplificar o caminho da experimentação até os aplicativos do mundo real.

Como parte da plataforma, os modelos treinados podem ser exportados para vários formatos, incluindo CoreML para dispositivos Apple. Isso permite exportar um modelo Ultralytics YOLO para inferência no dispositivo com apenas alguns cliques.

Além dos recursos de exportação, a Ultralytics oferece uma implementação de código aberto em Swift (a linguagem de programação da Apple usada para criar apps iOS). Ela inclui um app YOLO para iOS pronto para uso, escrito em Swift, que demonstra como integrar modelos CoreML, executá-los com a entrada da câmera e usá-los para detecção de objetos em tempo real.

Outras vantagens dos modelos Ultralytics YOLO#

Veja outras características importantes que fazem dos modelos Ultralytics YOLO uma ótima opção para criar aplicativos iOS:

• Compatibilidade com várias tarefas de visão: Além da detecção de objetos, os modelos Ultralytics YOLO podem ser usados para segmentação de instâncias, classificação de imagens, estimativa de pose, detecção de caixas delimitadoras orientadas (OBB) e rastreamento de objetos; o YOLO26 também oferece suporte à segmentação semântica e à estimativa de profundidade.
• Vários tamanhos de modelo: a Ultralytics oferece diferentes variantes de modelo (como nano, pequeno, médio, grande e extragrande), permitindo que os desenvolvedores escolham uma versão adequada às limitações de desempenho dos dispositivos móveis.
• Modelos pré-treinados: Os modelos Ultralytics YOLO estão disponíveis como modelos pré-treinados, prontos para uso ou para ajuste fino em tarefas específicas, o que reduz o tempo de desenvolvimento.

2. EfficientDet#

EfficientDet é uma arquitetura de detecção de objetos apresentada por pesquisadores do Google em 2019. Ela foi projetada para equilibrar a precisão da detecção e a eficiência computacional, sendo adequada para ambientes com recursos limitados. Para uma comparação lado a lado, consulte YOLO26 vs. EfficientDet.

Uma ideia fundamental por trás do EfficientDet é um método de escalonamento conhecido como escalonamento composto. Em vez de aumentar apenas uma parte do modelo, como a profundidade da rede ou a resolução da imagem, essa abordagem dimensiona vários componentes da arquitetura em conjunto.

Ao ajustar esses elementos simultaneamente, o modelo mantém um desempenho estável, seja configurado para alta precisão, seja otimizado para implantações leves.

A arquitetura está disponível em diversas variantes, do EfficientDet-D0 ao EfficientDet-D7. Os modelos menores foram projetados para oferecer inferência mais rápida e consumir menos recursos, enquanto as versões maiores priorizam uma precisão de detecção mais alta.

3. MobileNet SSD#

MobileNet SSD é um modelo leve de detecção de objetos projetado para funcionar com eficiência em dispositivos móveis e de borda. Ele ganhou popularidade por volta de 2017.

O modelo combina a base MobileNet, voltada para a extração eficiente de características, com a abordagem SSD (Detector de Disparo Único) para detectar objetos. O método SSD detecta objetos e gera caixas delimitadoras em uma única passagem direta.

Esse projeto mantém o modelo relativamente rápido e simples, o que é útil para aplicativos que precisam de resultados de detecção rápidos. O MobileNet SSD é frequentemente usado em situações nas quais modelos menores e velocidades de inferência mais altas são importantes.

A arquitetura MobileNet reduz a quantidade de computação necessária, facilitando a execução do modelo em dispositivos com capacidade de processamento limitada. Embora o MobileNet SSD talvez não alcance o mesmo nível de precisão de algumas arquiteturas de detecção mais recentes, ele ainda tem bom desempenho em muitas tarefas comuns de detecção de objetos.

4. CenterNet#

CenterNet é um modelo de detecção de objetos que os identifica prevendo seus pontos centrais. Ele foi apresentado em 2019.

Em vez de gerar muitas regiões candidatas, o modelo detecta o centro de um objeto e, em seguida, prevê o tamanho da caixa delimitadora ao redor dele. Essa abordagem simplifica o fluxo de detecção e reduz o número de etapas durante a inferência.

Fig. 4. Visão geral das etapas de detecção de objetos no CenterNet (Fonte)

O CenterNet pode ser usado em tarefas de detecção em tempo real e é conhecido por sua arquitetura relativamente simples em comparação com alguns detectores de várias etapas. Variantes como o CenterNet com bases ResNet são usadas com frequência em diferentes aplicativos de visão computacional.

Seu projeto eficiente torna o CenterNet adequado para sistemas que precisam de detecção rápida de objetos, incluindo aplicativos executados em dispositivos iOS.

5. NanoDet#

NanoDet é um modelo leve de detecção de objetos projetado para aplicativos em tempo real em dispositivos móveis e de borda. Ele foi apresentado em 2020 com o objetivo de oferecer detecção de objetos eficiente, mantendo o tamanho do modelo e os requisitos computacionais muito baixos.

O modelo usa uma arquitetura de detecção de estágio único, permitindo prever a localização e as categorias dos objetos em uma única passagem pela rede. Esse projeto mantém o modelo rápido e adequado para sistemas com recursos de hardware limitados.

O NanoDet usa uma base compacta e uma cabeça de detecção otimizada para reduzir o número de parâmetros e operações computacionais necessários durante a inferência. Essas escolhas de projeto ajudam a manter uma precisão de detecção razoável, priorizando velocidade e eficiência.

Como escolher o modelo de detecção de objetos certo para seu app iOS#

A escolha de um modelo de detecção de objetos para um app iOS geralmente depende dos requisitos específicos do caso de uso. Como esses modelos são executados diretamente em dispositivos como iPhone e iPad, vários fatores influenciam qual opção funcionará melhor.

Veja alguns fatores importantes a considerar:

• Eficiência energética: modelos que consomem menos energia ajudam a preservar a bateria, o que é importante para apps móveis que processam continuamente imagens da câmera.
• Suporte à otimização de modelos: Alguns modelos são compatíveis com técnicas de otimização, como quantização ou poda, que podem reduzir o tamanho do modelo e melhorar o desempenho em dispositivos iOS.
• Compatibilidade de hardware: a arquitetura do modelo escolhida deve funcionar com eficiência no hardware iOS, incluindo CPU, GPU e Neural Engine da Apple.
• Escalabilidade: algumas arquiteturas oferecem vários tamanhos ou variantes de modelo, permitindo que os desenvolvedores escolham versões mais adequadas aos requisitos de desempenho e hardware.

Principais conclusões#

Os modelos de detecção de objetos trazem recursos avançados de visão computacional para apps móveis inteligentes. Por serem executados diretamente em dispositivos iOS, esses modelos permitem que os apps analisem imagens e vídeos da câmera do dispositivo em tempo real. Ao escolher o modelo certo, os desenvolvedores podem criar apps móveis responsivos orientados por visão computacional, com desempenho confiável em tempo real.

Junta-te à nossa crescente comunidade e explora o nosso repositório do GitHub para acederes a recursos práticos de IA. Para começares hoje a desenvolver com IA de visão, explora as nossas opções de licenciamento. Descobre como a IA na agricultura está a transformar a atividade agrícola e como a IA de visão na robótica está a moldar o futuro, visitando as nossas páginas de soluções.