Levando o Ultralytics YOLO11 para dispositivos Apple via CoreML

Com a Apple introduzindo recursos como a Apple Intelligence, fica claro que a IA no dispositivo está se tornando uma parte central de como usamos nossos telefones. Para os desenvolvedores, essa mudança significa que os usuários estão adotando apps para iOS que usam recursos como visão computacional para entregar experiências mais inteligentes e responsivas.

Visão computacional é um tipo de inteligência artificial (IA) que permite aos computadores entender e analisar informações visuais, como imagens ou vídeos. Em dispositivos móveis, ela pode ser usada em tempo real para detectar, classificar e interagir com objetos através da câmera do telefone. Modelos de IA de visão, como o Ultralytics YOLO11, podem ser treinados de forma personalizada para reconhecer objetos específicos, dependendo das necessidades do seu aplicativo.

No entanto, o YOLO11 não está configurado para rodar no iOS nativamente. Para implantar o YOLO11 em iPhones ou outros dispositivos Apple, especialmente para uso offline, ele precisa ser convertido em um formato otimizado para o ecossistema da Apple.

Este é exatamente o tipo de problema que o CoreML foi criado para resolver. O CoreML é o framework de aprendizado de máquina da Apple, desenvolvido para executar modelos localmente e integrar-se perfeitamente em aplicativos iOS e macOS. A integração com CoreML, suportada pela Ultralytics, facilita a exportação do seu modelo para implantação local em iPhones.

Neste artigo, veremos mais de perto como exportar seu modelo YOLO11 para o formato CoreML. Também exploraremos casos de uso em tempo real que mostram as vantagens de rodar modelos de visão computacional diretamente em dispositivos iOS. Vamos começar!

Link to this sectionO que é o CoreML?#

O CoreML é um framework de aprendizado de máquina (ML) desenvolvido pela Apple que possibilita aos desenvolvedores integrar modelos de ML treinados diretamente em aplicativos em todo o ecossistema da Apple, incluindo iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). Ele foi projetado para tornar o aprendizado de máquina acessível e eficiente em dispositivos Apple, permitindo que os modelos sejam executados diretamente no dispositivo, sem a necessidade de uma conexão com a internet.

No centro do CoreML está um formato de modelo unificado que suporta uma ampla gama de tarefas de IA, como classificação de imagens, detecção de objetos, reconhecimento de fala e processamento de linguagem natural. O framework é otimizado para aproveitar ao máximo o hardware da Apple, utilizando a CPU (unidade central de processamento), GPU (unidade de processamento gráfico) e ANE (Apple Neural Engine) para executar modelos de forma rápida e eficiente.

O CoreML suporta uma variedade de tipos de modelos e é compatível com bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Isso torna mais fácil para os desenvolvedores trazerem recursos avançados de ML para aplicativos do dia a dia, garantindo que rodem sem problemas em dispositivos Apple.

Fig 1. O CoreML suporta modelos de outros frameworks de IA populares (Fonte).

Link to this sectionPrincipais recursos do CoreML#

Aqui estão alguns dos principais recursos que tornam o CoreML uma ferramenta confiável para integrar IA em aplicativos Apple:

• Otimização de modelo: O CoreML suporta técnicas de compressão como quantização e poda para reduzir o tamanho do modelo e melhorar a eficiência do tempo de execução.
• Personalização no dispositivo: O framework de ML da Apple suporta personalização no dispositivo, permitindo que os modelos sejam treinados e atualizados localmente com base nas interações do usuário.
• Previsões assíncronas: Este framework permite que seu aplicativo execute previsões em segundo plano, mantendo a interface do usuário suave e responsiva enquanto lida com tarefas de IA.
• Aprendizado multitarefa: O CoreML suporta modelos que podem realizar múltiplas tarefas ao mesmo tempo, como detectar objetos e reconhecer texto na mesma imagem.

Link to this sectionComo exportar o YOLO11 para o formato CoreML#

Agora que entendemos melhor o framework CoreML, vamos percorrer como usar a integração com CoreML suportada pela Ultralytics para exportar um modelo YOLO11 para o formato CoreML.

Link to this sectionPasso 1: Configurando seu ambiente#

Para acessar os recursos de integração fornecidos pela Ultralytics, comece instalando o pacote Python da Ultralytics. É uma biblioteca leve e fácil de usar que simplifica tarefas como treinamento, avaliação, previsão e exportação de modelos YOLO da Ultralytics.

Você pode instalar o pacote Python da Ultralytics executando "pip install ultralytics" no seu terminal de comando. Se estiver usando um ambiente como o Jupyter Notebook ou o Google Colab, inclua um ponto de exclamação (!) antes do comando: "!pip install ultralytics".

Se você encontrar algum problema durante a instalação ou ao exportar para o CoreML, verifique a documentação oficial da Ultralytics ou o guia de Problemas Comuns para obter ajuda.

Link to this sectionPasso 2: Exportando o YOLO11 para CoreML#

Assim que o pacote for instalado com sucesso, você estará pronto para carregar um modelo YOLO11 e convertê-lo para o formato CoreML.

Se você não tiver certeza de qual modelo YOLO11 pré-treinado usar, você pode explorar a variedade de modelos suportados pela Ultralytics. Cada um oferece um equilíbrio diferente de velocidade, tamanho e precisão, e você pode escolher o que melhor se adapta ao seu projeto. Você também pode usar um modelo YOLO11 treinado de forma personalizada, caso tenha treinado um com seu próprio conjunto de dados.

No trecho de código abaixo, um arquivo de modelo YOLO11 pré-treinado chamado "yolo11n.pt" é utilizado. Durante o processo de exportação, ele é convertido em um pacote CoreML chamado "yolo11n.mlpackage."

O modelo "yolo11n" é a versão nano, otimizada para velocidade e baixo uso de recursos. Dependendo das necessidades do seu projeto, você também pode escolher outros tamanhos de modelo, como "s" para pequeno, "m" para médio, "l" para grande ou "x" para extra grande. Cada versão oferece um equilíbrio diferente entre desempenho e precisão.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Link to this sectionPasso 3: Executando inferência usando o modelo CoreML exportado#

Após exportar para o formato CoreML, o YOLO11 pode ser facilmente integrado em aplicativos iOS, permitindo tarefas de visão computacional em tempo real, como detecção de objetos, em dispositivos como iPhones, iPads e Macs.

Por exemplo, o trecho de código abaixo demonstra como carregar o modelo CoreML exportado e realizar a inferência. Inferência é o processo de usar um modelo treinado para fazer previsões em novos dados. Neste caso, o modelo analisa uma imagem de uma família brincando com uma bola.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Depois de executar o código, a imagem de saída será salva na pasta "runs/detect/predict".

Fig 2. Usando um modelo YOLO11 exportado no formato CoreML para detectar objetos. Imagem pelo autor.

Link to this sectionOnde os modelos CoreML exportados podem ser usados?#

Exportar o YOLO11 para o CoreML traz a flexibilidade de construir diversos aplicativos de visão computacional que podem rodar eficientemente em iPhones, iPads e Macs. A seguir, vamos ver alguns cenários do mundo real onde esta integração pode ser especialmente útil.

Link to this sectionAplicativos de realidade aumentada e jogos impulsionados por modelos CoreML#

Realidade aumentada (RA) combina conteúdo digital com o mundo real, sobrepondo elementos virtuais em visualizações de câmera ao vivo. Ela está se tornando uma parte fundamental dos jogos móveis, criando experiências mais interativas e imersivas.

Com o YOLO11 exportado para o formato CoreML, desenvolvedores iOS podem criar jogos de RA que reconhecem objetos do mundo real, como bancos, árvores ou placas, usando a câmera do telefone. O jogo pode então sobrepor itens virtuais, como moedas, pistas ou criaturas, sobre esses objetos para melhorar o ambiente do jogador.

Nos bastidores, isso funciona usando detecção e rastreamento de objetos. O YOLO11 detecta e identifica objetos em tempo real, enquanto o rastreamento mantém esses objetos à vista conforme a câmera se move, garantindo que os elementos virtuais permaneçam alinhados com o mundo real.

Os jogadores podem apontar seus telefones, explorar seu ambiente e interagir com o que veem para coletar itens ou completar desafios rápidos. Tudo isso pode rodar diretamente no dispositivo sem precisar de uma conexão com a internet, tornando a experiência suave e envolvente.

Link to this sectionAplicativos iOS integrados com modelos CoreML para ANPR em tempo real#

Reconhecimento Automático de Placas de Veículos (ANPR) é uma aplicação de visão computacional usada para detectar e ler placas de veículos. É comumente usada em sistemas de segurança, monitoramento de tráfego e controle de acesso. Com o CoreML e modelos como o YOLO11, o ANPR agora pode rodar eficientemente em dispositivos iOS.

Ter um aplicativo de ANPR no seu iPhone pode ser especialmente útil em ambientes focados em segurança. Por exemplo, pode ajudar as equipes a determinar rapidamente se um veículo entrando em uma área restrita está autorizado ou não.

Tal aplicativo pode usar um modelo de IA de visão como o YOLO11, integrado através do CoreML, para detectar veículos e localizar suas placas em tempo real usando a câmera do dispositivo. Assim que uma placa é detectada, a tecnologia de Reconhecimento Óptico de Caracteres (OCR) pode ler o número da placa. O aplicativo pode então comparar este número com um banco de dados local ou baseado em nuvem para verificar o acesso ou sinalizar veículos não autorizados.

Fig 3. A IA de visão pode ser usada para detectar e ler números de placas. (Fonte).

Link to this sectionAplicativos focados em acessibilidade podem aproveitar os modelos CoreML#

A IA teve um enorme impacto na acessibilidade, ajudando a derrubar barreiras para pessoas com deficiência visual. Com ferramentas como o CoreML e modelos de visão computacional como o YOLO11, desenvolvedores podem criar aplicativos iOS que descrevem o mundo ao redor dos usuários em tempo real, tornando as tarefas diárias mais fáceis e mais independentes.

Por exemplo, uma pessoa com deficiência visual pode apontar a câmera do seu iPhone para o seu ambiente. O aplicativo usa detecção de objetos para reconhecer elementos-chave, como veículos, pessoas ou placas de rua, e narra o que vê. Isso pode ser usado em situações como navegar em uma rua movimentada ou entender uma emergência.

Fig 4. Um exemplo de uso do YOLO11 para detectar pessoas

Link to this sectionPrincipais pontos#

Exportar o YOLO11 para o formato CoreML cria novas oportunidades para aplicações em tempo real, incluindo detecção de objetos offline em dispositivos iOS. Da agricultura e segurança à acessibilidade, essa combinação permite que os desenvolvedores construam aplicativos inteligentes, eficientes e focados em privacidade que rodam inteiramente no dispositivo.

Com apenas alguns passos simples, você pode converter seu modelo YOLO11 e adicionar recursos confiáveis de visão computacional aos iPhones. O melhor de tudo é que funciona sem a necessidade de uma conexão com a internet. No geral, a integração com CoreML traz o poder da IA avançada para aplicativos móveis do dia a dia, tornando-os mais rápidos, responsivos e prontos para rodar em qualquer lugar.

Curioso para saber mais sobre IA? Explore nosso repositório no GitHub, conecte-se com nossa comunidade e confira nossas opções de licenciamento para impulsionar seu projeto de visão computacional. Descubra como inovações como IA no varejo e visão computacional na logística estão moldando o futuro em nossas páginas de soluções.