Levando o Ultralytics YOLO11 para dispositivos Apple via CoreML

Com a Apple introduzindo recursos como o Apple Intelligence, fica claro que a IA no dispositivo está se tornando parte central da forma como usamos nossos celulares. Para desenvolvedores, essa mudança significa que os usuários estão adotando aplicativos iOS que usam recursos como a visão computacional para oferecer experiências mais inteligentes e responsivas.

A visão computacional é um tipo de inteligência artificial (IA) que permite aos computadores entender e analisar informações visuais, como imagens ou vídeos. Em dispositivos móveis, ela pode ser usada em tempo real para detectar, classificar e interagir com objetos usando a câmera do celular. Modelos de IA visual como o Ultralytics YOLO11 podem ser treinados sob medida para reconhecer objetos específicos, conforme as necessidades do seu aplicativo.

No entanto, o Ultralytics YOLO11 não vem pronto para ser executado no iOS. Para implantar o YOLO11 em iPhones ou outros dispositivos Apple, especialmente para uso offline, é preciso convertê-lo para um formato otimizado para o ecossistema da Apple.

É exatamente este tipo de problema que o CoreML foi criado para resolver. O CoreML é a estrutura de aprendizado de máquina da Apple, concebida para executar modelos localmente e integrar-se diretamente em aplicações iOS e macOS. A integração do CoreML, com suporte da Ultralytics, facilita a exportação do teu modelo para implementação local em iPhones.

Neste artigo, vamos analisar mais detalhadamente como exportar o teu modelo Ultralytics YOLO11 para o formato CoreML. Também vamos explorar casos de uso em tempo real que demonstram as vantagens de executar modelos de visão computacional diretamente em dispositivos iOS.

O que é CoreML?#

O CoreML é uma estrutura de aprendizado de máquina (ML) desenvolvida pela Apple que permite aos desenvolvedores integrar modelos de ML treinados diretamente em aplicativos de todo o ecossistema da Apple, incluindo iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). Ele foi projetado para tornar o aprendizado de máquina acessível e eficiente em dispositivos Apple, permitindo que os modelos sejam executados diretamente no dispositivo, sem exigir conexão com a internet.

O CoreML tem como base um formato de modelo unificado que oferece suporte a uma ampla variedade de tarefas de IA, como classificação de imagens, detecção de objetos, reconhecimento de fala e processamento de linguagem natural. A estrutura é otimizada para aproveitar ao máximo o hardware da Apple, usando a CPU (unidade central de processamento), a GPU (unidade de processamento gráfico) e a ANE (Apple Neural Engine) para executar modelos de forma rápida e eficiente.

O CoreML oferece suporte a vários tipos de modelos e é compatível com bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Isso facilita o uso de recursos avançados de ML em aplicativos do dia a dia, garantindo que eles funcionem sem problemas em dispositivos Apple.

Fig. 1. O CoreML oferece suporte a modelos de outras estruturas populares de IA (Fonte).

Principais recursos do CoreML#

Veja alguns dos principais recursos que fazem do CoreML uma ferramenta confiável para integrar IA a aplicativos da Apple:

• Otimização de modelos: o CoreML suporta técnicas de compressão, como quantização e poda, para reduzir o tamanho dos modelos e melhorar a eficiência em tempo de execução.
• Personalização no dispositivo: A estrutura de ML da Apple oferece suporte à personalização no dispositivo, permitindo treinar e atualizar modelos localmente com base nas interações dos usuários.
• Previsões assíncronas: Essa estrutura permite que seu aplicativo faça previsões em segundo plano, mantendo a interface do usuário fluida e responsiva enquanto processa tarefas de IA.
• Aprendizado multitarefa: o CoreML suporta modelos que podem executar várias tarefas ao mesmo tempo, como detetar objetos e reconhecer texto na mesma imagem.

Como exportar o Ultralytics YOLO11 para o formato CoreML#

Agora que entendemos melhor a estrutura CoreML, vamos ver como usar a integração com CoreML oferecida pela Ultralytics para exportar um modelo YOLO11 para o formato CoreML.

Etapa 1: Configurar o ambiente#

Para acessar os recursos de integração fornecidos pela Ultralytics, comece instalando o pacote Python da Ultralytics. É uma biblioteca leve e fácil de usar que simplifica tarefas como treinar, avaliar, fazer previsões e exportar modelos Ultralytics YOLO.

Você pode instalar o pacote Python da Ultralytics executando “pip install ultralytics” no terminal de comandos. Se estiver usando um ambiente como Jupyter Notebook ou Google Colab, inclua um ponto de exclamação (!) antes do comando: “!pip install ultralytics”.

Se encontrar algum problema durante a instalação ou a exportação para CoreML, consulte a documentação oficial da Ultralytics ou o guia de problemas comuns para obter ajuda.

Etapa 2: Exportar o Ultralytics YOLO11 para CoreML#

Quando o pacote estiver instalado com êxito, poderás carregar um modelo Ultralytics YOLO11 e convertê-lo para o formato CoreML.

Se não tiveres a certeza de qual modelo YOLO11 pré-treinado usar, podes consultar os tamanhos dos modelos YOLO11 na Ultralytics Platform. Cada um oferece um equilíbrio diferente entre velocidade, tamanho e precisão, para que possas escolher o mais adequado ao teu projeto. Também podes usar um modelo YOLO11 treinado de forma personalizada, caso o tenhas treinado com o teu próprio conjunto de dados.

No trecho de código abaixo, é usado um arquivo de modelo YOLO11 pré-treinado chamado "yolo11n.pt". Durante o processo de exportação, ele é convertido em um pacote CoreML chamado "yolo11n.mlpackage."

O modelo "yolo11n" é a versão nano, otimizada para velocidade e baixo consumo de recursos. Dependendo das necessidades do teu projeto, também podes escolher outros tamanhos de modelo, como "s" para pequeno, "m" para médio, "l" para grande ou "x" para extra grande. Cada versão oferece um equilíbrio diferente entre velocidade e precisão. As mesmas etapas de exportação também se aplicam a modelos mais recentes, como o Ultralytics YOLO26.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Etapa 3: Executar inferência usando o modelo CoreML exportado#

Depois de exportado para o formato CoreML, o Ultralytics YOLO11 pode ser facilmente integrado a aplicativos iOS, permitindo tarefas de visão computacional em tempo real, como a detecção de objetos em dispositivos como iPhones, iPads e Macs.

Por exemplo, o trecho de código abaixo mostra como carregar o modelo CoreML exportado e executar a inferência. Inferência é o processo de usar um modelo treinado para fazer previsões com novos dados. Neste caso, o modelo analisa uma imagem de uma família brincando com uma bola.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Depois de executar o código, a imagem de saída será salva na pasta "runs/detect/predict".

Fig. 2. Uso de um modelo Ultralytics YOLO11 exportado no formato CoreML para detectar objetos. Imagem do autor.

Onde os modelos CoreML exportados podem ser usados?#

Exportar o Ultralytics YOLO11 para CoreML oferece a flexibilidade de criar diversos aplicativos de visão computacional que funcionam com eficiência em iPhones, iPads e Macs. A seguir, vamos ver alguns cenários do mundo real em que essa integração pode ser especialmente útil.

Aplicativos de realidade aumentada e jogos com modelos CoreML#

A realidade aumentada (AR) combina conteúdo digital com o mundo real, sobrepondo elementos virtuais às imagens ao vivo da câmera. Ela está se tornando essencial nos jogos para dispositivos móveis, criando experiências mais interativas e imersivas.

Com o Ultralytics YOLO11 exportado para o formato CoreML, os desenvolvedores de iOS podem criar jogos de AR que reconhecem objetos do mundo real, como bancos, árvores ou placas, usando a câmera do celular. O jogo pode então sobrepor itens virtuais, como moedas, pistas ou criaturas, a esses objetos para enriquecer o ambiente do jogador.

Nos bastidores, isso funciona por meio da detecção e do rastreamento de objetos. O Ultralytics YOLO11 detecta e identifica objetos em tempo real, enquanto o rastreamento mantém esses objetos no campo de visão conforme a câmera se move, garantindo que os elementos virtuais permaneçam alinhados ao mundo real.

Os jogadores podem apontar seus celulares, explorar o ambiente e interagir com o que veem para coletar itens ou concluir desafios rápidos. Tudo isso pode ser executado diretamente no dispositivo, sem conexão com a internet, tornando a experiência fluida e envolvente.

Aplicativos iOS integrados a modelos CoreML para ANPR em tempo real#

O reconhecimento automático de placas de veículos (ANPR) é uma aplicação de visão computacional usada para detectar e ler placas de veículos. É comumente usado em sistemas de segurança, monitoramento de tráfego e controle de acesso. Com CoreML e modelos como o YOLO11, agora é possível executar ANPR com eficiência em dispositivos iOS.

Ter um aplicativo de ANPR no seu iPhone pode ser especialmente útil em ambientes que priorizam a segurança. Por exemplo, ele pode ajudar as equipes a determinar rapidamente se um veículo que entra em uma área restrita está autorizado.

Uma aplicação deste tipo pode usar um modelo de IA visual, como o Ultralytics YOLO11, integrado por meio do CoreML, para detetar veículos e localizar as respetivas matrículas em tempo real usando a câmara do dispositivo. Depois de detetada uma matrícula, a tecnologia de reconhecimento ótico de caracteres (OCR) pode ler o número. Em seguida, a aplicação pode comparar esse número com uma base de dados local ou na nuvem para verificar o acesso ou assinalar veículos não autorizados.

Fig. 3. A IA visual pode ser usada para detectar e ler números de placas de veículos. (Fonte).

Aplicativos de acessibilidade podem aproveitar modelos CoreML#

A IA teve um grande impacto na acessibilidade, ajudando a reduzir barreiras para pessoas com deficiência visual. Com ferramentas como o CoreML e modelos de visão computacional, como o Ultralytics YOLO11, os desenvolvedores podem criar aplicativos iOS que descrevem em tempo real o mundo ao redor dos usuários, facilitando as tarefas do dia a dia e promovendo mais independência.

Por exemplo, uma pessoa com deficiência visual pode apontar a câmera do iPhone para o ambiente ao redor. O aplicativo usa a detecção de objetos para reconhecer elementos importantes, como veículos, pessoas ou placas de rua, e narra o que vê. Isso pode ser útil em situações como atravessar uma rua movimentada ou entender uma emergência.

Fig. 4. Exemplo de uso do Ultralytics YOLO11 para detectar pessoas

Principais conclusões#

Exportar o Ultralytics YOLO11 para o formato CoreML cria novas oportunidades para aplicações em tempo real, incluindo a deteção de objetos offline em dispositivos iOS. De jogos e segurança a acessibilidade, esta combinação permite que os desenvolvedores criem aplicações inteligentes, eficientes e focadas na privacidade, executadas inteiramente no dispositivo.

Com apenas algumas etapas simples, você pode converter seu modelo Ultralytics YOLO11 e adicionar recursos confiáveis de visão computacional aos iPhones. O melhor de tudo é que ele funciona sem precisar de conexão com a internet. No geral, a integração com CoreML leva o poder da IA avançada aos aplicativos móveis do dia a dia, tornando-os mais rápidos, responsivos e prontos para funcionar em qualquer lugar.

Quer saber mais sobre IA? Explore nosso repositório no GitHub, participe da nossa comunidade e confira nossas opções de licenciamento para dar início ao seu projeto de visão computacional. Descubra como inovações como a IA no varejo e a visão computacional na logística estão moldando o futuro nas nossas páginas de soluções.