Levando o Ultralytics YOLO11 para dispositivos Apple via CoreML

Com a Apple introduzindo recursos como o Apple Intelligence, fica claro que a IA no dispositivo está se tornando uma parte central de como usamos nossos telefones. Para os desenvolvedores, essa mudança significa que os usuários estão adotando aplicativos iOS que usam recursos como visão computacional para entregar experiências mais inteligentes e responsivas.

A Computer vision é um tipo de inteligência artificial (IA) que permite aos computadores entender e analisar informações visuais, como imagens ou vídeos. Em dispositivos móveis, ela pode ser usada em tempo real para detectar, classificar e interagir com objetos através da câmera do telefone. Modelos de Vision AI como o Ultralytics YOLO11 podem ser treinados de forma personalizada para reconhecer objetos específicos, dependendo das necessidades do teu aplicativo.

No entanto, o Ultralytics YOLO11 não está configurado para correr no iOS diretamente. Para despregar o YOLO11 em iPhones ou noutros dispositivos Apple, particularmente para uso offline, ele precisa de ser convertido num formato otimizado para o ecossistema da Apple.

Este é exatamente o tipo de problema para o qual o CoreML foi construído. O CoreML é o framework de aprendizado de máquina da Apple, criado para rodar modelos localmente e se integrar perfeitamente em aplicativos iOS e macOS. A CoreML integration, apoiada pela Ultralytics, facilita a exportação do teu modelo para implantação local em iPhones.

Neste artigo, vamos ver mais de perto como exportar o teu modelo Ultralytics YOLO11 para o formato CoreML. Também vamos explorar casos de uso em tempo real que mostram as vantagens de executar modelos de visão computacional diretamente em dispositivos iOS. Vamos começar!

O que é o CoreML?#

O CoreML é um machine learning (ML) framework desenvolvido pela Apple que possibilita aos desenvolvedores integrar modelos de ML treinados diretamente em aplicativos em todo o ecossistema da Apple, incluindo iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). Ele foi projetado para tornar o aprendizado de máquina acessível e eficiente em dispositivos Apple, permitindo que os modelos rodem diretamente no dispositivo, sem exigir conexão com a internet.

No centro do CoreML está um formato de modelo unificado que suporta uma ampla gama de tarefas de IA, como classificação de imagens, detecção de objetos, reconhecimento de fala e processamento de linguagem natural. O framework é otimizado para aproveitar ao máximo o hardware da Apple, utilizando a CPU (unidade central de processamento), GPU (unidade de processamento gráfico) e ANE (Apple Neural Engine) para executar modelos de forma rápida e eficiente.

O CoreML suporta uma variedade de tipos de modelos e é compatível com bibliotecas populares de aprendizado de máquina, incluindo TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Isso torna mais fácil para os desenvolvedores trazerem recursos avançados de ML para aplicativos do dia a dia, garantindo que rodem sem problemas em dispositivos Apple.

Fig 1. O CoreML suporta modelos de outros frameworks de IA populares (Source).

Principais recursos do CoreML#

Aqui estão alguns dos principais recursos que tornam o CoreML uma ferramenta confiável para integrar IA em aplicativos Apple:

• Model optimization: O CoreML suporta técnicas de compressão como quantização e poda para reduzir o tamanho do modelo e melhorar a eficiência de execução.
• Personalização no dispositivo: O framework de ML da Apple suporta personalização no dispositivo, permitindo que os modelos sejam treinados e atualizados localmente com base nas interações do usuário.
• Previsões assíncronas: Este framework permite que seu aplicativo execute previsões em segundo plano, mantendo a interface do usuário suave e responsiva enquanto lida com tarefas de IA.
• Aprendizado multitarefa: O CoreML suporta modelos que podem realizar múltiplas tarefas ao mesmo tempo, como detectar objetos e reconhecer texto na mesma imagem.

Como exportar Ultralytics YOLO11 para o formato CoreML#

Agora que entendemos melhor o framework CoreML, vamos percorrer como usar a integração com CoreML suportada pela Ultralytics para exportar um modelo YOLO11 para o formato CoreML.

Passo 1: Configurando seu ambiente#

Para acessar os recursos de integração fornecidos pela Ultralytics, começa instalando o Ultralytics Python package. É uma biblioteca leve e fácil de usar que simplifica tarefas como treinamento, avaliação, previsão e exportação de modelos Ultralytics YOLO.

Você pode instalar o pacote Python da Ultralytics executando "pip install ultralytics" no seu terminal de comando. Se estiver usando um ambiente como o Jupyter Notebook ou o Google Colab, inclua um ponto de exclamação (!) antes do comando: "!pip install ultralytics".

Se encontrares algum problema durante a instalação ou ao exportar para o CoreML, consulta a documentação oficial da Ultralytics ou o Common Issues guide para obter ajuda.

Passo 2: Exportando Ultralytics YOLO11 para CoreML#

Assim que o pacote for instalado com sucesso, estás pronto para carregar um modelo Ultralytics YOLO11 e convertê-lo para o formato CoreML.

Se não tens certeza de qual modelo pré-treinado YOLO11 usar, podes explorar a variedade de models supported pela Ultralytics. Cada um oferece um equilíbrio diferente de velocidade, tamanho e precisão, e podes escolher o que melhor se adapta ao teu projeto. Podes também usar um modelo YOLO11 treinado de forma personalizada se já treinaste um com o teu próprio conjunto de dados.

No trecho de código abaixo, um arquivo de modelo YOLO11 pré-treinado chamado "yolo11n.pt" é utilizado. Durante o processo de exportação, ele é convertido em um pacote CoreML chamado "yolo11n.mlpackage."

O modelo "yolo11n" é a versão nano, otimizada para velocidade e baixo uso de recursos. Dependendo das necessidades do seu projeto, você também pode escolher outros tamanhos de modelo, como "s" para pequeno, "m" para médio, "l" para grande ou "x" para extra grande. Cada versão oferece um equilíbrio diferente entre desempenho e precisão.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Passo 3: Executando inferência usando o modelo CoreML exportado#

Após a exportação para o formato CoreML, o Ultralytics YOLO11 pode ser facilmente integrado em aplicações iOS, permitindo tarefas de visão computacional em tempo real como detecção de objetos em dispositivos como iPhones, iPads e Macs.

Por exemplo, o trecho de código abaixo demonstra como carregar o modelo CoreML exportado e realizar a inferência. Inferência é o processo de usar um modelo treinado para fazer previsões em novos dados. Neste caso, o modelo analisa uma imagem de uma família brincando com uma bola.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Depois de executar o código, a imagem de saída será salva na pasta "runs/detect/predict".

Fig 2. Usando um modelo exportado do Ultralytics YOLO11 no formato CoreML para detectar objetos. Imagem do autor.

Onde os modelos CoreML exportados podem ser usados?#

A exportação do Ultralytics YOLO11 para CoreML traz a flexibilidade para construir diversas aplicações de visão computacional que podem ser executadas eficientemente em iPhones, iPads e Macs. De seguida, vamos ver alguns cenários do mundo real onde esta integração pode ser especialmente útil.

Aplicativos de realidade aumentada e jogos impulsionados por modelos CoreML#

Augmented reality (AR) mescla conteúdo digital com o mundo real ao sobrepor elementos virtuais em visualizações de câmera ao vivo. Está se tornando uma parte fundamental dos jogos móveis, criando experiências mais interativas e imersivas.

Com o Ultralytics YOLO11 exportado para o formato CoreML, os programadores iOS podem construir jogos de realidade aumentada (AR) que reconhecem objetos do mundo real como bancos, árvores ou placas usando a câmara do telemóvel. O jogo pode então sobrepor itens virtuais, como moedas, pistas ou criaturas, em cima destes objetos para enriquecer o ambiente do jogador.

Por trás da cortina, isto funciona utilizando detecção de objetos e rastreio de objetos. O Ultralytics YOLO11 detecta e identifica objetos em tempo real, enquanto o rastreio mantém esses objetos à vista à medida que a câmara se move, garantindo que os elementos virtuais se mantêm alinhados com o mundo real.

Os jogadores podem apontar seus telefones, explorar seu ambiente e interagir com o que veem para coletar itens ou completar desafios rápidos. Tudo isso pode rodar diretamente no dispositivo sem precisar de uma conexão com a internet, tornando a experiência suave e envolvente.

Aplicativos iOS integrados com modelos CoreML para ANPR em tempo real#

Automatic Number Plate Recognition (ANPR) é um aplicativo de visão computacional usado para detectar e ler placas de veículos. É comumente usado em sistemas de segurança, monitoramento de tráfego e controle de acesso. Com o CoreML e modelos como o YOLO11, o ANPR agora pode rodar eficientemente em dispositivos iOS.

Ter um aplicativo de ANPR no seu iPhone pode ser especialmente útil em ambientes focados em segurança. Por exemplo, pode ajudar as equipes a determinar rapidamente se um veículo entrando em uma área restrita está autorizado ou não.

Uma aplicação deste tipo pode usar um modelo de IA de visão como o Ultralytics YOLO11, integrado através de CoreML, para detectar veículos e localizar as suas matrículas em tempo real utilizando a câmara do dispositivo. Uma vez detectada uma matrícula, a tecnologia de Reconhecimento Óptico de Caracteres (OCR) pode ler o número da matrícula. A aplicação pode então comparar este número com uma base de dados local ou na nuvem para verificar o acesso ou sinalizar veículos não autorizados.

Fig 3. A Vision AI pode ser usada para detectar e ler números de placas de licença. (Source).

Aplicativos focados em acessibilidade podem aproveitar os modelos CoreML#

A IA teve um impacto enorme na acessibilidade, ajudando a derrubar barreiras para pessoas com deficiência visual. Com ferramentas como CoreML e modelos de visão computacional como o Ultralytics YOLO11, os programadores podem construir aplicações iOS que descrevem o mundo ao redor dos utilizadores em tempo real, tornando as tarefas diárias mais fáceis e mais independentes.

Por exemplo, uma pessoa com deficiência visual pode apontar a câmera do seu iPhone para o seu ambiente. O aplicativo usa detecção de objetos para reconhecer elementos-chave, como veículos, pessoas ou placas de rua, e narra o que vê. Isso pode ser usado em situações como navegar em uma rua movimentada ou entender uma emergência.

Fig 4. Um exemplo de uso do Ultralytics YOLO11 para detectar pessoas

Principais pontos#

Exportar o Ultralytics YOLO11 para o formato CoreML cria novas oportunidades para aplicações em tempo real, incluindo detecção de objetos offline em dispositivos iOS. Desde a agricultura e segurança até à acessibilidade, esta combinação permite aos programadores construir aplicações inteligentes, eficientes e focadas na privacidade que são executadas inteiramente no dispositivo.

Com apenas alguns passos simples, podes converter o teu modelo Ultralytics YOLO11 e adicionar funcionalidades fiáveis de visão computacional a iPhones. O melhor de tudo é que funciona sem precisar de uma ligação à internet. No geral, a integração com o CoreML traz o poder da IA avançada para aplicações móveis do dia a dia, tornando-as mais rápidas, mais responsivas e prontas a funcionar em qualquer lugar.

Curioso para saber mais sobre IA? Explora o nosso GitHub repository, conecta-te com our community e confere our licensing options para dar o pontapé inicial no teu projeto de visão computacional. Descobre como inovações como AI in retail e computer vision in logistics estão moldando o futuro nas nossas páginas de soluções.