Levar a Ultralytics YOLO11 para dispositivos Apple através do CoreML

Com a Apple a introduzir funcionalidades como a Apple Intelligence, é evidente que a IA no dispositivo está a tornar-se uma parte central da forma como usamos os nossos telemóveis. Para os programadores, esta mudança significa que os utilizadores estão a adotar aplicações iOS que usam capacidades como a visão computacional para proporcionar experiências mais inteligentes e responsivas.

A visão computacional é um tipo de inteligência artificial (AI) que permite aos computadores compreender e analisar informação visual, como imagens ou vídeos. Em dispositivos móveis, pode ser utilizada em tempo real para detetar, classificar e interagir com objetos através da câmara do telemóvel. Os modelos de IA para visão, como o Ultralytics YOLO11, podem ser treinados à medida para reconhecer objetos específicos, dependendo das necessidades da tua aplicação.

No entanto, o Ultralytics YOLO11 não está configurado para funcionar no iOS imediatamente. Para implementar o YOLO11 em iPhones ou noutros dispositivos Apple, especialmente para utilização offline, é necessário convertê-lo para um formato otimizado para o ecossistema da Apple.

É exatamente este tipo de problema que o CoreML foi criado para resolver. O CoreML é a estrutura de machine learning da Apple, desenvolvida para executar modelos localmente e integrar-se de forma harmoniosa em aplicações iOS e macOS. A integração com o CoreML, disponibilizada pela Ultralytics, facilita a exportação do teu modelo para implementação local em iPhones.

Neste artigo, vamos analisar mais detalhadamente como exportar o teu modelo Ultralytics YOLO11 para o formato CoreML. Também vamos explorar casos de utilização em tempo real que demonstram as vantagens de executar modelos de visão computacional diretamente em dispositivos iOS. Vamos começar!

O que é o CoreML?#

O CoreML é uma estrutura de machine learning (ML) desenvolvida pela Apple que permite aos programadores integrar modelos de ML treinados diretamente em aplicações de todo o ecossistema da Apple, incluindo iOS (iPhone e iPad), macOS (Mac), watchOS (Apple Watch) e tvOS (Apple TV). Foi concebido para tornar o machine learning acessível e eficiente em dispositivos Apple, permitindo que os modelos sejam executados diretamente no dispositivo, sem ser necessária uma ligação à Internet.

No centro do CoreML está um formato de modelo unificado que suporta uma vasta gama de tarefas de IA, como classificação de imagens, deteção de objetos, reconhecimento de voz e processamento de linguagem natural. A estrutura está otimizada para tirar o máximo partido do hardware da Apple, utilizando a unidade central de processamento (CPU), a unidade de processamento gráfico (GPU) e o Apple Neural Engine (ANE) para executar modelos de forma rápida e eficiente.

O CoreML suporta vários tipos de modelos e é compatível com bibliotecas populares de machine learning, incluindo TensorFlow, PyTorch, scikit-learn, XGBoost e LibSVM. Isto facilita aos programadores a incorporação de capacidades avançadas de ML em aplicações do dia a dia, garantindo simultaneamente que funcionam sem problemas em dispositivos Apple.

Fig. 1. O CoreML suporta modelos de outras estruturas populares de IA (Fonte).

Principais funcionalidades do CoreML#

Estas são algumas das principais funcionalidades que fazem do CoreML uma ferramenta fiável para integrar IA em aplicações Apple:

• Otimização de modelos: O CoreML suporta técnicas de compressão, como quantização e poda, para reduzir o tamanho dos modelos e melhorar a eficiência em tempo de execução.
• Personalização no dispositivo: A estrutura de ML da Apple suporta a personalização no dispositivo, permitindo que os modelos sejam treinados e atualizados localmente com base nas interações dos utilizadores.
• Previsões assíncronas: Esta estrutura permite que a tua aplicação execute previsões em segundo plano, mantendo a interface do utilizador fluida e responsiva enquanto processa tarefas de IA.
• Aprendizagem multitarefa: O CoreML suporta modelos capazes de executar várias tarefas ao mesmo tempo, como detetar objetos e reconhecer texto na mesma imagem.

Como exportar o Ultralytics YOLO11 para o formato CoreML#

Agora que compreendemos melhor a estrutura CoreML, vamos explicar passo a passo como utilizar a integração com o CoreML disponibilizada pela Ultralytics para exportar um modelo YOLO11 para o formato CoreML.

Passo 1: Configurar o ambiente#

Para aceder às funcionalidades de integração disponibilizadas pela Ultralytics, começa por instalar o pacote Python da Ultralytics. É uma biblioteca leve e fácil de utilizar que simplifica tarefas como treinar, avaliar, fazer previsões e exportar modelos Ultralytics YOLO.

Podes instalar o pacote Python da Ultralytics executando “pip install ultralytics” no terminal de comandos. Se estiveres a utilizar um ambiente como o Jupyter Notebook ou o Google Colab, inclui um ponto de exclamação (!) antes do comando: “!pip install ultralytics”.

Se encontrares problemas durante a instalação ou ao exportar para CoreML, consulta a documentação oficial da Ultralytics ou o guia de problemas comuns para obter ajuda.

Passo 2: Exportar o Ultralytics YOLO11 para CoreML#

Assim que o pacote estiver instalado com sucesso, podes carregar um modelo Ultralytics YOLO11 e convertê-lo para o formato CoreML.

Se não tiveres a certeza de qual modelo YOLO11 pré-treinado utilizar, podes explorar a variedade de modelos suportados pela Ultralytics. Cada um oferece um equilíbrio diferente entre velocidade, tamanho e precisão, pelo que podes escolher o mais adequado para o teu projeto. Também podes utilizar um modelo YOLO11 treinado à medida, caso tenhas treinado um com o teu próprio conjunto de dados.

No excerto de código abaixo, é utilizado um ficheiro de modelo YOLO11 pré-treinado com o nome "yolo11n.pt". Durante o processo de exportação, é convertido num pacote CoreML chamado "yolo11n.mlpackage."

O modelo "yolo11n" é a versão nano, otimizada para velocidade e baixo consumo de recursos. Dependendo das necessidades do teu projeto, também podes escolher outros tamanhos de modelo, como "s" para pequeno, "m" para médio, "l" para grande ou "x" para extragrande. Cada versão oferece um equilíbrio diferente entre desempenho e precisão.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="coreml")

Passo 3: Executar inferência utilizando o modelo CoreML exportado#

Depois de exportado para o formato CoreML, o Ultralytics YOLO11 pode ser facilmente integrado em aplicações iOS, permitindo executar tarefas de visão computacional em tempo real, como a deteção de objetos, em dispositivos como iPhones, iPads e Macs.

Por exemplo, o excerto de código abaixo demonstra como carregar o modelo CoreML exportado e executar inferência. A inferência é o processo de utilizar um modelo treinado para fazer previsões sobre novos dados. Neste caso, o modelo analisa uma imagem de uma família a brincar com uma bola.

coreml_model = YOLO("yolo11n.mlpackage")
results = coreml_model("https://images.pexels.com/photos/4933841/pexels-photo-4933841.jpeg", save=True)

Depois de executares o código, a imagem de saída será guardada na pasta "runs/detect/predict".

Fig. 2. Utilizar um modelo Ultralytics YOLO11 exportado no formato CoreML para detetar objetos. Imagem do autor.

Onde podem ser utilizados os modelos CoreML exportados?#

Exportar o Ultralytics YOLO11 para CoreML proporciona a flexibilidade necessária para criar diversas aplicações de visão computacional que podem funcionar de forma eficiente em iPhones, iPads e Macs. De seguida, vamos analisar alguns cenários do mundo real em que esta integração pode ser especialmente útil.

Aplicações de realidade aumentada e jogos baseadas em modelos CoreML#

A realidade aumentada (AR) combina conteúdo digital com o mundo real, sobrepondo elementos virtuais às imagens transmitidas em direto pela câmara. Está a tornar-se uma parte essencial dos jogos móveis, criando experiências mais interativas e imersivas.

Com o Ultralytics YOLO11 exportado para o formato CoreML, os programadores de iOS podem criar jogos de realidade aumentada que reconhecem objetos do mundo real, como bancos, árvores ou sinais, utilizando a câmara do telemóvel. O jogo pode então sobrepor itens virtuais, como moedas, pistas ou criaturas, a esses objetos para melhorar o ambiente do jogador.

Nos bastidores, isto funciona através da deteção e do rastreamento de objetos. O Ultralytics YOLO11 deteta e identifica objetos em tempo real, enquanto o rastreamento os mantém visíveis à medida que a câmara se move, garantindo que os elementos virtuais permanecem alinhados com o mundo real.

Os jogadores podem apontar os telemóveis, explorar o ambiente e interagir com o que veem para recolher itens ou concluir desafios rápidos. Tudo isto pode ser executado diretamente no dispositivo, sem necessidade de ligação à Internet, tornando a experiência fluida e envolvente.

Aplicações iOS integradas com modelos CoreML para ANPR em tempo real#

O reconhecimento automático de matrículas (ANPR) é uma aplicação de visão computacional utilizada para detetar e ler matrículas de veículos. É habitualmente utilizado em sistemas de segurança, monitorização de tráfego e controlo de acessos. Com o CoreML e modelos como o YOLO11, o ANPR pode agora funcionar de forma eficiente em dispositivos iOS.

Ter uma aplicação de ANPR no iPhone pode ser especialmente útil em ambientes orientados para a segurança. Por exemplo, pode ajudar as equipas a determinar rapidamente se um veículo que entra numa área restrita está autorizado ou não.

Uma aplicação deste tipo pode utilizar um modelo de IA para visão, como o Ultralytics YOLO11, integrado através do CoreML, para detetar veículos e localizar as respetivas matrículas em tempo real utilizando a câmara do dispositivo. Depois de uma matrícula ser detetada, a tecnologia de reconhecimento ótico de caracteres (OCR) pode ler o número da matrícula. A aplicação pode então comparar este número com uma base de dados local ou na nuvem para verificar o acesso ou assinalar veículos não autorizados.

Fig. 3. A IA para visão pode ser utilizada para detetar e ler números de matrículas. (Fonte).

As aplicações centradas na acessibilidade podem tirar partido dos modelos CoreML#

A IA teve um enorme impacto na acessibilidade, ajudando a eliminar barreiras para pessoas com deficiências visuais. Com ferramentas como o CoreML e modelos de visão computacional como o Ultralytics YOLO11, os programadores podem criar aplicações iOS que descrevem o mundo à volta dos utilizadores em tempo real, tornando as tarefas diárias mais fáceis e independentes.

Por exemplo, uma pessoa com deficiência visual pode apontar a câmara do iPhone para o ambiente à sua volta. A aplicação utiliza a deteção de objetos para reconhecer elementos importantes, como veículos, pessoas ou sinais de trânsito, e narra o que vê. Isto pode ser utilizado em situações como atravessar uma rua movimentada ou compreender uma emergência.

Fig. 4. Um exemplo da utilização do Ultralytics YOLO11 para detetar pessoas

Principais conclusões#

Exportar o Ultralytics YOLO11 para o formato CoreML cria novas oportunidades para aplicações em tempo real, incluindo a deteção de objetos offline em dispositivos iOS. Da agricultura e segurança à acessibilidade, esta combinação permite aos programadores criar aplicações inteligentes, eficientes e focadas na privacidade, que funcionam inteiramente no dispositivo.

Com apenas alguns passos simples, podes converter o teu modelo Ultralytics YOLO11 e adicionar funcionalidades fiáveis de visão computacional aos iPhones. O melhor de tudo é que funciona sem necessidade de ligação à Internet. No geral, a integração com o CoreML traz o poder da IA avançada para as aplicações móveis do dia a dia, tornando-as mais rápidas, responsivas e prontas para funcionar em qualquer lugar.

Queres saber mais sobre IA? Explora o nosso repositório no GitHub, liga-te à nossa comunidade e consulta as nossas opções de licenciamento para iniciares o teu projeto de visão computacional. Descobre como inovações como a IA no retalho e a visão computacional na logística estão a moldar o futuro nas nossas páginas de soluções.