Implementa perfeitamente o Ultralytics YOLO11 usando a integração MNN

Atualmente, as inovações em IA expandiram-se além dos ambientes de servidor remoto. Soluções de IA estão sendo integradas em dispositivos de borda, como sensores e smartphones. Graças a essa mudança tecnológica, os dados agora podem ser processados diretamente onde são gerados, permitindo respostas mais rápidas, maior privacidade e menor dependência de conectividade constante com a nuvem.

Como resultado, a edge AI está ganhando força em muitos setores. Espera-se que o mercado de software de edge AI atinja 8,88 bilhões de dólares até 2031, à medida que mais sistemas migram para um processamento mais rápido e local.

Em particular, a visão computacional, um ramo da IA focado na compreensão de imagens e vídeos, está sendo rapidamente adotada na borda. Desde a contagem de itens alimentícios à medida que são embalados até a assistência a veículos na detecção de pedestres, a visão computacional apoia inúmeras aplicações práticas em diferentes setores.

Isso é possível através de modelos de visão computacional. Por exemplo, o Ultralytics YOLO11 é um modelo que suporta várias tarefas de visão por IA, como detecção de objetos, segmentação de instâncias, rastreamento de objetos e estimativa de pose. Ele foi projetado para ser rápido e eficiente, apresentando um bom desempenho em dispositivos com recursos de hardware limitados.

Fig 1. Deteção e seguimento de comida a ser embalada usando YOLO11 (Fonte).

Além de ser adequado para implantação na borda, através de várias integrações suportadas pela Ultralytics, o YOLO11 pode ser exportado para diversos formatos adequados a diferentes ambientes de hardware.

Uma das opções mais eficientes é o MNN (Mobile Neural Network), um mecanismo de inferência leve projetado para dispositivos de poucos recursos. Exportar o YOLO11 para MNN permite que ele seja executado diretamente em celulares, sistemas embarcados e outras plataformas de borda onde o processamento rápido no próprio dispositivo é essencial.

Neste artigo, exploraremos como a integração MNN funciona, destacaremos casos de uso comuns e veremos como começar a realizar inferências usando um modelo YOLO11 exportado. Vamos começar!

Link to this sectionUma visão geral do MNN: Uma estrutura de aprendizado profundo#

Executar modelos de visão computacional em dispositivos menores, como celulares, sensores industriais e sistemas portáteis, nem sempre é simples. Esses dispositivos frequentemente possuem memória limitada, processadores mais lentos e limites rígidos de energia.

O Mobile Neural Network, ou MNN, é um mecanismo de inferência leve e de alto desempenho desenvolvido pelo Alibaba para fazer modelos de IA serem executados de forma eficiente em hardware de poucos recursos, mantendo o desempenho em tempo real. O MNN suporta uma ampla gama de plataformas, incluindo Android, iOS e Linux, e funciona em vários tipos de hardware, como unidades de processamento central (CPUs) e unidades de processamento gráfico (GPUs).

Fig 2. Uma visão da estrutura MNN (Fonte).

A integração MNN suportada pela Ultralytics torna possível exportar modelos YOLO11 facilmente para o formato MNN. Em termos simples, isso significa que os modelos podem ser convertidos do formato YOLO para MNN.

Uma vez convertidos, eles podem ser implantados em dispositivos que suportam a estrutura MNN para uma inferência eficiente no próprio dispositivo. Um benefício chave de usar o formato MNN é que ele simplifica a implantação do YOLO11 em cenários onde tamanho, velocidade e eficiência de recursos são críticos.

Link to this sectionPrincipais características do backend de inferência MNN#

Antes de mergulharmos em como usar a integração MNN, vamos dar uma olhada no que torna a estrutura MNN uma ótima escolha para executar modelos de IA em dispositivos do mundo real. Ele foi criado para lidar com as restrições únicas de ambientes de borda, ao mesmo tempo que entrega um desempenho rápido e confiável.

Curiosamente, o MNN é usado internamente no Alibaba em mais de 30 aplicativos, incluindo Taobao, Tmall, Youku, DingTalk e Xianyu, em uma ampla gama de cenários como vídeo ao vivo, conteúdo de formato curto, busca por imagens e verificações de segurança no dispositivo. Ele suporta implantação em grande escala e executa milhões de inferências por dia em ambientes de produção.

Aqui estão alguns dos principais recursos da estrutura MNN:

• Seleção automática de backend: O MNN pode escolher automaticamente o backend de execução mais adequado, como CPU ou GPU, com base no hardware em que está sendo executado.
• Execução multithread: Ele suporta multithreading, permitindo que aproveite ao máximo os processadores multicore para uma inferência mais rápida.
• Suporta quantização de modelo: Ele permite que você reduza o tamanho do modelo significativamente usando quantização FP16 ou INT8, ajudando a melhorar a velocidade de inferência enquanto usa menos memória.
• Leve e rápido: O MNN possui uma pegada muito pequena, com a biblioteca principal em torno de 400 KB no Android e cerca de 5 MB no iOS, o que o torna ideal para dispositivos móveis e embarcados.

Link to this sectionEntendendo como a integração MNN funciona#

A seguir, vamos percorrer o processo de como exportar modelos YOLO11 para o formato MNN.

O primeiro passo é instalar o pacote Python da Ultralytics, que fornece tudo o que é necessário para exportar modelos YOLO11 para o formato MNN. Você pode fazer isso executando "pip install ultralytics" no seu terminal ou usando o prompt de comando. Se estiver usando um Jupyter Notebook ou Google Colab, adicione um ponto de exclamação antes do comando.

Se você encontrar problemas durante a instalação, consulte o guia de Problemas Comuns para obter dicas de solução de problemas.

Uma vez que seu ambiente esteja configurado, você pode carregar um modelo YOLO11 pré-treinado, como "yolo11n.pt", e exportá-lo para o formato MNN conforme mostrado no trecho de código abaixo. Se você treinou seu próprio modelo YOLO11 personalizado, pode exportá-lo simplesmente substituindo o nome do arquivo pelo caminho do seu modelo.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Após converter seu modelo para MNN, você pode usá-lo em diferentes plataformas móveis e embarcadas, dependendo das necessidades da sua aplicação.

Por exemplo, suponha que você queira testar o modelo exportado em um vídeo de tráfego. Nesse caso, você pode carregar o modelo YOLO11 no formato MNN para detectar objetos como veículos, pedestres e placas de trânsito diretamente no dispositivo, como mostrado no exemplo abaixo.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Quando a inferência estiver completa, o vídeo de saída com os objetos detectados será salvo automaticamente na pasta 'runs/detect/predict'. Além disso, se você quiser executar a inferência usando o pacote Python MNN diretamente, pode conferir a documentação oficial da Ultralytics para obter mais detalhes e exemplos.

Fig 3. Analisando tráfego usando um modelo YOLO11 exportado para o formato MNN. Imagem do autor.

Link to this sectionCasos de uso de implantação de modelos de edge AI habilitados pelo YOLO11 e MNN#

A implantação do YOLO11 com MNN permite tarefas rápidas e eficientes de visão computacional, como detecção de objetos, em ambientes onde o processamento baseado em nuvem não é prático ou possível. Vamos ver como essa integração pode ser especialmente útil em cenários do mundo real.

Link to this sectionEdge AI móvel para identificação de doenças em plantas#

Aplicativos de identificação de doenças em plantas que usam classificação de imagens estão ganhando popularidade entre jardineiros, pesquisadores e entusiastas da natureza. Com apenas uma foto, os usuários podem identificar rapidamente sinais precoces de doenças, como manchas nas folhas ou descoloração. Como esses aplicativos são frequentemente usados em áreas externas onde o acesso à internet pode ser limitado ou inexistente, depender do processamento na nuvem pode não ser confiável.

Após o treinamento, um modelo YOLO11 pode ser exportado para o formato MNN e executado diretamente em dispositivos móveis. O modelo pode então classificar espécies de plantas e detectar sintomas visíveis de doenças localmente, sem enviar dados para um servidor.

Fig 4. Um exemplo do uso do YOLO11 para detectar sinais de ferrugem (uma doença de planta) em uma folha (Fonte).

Link to this sectionInferências eficientes no próprio dispositivo na fabricação#

O rastreamento preciso de pacotes é essencial em linhas de produção movimentadas em instalações de fabricação. O YOLO11 pode ser usado para rastrear e contar cada item à medida que ele se move pelos pontos de controle principais, atualizando contagens em tempo real e sinalizando quaisquer discrepâncias. Isso ajuda a reduzir remessas perdidas ou não contabilizadas e apoia operações mais suaves e confiáveis.

Fig 5. Rastreando e contando pacotes usando YOLO11 (Fonte).

A integração MNN pode ser especialmente impactante neste contexto. Uma vez que o modelo YOLO11 é exportado para o formato MNN, ele pode ser executado diretamente em dispositivos compactos de baixo consumo de energia instalados ao longo da esteira.

Como todo o processamento acontece localmente, o sistema pode entregar feedback instantâneo e não requer conexão com a internet. Isso garante um desempenho rápido e confiável no chão de fábrica, mantendo a produção em movimento de forma eficiente, enquanto mantém alta precisão e controle.

Link to this sectionVantagens de exportar o YOLO11 para o formato de modelo MNN#

Aqui estão alguns benefícios chave da integração MNN fornecida pela Ultralytics:

• Tempos de resposta mais rápidos: Como a inferência é executada no dispositivo, as previsões acontecem em tempo real com latência mínima.
• Maior privacidade de dados: Os dados permanecem no dispositivo, reduzindo a necessidade de enviar imagens ou vídeos sensíveis para a nuvem.
• Código aberto e mantido ativamente: Com o apoio do Alibaba e suportado por uma comunidade ativa, o MNN é confiável e atualizado regularmente com melhorias de desempenho.

Link to this sectionFatores a considerar ao usar a estrutura MNN#

Antes de escolher o MNN como sua estrutura de implantação, também é importante avaliar o quão bem ele se adapta aos requisitos do seu projeto, alvos de implantação e limitações técnicas. Aqui estão alguns fatores chave a considerar:

• Compatibilidade contínua: Atualizações da estrutura ou mudanças em suas plataformas de destino podem exigir novos testes ou ajustes para manter tudo funcionando sem problemas.
• Menos ferramentas de depuração: Comparado a estruturas maiores, o MNN possui ferramentas mais limitadas para depuração e inspeção do comportamento do modelo, o que pode tornar a solução de problemas mais difícil.
• O desempenho depende do hardware: A velocidade e a eficiência do seu modelo variarão dependendo do dispositivo. Teste seu hardware de destino para garantir que ele atenda aos seus objetivos de desempenho.

Link to this sectionPrincipais pontos#

O suporte da Ultralytics para a integração MNN torna fácil exportar modelos YOLO11 para uso em dispositivos móveis e embarcados. É uma opção prática para aplicações que exigem detecção rápida e confiável sem depender de acesso à nuvem ou conectividade constante.

Esta configuração ajuda a simplificar a implantação enquanto mantém o desempenho e mantém baixas as demandas de recursos. Esteja você construindo sistemas de casa inteligente, ferramentas de campo ou dispositivos industriais compactos, exportar o YOLO11 para MNN fornece uma maneira flexível e eficiente de executar tarefas de visão computacional diretamente em dispositivos de borda.

Junte-se à nossa comunidade em crescimento! Explore nosso repositório GitHub para mergulhar mais fundo em IA. Pronto para começar seus projetos de visão computacional? Confira nossas opções de licenciamento. Descubra mais sobre IA na saúde e visão computacional no varejo em nossas páginas de soluções!