Implementa perfeitamente o Ultralytics YOLO11 usando a integração MNN

Atualmente, as inovações em IA expandiram-se além dos ambientes de servidor remoto. Soluções de IA estão sendo integradas em dispositivos de borda, como sensores e smartphones. Graças a essa mudança tecnológica, os dados agora podem ser processados diretamente onde são gerados, permitindo respostas mais rápidas, maior privacidade e menor dependência de conectividade constante com a nuvem.

Como resultado, a edge AI está ganhando força em vários setores. O edge AI software market deve atingir US$ 8,88 bilhões até 2031, à medida que mais sistemas migram para um processamento mais rápido e local.

Em particular, a computer vision, um ramo da IA que foca em compreender imagens e vídeos, está sendo rapidamente adotada na borda. Desde a contagem de itens alimentícios enquanto são embalados até a ajuda para veículos detectarem pedestres, a computer vision apoia inúmeras aplicações práticas em diferentes setores.

Isso é tornado possível por meio de modelos de computer vision. Por exemplo, o Ultralytics YOLO11 é um modelo que suporta várias tarefas de IA de visão, como detecção de objetos, segmentação de instâncias, rastreamento de objetos e estimativa de pose. Ele foi projetado para ser rápido e eficiente e tem um bom desempenho em dispositivos com recursos de hardware limitados.

Fig 1. Detectando e rastreando alimentos sendo embalados usando Ultralytics YOLO11 (Fonte).

Além de ser adequado para implantação na borda, por meio de várias integrations suportadas pelo Ultralytics, o YOLO11 pode ser exportado para diversos formatos adequados a diferentes ambientes de hardware.

Uma das opções mais eficientes é o MNN (Mobile Neural Network), um motor de inferência leve concebido para dispositivos de poucos recursos. Exportar o Ultralytics YOLO11 para MNN permite que ele seja executado diretamente em telemóveis, sistemas embebidos e outras plataformas edge onde o processamento rápido no dispositivo é essencial.

Neste artigo, vamos explorar como a integração MNN funciona, destacar casos de uso comuns e ver o passo a passo de como começar a executar inferências usando um modelo Ultralytics YOLO11 exportado. Vamos começar!

Uma visão geral do MNN: Uma estrutura de aprendizado profundo#

Executar computer vision models em dispositivos menores, como telefones celulares, sensores industriais e sistemas portáteis, nem sempre é simples. Esses dispositivos geralmente têm memória limitada, processadores mais lentos e limites rígidos de energia.

O Mobile Neural Network, ou MNN, é um mecanismo de inferência leve e de alto desempenho desenvolvido pelo Alibaba para fazer modelos de IA serem executados de forma eficiente em hardware de poucos recursos, mantendo o desempenho em tempo real. O MNN suporta uma ampla gama de plataformas, incluindo Android, iOS e Linux, e funciona em vários tipos de hardware, como unidades de processamento central (CPUs) e unidades de processamento gráfico (GPUs).

Fig 2. Uma olhada no framework MNN (Source).

A integração MNN suportada pela Ultralytics torna possível exportar modelos YOLO11 facilmente para o formato MNN. Em termos simples, isso significa que os modelos podem ser convertidos do formato YOLO para MNN.

Uma vez convertidos, podem ser implementados em dispositivos que suportam o framework MNN para inferência eficiente no dispositivo. Um benefício fundamental de usar o formato MNN é que ele simplifica a implementação do Ultralytics YOLO11 em cenários onde o tamanho, a velocidade e a eficiência de recursos são críticos.

Principais características do backend de inferência MNN#

Antes de mergulharmos em como usar a integração MNN, vamos dar uma olhada no que torna a estrutura MNN uma ótima escolha para executar modelos de IA em dispositivos do mundo real. Ele foi criado para lidar com as restrições únicas de ambientes de borda, ao mesmo tempo que entrega um desempenho rápido e confiável.

Curiosamente, o MNN é usado internamente no Alibaba em mais de 30 aplicativos, incluindo Taobao, Tmall, Youku, DingTalk e Xianyu, em uma ampla gama de cenários como vídeo ao vivo, conteúdo de formato curto, busca por imagens e verificações de segurança no dispositivo. Ele suporta implantação em grande escala e executa milhões de inferências por dia em ambientes de produção.

Aqui estão alguns dos principais recursos da estrutura MNN:

• Seleção automática de backend: O MNN pode escolher automaticamente o backend de execução mais adequado, como CPU ou GPU, com base no hardware em que está sendo executado.
• Multi-threaded execution: Ele suporta multithreading, permitindo aproveitar ao máximo processadores multinucleares para inferências mais rápidas.
• Suporta quantização de modelo: Ele permite que você reduza o tamanho do modelo significativamente usando quantização FP16 ou INT8, ajudando a melhorar a velocidade de inferência enquanto usa menos memória.
• Leve e rápido: O MNN possui uma pegada muito pequena, com a biblioteca principal em torno de 400 KB no Android e cerca de 5 MB no iOS, o que o torna ideal para dispositivos móveis e embarcados.

Entendendo como a integração MNN funciona#

A seguir, vamos ver como exportar modelos Ultralytics YOLO11 para o formato MNN.

O primeiro passo é instalar o Ultralytics Python package, que fornece tudo o necessário para exportar modelos YOLO11 para o formato MNN. Podes fazer isso executando "pip install ultralytics" no teu terminal ou usando o prompt de comando. Se estiveres a usar um Jupyter Notebook ou Google Colab, adiciona um ponto de exclamação antes do comando.

Se encontrares algum problema durante a instalação, consulta o Common Issues guide para dicas de solução de problemas.

Uma vez que seu ambiente esteja configurado, você pode carregar um modelo YOLO11 pré-treinado, como "yolo11n.pt", e exportá-lo para o formato MNN conforme mostrado no trecho de código abaixo. Se você treinou seu próprio modelo YOLO11 personalizado, pode exportá-lo simplesmente substituindo o nome do arquivo pelo caminho do seu modelo.

from ultralytics import YOLO

model = YOLO("yolo11n.pt")
model.export(format="mnn")

Após converter seu modelo para MNN, você pode usá-lo em diferentes plataformas móveis e embarcadas, dependendo das necessidades da sua aplicação.

Por exemplo, suponha que queres testar o modelo exportado num vídeo de tráfego. Nesse caso, podes carregar o modelo Ultralytics YOLO11 em formato MNN para detetar objetos como veículos, pedestres e sinais de trânsito diretamente no dispositivo, conforme mostrado no exemplo abaixo.

mnn_model = YOLO("yolo11n.mnn")
results = mnn_model("https://videos.pexels.com/video-files/27783817/12223745_1920_1080_24fps.mp4", save=True)

Quando a inferência estiver concluída, o vídeo de saída com os objetos detectados é salvo automaticamente na pasta 'runs/detect/predict'. Além disso, se quiseres executar a inferência usando o pacote Python MNN diretamente, podes conferir a documentação oficial do Ultralytics documentation para mais detalhes e exemplos.

Fig 3. Analisando o tráfego usando um modelo Ultralytics YOLO11 exportado para o formato MNN. Imagem do autor.

Casos de uso de implantação de IA de ponta habilitados por Ultralytics YOLO11 e MNN#

Implementar o Ultralytics YOLO11 com MNN permite tarefas de visão computacional rápidas e eficientes, como deteção de objetos em ambientes onde o processamento baseado em nuvem não é prático ou possível. Vamos ver como esta integração pode ser especialmente útil em cenários do mundo real.

Edge AI móvel para identificação de doenças em plantas#

Aplicativos de identificação de doenças em plantas que usam image classification estão ganhando popularidade entre jardineiros, pesquisadores e entusiastas da natureza. Com apenas uma foto, os usuários podem identificar rapidamente sinais precoces de doenças, como manchas nas folhas ou descoloração. Como esses aplicativos são frequentemente usados em áreas externas onde o acesso à internet pode ser limitado ou indisponível, confiar no processamento em nuvem pode ser pouco confiável.

Após o treino, um modelo Ultralytics YOLO11 pode ser exportado para o formato MNN e executado diretamente em dispositivos móveis. O modelo pode então classificar espécies de plantas e detetar sintomas visíveis de doenças localmente, sem enviar quaisquer dados para um servidor.

Fig 4. Um exemplo de uso do YOLO11 para detectar sinais de ferrugem (uma doença de plantas) em uma folha (Source).

Inferências eficientes no próprio dispositivo na fabricação#

O rastreio preciso de pacotes é essencial em linhas de produção movimentadas em instalações de manufacturing. O Ultralytics YOLO11 pode ser utilizado para rastrear e contar cada item à medida que passa por pontos de controlo chave, atualizando as contagens em tempo real e sinalizando quaisquer discrepâncias. Isto ajuda a reduzir envios em falta ou não contabilizados e apoia operações mais fluidas e fiáveis.

Fig 5. Rastreamento e contagem de pacotes usando YOLO11 (Source).

A integração MNN pode ter um impacto especial neste contexto. Assim que o modelo Ultralytics YOLO11 é exportado para o formato MNN, ele pode ser executado diretamente em dispositivos compactos e de baixo consumo instalados ao longo da passadeira.

Como todo o processamento acontece localmente, o sistema pode entregar feedback instantâneo e não requer conexão com a internet. Isso garante um desempenho rápido e confiável no chão de fábrica, mantendo a produção em movimento de forma eficiente, enquanto mantém alta precisão e controle.

Vantagens de exportar o Ultralytics YOLO11 para o formato de modelo MNN#

Aqui estão alguns benefícios chave da integração MNN fornecida pela Ultralytics:

• Tempos de resposta mais rápidos: Como a inferência é executada no dispositivo, as previsões acontecem em tempo real com latência mínima.
• Improved data privacy: Os dados permanecem no dispositivo, reduzindo a necessidade de enviar imagens ou vídeos sensíveis para a nuvem.
• Código aberto e mantido ativamente: Com o apoio do Alibaba e suportado por uma comunidade ativa, o MNN é confiável e atualizado regularmente com melhorias de desempenho.

Fatores a considerar ao usar a estrutura MNN#

Antes de escolher o MNN como sua estrutura de implantação, também é importante avaliar o quão bem ele se adapta aos requisitos do seu projeto, alvos de implantação e limitações técnicas. Aqui estão alguns fatores chave a considerar:

• Compatibilidade contínua: Atualizações da estrutura ou mudanças em suas plataformas de destino podem exigir novos testes ou ajustes para manter tudo funcionando sem problemas.
• Menos ferramentas de depuração: Comparado a estruturas maiores, o MNN possui ferramentas mais limitadas para depuração e inspeção do comportamento do modelo, o que pode tornar a solução de problemas mais difícil.
• O desempenho depende do hardware: A velocidade e a eficiência do seu modelo variarão dependendo do dispositivo. Teste seu hardware de destino para garantir que ele atenda aos seus objetivos de desempenho.

Principais pontos#

O suporte da Ultralytics para a integração MNN torna fácil exportar modelos YOLO11 para uso em dispositivos móveis e embarcados. É uma opção prática para aplicações que exigem detecção rápida e confiável sem depender de acesso à nuvem ou conectividade constante.

Esta configuração ajuda a simplificar a implementação enquanto mantém o desempenho e mantém baixas as exigências de recursos. Quer estejas a construir sistemas de casas inteligentes, ferramentas de campo ou dispositivos industriais compactos, exportar o Ultralytics YOLO11 para MNN oferece uma forma flexível e eficiente de executar tarefas de visão computacional diretamente em dispositivos edge.

Junte-se à nossa crescente community! Explore o nosso GitHub repository para mergulhar mais fundo na IA. Pronto para começar os seus projetos de computer vision? Confira as nossas licensing options. Descubra mais sobre AI in healthcare e computer vision in retail nas nossas páginas de soluções!