Motor de inferência

Um mecanismo de inferência é um componente de software especializado que executa um modelo de aprendizado de máquina treinado para gerar previsões a partir de dados novos e não vistos. Depois que um modelo é treinado usando uma estrutura como PyTorch ou TensorFlow, o mecanismo de inferência assume o controle para executá-lo de forma eficiente em um ambiente de produção. O seu principal objetivo é otimizar o modelo em termos de velocidade e utilização de recursos, tornando possível obter inferência em tempo real em várias plataformas de hardware, desde poderosos servidores na nuvem a dispositivos de ponta com recursos limitados.

O papel de um motor de inferência

A principal função de um motor de inferência é fazer a ponte entre um modelo treinado e a sua aplicação no mundo real. Ele realiza várias optimizações críticas para minimizar a latência da inferência e maximizar o rendimento sem comprometer significativamente a precisão.

As principais técnicas de otimização incluem:

• Otimização de gráficos: O motor analisa o gráfico computacional do modelo e aplica optimizações como a "fusão de camadas", que combina várias operações sequenciais numa única para reduzir a sobrecarga computacional.
• Otimização específica do hardware: Compila o modelo para ser executado em hardware específico, como CPUs, GPUs ou aceleradores de IA especializados, como as TPUs do Google. Isso envolve o uso de kernels de computação altamente otimizados, adaptados à arquitetura do hardware.
• Redução de precisão: Técnicas como a quantização de modelos são utilizadas para converter os pesos de um modelo de números de vírgula flutuante de 32 bits para números inteiros de 16 ou 8 bits mais eficientes. Isto reduz drasticamente a utilização de memória e acelera os cálculos, o que é especialmente importante para a computação de ponta.
• Poda de modelos: Um motor de inferência pode facilitar a execução de modelos em que os pesos desnecessários foram removidos através da poda de modelos, reduzindo ainda mais o tamanho do modelo e a necessidade de computação.

Motores de inferência populares

Muitas organizações desenvolveram mecanismos de inferência de alto desempenho para acelerar os modelos de aprendizagem profunda. As opções populares incluem:

• NVIDIA TensorRT: Um optimizador de alto desempenho e tempo de execução para GPUs NVIDIA, fornecendo velocidades de inferência de última geração. O Ultralytics oferece uma integração perfeita com o TensorRT para a implementação de modelos YOLO.
• OpenVINO da Intel: Um conjunto de ferramentas de código aberto para otimizar e implementar modelos em hardware Intel, incluindo CPUs e GPUs integradas. Os modelos Ultralytics podem ser facilmente exportados para o OpenVINO.
• Tempo de execução ONNX: Um motor multiplataforma desenvolvido pela Microsoft que pode executar modelos no formato ONNX (Open Neural Network Exchange) numa vasta gama de hardware.
• TensorFlow Lite (TFLite): Uma solução leve concebida especificamente para a implementação de modelos em dispositivos móveis e incorporados, como os que executam Android e iOS.
• Apache TVM: Uma estrutura de compilador de aprendizagem automática de código aberto que pode otimizar modelos para vários backends de hardware.

Aplicações no mundo real

Os motores de inferência são a espinha dorsal operacional de inúmeras aplicações de IA.

1. Nas soluções de IA para automóveis, um motor de inferência é executado no computador de bordo de um veículo para processar dados de câmaras e sensores. Executa um modelo de deteção de objectos como o Ultralytics YOLO11 para identificar peões, sinais de trânsito e outros veículos em milissegundos, permitindo funcionalidades de segurança críticas.
2. Para o fabrico inteligente, um motor de inferência no chão de fábrica alimenta um sistema de visão por computador para controlo de qualidade. Analisa imagens de uma linha de produção em tempo real para detetar defeitos, garantindo que os produtos cumprem as normas de qualidade com elevada velocidade e fiabilidade.

Motor de inferência vs. conceitos relacionados

É útil distinguir um motor de inferência de outros termos relacionados no MLOps.

• Estrutura de ML vs. Motor de inferência: Uma estrutura de aprendizado de máquina como o PyTorch é uma biblioteca abrangente para treinamento e implantação de modelos. Inclui ferramentas para criar redes neurais, gerenciar conjuntos de dados e executar loops de treinamento. Um motor de inferência, por outro lado, é uma ferramenta altamente especializada, focada exclusivamente na fase de implementação. Embora uma estrutura tenha recursos básicos de inferência, um mecanismo de inferência dedicado oferece desempenho superior por meio de otimizações agressivas e específicas de hardware.

• Serviço de modelo vs. Mecanismo de inferência: O serviço de modelos refere-se à infraestrutura mais ampla para disponibilizar um modelo numa rede, que inclui componentes como pontos de extremidade da API, equilibradores de carga e ferramentas de monitorização. O mecanismo de inferência é o componente principal de um sistema de fornecimento de modelos que executa as solicitações de previsão. É possível explorar várias opções de implantação de modelos para ver como os mecanismos de inferência se encaixam no quadro geral. Plataformas como o Ultralytics HUB simplificam todo esse processo, desde o treinamento até a implantação otimizada.