Model Quantization

A quantização de modelo é uma técnica sofisticada de otimização de modelo usada para reduzir os custos computacionais e de memória na execução de modelos de deep learning. Em fluxos de trabalho de treinamento padrão, as redes neurais geralmente armazenam parâmetros (pesos e vieses) e mapas de ativação usando números de ponto flutuante de 32 bits (FP32). Embora essa alta precisão garanta cálculos exatos durante o treinamento, ela é frequentemente desnecessária para a inferência. A quantização converte esses valores em formatos de menor precisão, como ponto flutuante de 16 bits (FP16) ou inteiros de 8 bits (INT8), reduzindo efetivamente o tamanho do modelo e acelerando a velocidade de execução sem comprometer significativamente a precisão.

Link to this sectionPor que a quantização é importante#

O principal motor da quantização é a necessidade de implantar IA poderosa em hardware com recursos limitados. À medida que modelos de visão computacional, como o YOLO26, se tornam mais complexos, suas demandas computacionais aumentam. A quantização aborda três gargalos críticos:

• Ocupação de Memória: Ao reduzir a largura de bit dos pesos (por exemplo, de 32 bits para 8 bits), o requisito de armazenamento do modelo é reduzido em até 4x. Isso é vital para aplicativos móveis onde o tamanho da aplicação é restrito.
• Latência de Inferência: Operações de menor precisão são computacionalmente mais baratas. Processadores modernos, especialmente aqueles com unidades de processamento neural (NPUs) especializadas, podem executar operações INT8 muito mais rápido que FP32, reduzindo significativamente a latência de inferência.
• Consumo de Energia: Mover menos dados através da memória e realizar operações aritméticas mais simples consome menos energia, prolongando a vida útil da bateria em dispositivos portáteis e veículos autônomos.

Link to this sectionComparação com conceitos relacionados#

É importante diferenciar a quantização de outras técnicas de otimização, já que elas modificam o modelo de maneiras distintas:

• Quantização vs. Poda (Pruning): Enquanto a quantização reduz o tamanho do arquivo ao diminuir a largura de bit dos parâmetros, a poda de modelos envolve remover conexões (pesos) desnecessárias inteiramente para criar uma rede esparsa. A poda altera a estrutura do modelo, enquanto a quantização altera a representação dos dados.
• Quantização vs. Destilação de Conhecimento: A destilação de conhecimento é uma técnica de treinamento onde um modelo "aluno" pequeno aprende a imitar um modelo "professor" grande. A quantização é frequentemente aplicada ao modelo aluno após a destilação para aprimorar ainda mais o desempenho de IA de borda.

Link to this sectionAplicações no Mundo Real#

A quantização viabiliza a visão computacional e a IA em vários setores onde a eficiência é fundamental.

1. Sistemas Autônomos: Na indústria automotiva, carros autônomos precisam processar dados visuais de câmeras e LiDAR em tempo real. Modelos quantizados implantados em mecanismos NVIDIA TensorRT permitem que esses veículos detectem pedestres e obstáculos com latência de milissegundos, garantindo a segurança dos passageiros.

2. Agricultura Inteligente: Drones equipados com câmeras multiespectrais usam modelos quantizados de detecção de objetos para identificar doenças nas culturas ou monitorar estágios de crescimento. Executar esses modelos localmente nos sistemas embarcados do drone elimina a necessidade de conexões celulares instáveis em campos remotos.

Link to this sectionImplementando a quantização com Ultralytics#

A biblioteca Ultralytics simplifica o processo de exportação, permitindo que desenvolvedores convertam modelos como o inovador YOLO26 em formatos quantizados. A Plataforma Ultralytics também fornece ferramentas para gerenciar essas implantações perfeitamente.

O exemplo a seguir demonstra como exportar um modelo para TFLite com quantização INT8 habilitada. Esse processo envolve uma etapa de calibração onde o modelo observa dados de amostra para determinar a faixa dinâmica ideal para os valores quantizados.

from ultralytics import YOLO

# Load a standard YOLO26 model
model = YOLO("yolo26n.pt")

# Export to TFLite format with INT8 quantization
# The 'int8' argument triggers Post-Training Quantization
# 'data' provides the calibration dataset needed for mapping values
model.export(format="tflite", int8=True, data="coco8.yaml")

Modelos otimizados são frequentemente implantados usando padrões interoperáveis como ONNX ou mecanismos de inferência de alto desempenho como o OpenVINO, garantindo ampla compatibilidade em diversos ecossistemas de hardware.