Precisão Mista

A precisão mista é uma técnica usada em aprendizado profundo para acelerar o treinamento do modelo e reduzir o consumo de memória. Envolve o uso de uma combinação de formatos numéricos de menor precisão, como ponto flutuante de 16 bits (FP16), e formatos de maior precisão, como ponto flutuante de 32 bits (FP32), durante a computação. Ao usar estrategicamente números de menor precisão para certas partes do modelo, como a multiplicação de pesos, e manter componentes críticos, como atualizações de pesos, em maior precisão, o treinamento de precisão mista pode acelerar significativamente o desempenho em GPUs modernas sem uma perda substancial na precisão do modelo.

Como Funciona a Precisão Mista

A ideia central por trás da precisão mista é aproveitar a velocidade e a eficiência de memória de tipos de dados de menor precisão. O hardware moderno, especialmente as GPUs NVIDIA com Tensor Cores, pode realizar operações em números de 16 bits muito mais rápido do que em números de 32 bits. O processo normalmente envolve três etapas principais:

1. Conversão para Precisão Inferior: A maioria das operações do modelo, particularmente as multiplicações de matrizes computacionalmente intensivas e as convoluções, são realizadas usando aritmética de meia precisão (FP16). Isso reduz a ocupação de memória e acelera os cálculos.
2. Manutenção de uma Cópia Mestre dos Pesos: Para manter a precisão e a estabilidade do modelo, uma cópia mestre dos pesos do modelo é mantida no formato padrão de ponto flutuante de 32 bits (FP32). Esta cópia mestre é usada para acumular gradientes e atualizar os pesos durante o processo de treinamento.
3. Escalonamento da Perda: Para evitar o underflow numérico—onde pequenos valores de gradiente se tornam zero quando convertidos para FP16—uma técnica chamada escalonamento da perda é usada. Ela envolve multiplicar a perda por um fator de escala antes da retropropagação para manter os valores do gradiente dentro de um intervalo representável para FP16. Antes que os pesos sejam atualizados, os gradientes são redimensionados.

Frameworks de aprendizado profundo como PyTorch e TensorFlow têm suporte integrado para precisão mista automática, facilitando a implementação.

Aplicações e Exemplos

A precisão mista é amplamente adotada no treinamento de modelos de aprendizado de máquina (ML) em larga escala, onde a eficiência é fundamental.

• Treino de Grandes Modelos de Linguagem (LLMs): Modelos como o GPT-3 e o BERT têm biliões de parâmetros. Treiná-los usando apenas FP32 exigiria quantidades proibitivas de memória GPU e tempo. A precisão mista torna o treino de tais modelos de fundação viável, reduzindo significativamente as necessidades de memória e acelerando os cálculos. Isto permite que os investigadores iterem mais rapidamente e construam modelos de linguagem ainda mais poderosos.
• Aceleração de Modelos de Visão Computacional: Em visão computacional (VC), a precisão mista acelera o treinamento de modelos complexos como Redes Neurais Convolucionais (CNNs) e Vision Transformers (ViTs). Para tarefas como detecção de objetos e segmentação de imagens, os modelos Ultralytics YOLO, incluindo o mais recente Ultralytics YOLO11, aproveitam a precisão mista para uma convergência mais rápida. Isso é especialmente útil para o ajuste de hiperparâmetros e o desenvolvimento rápido em plataformas como o Ultralytics HUB. O treinamento mais rápido também facilita a experimentação mais rápida em grandes conjuntos de dados, como o COCO. A precisão mista também pode ser usada durante a inferência para acelerar a implantação do modelo, particularmente ao exportar para formatos como o TensorRT, que é fortemente otimizado para precisões mais baixas.

Conceitos Relacionados

A precisão mista é uma das várias técnicas de otimização usadas para tornar os modelos de aprendizado profundo mais eficientes. É importante distingui-la de conceitos relacionados:

• Quantização de Modelo: A quantização reduz o tamanho do modelo e o custo computacional convertendo números de ponto flutuante (como FP32 ou FP16) em formatos inteiros de bit inferior, como INT8. Enquanto a precisão mista usa diferentes formatos de ponto flutuante durante o treinamento, a quantização é normalmente aplicada após o treinamento (quantização pós-treinamento) ou durante ele (treinamento com reconhecimento de quantização) para otimizar para inferência, especialmente em dispositivos de borda.
• Poda de Modelo: A poda é uma técnica que envolve a remoção de conexões (pesos) redundantes ou não importantes de uma rede neural. Ao contrário da precisão mista, que altera o formato numérico dos pesos, a poda altera a própria arquitetura do modelo para reduzir seu tamanho e complexidade. Essas técnicas podem ser usadas juntas para obter ganhos de desempenho ainda maiores.