QLoRA

QLoRA (Adaptação de Baixo Grau Quantizada) é uma técnica avançada de otimização utilizada em aprendizagem profunda, concebida para tornar o [ajuste fino](https://ultralytics-translation-1.invalid de modelos de linguagem de grande escala (LLMs) altamente eficiente. Apresentada pela primeira vez num artigo de investigação amplamente citado no arXiv, a QLoRA reduz drasticamente os requisitos de memória da GPU necessários para atualizar modelos que contêm milhares de milhões de parâmetros.

Ao tirar partido da quantização agressiva de modelos até uma precisão de 4 bits, os programadores podem agora otimizar modelos fundacionais poderosos, originalmente criados por organizações como a OpenAI ou a Anthropic, utilizando GPUs para consumidores comuns. Este avanço democratiza o acesso à IA generativa de última geração sem exigir clusters de servidores dispendiosos de nível empresarial.

Como funciona a QLoRA#

A principal inovação da QLoRA reside nas suas técnicas de poupança de memória, baseadas sobretudo nos conceitos fundamentais presentes nas metodologias de quantização do PyTorch. Introduz um novo tipo de dados denominado NormalFloat de 4 bits (NF4), otimizado matematicamente para processar pesos de modelos com distribuição normal sem degradar significativamente as capacidades preditivas da rede.

Além disso, a QLoRA utiliza uma estratégia conhecida como Quantização Dupla, uma técnica reconhecida na investigação mais abrangente em aprendizagem automática que quantiza as próprias constantes de quantização, eliminando assim ainda mais utilização de memória desnecessária. Enquanto o enorme modelo base pré-treinado permanece congelado num estado comprimido de 4 bits, são inseridos pequenos adaptadores treináveis nas camadas da rede. Quando ocorre a retropropagação durante o treino de redes neuronais, os gradientes passam pelos pesos congelados de 4 bits para atualizar apenas estes adaptadores pequenos e altamente eficientes.

QLoRA vs. LoRA: compreender as diferenças#

Ao explorar o ajuste fino eficiente em termos de parâmetros (PEFT), os utilizadores perguntam frequentemente em que medida a QLoRA difere da tradicional LoRA (Adaptação de Baixo Grau). A LoRA padrão congela os pesos do modelo original e treina matrizes de baixo grau para adaptar o modelo a novos dados. No entanto, normalmente mantém o modelo base com uma precisão de 16 ou 32 bits. A QLoRA leva este processo um passo crucial mais além, comprimindo o modelo base para uma precisão de 4 bits antes de aplicar os adaptadores LoRA. Isto reduz drasticamente a utilização de memória, permitindo que um modelo com 65 mil milhões de parâmetros caiba numa única GPU de 48 GB — um feito matematicamente impossível com a LoRA padrão.

Aplicações no mundo real#

• Chatbots e assistentes empresariais: As empresas utilizam regularmente a QLoRA para ajustar modelos de código aberto, como o Llama 3 da Meta, com dados empresariais proprietários. Isto permite às organizações criar assistentes de IA altamente precisos e específicos de cada domínio, que funcionam em infraestruturas locais e seguras de computação em nuvem, sem custos exorbitantes de hardware.
• Implementações de IA de edge: À medida que os modelos baseados em texto se expandem para domínios visuais através de modelos de visão-linguagem (VLMs), a QLoRA permite aos programadores adaptar arquiteturas multimodais massivas a ambientes com recursos de hardware limitados. Estas otimizações leves são amplamente utilizadas por equipas de investigação da Google AI para levar capacidades avançadas de raciocínio a telemóveis e sensores remotos.

Treino eficiente em visão computacional#

A filosofia subjacente à QLoRA — maximizar a precisão matemática e minimizar as exigências de hardware — é partilhada pelos fluxos de trabalho modernos de visão computacional (CV). Por exemplo, a Ultralytics YOLO26 foi concebida nativamente para aprender de forma eficiente e ser implementada instantaneamente em dispositivos edge de baixo consumo. Os programadores que trabalham com conjuntos de dados de visão complexos podem tirar partido da Ultralytics Platform para um treino na nuvem integrado, que gere automaticamente a otimização da memória e o dimensionamento dos lotes.

Segue-se um exemplo prático de como podes treinar um modelo de visão eficiente utilizando a Precisão Mista Automática (AMP), um conceito estreitamente relacionado com os objetivos de poupança de memória da QLoRA:

from ultralytics import YOLO

# Load the highly efficient Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model utilizing mixed-precision (amp) to save GPU memory
# Similar to QLoRA, this optimizes hardware resources during training runs
results = model.train(data="coco8.yaml", epochs=10, imgsz=640, amp=True)

Ao recorrer a um processamento robusto de dados e a algoritmos de escalonamento automático do gradiente, os modelos treinam mais rapidamente e cabem facilmente em GPUs comuns, acelerando o caminho para implementar modelos de visão computacional com sucesso em ambientes empresariais de produção.