Parameter-Efficient Fine-Tuning (PEFT)

O ajuste fino eficiente em parâmetros (PEFT) é uma estratégia de otimização sofisticada em aprendizagem automática (ML) que permite personalizar modelos grandes pré-treinados para tarefas específicas, minimizando os custos computacionais. À medida que os modelos fundacionais modernos passaram a abranger milhares de milhões de parâmetros, os métodos de treino tradicionais, que atualizam todos os pesos da rede, tornaram-se proibitivamente dispendiosos em termos de hardware e energia. O PEFT resolve este desafio congelando a grande maioria dos pesos do modelo pré-treinado e atualizando apenas um pequeno subconjunto de parâmetros ou adicionando camadas adaptadoras leves. Esta abordagem reduz a barreira de entrada, permitindo que os programadores obtenham resultados de ponta em [GPUs](https://ultralytics-translation-3.invalid de nível de consumidor sem necessitarem de centros de dados de escala industrial.

Os mecanismos da eficiência#

O princípio central do PEFT baseia-se na aprendizagem por transferência, na qual um modelo utiliza representações de características aprendidas a partir de enormes conjuntos de dados públicos, como o ImageNet, para resolver novos problemas. Num fluxo de trabalho padrão, adaptar um modelo pode envolver o "ajuste fino completo", no qual a retropropagação ajusta todos os parâmetros da rede neural.

As técnicas de PEFT, como LoRA (adaptação de baixa classificação), seguem uma abordagem diferente. Mantêm o pesado "backbone" do modelo estático — preservando o seu conhecimento geral — e injetam matrizes pequenas e treináveis em camadas específicas. Isto evita o esquecimento catastrófico, um fenómeno em que um modelo perde as suas capacidades originais enquanto aprende novas informações. Ao reduzir até 99% o número de parâmetros treináveis, o PEFT diminui significativamente os requisitos de armazenamento e permite trocar vários adaptadores específicos de tarefas dentro e fora de um único modelo base durante a inferência em tempo real.

Aplicações no mundo real#

O PEFT é particularmente valioso em setores onde a computação de edge e a privacidade dos dados são fundamentais.

• IA na agricultura: As startups de agrotecnologia implementam frequentemente modelos em drones com autonomia de bateria e capacidade de processamento limitadas. Com o PEFT, os engenheiros podem utilizar um modelo altamente eficiente, como o YOLO26, e ajustá-lo para detetar pragas regionais específicas, como a lagarta-do-cartucho, usando um pequeno conjunto de dados personalizado. Ao congelar o backbone, o treino pode ser realizado rapidamente num portátil, e o modelo resultante continua suficientemente leve para o processamento a bordo.
• IA na saúde: Na análise de imagens médicas, os dados anotados são frequentemente escassos e dispendiosos de obter. Os hospitais utilizam o PEFT para adaptar modelos de visão de uso geral à identificação de anomalias em exames de MRI. Como os parâmetros base estão congelados, é menos provável que o modelo sofra de sobreajuste no pequeno conjunto de dados, garantindo um desempenho diagnóstico robusto e preservando a privacidade dos dados dos pacientes.

Implementação de camadas congeladas com a Ultralytics#

No ecossistema da Ultralytics, a eficiência dos parâmetros é frequentemente obtida através do "congelamento" das camadas iniciais de uma rede. Isto garante que os extratores de características robustos permaneçam inalterados, enquanto apenas a cabeça ou as camadas posteriores se adaptam às novas classes. Esta é uma implementação prática dos princípios de PEFT para a deteção de objetos.

O exemplo seguinte demonstra como treinar um modelo Ultralytics YOLO26 congelando as primeiras 10 camadas do backbone para poupar recursos computacionais:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Para as equipas que procuram dimensionar este processo, a Ultralytics Platform oferece uma interface unificada para gerir conjuntos de dados, automatizar a anotação e monitorizar estas execuções de treino eficientes a partir da cloud.

Distinguir o PEFT de conceitos relacionados#

Para selecionar a estratégia certa de adaptação do modelo, é útil diferenciar o PEFT de termos semelhantes:

• Ajuste fino: Frequentemente designado por "ajuste fino completo", este processo atualiza todos os parâmetros do modelo. Embora ofereça a máxima plasticidade, é computacionalmente dispendioso e exige guardar uma cópia completa do modelo para cada tarefa. O PEFT é uma subcategoria do ajuste fino focada na eficiência.
• Engenharia de prompts: Isto envolve criar entradas de texto para orientar a saída de um modelo sem alterar quaisquer pesos internos. O PEFT, por outro lado, altera matematicamente um subconjunto de pesos ou adaptadores para mudar permanentemente a forma como o modelo processa os dados.
• Destilação de conhecimento: Esta técnica treina um modelo estudante pequeno para imitar um modelo professor grande. Embora resulte num modelo eficiente, é um método de compressão, enquanto o PEFT é um método de adaptação utilizado para ensinar novas competências a um modelo existente.

Ao democratizar o acesso à IA de alto desempenho, o PEFT permite aos programadores criar ferramentas especializadas para veículos autónomos e fabrico inteligente sem necessitarem de uma infraestrutura de supercomputação.