Ajuste Fino Eficiente em Parâmetros (PEFT)

A afinação eficiente de parâmetros (Parameter-Efficient Fine-Tuning - PEFT) é uma estratégia sofisticada aprendizagem automática (ML) concebida para adaptar modelos grandes, modelos pré-treinados a tarefas específicas a jusante, sem o ónus computacional de voltar a treinar toda a rede. Como modelos de base em domínios como a linguagem natural processamento de linguagem natural e visão por computador (CV) para milhares de milhões de parâmetros, o tradicional - queactualiza todos os pesos do modelo - tornou-se tornou-se proibitivamente caro para muitos utilizadores. O PEFT resolve isso congelando a maioria dos pesos do modelo pré-treinado do modelo pré-treinado e atualizando apenas um pequeno subconjunto de parâmetros, ou adicionando algumas novas camadas treináveis. Esta abordagem reduz significativamente a barreira do hardware, permitindo que permitindo que investigadores e engenheiros personalizem modelos de última geração utilizando GPUs, mantendo um desempenho comparável ao treinamento completo.

A mecânica do PEFT

O conceito central do PEFT é aprendizagem por transferência, em que um modelo aproveita conhecimento adquirido a partir de um conjunto de dados maciço (como o ImageNet ou o Common Crawl) para resolver novos problemas com dados limitados. Ao contrário do ajuste fino completo, o PEFT modifica a arquitetura do modelo ou o processo de formação para ser "eficiente em termos de parâmetros eficiente". Isto cria uma pequena pegada para o modelo adaptado, muitas vezes apenas alguns megabytes, em comparação com os gigabytes necessários para uma cópia completa do modelo. Esta eficiência é crucial para evitar o esquecimento catastrófico, um fenómeno em que um modelo perde as suas capacidades gerais originais enquanto aprende novas informações.

As técnicas mais comuns no âmbito do PEFT incluem:

• LoRA (Low-Rank Adaptation): Este método popular injecta pequenas matrizes de decomposição de classificação treináveis nas camadas do modelo, congelando os pesos originais. É amplamente citado em pesquisas da Microsoft por pelo seu equilíbrio entre velocidade e precisão.
• Adaptadores: Trata-se de inserir pequenos módulos de rede neural entre as camadas existentes da rede pré-treinada.
• Sintonização imediata: Utilizado principalmente com modelos de linguagem, adiciona "soft prompt" treináveis treináveis à sequência de entrada, orientando o comportamento comportamento do modelo congelado.

Aplicações no Mundo Real

A PEFT é fundamental para democratizar o acesso a poderosas ferramentas de IA em vários sectores.

• Agricultura de precisão: Os agricultores e as empresas de tecnologia agrícola utilizam o PEFT para adaptar modelos gerais de modelos gerais de deteção de objectos como YOLO11 para identificar doenças específicas das culturas ou pragas locais. Ao utilizar a IA na agricultura, um modelo treinado em objectos objectos gerais pode ser aperfeiçoado num pequeno conjunto de dados personalizado de imagens de folhas para detect o míldio localizado com elevada precisão, funcionando eficazmente em dispositivos periféricos no terreno.
• Diagnóstico médico: Na IA nos cuidados de saúde, a privacidade e a escassez de dados são são os principais desafios. Os hospitais podem utilizar o PEFT para adaptar modelos de visão para análise de imagens médicas, como a deteção de fracturas em radiografias. Uma vez que o modelo de base permanece congelado, a formação requer menos imagens de pacientes para convergir, reduzindo o risco de sobreajuste e preservando a e preservando a capacidade do modelo de reconhecer caraterísticas visuais gerais.

Aplicação prática

No contexto dos modelos Ultralytics , a eficiência dos parâmetros é frequentemente obtida através do "congelamento" das camadas da rede durante o treino. Isto garante que as camadas de extração de caraterísticas permanecem inalteradas, e apenas a cabeça (a parte do modelo responsável por fazer as previsões finais) é actualizada.

O exemplo seguinte demonstra como implementar uma forma simples de formação eficiente em termos de parâmetros com o Ultralytics YOLO , congelando as primeiras 10 camadas do modelo.

from ultralytics import YOLO

# Load the YOLO11 model (latest stable version)
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# The 'freeze=10' argument freezes the first 10 layers (the backbone)
# This reduces the number of trainable parameters significantly
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

PEFT vs. Conceitos Relacionados

Compreender a distinção entre PEFT e termos semelhantes é vital para selecionar a estratégia correta:

• Afinação total: Actualiza todos os parâmetros da rede. Oferece a máxima plasticidade máxima, mas requer recursos de computação e armazenamento maciços para cada nova versão do modelo. Consulte este guia sobre ajuste fino para melhores práticas quando quando os recursos não são uma restrição.
• Engenharia rápida: Isto envolve a elaboração da entrada de texto (prompt) para orientar o modelo sem alterar quaisquer pesos. PEFT, pelo contrário, actualiza permanentemente um pequeno conjunto de parâmetros ou pesos para alterar a forma como o modelo processa os dados.
• Aprendizagem por transferência: Este é o conceito conceito mais alargado de reutilização de conhecimentos. O PEFT é uma implementação específica e eficiente da aprendizagem por transferência. Pode explorar definições mais profundas destes conceitos em plataformas como as páginas de educação sobre IA da IBM.

Ao minimizar o custo computacional da adaptação, o PEFT permite a criação de modelos altamente especializados para tarefas que vão desde a perceção de veículos autónomos a análise de imagens de satélite, tornando a IA avançada acessível a uma comunidade mais alargada de programadores.