Ajuste de Prompts (Prompt Tuning)

O ajuste rápido é uma estratégia para adaptar modelos de base pré-treinados modelos de base pré-treinados a tarefas específicas a jusante sem o custo computacional de treinar novamente toda a rede. Como uma forma de Como uma forma de Parameter-Efficient Fine-Tuning (PEFT), esta técnica congela os parâmetros maciços do modelo original e optimiza apenas um pequeno conjunto de vectores vectores aprendíveis conhecidos como "soft prompts". Ao contrário do texto legível por humanos utilizado na texto legível usado na engenharia de prompts, os soft prompts são numéricos que são anexados aos dados de entrada. Estes Estes vectores aprendidos guiam o modelo congelado para gerar o resultado desejado, reduzindo significativamente os requisitos de armazenamento e memória e de memória em comparação com o treino completo do modelo. Esta abordagem torna possível atender a muitas tarefas especializadas diferentes usando um único modelo de núcleo compartilhado.

Como funciona o Prompt Tuning

O mecanismo subjacente à afinação rápida baseia-se no conceito de modificação da entrada e não da arquitetura do modelo. Num um fluxo de trabalho típico de aprendizagem automática (ML) que envolve grandes modelos de linguagem (LLMs) ou modelos de linguagem de visão, o texto ou imagem de entrada é convertido numa sequência de vectores numéricos. Na sintonização de estímulos, os vectores adicionais treináveis treináveis adicionais (o soft prompt) são inseridos no início desta sequência.

Durante a fase de retropropagação do treino, o o algoritmo de gradiente desc endente actualiza apenas estes novos vectores, deixando os milhares de milhões de pesos do modelo modelo na espinha dorsal intocados. Este método foi destacado na investigação da Google AI, demonstrando que, à medida que os modelos aumentam de tamanho, a afinação rápida pode igualar o desempenho da afinação fina completa.

Aplicações no Mundo Real

O ajuste rápido está a transformar as indústrias ao tornar a Inteligência Artificial (IA) mais acessível e escalável.

• Suporte personalizado ao cliente: As grandes empresas precisam frequentemente de implementar chatbots para vários departamentos (por exemplo, faturação, suporte técnico, vendas). Em vez de alojar modelos grandes separados para cada função, podem utilizar um modelo congelado ao estilo modelo de estilo GPT-4 congelado e alternar entre treinados em bases de conhecimento bases de conhecimento específicas de cada departamento. Isto reduz a a latência da inferência e os custos de infraestrutura.
• Análises médicas especializadas: Em IA nos cuidados de saúde, a privacidade e a escassez de dados são desafios. Os hospitais podem utilizar um modelo de análise de imagens médicas modelo de análise de imagens médicas e treinar pequenos avisos suaves para condições específicas, como tumores raros. Isto garante que as capacidades gerais de diagnóstico do modelo principal de diagnóstico geral do modelo principal são preservadas enquanto se adapta a tarefas de nicho, utilizando utilizando eficazmente os princípios da aprendizagem por transferência.

Diferenciando o Prompt Tuning de termos relacionados

É fundamental distinguir a afinação rápida de técnicas de adaptação semelhantes:

• Engenharia rápida: Trata-se de criar manualmente entradas de texto (hard prompts) para orientar um modelo. Não requer formação ou actualizações de parâmetros actualizações de parâmetros. Em contraste, a afinação de prompts é um processo automatizado que aprende as melhores incorporações numéricas através de aprendizagem supervisionada.
• Afinação: O ajuste fino tradicional actualiza todos ou a maioria dos parâmetros do modelo, exigindo uma cópia do modelo para cada tarefa. O ajuste rápido mantém o backbone congelado, economizando armazenamento.
• LoRA (Adaptação de baixa classificação): Embora ambos sejam métodos PEFT, LoRA injecta matrizes treináveis de baixo nível nas camadas internas do modelo (frequentemente o mecanismo de atenção). mecanismo de atenção), enquanto o ajuste rápido centra-se exclusivamente na camada de incorporação de entrada.

Conceito de implementação

Embora o prompt tuning seja mais famoso no Processamento de Linguagem Natural (PNL), o conceito mecânico subjacente - congelar um grande backbone e otimizar um pequeno tensoruniversal em aprendizagem profunda (DL). O seguinte PyTorch a seguir demonstra a lógica fundamental de congelamento de parâmetros do modelo e a criação de um parâmetro de prompt aprendível.

import torch
import torch.nn as nn

# Initialize a hypothetical pre-trained layer (the frozen backbone)
backbone = nn.Linear(768, 10)

# Freeze the backbone parameters so they don't update during training
for param in backbone.parameters():
    param.requires_grad = False

# Create a 'soft prompt' embedding that IS trainable
# This represents the learnable vectors prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 768), requires_grad=True)

# Setup an optimizer that only targets the soft prompt
optimizer = torch.optim.Adam([soft_prompt], lr=0.001)

Este código ilustra como os programadores podem controlar as partes de um sistema que aprendem, um aspeto fundamental da otimização das redes neurais. Para tarefas padrão de visão computacional modelos eficientes como o Ultralytics YOLO11 são são normalmente treinados utilizando o ajuste fino padrão em conjuntos de dados personalizados, mas os princípios de eficiência orientam o desenvolvimento de arquitecturas futuras como o YOLO26.

Relevância para a visão computacional

O ajuste rápido está a tornar-se cada vez mais relevante na Visão por Computador (CV) com o surgimento de modelos multimodais como o CLIP. Os investigadores estão a Os investigadores estão a explorar o "Visual Prompt Tuning", em que são adicionados fragmentos de píxeis ou tokens aprendíveis às imagens de entrada para adaptar os transformadores de visão a novas tarefas de deteção de objectos sem ter de voltar a treinar os extractores de caraterísticas pesadas. Isto reflecte os ganhos de eficiência observados nos modelos de linguagem e alinha-se com a tendência da indústria para a IA ecológica ao minimizando o consumo de energia durante o treino.