Prompt Tuning

O ajuste de prompts é uma técnica eficiente em termos de recursos utilizada para adaptar modelos fundacionais pré-treinados a tarefas específicas posteriores, sem o custo computacional de retreinar toda a rede. Ao contrário do tradicional ajuste fino, que atualiza todos ou a maioria dos parâmetros de um modelo, o ajuste de prompts congela os pesos do modelo pré-treinados e otimiza apenas um pequeno conjunto de vetores aprendíveis — chamados de "prompts suaves" — que são adicionados antes dos dados de entrada. Essa abordagem permite que uma única arquitetura base de grande escala atenda simultaneamente a várias aplicações especializadas, reduzindo significativamente os requisitos de armazenamento e os custos de troca da latência de inferência.

A mecânica do ajuste de prompts#

Nos fluxos de trabalho padrão de aprendizagem automática (ML), entradas como texto ou imagens são convertidas em representações numéricas conhecidas como embeddings. O ajuste de prompts insere vetores de embedding adicionais e treináveis nessa sequência de entrada. Durante a fase de treino, o sistema utiliza a retropropagação para calcular gradientes, mas o algoritmo de otimização atualiza apenas os valores dos prompts suaves, mantendo intacta a estrutura massiva do modelo.

Este método é uma forma de ajuste fino eficiente em parâmetros (PEFT). Ao aprender estes vetores contínuos, o modelo é "orientado" para o resultado pretendido. Embora este conceito tenha tido origem no processamento de linguagem natural (NLP), foi adaptado com sucesso a tarefas de visão computacional (CV), sendo frequentemente designado por Visual Prompt Tuning (VPT).

Distinguir conceitos relacionados#

Para compreender a utilidade do ajuste de prompts, é essencial distingui-lo de termos semelhantes no panorama da IA:

• Engenharia de prompts: consiste em criar manualmente instruções de texto legíveis por humanos (prompts rígidos) para orientar um modelo de IA generativa. Não requer programação nem treino. O ajuste de prompts, por outro lado, utiliza aprendizagem supervisionada automatizada para encontrar embeddings numéricos ideais, que podem não corresponder a palavras de uma linguagem natural.
• Ajuste fino completo: os métodos tradicionais atualizam toda a rede neuronal, o que frequentemente conduz ao "esquecimento catastrófico" do treino original. O ajuste de prompts preserva as capacidades originais do modelo, facilitando a utilização de aprendizagem por transferência entre tarefas distintas.
• Aprendizagem com poucos exemplos: normalmente refere-se ao fornecimento de alguns exemplos na janela de contexto de um LLM. O ajuste de prompts é diferente porque aprende permanentemente parâmetros que são guardados e reutilizados, em vez de fornecer apenas contexto temporário.

Aplicações no mundo real#

O ajuste de prompts permite a implementação escalável de IA em ambientes com recursos limitados, uma filosofia central partilhada pela Ultralytics Platform para a gestão de modelos.

1. Suporte ao cliente multilingue: uma empresa global pode utilizar um único modelo de linguagem central e congelado. Ao treinar prompts suaves leves para espanhol, japonês e alemão, o sistema pode trocar de idioma instantaneamente. Isto evita o enorme custo de alojar três modelos separados com vários gigabytes, utilizando em vez disso ficheiros de prompts com alguns kilobytes.

2. IA na área da saúde: a imagiologia médica sofre frequentemente com a escassez de dados. Os investigadores podem utilizar um backbone de visão de uso geral, como um Vision Transformer, e recorrer ao ajuste de prompts para o adaptar à deteção de anomalias específicas, como doenças da retina ou tumores. Isto preserva a privacidade dos dados dos pacientes e permite uma adaptação rápida a novos equipamentos médicos sem retreinar completamente o modelo.

Exemplo de Implementação#

O exemplo seguinte em PyTorch demonstra o conceito mecânico central: congelar as camadas principais de um modelo e criar um parâmetro separado e treinável (o "prompt suave"), que é otimizado para influenciar o resultado.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Relevância para a IA moderna de edge#

À medida que os modelos aumentam de dimensão, a capacidade de os adaptar a baixo custo torna-se essencial. Embora arquiteturas como o YOLO26 já estejam altamente otimizadas para a eficiência, os princípios de congelar backbones e realizar uma adaptação eficiente são fundamentais para o futuro da IA de edge. Técnicas semelhantes ao ajuste de prompts permitem que dispositivos com memória limitada executem tarefas diversas — desde a deteção de objetos até à segmentação — simplesmente trocando pequenos ficheiros de configuração, em vez de recarregar redes neuronais massivas.

Para os programadores que procuram treinar e implementar modelos de forma eficiente, a utilização de ferramentas como a Ultralytics Platform garante que os modelos são otimizados para os respetivos alvos de hardware, tirando partido das melhores práticas de MLOps modernas.