Prompt Tuning

El ajuste de prompts es una técnica eficiente en cuanto a recursos que se utiliza para adaptar modelos fundacionales preentrenados a tareas posteriores específicas sin el coste computacional de volver a entrenar toda la red. A diferencia del ajuste fino tradicional, que actualiza todos o la mayoría de los parámetros de un modelo, el ajuste de prompts congela los pesos del modelo preentrenado y optimiza únicamente un pequeño conjunto de vectores entrenables —denominados «soft prompts»— que se anteponen a los datos de entrada. Este enfoque permite que una única red troncal de gran tamaño sirva para varias aplicaciones especializadas simultáneamente, reduciendo considerablemente los requisitos de almacenamiento y los costes de cambio asociados a la latencia de inferencia.

Mecánica del ajuste de prompts#

En los flujos de trabajo estándar de aprendizaje automático (ML), las entradas, como texto o imágenes, se convierten en representaciones numéricas conocidas como embeddings. El ajuste de prompts inserta vectores de embedding adicionales y entrenables en esta secuencia de entrada. Durante la fase de entrenamiento, el sistema utiliza la retropropagación para calcular gradientes, pero el algoritmo de optimización solo actualiza los valores de los soft prompts, dejando intacta la estructura del modelo de gran tamaño.

Este método es una forma de ajuste fino eficiente en parámetros (PEFT). Al aprender estos vectores continuos, el modelo se «guía» hacia la salida deseada. Aunque este concepto se originó en el procesamiento del lenguaje natural (NLP), se ha adaptado correctamente a tareas de visión artificial (CV), a menudo denominadas ajuste de prompts visuales (VPT).

Diferenciación de conceptos relacionados#

Para comprender la utilidad del ajuste de prompts, es esencial diferenciarlo de términos similares del ámbito de la IA:

• Ingeniería de prompts: consiste en redactar manualmente instrucciones de texto legibles para las personas (hard prompts) con el fin de guiar un modelo de IA generativa. No requiere programación ni entrenamiento. En cambio, el ajuste de prompts utiliza aprendizaje supervisado automatizado para encontrar embeddings numéricos óptimos que pueden no corresponderse con palabras del lenguaje natural.
• Ajuste fino completo: los métodos tradicionales actualizan toda la red neuronal, lo que a menudo provoca un «olvido catastrófico» del entrenamiento original. El ajuste de prompts conserva las capacidades originales del modelo, lo que facilita aprovechar el aprendizaje por transferencia en tareas no relacionadas.
• Aprendizaje con pocos ejemplos: normalmente hace referencia a proporcionar unos pocos ejemplos en la ventana de contexto de un LLM. El ajuste de prompts es distinto porque aprende de forma permanente parámetros que se guardan y reutilizan, en lugar de limitarse a proporcionar contexto temporal.

Aplicaciones en el mundo real#

El ajuste de prompts permite desplegar IA de forma escalable en entornos con recursos limitados, una filosofía fundamental que comparte la Ultralytics Platform para la gestión de modelos.

1. Asistencia al cliente multilingüe: una empresa global puede utilizar un único modelo de lenguaje central congelado. Al entrenar soft prompts ligeros para español, japonés y alemán, el sistema puede cambiar de idioma al instante. Esto evita el enorme coste de alojar tres modelos independientes de varios gigabytes y permite utilizar archivos de prompts de apenas unos kilobytes.

2. IA en sanidad: la obtención de imágenes médicas suele verse afectada por la escasez de datos. Los investigadores pueden tomar una red troncal de visión de propósito general, como un Vision Transformer, y utilizar el ajuste de prompts para adaptarla a la detección de anomalías específicas, como enfermedades de la retina o tumores. Esto mantiene la privacidad de los datos de los pacientes y permite adaptar rápidamente el modelo a nuevos equipos médicos sin volver a entrenarlo por completo.

Ejemplo de implementación#

El siguiente ejemplo de PyTorch muestra el concepto mecánico fundamental: congelar las capas principales de un modelo y crear un parámetro independiente y entrenable (el «soft prompt») que se optimiza para influir en la salida.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Relevancia para la IA moderna en el edge#

A medida que los modelos aumentan de tamaño, la capacidad de adaptarlos de forma económica se vuelve crítica. Aunque arquitecturas como YOLO26 ya están muy optimizadas para ofrecer eficiencia, los principios de congelar las redes troncales y realizar una adaptación eficiente son fundamentales para el futuro de la IA en el edge. Las técnicas similares al ajuste de prompts permiten que los dispositivos con memoria limitada realicen tareas diversas, desde la detección de objetos hasta la segmentación, simplemente intercambiando pequeños archivos de configuración en lugar de volver a cargar redes neuronales enormes.

Para los desarrolladores que buscan entrenar y desplegar modelos de forma eficiente, utilizar herramientas como la Ultralytics Platform garantiza que los modelos estén optimizados para sus objetivos de hardware específicos, aprovechando las prácticas recomendadas de los MLOps modernos.