Prompt Tuning

El ajuste de prompts es una técnica eficiente en cuanto a recursos utilizada para adaptar modelos base preentrenados a tareas específicas posteriores sin el gasto computacional de reentrenar toda la red. A diferencia del ajuste fino tradicional, que actualiza todos o la mayoría de los parámetros de un modelo, el ajuste de prompts congela los pesos del modelo preentrenados y optimiza solo un pequeño conjunto de vectores aprendibles —llamados "prompts blandos"— que se anteponen a los datos de entrada. Este enfoque permite que un único backbone masivo sirva a múltiples aplicaciones especializadas simultáneamente, reduciendo significativamente los requisitos de almacenamiento y los costes de conmutación por latencia de inferencia.

Link to this sectionLa mecánica del ajuste de prompts#

En los flujos de trabajo estándar de machine learning (ML), las entradas como texto o imágenes se convierten en representaciones numéricas conocidas como embeddings. El ajuste de prompts inserta vectores de embedding entrenables adicionales en esta secuencia de entrada. Durante la fase de entrenamiento, el sistema utiliza retropropagación para calcular los gradientes, pero el algoritmo de optimización solo actualiza los valores de los prompts blandos, dejando intacta la estructura masiva del modelo.

Este método es una forma de ajuste fino eficiente en parámetros (PEFT). Al aprender estos vectores continuos, el modelo es "dirigido" hacia la salida deseada. Aunque este concepto se originó en Procesamiento de Lenguaje Natural (NLP), se ha adaptado con éxito a tareas de Visión Artificial (CV), a menudo denominadas Ajuste de Prompts Visuales (VPT).

Link to this sectionDistinguir conceptos relacionados#

Para comprender la utilidad del ajuste de prompts, es esencial diferenciarlo de términos similares en el panorama de la IA:

• Prompt Engineering: Esto implica elaborar manualmente instrucciones de texto legibles por humanos (prompts duros) para guiar a un modelo de IA generativa. No requiere programación ni entrenamiento. El ajuste de prompts, por el contrario, utiliza aprendizaje supervisado automatizado para encontrar embeddings numéricos óptimos que pueden no corresponder a palabras del lenguaje natural.
• Ajuste fino completo: Los métodos tradicionales actualizan toda la red neuronal, lo que a menudo conduce al "olvido catastrófico" del entrenamiento original. El ajuste de prompts preserva las capacidades originales del modelo, lo que facilita el aprovechamiento del aprendizaje por transferencia en tareas dispares.
• Few-Shot Learning: Por lo general, esto se refiere a proporcionar algunos ejemplos en la ventana de contexto de un LLM. El ajuste de prompts es distinto porque aprende permanentemente parámetros que se guardan y reutilizan, en lugar de solo proporcionar un contexto temporal.

Link to this sectionAplicaciones en el mundo real#

El ajuste de prompts permite un despliegue escalable de IA en entornos con recursos limitados, una filosofía central compartida por la Plataforma Ultralytics para la gestión de modelos.

1. Atención al cliente multilingüe: Una empresa global puede utilizar un modelo de lenguaje centralizado y congelado. Al entrenar prompts blandos ligeros para español, japonés y alemán, el sistema puede cambiar de idioma al instante. Esto evita el coste masivo de alojar tres modelos separados de tamaño gigabyte, confiando en su lugar en archivos de prompts de tamaño kilobyte.

2. IA en la salud: La imagen médica a menudo sufre de escasez de datos. Los investigadores pueden tomar un backbone de visión de propósito general (como un Vision Transformer) y utilizar el ajuste de prompts para adaptarlo a la detección de anomalías específicas, como enfermedades de la retina o tumores. Esto mantiene la privacidad de los datos del paciente y permite una rápida adaptación a nuevos equipos médicos sin necesidad de un reentrenamiento completo del modelo.

Link to this sectionEjemplo de implementación#

El siguiente ejemplo de PyTorch demuestra el concepto mecánico central: congelar las capas principales de un modelo y crear un parámetro independiente y entrenable (el "prompt blando") que se optimiza para influir en la salida.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Link to this sectionRelevancia para la Edge AI moderna#

A medida que los modelos crecen, la capacidad de adaptarlos de forma económica se vuelve crítica. Aunque arquitecturas como YOLO26 ya están altamente optimizadas para la eficiencia, los principios de congelar backbones y la adaptación eficiente son fundamentales para el futuro de la Edge AI. Técnicas similares al ajuste de prompts permiten que dispositivos con memoria limitada realicen tareas diversas, desde detección de objetos hasta segmentación, simplemente intercambiando archivos de configuración pequeños en lugar de recargar redes neuronales masivas.

Para los desarrolladores que buscan entrenar y desplegar de forma eficiente, utilizar herramientas como la Plataforma Ultralytics garantiza que los modelos estén optimizados para sus objetivos de hardware específicos, aprovechando las mejores prácticas de MLOps modernos.