Ajuste de prompts

El ajuste de prompts es una técnica potente y eficiente para adaptar grandes modelos pre-entrenados, como los Modelos de Lenguaje Grande (LLMs), a nuevas tareas sin alterar los pesos del modelo original. Es una forma de Ajuste Fino Eficiente en Parámetros (PEFT) que mantiene congelados los miles de millones de parámetros del modelo base y, en cambio, aprende un pequeño conjunto de "soft prompts" específicos de la tarea. Estos soft prompts no son texto legible por humanos, sino incrustaciones (embeddings) aprendibles que se anteponen a la entrada, lo que guía al modelo congelado para producir la salida deseada para una tarea específica. Este enfoque reduce drásticamente el coste computacional y el almacenamiento necesarios para la adaptación específica de la tarea, como se documenta en el artículo de investigación original de Google AI.

La idea central es entrenar sólo unos pocos miles o millones de parámetros adicionales (el soft prompt) por tarea, en lugar de volver a entrenar o ajustar (fine-tuning) todo el modelo, que podría tener miles de millones de parámetros. Esto hace que sea factible crear muchos "módulos de prompt" especializados para un único modelo pre-entrenado, cada uno adaptado a una tarea diferente, sin crear copias completas del modelo. Este método también ayuda a mitigar el olvido catastrófico, donde un modelo olvida la información aprendida previamente cuando se entrena en una nueva tarea.

Aplicaciones en el mundo real

El ajuste de prompts permite la personalización de potentes modelos base para una amplia gama de aplicaciones especializadas.

• Análisis de sentimiento personalizado: Una empresa quiere analizar los comentarios de los clientes sobre sus productos específicos. Un modelo de análisis de sentimiento de propósito general podría no entender la jerga específica de la industria. Utilizando el ajuste de prompts, la empresa puede adaptar un modelo grande como BERT entrenando un pequeño conjunto de soft prompts en sus propias reseñas de clientes etiquetadas. El modelo resultante puede clasificar con precisión los comentarios sin necesidad de un entrenamiento completo del modelo, proporcionando información más matizada.
• Chatbots Médicos Especializados: Una organización de atención médica tiene como objetivo construir un chatbot que responda a las preguntas de los pacientes sobre afecciones médicas específicas. Entrenar completamente un LLM médico grande requiere muchos recursos. En cambio, pueden usar el ajuste de prompts en un modelo pre-entrenado como GPT-4. Al entrenar un prompt específico para la tarea en un conjunto de datos médicos curado, el chatbot aprende a proporcionar respuestas precisas y conscientes del contexto para ese dominio, lo que hace que la poderosa IA en la atención médica sea más accesible.

Prompt Tuning vs. Conceptos relacionados

Es importante distinguir el Prompt Tuning de técnicas similares:

• Ajuste Fino: Este método actualiza una gran parte, o incluso todos, de los parámetros de un modelo pre-entrenado en un nuevo conjunto de datos. Es más intensivo computacionalmente, pero a veces puede lograr un mayor rendimiento al adaptar profundamente las representaciones internas del modelo. Los consejos para el entrenamiento de modelos a menudo cubren aspectos del ajuste fino.
• Ingeniería de prompts: Esto se centra en el diseño manual de prompts efectivos basados en texto (prompts duros) para guiar un modelo pre-entrenado congelado. Implica la elaboración de instrucciones y ejemplos dentro del propio texto de entrada y no implica el entrenamiento de ningún parámetro nuevo. Técnicas como el prompting de cadena de pensamiento entran en esta categoría.
• Enriquecimiento de prompts: Esta técnica mejora automáticamente el prompt de un usuario añadiendo contexto, por ejemplo, utilizando Generación Aumentada por Recuperación (RAG), antes de que se envíe al modelo de IA. A diferencia del ajuste de prompts, refina la consulta de entrada sin entrenar nuevos parámetros.
• LoRA (Adaptación de Bajo Rango): Otra técnica PEFT que inyecta pequeñas matrices de bajo rango entrenables en las capas existentes (como el mecanismo de atención) del modelo pre-entrenado. Actualiza diferentes partes del modelo en comparación con Prompt Tuning, que se centra únicamente en las incrustaciones de entrada. Ambos se encuentran a menudo en bibliotecas como la biblioteca Hugging Face PEFT.

Si bien el ajuste de prompts se aplica principalmente a los LLM en el Procesamiento del Lenguaje Natural (PNL), el principio fundamental de la adaptación eficiente es relevante en toda la Inteligencia Artificial (IA). En la Visión Artificial (CV), si bien el ajuste fino completo de modelos como Ultralytics YOLO en conjuntos de datos personalizados es común para tareas como la detección de objetos, los métodos PEFT están ganando terreno, especialmente para los grandes modelos multimodales. Plataformas como Ultralytics HUB agilizan el proceso de entrenamiento e implementación de varios modelos de IA, incorporando potencialmente tales técnicas eficientes en el futuro.