Ajuste rápido

Prompt Tuning es una técnica potente y eficaz para adaptar grandes modelos preentrenados, como los grandes modelos lingüísticos (LLM), a nuevas tareas sin alterar los pesos del modelo original. Es una forma de ajuste fino eficiente de parámetros (PEFT) que mantiene congelados los miles de millones de parámetros del modelo base y, en su lugar, aprende un pequeño conjunto de "indicaciones suaves" específicas de la tarea. No se trata de texto legible, sino de incrustaciones aprendibles que se añaden a la entrada y guían al modelo congelado para que produzca el resultado deseado para una tarea específica. Este enfoque reduce drásticamente el coste computacional y el almacenamiento necesarios para la adaptación a tareas específicas, como se documenta en el documento original de investigación de Google AI.

La idea central es entrenar sólo unos pocos miles o millones de parámetros adicionales (el "soft prompt") por tarea, en lugar de volver a entrenar o ajustar todo el modelo, que podría tener miles de millones de parámetros. Esto hace posible crear muchos "módulos de aviso" especializados para un único modelo preentrenado, cada uno adaptado a una tarea diferente, sin crear copias completas del modelo. Este método también ayuda a mitigar el olvido catastrófico, en el que un modelo olvida la información aprendida previamente cuando se entrena en una nueva tarea.

Aplicaciones reales

Prompt Tuning permite personalizar potentes modelos de base para una amplia gama de aplicaciones especializadas.

• Análisis de sentimiento personalizado: Una empresa quiere analizar los comentarios de los clientes sobre sus productos específicos. Es posible que un modelo de análisis de sentimientos de uso general no entienda la jerga específica del sector. Utilizando la sintonización de avisos, la empresa puede adaptar un modelo de gran tamaño como BERT entrenando un pequeño conjunto de avisos suaves en sus propias opiniones de clientes etiquetadas. El modelo resultante puede clasificar con precisión las opiniones sin necesidad de un entrenamiento completo del modelo, lo que proporciona una visión más matizada.
• Chatbots médicos especializados: Una organización sanitaria quiere crear un chatbot que responda a las preguntas de los pacientes sobre afecciones médicas específicas. El entrenamiento completo de un gran LLM médico requiere muchos recursos. En su lugar, pueden utilizar la sintonización de avisos en un modelo preentrenado como GPT-4. Al entrenar una pregunta específica de la tarea en un conjunto de datos médicos curados, el chatbot aprende a proporcionar respuestas precisas y contextualizadas para ese dominio, lo que hace más accesible la potente IA en la atención sanitaria.

Prompt Tuning vs. Conceptos relacionados

Es importante distinguir el Prompt Tuning de otras técnicas similares:

• Puesta a punto: Este método actualiza una gran parte, o incluso la totalidad, de los parámetros de un modelo preentrenado en un nuevo conjunto de datos. Es más intensivo desde el punto de vista computacional, pero a veces puede lograr un mayor rendimiento adaptando en profundidad las representaciones internas del modelo. Los consejos para el entrenamiento de modelos suelen abarcar aspectos del ajuste fino.
• Ingeniería Prompt: Se trata de diseñar manualmente instrucciones de texto eficaces (hard prompts) para guiar un modelo preentrenado congelado. Consiste en elaborar instrucciones y ejemplos a partir del propio texto de entrada y no implica el entrenamiento de nuevos parámetros. En esta categoría se encuadran técnicas como las instrucciones de cadena de pensamiento.
• Prompt Enriquecimiento: Esta técnica mejora automáticamente la consulta del usuario añadiendo contexto, por ejemplo, mediante la Generación Mejorada por Recuperación (RAG), antes de enviarla al modelo de IA. A diferencia de la sintonización de consultas, esta técnica refina la consulta de entrada sin necesidad de entrenar nuevos parámetros.
• LoRA (Adaptación de bajo rango): Otra técnica PEFT que inyecta pequeñas matrices de bajo rango entrenables en las capas existentes (como el mecanismo de atención) del modelo preentrenado. Actualiza diferentes partes del modelo en comparación con Prompt Tuning, que se centra únicamente en las incrustaciones de entrada. Ambos se encuentran a menudo en bibliotecas como la biblioteca Hugging Face PEFT.

Aunque el Prompt Tuning se aplica predominantemente a los LLM en el Procesamiento del Lenguaje Natural (PLN), el principio básico de la adaptación eficiente es relevante en toda la Inteligencia Artificial (IA). En el campo de la visión por ordenador (CV), mientras que el ajuste fino completo de modelos como Ultralytics YOLO en conjuntos de datos personalizados es habitual para tareas como la detección de objetos, los métodos PEFT están ganando adeptos, especialmente para grandes modelos multimodales. Plataformas como Ultralytics HUB agilizan el proceso de formación y despliegue de varios modelos de IA, incorporando potencialmente técnicas tan eficientes en el futuro.