Тонкая настройка промптов (Prompt Tuning)

Prompt Tuning — это мощный и эффективный метод адаптации больших предварительно обученных моделей, таких как большие языковые модели (LLM), к новым задачам без изменения весов исходной модели. Это форма тонкой настройки с эффективным использованием параметров (PEFT), при которой миллиарды параметров в базовой модели остаются замороженными, и вместо этого изучается небольшой набор специфичных для задачи «мягких подсказок». Эти мягкие подсказки не являются удобочитаемым текстом, а представляют собой обучаемые вложения, добавляемые к входным данным, которые направляют замороженную модель для получения желаемого результата для конкретной подчиненной задачи. Такой подход значительно снижает вычислительные затраты и объем памяти, необходимые для адаптации к конкретной задаче, как это задокументировано в оригинальной научно-исследовательской работе Google AI.

Основная идея заключается в обучении всего нескольких тысяч или миллионов дополнительных параметров (soft prompt) для каждой задачи, а не в переобучении или тонкой настройке всей модели, которая может иметь миллиарды параметров. Это позволяет создавать множество специализированных «модулей подсказок» для одной предварительно обученной модели, каждый из которых адаптирован к различной задаче, без создания полных копий модели. Этот метод также помогает смягчить катастрофическое забывание, когда модель забывает ранее изученную информацию при обучении новой задаче.

Применение в реальном мире

Prompt Tuning позволяет настраивать мощные базовые модели для широкого спектра специализированных приложений.

• Индивидуальная аналитика тональности: Компания хочет анализировать отзывы клиентов о своей конкретной продукции. Универсальная модель анализа тональности может не понимать отраслевой жаргон. Используя prompt tuning, компания может адаптировать большую модель, такую как BERT, обучив небольшой набор soft prompts на собственных размеченных отзывах клиентов. Полученная модель может точно классифицировать отзывы без необходимости полной переподготовки модели, предоставляя более тонкие аналитические данные.
• Специализированные медицинские чат-боты: Организация здравоохранения стремится создать чат-бота, который отвечает на вопросы пациентов о конкретных заболеваниях. Полное обучение большой медицинской LLM требует больших ресурсов. Вместо этого они могут использовать настройку подсказок на предварительно обученной модели, такой как GPT-4. Обучая подсказку, специфичную для задачи, на курируемом медицинском наборе данных, чат-бот учится предоставлять точные, контекстно-зависимые ответы для этой области, делая мощный ИИ в здравоохранении более доступным.

Тонкая настройка промптов (Prompt Tuning) в сравнении со смежными концепциями

Важно отличать Prompt Tuning от схожих техник:

• Тонкая настройка (Fine-tuning): Этот метод обновляет большую часть или даже все параметры предварительно обученной модели на новом наборе данных. Это требует больше вычислительных ресурсов, но иногда может обеспечить более высокую производительность за счет глубокой адаптации внутренних представлений модели. Советы по обучению моделей часто охватывают аспекты тонкой настройки.
• Инженерия промптов: Это фокусируется на ручной разработке эффективных текстовых промптов (жестких промптов) для управления замороженной предварительно обученной моделью. Это включает в себя создание инструкций и примеров в самом входном тексте и не включает в себя обучение каким-либо новым параметрам. Методы, такие как prompting chain-of-thought, подпадают под эту категорию.
• Обогащение промптов: Этот метод автоматически улучшает промпт пользователя, добавляя контекст, например, с помощью генерации, дополненной извлечением (RAG), до того, как он будет отправлен в модель ИИ. В отличие от настройки промптов, он уточняет входной запрос без обучения новым параметрам.
• LoRA (Low-Rank Adaptation): Еще один метод PEFT, который вводит небольшие, обучаемые матрицы малого ранга в существующие слои (например, механизм внимания) предварительно обученной модели. Он обновляет различные части модели по сравнению с Prompt Tuning, который фокусируется исключительно на входных вложениях. Оба часто встречаются в библиотеках, таких как библиотека Hugging Face PEFT.

Хотя Prompt Tuning в основном применяется к LLM в обработке естественного языка (NLP), основной принцип эффективной адаптации актуален для всего искусственного интеллекта (AI). В компьютерном зрении (CV), в то время как полная донастройка моделей, таких как Ultralytics YOLO, на пользовательских наборах данных является обычной для таких задач, как обнаружение объектов, методы PEFT набирают обороты, особенно для больших мультимодальных моделей. Платформы, такие как Ultralytics HUB, упрощают процесс обучения и развертывания различных моделей ИИ, потенциально включая такие эффективные методы в будущем.