Оперативная настройка

Prompt Tuning - это мощная и эффективная техника адаптации больших предварительно обученных моделей, таких как большие языковые модели (LLM), к новым задачам без изменения весов исходной модели. Это одна из форм эффективной тонкой настройки параметров (PEFT), которая сохраняет миллиарды параметров базовой модели в замороженном состоянии и вместо этого обучает небольшой набор специфических для конкретной задачи "мягких подсказок". Эти мягкие подсказки не являются человекочитаемым текстом, а представляют собой обучаемые вкрапления, добавляемые к входным данным, которые направляют замороженную модель на получение желаемого результата для конкретной последующей задачи. Такой подход значительно сокращает вычислительные затраты и объем памяти, необходимые для адаптации к конкретной задаче, что подтверждается в оригинальной научной статье Google AI.

Основная идея заключается в том, чтобы обучить всего несколько тысяч или миллионов дополнительных параметров (мягкая подсказка) для каждой задачи, а не переобучать или настраивать всю модель, которая может иметь миллиарды параметров. Это позволяет создавать множество специализированных "модулей подсказок" для одной предварительно обученной модели, каждый из которых предназначен для решения разных задач, без создания полных копий модели. Этот метод также помогает предотвратить катастрофическое забывание, когда модель забывает ранее изученную информацию при обучении новой задаче.

Применение в реальном мире

Prompt Tuning позволяет настраивать мощные модели фундамента для широкого спектра специализированных приложений.

• Индивидуальный анализ настроений: Компания хочет проанализировать отзывы клиентов о своих специфических продуктах. Модель анализа настроений общего назначения может не понимать отраслевой жаргон. Используя настройку подсказок, компания может адаптировать крупную модель типа BERT, обучив небольшой набор мягких подсказок на собственных маркированных отзывах клиентов. Полученная модель может точно классифицировать отзывы без необходимости полного обучения модели, обеспечивая более тонкое понимание.
• Специализированные медицинские чатботы: Организация здравоохранения стремится создать чат-бот, отвечающий на вопросы пациентов о конкретных медицинских заболеваниях. Полное обучение большой медицинской LLM требует значительных ресурсов. Вместо этого они могут использовать настройку подсказок на предварительно обученной модели, например GPT-4. Обучив подсказку для конкретной задачи на наборе медицинских данных, чатбот научится давать точные, учитывающие контекст ответы для данной области, что сделает мощный ИИ в здравоохранении более доступным.

Оперативная настройка по сравнению со смежными концепциями

Важно отличать Prompt Tuning от аналогичных техник:

• Тонкая настройка: Этот метод обновляет большую часть или даже все параметры предварительно обученной модели на новом наборе данных. Он требует больших вычислительных затрат, но иногда позволяет добиться более высокой производительности за счет глубокой адаптации внутренних представлений модели. Советы по обучению моделей часто затрагивают аспекты тонкой настройки.
• Prompt Engineering: В данном случае речь идет о ручной разработке эффективных текстовых подсказок (жестких подсказок) для управления замороженной предварительно обученной моделью. Она включает в себя создание инструкций и примеров в самом входном тексте и не предполагает обучения каких-либо новых параметров. В эту категорию попадают такие техники, как подсказки по цепочке мыслей.
• Обогащение подсказок: Эта техника автоматически улучшает запрос пользователя, добавляя контекст, например, с помощью Retrieval-Augmented Generation (RAG), перед отправкой его в модель искусственного интеллекта. В отличие от настройки подсказки, она уточняет входной запрос без обучения новых параметров.
• LoRA (Low-Rank Adaptation): Еще одна техника PEFT, которая вводит небольшие обучаемые матрицы с низким рангом в существующие слои (например, механизм внимания) предварительно обученной модели. Она обновляет различные части модели по сравнению с Prompt Tuning, которая фокусируется исключительно на входных вкраплениях. Оба метода часто встречаются в библиотеках, таких как библиотека Hugging Face PEFT.

Хотя Prompt Tuning преимущественно применяется для LLM в обработке естественного языка (NLP), основной принцип эффективной адаптации актуален для всего искусственного интеллекта (AI). В компьютерном зрении (CV), хотя полная тонкая настройка моделей, таких как Ultralytics YOLO, на пользовательских наборах данных является обычной для таких задач, как обнаружение объектов, методы PEFT набирают обороты, особенно для больших мультимодальных моделей. Платформы, подобные Ultralytics HUB, упрощают процесс обучения и развертывания различных моделей ИИ, что позволяет в будущем использовать такие эффективные методы.