Prompt Tuning

Настройка промптов — это ресурсоэффективный метод адаптации предварительно обученных базовых моделей к конкретным прикладным задачам без вычислительных затрат на повторное обучение всей сети. В отличие от традиционной тонкой настройки, при которой обновляются все или большинство параметров модели, настройка промптов фиксирует веса предварительно обученной модели и оптимизирует только небольшой набор обучаемых векторов, называемых «мягкими промптами», которые добавляются перед входными данными. Такой подход позволяет одной большой базовой сети одновременно обслуживать несколько специализированных приложений, значительно сокращая требования к хранилищу и затраты на переключение между задачами с разной задержкой вывода.

Механика настройки промптов#

В стандартных рабочих процессах машинного обучения (ML) входные данные, такие как текст или изображения, преобразуются в числовые представления, известные как эмбеддинги. Настройка промптов добавляет в эту последовательность входных данных дополнительные обучаемые векторы эмбеддингов. На этапе обучения система использует обратное распространение ошибки для вычисления градиентов, но алгоритм оптимизации обновляет только значения мягких промптов, оставляя структуру большой модели неизменной.

Этот метод является разновидностью параметроэффективной тонкой настройки (PEFT). Обучая эти непрерывные векторы, модель «направляют» к нужному результату. Хотя эта концепция возникла в области обработки естественного языка (NLP), ее успешно адаптировали для задач компьютерного зрения (CV), часто называя визуальной настройкой промптов (VPT).

Различие между связанными понятиями#

Чтобы понять пользу настройки промптов, важно отличать ее от похожих терминов в области ИИ:

• Проектирование промптов: это ручное составление понятных человеку текстовых инструкций (жестких промптов) для управления моделью генеративного ИИ. Оно не требует программирования или обучения. Настройка промптов, напротив, использует автоматизированное обучение с учителем для поиска оптимальных числовых эмбеддингов, которые могут не соответствовать словам естественного языка.
• Полная тонкая настройка: традиционные методы обновляют всю нейронную сеть, что часто приводит к «катастрофическому забыванию» исходных знаний, полученных при обучении. Настройка промптов сохраняет исходные возможности модели, упрощая использование трансферного обучения для независимых задач.
• Обучение на небольшом числе примеров: обычно означает предоставление нескольких примеров в контекстном окне LLM. Настройка промптов отличается тем, что параметры обучаются постоянно, сохраняются и используются повторно, а не просто задают временный контекст.

Практические применения#

Настройка промптов обеспечивает масштабируемое развертывание ИИ в средах с ограниченными ресурсами — это один из ключевых принципов платформы Ultralytics для управления моделями.

1. Многоязычная поддержка клиентов: глобальная компания может использовать одну центральную зафиксированную языковую модель. Обучив легковесные мягкие промпты для испанского, японского и немецкого языков, система сможет мгновенно переключаться между языками. Это позволяет избежать огромных затрат на размещение трех отдельных моделей размером в несколько гигабайт, используя вместо них файлы промптов размером в несколько килобайт.

2. ИИ в здравоохранении: медицинская визуализация часто сталкивается с нехваткой данных. Исследователи могут взять универсальную базовую сеть для компьютерного зрения, например Vision Transformer, и использовать настройку промптов для ее адаптации к обнаружению конкретных аномалий, таких как заболевания сетчатки или опухоли. Это сохраняет конфиденциальность данных пациентов и позволяет быстро адаптироваться к новому медицинскому оборудованию без полного повторного обучения модели.

Пример реализации#

Следующий пример на PyTorch демонстрирует основную механику: фиксацию основных слоев модели и создание отдельного обучаемого параметра («мягкого промпта»), который оптимизируется для влияния на результат.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Актуальность для современного периферийного ИИ#

По мере увеличения размеров моделей способность недорого адаптировать их становится критически важной. Хотя такие архитектуры, как YOLO26, уже оптимизированы для высокой эффективности, принципы фиксации базовых сетей и эффективной адаптации имеют фундаментальное значение для будущего периферийного ИИ. Методы, похожие на настройку промптов, позволяют устройствам с ограниченной памятью выполнять разнообразные задачи — от обнаружения объектов до сегментации — просто заменяя небольшие конфигурационные файлы вместо повторной загрузки огромных нейронных сетей.

Разработчикам, которые хотят эффективно обучать и развертывать модели, использование таких инструментов, как платформа Ultralytics, помогает оптимизировать модели для конкретных целевых аппаратных платформ, применяя лучшие практики современного MLOps.