Prompt Tuning

Промпт-тюнинг — это ресурсоэффективный метод, используемый для адаптации предобученных базовых моделей под конкретные прикладные задачи без вычислительных затрат на переобучение всей сети. В отличие от традиционного файнтюнинга, который обновляет все или большинство параметров модели, промпт-тюнинг замораживает предобученные веса модели и оптимизирует лишь небольшой набор обучаемых векторов, называемых «мягкими промптами», которые добавляются в начало входных данных. Такой подход позволяет единой массивной основе одновременно обслуживать несколько специализированных приложений, значительно сокращая требования к хранению данных и накладные расходы на задержку инференса.

Механика prompt tuning#

В стандартных рабочих процессах машинного обучения (ML) входные данные, такие как текст или изображения, преобразуются в числовые представления, известные как эмбеддинги. Промпт-тюнинг внедряет дополнительные обучаемые векторы эмбеддингов в эту входную последовательность. На этапе обучения система использует обратное распространение ошибки для вычисления градиентов, но алгоритм оптимизации обновляет значения только мягких промптов, оставляя массивную структуру модели нетронутой.

Этот метод представляет собой форму эффективной настройки параметров (PEFT). Путем обучения этих непрерывных векторов модель «направляется» к желаемому результату. Хотя эта концепция зародилась в обработке естественного языка (NLP), она была успешно адаптирована для задач компьютерного зрения (CV) и часто называется визуальным промпт-тюнингом (VPT).

Разграничение похожих концепций#

Чтобы понять полезность prompt tuning, важно отличать его от схожих терминов в сфере ИИ:

• Промпт-инжиниринг: Это подразумевает ручное создание понятных человеку текстовых инструкций (жестких промптов) для направления модели генеративного ИИ. Он не требует кодирования или обучения. Промпт-тюнинг, напротив, использует автоматизированное обучение с учителем для поиска оптимальных числовых эмбеддингов, которые могут не соответствовать словам естественного языка.
• Полный файнтюнинг: Традиционные методы обновляют всю нейронную сеть, что часто приводит к «катастрофическому забыванию» исходного обучения. Промпт-тюнинг сохраняет первоначальные возможности модели, упрощая использование трансферного обучения для несвязанных задач.
• Обучение на малом числе примеров: Обычно это означает предоставление нескольких примеров в контекстном окне LLM. Промпт-тюнинг отличается тем, что он перманентно изучает параметры, которые сохраняются и переиспользуются, а не просто предоставляет временный контекст.

Реальные приложения#

Промпт-тюнинг обеспечивает масштабируемое развертывание ИИ в условиях ограниченных ресурсов — основная философия, разделяемая платформой Ultralytics для управления моделями.

1. Многоязычная поддержка клиентов: Глобальное предприятие может использовать одну центральную, замороженную языковую модель. Обучая легкие мягкие промпты для испанского, японского и немецкого языков, система может мгновенно переключаться между ними. Это позволяет избежать колоссальных затрат на размещение трех отдельных моделей гигабайтного размера, используя вместо них промпт-файлы размером в килобайты.

2. ИИ в здравоохранении: Медицинская визуализация часто страдает от нехватки данных. Исследователи могут взять универсальный визуальный бэкбон (например, Vision Transformer) и использовать промпт-тюнинг для адаптации его под обнаружение конкретных аномалий, таких как заболевания сетчатки или опухоли. Это сохраняет конфиденциальность пациентских данных и позволяет быстро адаптироваться под новое медицинское оборудование без полного переобучения модели.

Пример реализации#

Следующий пример на PyTorch демонстрирует основную механическую концепцию: заморозку основных слоев модели и создание отдельного обучаемого параметра (так называемого «мягкого промпта»), который оптимизируется для влияния на результат.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Значение для современного Edge AI#

По мере того как модели становятся крупнее, возможность их дешевой адаптации приобретает критическое значение. Хотя такие архитектуры, как YOLO26, уже высоко оптимизированы для повышения эффективности, принципы заморозки бэкбонов и эффективной адаптации имеют фундаментальное значение для будущего периферийного ИИ. Методы, аналогичные промпт-тюнингу, позволяют устройствам с ограниченной памятью выполнять самые разные задачи — от обнаружения объектов до сегментации — путем простой замены небольших конфигурационных файлов вместо перезагрузки массивных нейронных сетей.

Для разработчиков, стремящихся к эффективному обучению и развертыванию, использование таких инструментов, как платформа Ultralytics, гарантирует оптимизацию моделей под их конкретные целевые аппаратные средства с применением лучших практик современного MLOps.