Эффективная по параметрам донастройка (PEFT)

Parameter-Efficient Fine-Tuning (PEFT) — это набор методов, используемых в машинном обучении для адаптации больших предварительно обученных моделей к новым, конкретным задачам без необходимости переобучать всю модель. Поскольку фундаментальные модели в таких областях, как обработка естественного языка (NLP) и компьютерное зрение (CV), вырастают до миллиардов параметров, полная тонкая настройка становится вычислительно дорогостоящей и требует значительного объема хранения данных для каждой новой задачи. PEFT решает эту проблему, замораживая подавляющее большинство весов предварительно обученной модели и обучая лишь небольшое количество дополнительных или существующих параметров. Этот подход значительно снижает вычислительные затраты и затраты на хранение, снижает риск катастрофического забывания (когда модель забывает свои первоначальные возможности) и позволяет настраивать одну большую модель для множества различных приложений.

Как работает PEFT?

Основной принцип PEFT заключается в внесении целенаправленных, минимальных изменений в предварительно обученную модель. Вместо обновления каждого параметра, методы PEFT вводят небольшой набор обучаемых параметров или выбирают крошечное подмножество существующих для обновления во время обучения. Это форма трансферного обучения, которая оптимизирует эффективность. Существует несколько популярных методов PEFT, каждый со своей стратегией:

• LoRA (Low-Rank Adaptation): Этот метод внедряет небольшие, обучаемые матрицы малого ранга в слои предварительно обученной модели, часто в пределах механизма внимания. Эти «адаптерные» матрицы значительно меньше, чем исходные матрицы весов, что делает обучение быстрым и эффективным. Оригинальная научная статья о LoRA содержит более подробную техническую информацию.
• Тонкая настройка промптов (Prompt Tuning): Вместо изменения архитектуры модели, этот метод сохраняет модель полностью замороженной и изучает набор «мягких промптов» или обучаемых векторов внедрения (embedding vectors). Эти векторы добавляются к входной последовательности, чтобы направить вывод модели для конкретной задачи, как подробно описано в ее основополагающей статье.
• Тонкая настройка адаптера: Этот метод включает в себя вставку небольших полносвязных модулей нейронной сети, известных как «адаптеры», между слоями предварительно обученной модели. Обучаются только параметры этих новых адаптеров.

Эти и другие методы широко доступны через фреймворки, такие как библиотека Hugging Face PEFT, которая упрощает их реализацию.

PEFT в сравнении со смежными концепциями

Важно отличать PEFT от других стратегий адаптации моделей:

• Полная донастройка: В отличие от PEFT, полная донастройка обновляет все веса предварительно обученной модели. Это требует больших ресурсов, мощный GPU и большой объем памяти для каждой версии донастроенной модели.
• Prompt Engineering: Этот метод включает в себя ручную разработку эффективных текстовых промптов для управления поведением модели. Он не включает в себя какое-либо обучение или обновление параметров; речь идет исключительно о создании входных данных для получения желаемого результата от замороженной модели.
• Дистилляция знаний: Это включает в себя обучение меньшей модели-"ученика", чтобы имитировать поведение большей, предварительно обученной модели-"учителя". Хотя это создает меньшую модель, сам процесс все еще может быть вычислительно интенсивным.

Применение в реальном мире

PEFT обеспечивает практическое применение больших моделей в различных областях:

• Обработка естественного языка (NLP): Компания может использовать PEFT для адаптации модели общего назначения, такой как GPT-4 или BERT, для создания специализированного чат-бота для своей внутренней базы знаний. Вместо дорогостоящего полного переобучения они могут использовать такой метод, как LoRA, чтобы научить модель специфической для компании терминологии и процедурам, что приведет к более точным ответам для обслуживания клиентов или внутренней поддержки. Исследовательские группы, такие как Stanford NLP Group, изучают эти типы приложений.
• Компьютерное зрение (CV): PEFT может настраивать большие модели зрения, такие как Vision Transformers (ViT) или модели Ultralytics YOLO, для конкретных задач визуального распознавания. Например, модель, предварительно обученная на широком наборе данных COCO, может быть адаптирована с использованием PEFT для точного обнаружения объектов уникальных дефектов в контроле качества производства, выполнения специализированной сегментации изображений для анализа медицинских изображений или идентификации определенных видов животных в камерах-ловушках для охраны дикой природы. Платформы, такие как Ultralytics HUB, могут помочь в управлении этими адаптированными моделями и экспериментами.

По сути, Parameter-Efficient Fine-Tuning делает современные модели ИИ более универсальными и экономичными в адаптации, демократизируя доступ к мощным возможностям ИИ для широкого спектра конкретных приложений.