Parameter-Efficient Fine-Tuning (PEFT)

Дообучение с эффективным использованием параметров (PEFT) — это продвинутая стратегия оптимизации в машинном обучении (ML), которая позволяет адаптировать большие предварительно обученные модели под конкретные задачи с минимальными вычислительными затратами. По мере того как современные базовые модели разрослись до миллиардов параметров, традиционные методы обучения, при которых обновляются все веса сети, стали чрезмерно дорогими с точки зрения аппаратных ресурсов и энергопотребления. PEFT решает эту проблему, замораживая подавляющее большинство весов модели, предварительно обученной, и обновляя лишь небольшое подмножество параметров либо добавляя легковесные адаптерные слои. Такой подход снижает порог входа и позволяет разработчикам получать результаты уровня state-of-the-art на GPU потребительского класса без промышленных центров обработки данных.

Механика эффективности#

В основе PEFT лежит принцип переноса обучения, при котором модель использует представления признаков, изученные на огромных общедоступных наборах данных, таких как ImageNet, для решения новых задач. В стандартном рабочем процессе адаптация модели может включать «полное дообучение», при котором обратное распространение ошибки корректирует каждый параметр в нейронной сети.

Методы PEFT, такие как адаптация низкого ранга (LoRA), используют другой подход. Они оставляют тяжёлую «магистраль» модели неизменной, сохраняя её общие знания, и добавляют небольшие обучаемые матрицы в определённые слои. Это предотвращает катастрофическое забывание — явление, при котором модель утрачивает исходные возможности во время изучения новой информации. Сокращая количество обучаемых параметров до 99%, PEFT значительно уменьшает требования к хранилищу и позволяет заменять адаптеры для разных задач в одной базовой модели во время вывода в реальном времени.

Практические применения#

PEFT особенно ценен в отраслях, где периферийные вычисления и конфиденциальность данных имеют первостепенное значение.

• AI в сельском хозяйстве: Стартапы в сфере агротехнологий часто устанавливают модели на дронах с ограниченным временем работы от батареи и вычислительной мощностью. Используя PEFT, инженеры могут взять высокоэффективную модель, например YOLO26, и дообучить её для обнаружения конкретных региональных вредителей, таких как американская совка, на небольшом пользовательском наборе данных. Благодаря заморозке магистрали обучение можно быстро выполнить на ноутбуке, а итоговая модель остаётся достаточно лёгкой для обработки непосредственно на борту.
• AI в здравоохранении: В анализе медицинских изображений размеченные данные часто встречаются редко и обходятся дорого. Больницы используют PEFT, чтобы адаптировать универсальные модели компьютерного зрения для выявления аномалий на МРТ-снимках. Поскольку базовые параметры заморожены, модель менее склонна к переобучению на небольшом наборе данных, что обеспечивает надёжную диагностику и сохраняет конфиденциальность данных пациентов.

Реализация замороженных слоёв с помощью Ultralytics#

В экосистеме Ultralytics эффективность параметров часто достигается за счёт «заморозки» начальных слоёв сети. Это гарантирует, что устойчивые экстракторы признаков останутся неизменными, а под новые классы будут адаптироваться только голова или последующие слои. Это практическая реализация принципов PEFT для обнаружения объектов.

В следующем примере показано, как обучить модель Ultralytics YOLO26, заморозив первые 10 слоёв магистрали, чтобы сэкономить вычислительные ресурсы:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Командам, стремящимся масштабировать этот процесс, Ultralytics Platform предлагает единый интерфейс для управления наборами данных, автоматизации разметки и мониторинга таких эффективных запусков обучения из облака.

Отличия PEFT от связанных концепций#

Чтобы выбрать правильную стратегию адаптации модели, полезно отличать PEFT от похожих терминов:

• Дообучение: Этот процесс, часто называемый «полным дообучением», обновляет все параметры модели. Хотя он обеспечивает максимальную пластичность, он требует больших вычислительных ресурсов и сохранения полной копии модели для каждой задачи. PEFT — это подкатегория дообучения, ориентированная на эффективность.
• Проектирование промптов: Оно заключается в составлении текстовых входных данных для управления выводом модели без изменения каких-либо внутренних весов. PEFT, напротив, математически изменяет подмножество весов или адаптеров, чтобы навсегда изменить способ обработки данных моделью.
• Дистилляция знаний: Этот метод обучает небольшую модель-ученика имитировать большую модель-учителя. Хотя в результате получается эффективная модель, дистилляция является методом сжатия, тогда как PEFT — это метод адаптации, используемый для обучения существующей модели новым навыкам.

Демократизируя доступ к высокопроизводительному AI, PEFT позволяет разработчикам создавать специализированные инструменты для автономных транспортных средств и умного производства без необходимости в инфраструктуре суперкомпьютерного уровня.