LoRA (Low-Rank Adaptation)

LoRA, или Low-Rank Adaptation (адаптация с низким рангом) — это высокоэффективный метод, используемый для адаптации больших, предварительно обученных моделей машинного обучения (ML) для конкретных задач без необходимости переобучения всей модели. Первоначально подробно описанный в статье исследователей Microsoft, LoRA стал краеугольным камнем Parameter-Efficient Fine-Tuning (PEFT) (тонкой настройки с эффективным использованием параметров). Он значительно снижает вычислительные затраты и требования к хранению, связанные с настройкой массивных моделей, таких как Large Language Models (LLMs) (большие языковые модели) и другие базовые модели.

Как работает LoRA

Вместо обновления миллиардов весов модели в предварительно обученной модели, LoRA замораживает их все. Затем она внедряет пару небольших, обучаемых матриц — называемых низкоранговыми адаптерами — в определенные слои модели, часто в механизм внимания архитектуры Transformer. Во время процесса обучения обновляются только параметры этих новых, гораздо меньших матриц. Основная идея заключается в том, что изменения, необходимые для адаптации модели к новой задаче, могут быть представлены гораздо меньшим количеством параметров, чем содержит исходная модель. Это использует принципы, аналогичные снижению размерности, для захвата важной информации для адаптации в компактной форме. После завершения обучения небольшой адаптер можно объединить с исходными весами или оставить отдельно для модульного переключения задач.

Применение в реальном мире

Эффективность LoRA делает его идеальным для широкого спектра приложений, особенно там, где требуется несколько пользовательских моделей.

• Настройка чат-ботов: Компания может взять мощную LLM общего назначения и использовать LoRA для ее обучения на своей внутренней базе знаний. Это создает специализированного чат-бота для обслуживания клиентов, который понимает терминологию, специфичную для компании, без огромных затрат на полную тонкую настройку.
• ИИ-искусство и перенос стиля: Художники и дизайнеры используют LoRA для адаптации генеративных моделей ИИ, таких как Stable Diffusion, к определенному художественному стилю. Обучая адаптер на небольшом наборе своих собственных изображений, они могут создавать новые произведения искусства, имитирующие их уникальную эстетику, что является популярной практикой на таких платформах, как Hugging Face.

LoRA и связанные концепции

Полезно отличать LoRA от других методов адаптации моделей:

• Полная донастройка: Этот метод обновляет все веса предварительно обученной модели на новом наборе данных. Хотя это часто эффективно, это требует значительных вычислительных ресурсов (GPU) и места для хранения каждой адаптированной модели. LoRA, напротив, замораживает исходные веса и обучает только небольшие, внедренные матрицы адаптера. Подробности можно найти в нашей статье глоссария о донастройке и в обзоре донастройки NVIDIA.
• Тонкая настройка промптов (Prompt Tuning): Этот метод полностью замораживает веса модели и вместо этого изучает непрерывные «мягкие промпты» (векторы, добавляемые к входным эмбеддингам), чтобы управлять поведением модели для конкретных задач. В отличие от LoRA, он не изменяет веса модели, а фокусируется исключительно на адаптации входного представления. Узнайте больше о тонкой настройке промптов и разработке промптов (prompt engineering).
• Другие методы PEFT: LoRA — это лишь один из методов в более широкой области тонкой настройки с эффективным использованием параметров (Parameter-Efficient Fine-Tuning, PEFT). Другие методы включают Adapter Tuning (аналогичная техника, но с несколько иной структурой адаптеров), Prefix Tuning и IA³, каждый из которых предлагает различные компромиссы в эффективности использования параметров и производительности. Эти методы обычно доступны в таких фреймворках, как библиотека Hugging Face PEFT.

В заключение, LoRA предоставляет мощный и ресурсоэффективный способ настройки больших предварительно обученных базовых моделей для широкого спектра конкретных задач как в обработке естественного языка (NLP), так и в компьютерном зрении, делая продвинутый ИИ более практичным и доступным. Этот подход позволяет легко управлять и развертывать множество специализированных моделей, процесс, упрощенный платформами, такими как Ultralytics HUB, для управления жизненным циклом моделей.