QLoRA

QLoRA (квантованная низкоранговая адаптация) — это передовой метод оптимизации, используемый в глубоком обучении, призванный сделать тонкую настройку больших языковых моделей (LLMs) чрезвычайно эффективной. Впервые представленный в широко цитируемой исследовательской статье на arXiv, QLoRA значительно снижает требования к памяти GPU, необходимые для обновления моделей, содержащих миллиарды параметров.

Благодаря агрессивному квантованию моделей до 4-битной точности разработчики теперь могут оптимизировать мощные базовые модели, изначально созданные такими организациями, как OpenAI или Anthropic, используя стандартные потребительские GPU. Этот прорыв открывает доступ к передовым технологиям генеративного ИИ без необходимости в дорогостоящих серверных кластерах корпоративного уровня.

Как работает QLoRA#

Ключевая инновация QLoRA заключается в методах экономии памяти, основанных главным образом на фундаментальных концепциях, представленных в методологиях квантования PyTorch. В рамках этого подхода вводится новый тип данных — 4-битный NormalFloat (NF4), математически оптимизированный для работы с нормально распределёнными весами модели без существенного ухудшения её способности к прогнозированию.

Кроме того, QLoRA использует стратегию, известную как двойное квантование, — метод, признанный в более широких исследованиях машинного обучения, при котором квантуются сами константы квантования, что ещё сильнее сокращает ненужное использование памяти. В то время как огромная предварительно обученная базовая модель остаётся замороженной в сжатом 4-битном состоянии, в слои сети добавляются небольшие обучаемые адаптеры. Когда во время обратного распространения ошибки при обучении нейронной сети вычисляются градиенты, они проходят через замороженные 4-битные веса и обновляют только эти небольшие высокоэффективные адаптеры.

QLoRA и LoRA: разбираемся в различиях#

При изучении тонкой настройки с эффективным использованием параметров (PEFT) пользователи часто задаются вопросом, чем QLoRA отличается от традиционной LoRA (низкоранговой адаптации). Стандартная LoRA замораживает исходные веса модели и обучает низкоранговые матрицы, чтобы адаптировать модель к новым данным. Однако базовая модель при этом обычно сохраняется с 16- или 32-битной точностью. QLoRA делает следующий важный шаг: сжимает базовую модель до 4-битной точности до применения адаптеров LoRA. Это значительно уменьшает объём занимаемой памяти и позволяет разместить модель со 65 миллиардами параметров на одной GPU объёмом 48 ГБ — результат, математически недостижимый при использовании стандартной LoRA.

Практические применения#

• Корпоративные чат-боты и ассистенты: Компании регулярно используют QLoRA для тонкой настройки моделей с открытым исходным кодом, таких как Llama 3 от Meta, на собственных бизнес-данных. Это позволяет организациям создавать высокоточные специализированные ИИ-ассистенты, работающие в локальной защищённой инфраструктуре облачных вычислений без чрезмерных затрат на оборудование.
• Развёртывание ИИ на периферийных устройствах: По мере того как текстовые модели переходят в визуальные области благодаря мультимодальным моделям «зрение — язык» (VLMs), QLoRA позволяет разработчикам адаптировать масштабные мультимодальные архитектуры для сред с ограниченными аппаратными ресурсами. Эти облегчённые методы оптимизации активно используются исследовательскими командами Google AI, чтобы переносить передовые возможности рассуждения на мобильные телефоны и удалённые датчики.

Эффективное обучение в компьютерном зрении#

Основная философия QLoRA — максимальная математическая точность при минимальных требованиях к оборудованию — разделяется современными рабочими процессами в области компьютерного зрения (CV). Например, Ultralytics YOLO26 изначально разработана для эффективного обучения и мгновенного развёртывания на периферийных устройствах с низким энергопотреблением. Разработчики, работающие со сложными наборами данных для компьютерного зрения, могут использовать Ultralytics Platform для удобного обучения в облаке, где оптимизация памяти и размера пакета выполняется автоматически.

Ниже приведён практический пример обучения эффективной модели компьютерного зрения с использованием автоматической смешанной точности (AMP) — концепции, тесно связанной с целями QLoRA по экономии памяти:

from ultralytics import YOLO

# Load the highly efficient Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Train the model utilizing mixed-precision (amp) to save GPU memory
# Similar to QLoRA, this optimizes hardware resources during training runs
results = model.train(data="coco8.yaml", epochs=10, imgsz=640, amp=True)

Благодаря надёжной обработке данных и алгоритмам автоматического масштабирования градиентов модели обучаются быстрее и легко помещаются на стандартных GPU, ускоряя процесс успешного развёртывания моделей компьютерного зрения в корпоративных производственных средах.