Neural Scaling Laws

Законы масштабирования нейросетей — это эмпирические зависимости, описывающие, как меняется производительность нейросети при увеличении размера модели, объёма обучающих данных и вычислительных затрат. Обычно эти зависимости подчиняются степенным законам: увеличение ресурса в фиксированное число раз приводит к предсказуемому пропорциональному снижению ошибки до некоторого предела. Благодаря этому законы масштабирования помогают оценивать пользу более длительного обучения и решать, как распределить вычислительный бюджет.

В ИИ термин законы масштабирования часто используют как синоним законов масштабирования нейросетей. Масштабируемость описывает способность системы эффективно справляться с растущими рабочими нагрузками.

Как работают законы масштабирования нейросетей#

Большинство анализов масштабирования в процессе обучения строится вокруг трёх величин:

• Размер модели: количество обучаемых параметров, включая веса модели, определяет способность сети представлять закономерности.
• Обучающие данные: объём обучающих данных определяет количество примеров, на которых сеть учится выявлять закономерности. Объём наборов данных для языковых моделей обычно измеряют в токенах — единицах текста, которые обрабатывает модель.
• Вычисления при обучении: общий объём арифметических операций, выполненных во время обучения, измеряется в операциях с плавающей точкой, обычно обозначаемых FLOPs.

Эти ресурсы взаимосвязаны: увеличение ёмкости модели влияет на то, какой объём данных и вычислений при обучении можно использовать с пользой. Подобранная зависимость масштабирования связывает совместное распределение этих ресурсов с ожидаемой функцией потерь — численной оценкой ошибки, измеряемой с помощью функции потерь.

Кривая степенного закона выглядит приблизительно прямой, если обе оси представлены в логарифмическом масштабе. Её показатель степени описывает, как быстро уменьшается ошибка при добавлении ресурсов. Небольшие эксперименты позволяют построить эту кривую и спрогнозировать результаты более масштабных запусков. В 2017 году Джоэл Хестнесс и его коллеги показали, что ошибка предсказуемо масштабируется по степенному закону в задачах обработки языка, компьютерного зрения, машинного перевода и распознавания речи.

Джаред Каплан, Сэм Маккэндлиш и их коллеги описали широко используемые зависимости для языковых моделей в статье 2020 года Scaling Laws for Neural Language Models. В их экспериментах перекрёстная энтропия трансформера зависела от количества параметров, объёма данных и вычислительных ресурсов; некоторые закономерности сохранялись на диапазоне более семи порядков величины.

Обучение с оптимальным использованием вычислительных ресурсов и масштабирование Chinchilla#

Обучение с оптимальным использованием вычислительных ресурсов — это выбор сочетания размера модели и длительности обучения, которое обеспечивает наименьшие потери при фиксированном бюджете обучения. Более крупная модель требует больше вычислений на каждый токен, поэтому в рамках того же бюджета на обработку остаётся меньше токенов.

В 2022 году Джордан Хоффманн и его коллеги предложили влиятельное правило распределения ресурсов Chinchilla: по мере роста вычислительных ресурсов количество параметров модели и обучающих токенов должно увеличиваться примерно одинаково. В экспериментах исследователи использовали более 400 языковых моделей. Оптимальное распределение вычислений по правилу Chinchilla позволило создать модель с 70 миллиардами параметров, которая превзошла Gopher с 280 миллиардами параметров при одинаковом бюджете вычислительных ресурсов на обучение.

На практике чрезмерное выделение вычислительных ресурсов на параметры приводит к недостаточному обучению модели. Баланс между ёмкостью модели и объёмом данных позволяет добиться лучших результатов при том же бюджете вычислений. При развертывании возникает ещё один фактор: для инференса небольшим моделям требуется меньше вычислений, поэтому распределение ресурсов на обучение также влияет на стоимость получения предсказаний.

Применение в компьютерном зрении#

В компьютерном зрении анализ масштабирования связывает ёмкость модели, наборы изображений, вычислительные затраты на обучение и качество предсказаний. Такой анализ помогает решить, стоит ли расширить набор данных или увеличить размер сети.

Эксперименты по масштабированию визуальных трансформеров Google выявили взаимосвязи между ошибкой, объёмом данных и вычислительными ресурсами. Полученный в результате двухмиллиардный визуальный трансформер достиг точности top-1 90,45 % на ImageNet, продемонстрировав практическую ценность согласованного масштабирования для классификации изображений.

Ultralytics YOLO реализует масштабирование архитектуры с помощью вариантов YOLO26 разных размеров, предоставляя пользователям модели разной ёмкости с разными вычислительными требованиями для обнаружения объектов. При разрешении входных данных 640 пикселей на COCO YOLO26n имеет 2,4 миллиона параметров и показатель mAP50–95 40,9, а YOLO26x — 55,7 миллиона параметров и показатель mAP50–95 57,5, то есть на 16,6 пункта выше.

Почему темпы масштабирования различаются#

Показатели масштабирования зависят от задачи, структуры данных и метода обучения. Модель со случайными признаками — пример, который можно решить математически: она преобразует входные данные в фиксированные нелинейные признаки и обучает веса выходного слоя. В 2022 году Александр Мэлони, Дэниел Робертс и Джеймс Салли использовали такую модель, чтобы объяснить, как статистика набора данных приводит к степенному закону тестовых потерь и последующему выходу производительности на плато.

Обучение признаков изменяет сами внутренние представления во время обучения. Оно отличается от фиксированного извлечения признаков, при котором представления остаются неизменными. Блейк Борделон, Александр Атанасов и Ченгиз Пехлеван показали, как обучение признаков улучшает масштабирование для сложных задач: в их модели, которую можно решить математически, адаптация признаков примерно вдвое увеличивает показатель масштабирования по вычислительным ресурсам для очень сложных целевых функций.