Batch Size (Размер пакета)

Размер пакета (batch size) — это фундаментальный гиперпараметр в машинном обучении, который определяет количество обучающих примеров, обрабатываемых до обновления внутренних параметров модели. Вместо обработки всего набора обучающих данных сразу, что может быть вычислительно непомерно, данные делятся на более мелкие подмножества или "пакеты". Выбор размера пакета является критически важным решением, которое напрямую влияет на динамику обучения модели, скорость обучения и конечную производительность. Он представляет собой компромисс между вычислительной эффективностью и точностью оценки градиента, используемой для обновления весов модели.

Роль размера пакета в обучении модели

Во время обучения нейронная сеть (NN) учится, корректируя свои веса на основе ошибок, которые она совершает. Эта корректировка направляется алгоритмом оптимизации, таким как градиентный спуск. Размер батча определяет, сколько примеров модель "видит", прежде чем вычислить градиент и выполнить обновление весов.

• Стохастический градиентный спуск (SGD): Когда размер пакета равен 1, процесс называется стохастическим градиентным спуском. Градиент вычисляется для каждого отдельного образца, что приводит к частым, но зашумленным обновлениям.
• Пакетный градиентный спуск: Когда размер пакета равен общему количеству выборок в наборе обучающих данных, это называется пакетным градиентным спуском. Это обеспечивает очень точную оценку градиента, но требует больших вычислительных затрат и больших объемов памяти.
• Mini-Batch Gradient Descent (мини-пакетный градиентный спуск): Это наиболее распространенный подход, при котором размер пакета устанавливается в значение между 1 и общим размером набора данных (например, 32, 64, 128). Он обеспечивает баланс между стабильностью пакетного градиентного спуска и эффективностью стохастического градиентного спуска.

Выбор размера пакета существенно влияет на процесс обучения. Больший размер пакета обеспечивает более точную оценку градиента, но вычислительные затраты на каждое обновление выше. И наоборот, меньший размер пакета приводит к менее точным оценкам градиента, но позволяет выполнять более быстрые обновления.

Выбор правильного размера пакета

Поиск оптимального размера пакета является важной частью настройки гиперпараметров и зависит от набора данных, архитектуры модели и доступного оборудования.

• Большие размеры пакетов: Обработка большего количества данных за раз может в полной мере использовать возможности параллельной обработки GPU, что приводит к более быстрому времени обучения на эпоху. Однако исследования показали, что очень большие пакеты иногда могут приводить к «разрыву обобщения», когда модель хорошо работает на обучающих данных, но плохо на невидимых данных. Они также требуют значительного объема памяти, что может быть ограничивающим фактором.
• Небольшие размеры пакетов: Они требуют меньше памяти и часто приводят к лучшему обобщению модели, поскольку шум в обновлениях градиента может помочь модели избежать локальных минимумов и найти более надежное решение. Это может помочь предотвратить переобучение. Основным недостатком является то, что обучение происходит медленнее, поскольку обновления весов происходят чаще и параллельно обрабатывается меньше данных.

Для многих приложений рекомендуются размеры пакетов, являющиеся степенями двойки (например, 32, 64, 128, 256), поскольку они часто хорошо согласуются с архитектурой памяти GPU. Такие инструменты, как Ultralytics HUB, позволяют легко экспериментировать с различными размерами пакетов при обучении моделей.

Размер пакета при обучении и выводе

Хотя размер пакета является основной концепцией в обучении, он также применяется к выводу, но с другой целью. Во время вывода пакетирование используется для одновременной обработки нескольких входных данных (например, изображений или предложений) для максимального увеличения пропускной способности. Это часто называют пакетным выводом.

Для приложений, требующих немедленных результатов, таких как вывод в реальном времени в автономном транспортном средстве, используется размер пакета, равный 1, чтобы минимизировать задержку вывода. В автономных сценариях, таких как обработка большого набора изображений в течение ночи, для повышения эффективности можно использовать больший размер пакета.

Применение в реальном мире

1. Анализ медицинских изображений: При обучении модели YOLO11 для обнаружения опухолей на медицинских изображениях изображения часто имеют высокое разрешение. Из-за ограничений памяти на графическом процессоре обычно используется небольшой размер пакета (например, 4 или 8). Это позволяет обучать модель на данных с высокой детализацией, не превышая доступную память, обеспечивая стабильное обучение.
2. Контроль качества производства: В условиях применения ИИ в производстве модель может быть обучена для обнаружения дефектов на сборочной линии. С большим набором данных, содержащим миллионы изображений продукции, можно использовать больший размер пакета (например, 256 или 512) на мощном кластере распределенного обучения. Это ускоряет процесс обучения, позволяя быстрее итерировать и развертывать модель.

Размер пакета в сравнении со смежными терминами

Важно отличать размер пакета (batch size) от других связанных концепций:

• Размер пакета в сравнении с эпохой и итерацией: Итерация — это одно обновление весов модели. Эпоха — это один полный проход по всему набору обучающих данных. Количество итераций в эпоху — это общее количество обучающих выборок, разделенное на размер пакета.
• Размер пакета и пакетная нормализация: Пакетная нормализация (BatchNorm) — это метод, используемый внутри слоя нейронной сети для стандартизации входов для каждого мини-пакета. Хотя на ее эффективность может влиять размер пакета (она лучше работает с большими пакетами), это отдельный слой в архитектуре модели, а не параметр цикла обучения. Большинство современных фреймворков глубокого обучения, таких как PyTorch и TensorFlow, предоставляют надежные реализации.