Размер партии

Размер партии - это фундаментальный гиперпараметр в машинном обучении, определяющий количество обучающих выборок, обрабатываемых перед обновлением внутренних параметров модели. Вместо того чтобы обрабатывать весь набор обучающих данных сразу, что может быть непомерно затратным с вычислительной точки зрения, данные делятся на более мелкие подмножества или "партии". Выбор размера партии - это критическое решение, которое напрямую влияет на динамику обучения модели, скорость обучения и конечную производительность. Он представляет собой компромисс между вычислительной эффективностью и точностью оценки градиента, используемой для обновления весов модели.

Роль размера партии в обучении модели

Во время обучения нейронная сеть (НС) обучается, регулируя свои веса в зависимости от допущенной ошибки. Эта корректировка осуществляется с помощью алгоритма оптимизации, например градиентного спуска. Размер партии определяет, сколько примеров "увидит" модель, прежде чем вычислит градиент и выполнит обновление весов.

• Стохастический градиентный спуск (СГС): Когда размер партии равен 1, процесс называется стохастическим градиентным спуском. Градиент вычисляется для каждой отдельной выборки, что приводит к частым, но шумным обновлениям.
• Пакетный градиентный спуск: Когда размер партии равен общему количеству образцов в обучающем наборе данных, это называется пакетным градиентным спуском. Он позволяет получить очень точную оценку градиента, но требует больших вычислительных затрат и много памяти.
• Мини-пакетный градиентный спуск: Это наиболее распространенный подход, при котором размер партии задается в диапазоне от 1 до общего размера набора данных (например, 32, 64, 128). Он предлагает баланс между стабильностью пакетного градиентного спуска и эффективностью стохастического градиентного спуска.

Выбор размера партии существенно влияет на процесс обучения. Больший размер партии обеспечивает более точную оценку градиента, но вычислительные затраты на каждое обновление выше. И наоборот, меньший размер партии приводит к менее точным оценкам градиента, но позволяет быстрее обновлять данные.

Выбор правильного размера партии

Поиск оптимального размера партии является важной частью настройки гиперпараметров и зависит от набора данных, архитектуры модели и доступного оборудования.

• Большие объемы партий: При одновременной обработке большого количества данных можно полностью использовать возможности параллельной обработки графических процессоров, что приводит к ускорению времени обучения за эпоху. Однако исследования показали, что очень большие партии иногда могут приводить к "разрыву обобщения", когда модель хорошо работает на обучающих данных, но плохо - на невидимых. Кроме того, они требуют значительного объема памяти, что может стать ограничивающим фактором.
• Небольшие размеры партии: Они требуют меньше памяти и часто приводят к лучшему обобщению модели, поскольку шум в обновлениях градиента может помочь модели избежать локальных минимумов и найти более надежное решение. Это может помочь предотвратить чрезмерную подгонку. Основной недостаток заключается в том, что обучение проходит медленнее, поскольку обновления весов происходят чаще и параллельно обрабатывается меньше данных.

Для многих приложений рекомендуется использовать размер партии, равный двум степеням мощности (например, 32, 64, 128, 256), поскольку он часто хорошо согласуется с архитектурой памяти GPU. Такие инструменты, как Ultralytics HUB, позволяют легко экспериментировать с различными размерами партий при обучении моделей.

Размер партии при обучении и выводе

Хотя размер партии является ключевым понятием в обучении, он также применяется в выводе, но с другой целью. При выводе результатов пакетная обработка используется для одновременной обработки нескольких входных данных (например, изображений или предложений) с целью максимизации производительности. Это часто называют пакетным выводом.

Для приложений, требующих немедленного получения результатов, например, для выводов в реальном времени в автономном транспортном средстве, используется размер партии 1, чтобы минимизировать задержку выводов. В автономных сценариях, например при обработке большой коллекции изображений за ночь, для повышения эффективности можно использовать больший размер партии.

Применение в реальном мире

1. Анализ медицинских изображений: При обучении модели YOLO11 для обнаружения опухолей на медицинских изображениях часто используются изображения высокого разрешения. Из-за нехватки памяти на GPU обычно используется небольшой размер партии (например, 4 или 8). Это позволяет обучать модель на данных с высокой детализацией без превышения доступного объема памяти, обеспечивая стабильное обучение.
2. Контроль качества на производстве: При использовании ИИ в производстве модель может быть обучена выявлять дефекты на сборочной линии. При большом наборе данных, состоящем из миллионов изображений изделий, на мощном распределенном обучающем кластере можно использовать больший размер партии (например, 256 или 512). Это ускоряет процесс обучения, позволяя ускорить итерации модели и ее развертывание.

Размер партии в сравнении со смежными терминами

Важно отличать размер партии от других связанных с ним понятий:

• Размер партии в сравнении с эпохой и итерацией: Итерация - это одно обновление весов модели. An эпоха это один полный проход по всему обучающему набору данных. Количество итераций в эпохе - это общее количество обучающих образцов, деленное на размер партии.
• Размер партии по сравнению с нормализацией партии: Пакетная нормализация (BatchNorm) - это метод, используемый в слое нейронной сети для стандартизации входных данных для каждой мини-партии. Хотя ее эффективность может зависеть от размера партии (она лучше работает с большими партиями), она является отдельным слоем в архитектуре модели, а не параметром цикла обучения. Большинство современных фреймворков глубокого обучения, таких как PyTorch и TensorFlow, предоставляют надежные реализации.