Batch Normalization

Пакетная нормализация (Batch Normalization), часто называемая BatchNorm, — это метод, используемый в глубинном обучении (DL) для стабилизации и ускорения обучения искусственных нейронных сетей. Разработанный для решения проблемы внутреннего ковариационного сдвига — когда распределение входных данных слоя постоянно меняется по мере обновления параметров предыдущих слоев, — BatchNorm стандартизирует входные данные слоя для каждого мини-пакета. Нормализуя входные данные слоя так, чтобы их среднее значение было равно нулю, а стандартное отклонение — единице, а затем масштабируя и смещая их с помощью обучаемых параметров, этот метод позволяет сетям использовать более высокие скорости обучения (learning rates) и снижает чувствительность к инициализации.

Link to this sectionКак работает пакетная нормализация#

В стандартной сверточной нейронной сети (CNN) данные проходят через слои, где каждый слой выполняет преобразование. Без нормализации масштаб выходных значений может сильно варьироваться, что затрудняет для алгоритма оптимизации поиск наилучших весов. Пакетная нормализация обычно применяется непосредственно перед функцией активации (например, ReLU или SiLU).

Процесс обучения включает два основных этапа:

1. Нормализация: слой вычисляет среднее значение и дисперсию активаций в текущем размере пакета (batch size). Затем он вычитает среднее значение пакета и делит на стандартное отклонение пакета.

2. Масштабирование и смещение: чтобы сеть могла представлять сложные функции, вводятся два обучаемых параметра (гамма и бета). Они позволяют сети отменить нормализацию, если оптимальное распределение данных не является стандартным нормальным распределением.

Этот механизм действует как форма регуляризации, слегка снижая потребность в других методах, таких как слои Dropout, за счет добавления небольшого количества шума к активациям во время обучения.

Link to this sectionКлючевые преимущества в обучении ИИ#

Интеграция пакетной нормализации в архитектуры, такие как ResNet или современные детекторы объектов, дает несколько существенных преимуществ:

• Более быстрая сходимость: модели обучаются значительно быстрее, так как нормализация предотвращает превращение градиентов в слишком малые или слишком большие значения, эффективно борясь с проблемой исчезающего градиента.
• Стабильность: это делает сеть менее чувствительной к конкретному выбору начальных весов и настройке гиперпараметров, что делает процесс обучения модели более надежным.
• Улучшенная обобщающая способность: сглаживая ландшафт оптимизации, BatchNorm помогает модели лучше обобщать данные на невидимых тестовых данных.

Link to this sectionРеальные приложения#

Пакетная нормализация является основным элементом практически в каждой современной системе компьютерного зрения (CV).

1. Автономное вождение: в системах самоуправляемых автомобилей модели, такие как Ultralytics YOLO26, обрабатывают видеокадры для обнаружения пешеходов, транспортных средств и знаков. BatchNorm гарантирует, что слои обнаружения объектов остаются стабильными независимо от изменений интенсивности освещения или погодных условий, поддерживая высокую среднюю точность (mAP).

2. Медицинская визуализация: при выполнении обнаружения опухолей в медицинской визуализации данные сканирования могут значительно различаться между разными аппаратами МРТ или КТ. BatchNorm помогает нормализовать эти признаки внутренне, позволяя ИИ сосредоточиться на структурных аномалиях, а не на различиях в интенсивности пикселей, что повышает точность диагностики в решениях ИИ для здравоохранения.

Link to this sectionПакетная нормализация против нормализации данных#

Полезно отличать пакетную нормализацию от стандартной нормализации данных.

• Нормализация данных — это этап предварительной обработки, применяемый к необработанному набору входных данных (например, изменение размера изображений и масштабирование значений пикселей до 0–1) перед началом обучения. Инструменты вроде Albumentations часто используются на этом этапе.
• Пакетная нормализация происходит внутри слоев нейронной сети во время самого процесса обучения. Она динамически корректирует внутренние значения сети по мере прохождения через нее данных.

Link to this sectionПример реализации#

Фреймворки глубокого обучения, такие как PyTorch, включают оптимизированные реализации пакетной нормализации. В архитектурах Ultralytics YOLO эти слои автоматически интегрированы в сверточные блоки.

Следующий фрагмент кода на Python демонстрирует, как проверить модель, чтобы увидеть, где расположены слои BatchNorm2d внутри архитектуры.

from ultralytics import YOLO

# Load the YOLO26n model (nano version)
model = YOLO("yolo26n.pt")

# Print the model structure to view layers
# You will see 'BatchNorm2d' listed after 'Conv2d' layers
print(model.model)

Понимание того, как взаимодействуют эти слои, помогает разработчикам при использовании Ultralytics Platform для дообучения моделей на пользовательских наборах данных, обеспечивая стабильность обучения даже при ограниченном объеме данных.