Batch Normalization

Batch Normalization, часто называемая BatchNorm, — это техника, используемая в deep learning (DL) для стабилизации и ускорения обучения artificial neural networks. Представленная для решения проблемы внутреннего ковариантного сдвига, при котором распределение входных данных для слоя непрерывно изменяется по мере обновления параметров предыдущих слоев, BatchNorm стандартизирует входные данные слоя для каждого мини-бача. Нормализуя входные данные слоя так, чтобы их среднее значение было равно нулю, а стандартное отклонение — единице, а затем масштабируя и сдвигая их с помощью обучаемых параметров, этот метод позволяет сетям использовать более высокие learning rates и снижает чувствительность к инициализации.

Как работает пакетная нормализация#

В стандартной Convolutional Neural Network (CNN) данные проходят через слои, где каждый слой выполняет преобразование. Без нормализации масштаб выходных значений может сильно варьироваться, что затрудняет для optimization algorithm поиск наилучших весов. Batch Normalization обычно применяется непосредственно перед activation function (например, ReLU или SiLU).

Процесс обучения включает два основных этапа:

1. Нормализация: Слой вычисляет среднее значение и дисперсию активаций в текущем batch size. Затем он вычитает среднее значение батча и делит на стандартное отклонение батча.

2. Масштабирование и смещение: чтобы сеть могла представлять сложные функции, вводятся два обучаемых параметра (гамма и бета). Они позволяют сети отменить нормализацию, если оптимальное распределение данных не является стандартным нормальным распределением.

Этот механизм действует как форма регуляризации, слегка снижая потребность в других техниках, таких как Dropout layers, путем добавления небольшого количества шума к активациям во время обучения.

Ключевые преимущества в обучении ИИ#

Интеграция Batch Normalization в такие архитектуры, как ResNet или современные детекторы объектов, дает несколько явных преимуществ:

• Более быстрая сходимость: Модели обучаются значительно быстрее, потому что нормализация предотвращает становление градиентов слишком малыми или слишком большими, эффективно борясь с проблемой vanishing gradient.
• Стабильность: Она делает сеть менее чувствительной к конкретному выбору начальных весов и hyperparameter tuning, делая процесс model training более надежным.
• Улучшенная генерализация: Сглаживая ландшафт оптимизации, BatchNorm помогает модели лучше обобщать данные на ранее не виденных test data.

Реальные приложения#

Batch Normalization является базовым элементом практически в каждой современной системе computer vision (CV).

1. Автономное вождение: В системах самоуправляемых автомобилей такие модели, как Ultralytics YOLO26, обрабатывают кадры видео для обнаружения пешеходов, транспортных средств и знаков. BatchNorm гарантирует, что слои object detection остаются стабильными независимо от изменений интенсивности освещения или погодных условий, поддерживая высокий mean average precision (mAP).

2. Медицинская визуализация: При выполнении tumor detection in medical imaging данные сканирования могут существенно различаться у разных аппаратов МРТ или КТ. BatchNorm помогает нормализовать эти признаки внутренне, позволяя искусственному интеллекту сосредоточиться на структурных аномалиях, а не на различиях в интенсивности пикселей, что повышает точность диагностики в healthcare AI solutions.

Пакетная нормализация против нормализации данных#

Полезно отличать Batch Normalization от стандартной data normalization.

• Нормализация данных — это шаг предварительной обработки, применяемый к исходному набору входных данных (например, изменение размера изображений и масштабирование значений пикселей до 0-1) до начала обучения. Для этого этапа часто используются такие инструменты, как Albumentations.
• Пакетная нормализация происходит внутри слоев нейронной сети во время самого процесса обучения. Она динамически корректирует внутренние значения сети по мере прохождения через нее данных.

Пример реализации#

Фреймворки глубокого обучения, такие как PyTorch, включают оптимизированные реализации Batch Normalization. В архитектурах Ultralytics YOLO эти слои автоматически интегрируются в блоки свертки.

Следующий фрагмент кода Python демонстрирует, как исследовать модель, чтобы увидеть, где слои BatchNorm2d расположены в архитектуре.

from ultralytics import YOLO

# Load the YOLO26n model (nano version)
model = YOLO("yolo26n.pt")

# Print the model structure to view layers
# You will see 'BatchNorm2d' listed after 'Conv2d' layers
print(model.model)

Понимание того, как взаимодействуют эти слои, помогает разработчикам при использовании Ultralytics Platform для дообучения моделей на пользовательских наборах данных, гарантируя, что обучение останется стабильным даже при ограниченном объеме данных.