Нормализация

Нормализация - важнейший метод предварительной обработки данных в машинном обучении (ML) и искусственном интеллекте (AI). Она заключается в преобразовании числовых характеристик набора данных к единой шкале без искажения различий в их диапазонах. Этот процесс масштабирования жизненно важен для производительности и стабильности многих алгоритмов, особенно тех, которые чувствительны к величине входных значений, например, градиентных методов оптимизации, используемых при обучении нейронных сетей (НС). Обеспечивая пропорциональный вклад всех признаков в процесс обучения модели, нормализация помогает ускорить обучение и повысить общую точность модели.

Почему нормализация важна?

Без нормализации признаки с большими масштабами могут доминировать в процессе обучения модели. Например, в наборе данных для прогнозирования цен на жилье такой признак, как "площадь" (например, 1000-3000), будет иметь гораздо больший диапазон, чем "количество спален" (например, 2-5). Такое расхождение может привести к тому, что алгоритмы, подобные градиентному спуску, будут сходиться дольше или застрянут в локальном оптимуме. Нормализация смягчает эту проблему, ставя все признаки в равные условия, что приводит к:

• Более быстрая конвергенция: Модели обучаются быстрее, потому что алгоритм оптимизации может более эффективно перемещаться по ландшафту потерь.
• Улучшение производительности: Это важно для алгоритмов, использующих меры расстояния, таких как k-Nearest Neighbors (k-NN), или алгоритмов, основанных на градиентном обновлении, таких как конволюционные нейронные сети (CNN).
• Снижение риска численных нестабильностей: Помогает предотвратить такие проблемы, как взрыв градиентов в процессе обратного распространения.
• Последовательный вклад характеристик: Это гарантирует, что ни одна особенность не будет оказывать непропорционально большое влияние на модель только из-за своего масштаба. Это ключевой аспект правильного проектирования элементов.

Нормализация по сравнению со стандартизацией по сравнению с нормализацией партии

Хотя эти понятия часто используются как взаимозаменяемые, нормализация и стандартизация - это разные техники. Также важно отличать нормализацию данных от пакетной нормализации.

• Нормализация (Min-Max Scaling): Эта техника масштабирует данные, как правило, к фиксированному диапазону. Она полезна, когда распределение данных не является гауссовым или когда алгоритм не предполагает какого-либо конкретного распределения. Это обычный шаг в предварительной обработке данных.
• Стандартизация (нормализация Z-score): Этот метод позволяет изменить масштаб данных так, чтобы среднее значение было равно 0, а стандартное отклонение - 1. В отличие от масштабирования по минимуму и максимуму, он не имеет ограничивающего диапазона. Стандартизация часто предпочтительна, когда данные имеют гауссово распределение, и на нее меньше влияют выбросы.
• Пакетная нормализация: Это не этап предварительной обработки данных, а слой, используемый в модели глубокого обучения. Он нормализует входы слоя для каждой мини-партии во время обучения. Это помогает бороться с внутренним смещением ковариаций, стабилизируя и ускоряя обучение глубоких сетей. Это стандартный компонент многих современных архитектур, включая модели Ultralytics YOLO, и он реализован в таких фреймворках, как PyTorch и TensorFlow.

Применение нормализации

Нормализация является стандартной практикой в различных областях, особенно в компьютерном зрении (КЗ). Платформы, подобные Ultralytics HUB, упрощают рабочие процессы, в которых такая предварительная обработка необходима для обучения высокопроизводительных моделей.

• Предварительная обработка данных изображения: В компьютерном зрении изображения состоят из значений пикселей, которые обычно находятся в диапазоне от 0 до 255. Перед подачей изображения в модель для таких задач, как классификация изображений или обнаружение объектов, эти значения пикселей почти всегда нормализуются. Приведение их к диапазону [-1, 1] обеспечивает согласованность всех изображений в наборе данных, что очень важно для эффективного изучения признаков такими моделями, как YOLO11.
• Анализ медицинских изображений: В таких областях, как искусственный интеллект в здравоохранении, медицинские снимки, такие как МРТ или КТ, часто поступают с разных аппаратов с различными настройками, что приводит к разным шкалам интенсивности. При использовании ИИ для обнаружения опухолей нормализация этих снимков является важным шагом. Она гарантирует, что анализ модели будет сопоставим для разных пациентов и оборудования, что приведет к более надежным и точным диагностическим прогнозам. Это фундаментальная концепция анализа медицинских изображений.
• Предсказательное моделирование в финансах: При построении моделей для прогнозирования цен на акции или оценки кредитного риска наборы данных часто включают признаки с сильно различающимися масштабами, например объем торгов (в миллионах) и отношение цены к прибыли (например, 10-50). Нормализация этих признаков необходима для алгоритмов, основанных на расстоянии, и гарантирует, что градиентное обучение не будет перекошено признаками с большими значениями, что является распространенной практикой в компьютерном зрении в финансовой сфере.