Нормализация

Нормализация — это важная техника предварительной обработки данных в машинном обучении (ML) и искусственном интеллекте (AI). Она включает в себя преобразование числовых признаков набора данных к общему масштабу без искажения различий в их диапазонах. Этот процесс масштабирования жизненно важен для производительности и стабильности многих алгоритмов, особенно тех, которые чувствительны к величине входных значений, таких как методы оптимизации на основе градиента, используемые при обучении нейронных сетей (NN). Обеспечивая пропорциональный вклад всех признаков в процесс обучения модели, нормализация помогает ускорить обучение и повысить общую точность модели.

Почему важна нормализация?

Без нормализации признаки с большими масштабами могут доминировать в процессе обучения модели. Например, в наборе данных для прогнозирования цен на дома такой признак, как «площадь в квадратных футах» (например, 1000-3000), будет иметь гораздо больший диапазон, чем «количество спален» (например, 2-5). Это несоответствие может привести к тому, что такие алгоритмы, как градиентный спуск, будут дольше сходиться или застревать в локальных оптимумах. Нормализация смягчает это, приводя все признаки к единому уровню, что приводит к:

• Более быстрая сходимость: Модели обучаются быстрее, потому что алгоритм оптимизации может более эффективно перемещаться по ландшафту потерь.
• Улучшенная производительность: Это важно для алгоритмов, использующих меры расстояния, таких как k-ближайших соседей (k-NN), или для тех, которые основаны на обновлении градиента, таких как сверточные нейронные сети (CNN).
• Снижение риска численной нестабильности: Это помогает предотвратить такие проблемы, как взрывающиеся градиенты во время процесса обратного распространения.
• Согласованный вклад признаков: Это гарантирует, что ни один отдельный признак не оказывает непропорционального влияния на модель просто из-за его масштаба. Это ключевой аспект правильной разработки признаков.

Нормализация vs. Стандартизация vs. Пакетная нормализация

Несмотря на то, что нормализация и стандартизация часто используются как взаимозаменяемые понятия, это разные методы. Также важно отличать нормализацию данных от пакетной нормализации.

• Нормализация (Min-Max Scaling): Этот метод масштабирует данные до фиксированного диапазона, как правило. Он полезен, когда распределение данных не является гауссовским или когда алгоритм не предполагает какого-либо конкретного распределения. Это распространенный шаг в предварительной обработке данных.
• Стандартизация (Z-оценка нормализации): Этот метод масштабирует данные, чтобы иметь среднее значение 0 и стандартное отклонение 1. В отличие от min-max масштабирования, он не имеет границ диапазона. Стандартизация часто предпочтительнее, когда данные следуют гауссовскому распределению, и она менее подвержена выбросам.
• Пакетная нормализация: Это не шаг предварительной обработки данных, а слой, используемый внутри модели глубокого обучения. Он нормализует входы в слой для каждого мини-пакета во время обучения. Это помогает бороться с внутренним сдвигом ковариат, стабилизируя и ускоряя обучение глубоких сетей. Это стандартный компонент во многих современных архитектурах, включая модели Ultralytics YOLO, и реализован в таких фреймворках, как PyTorch и TensorFlow.

Применение нормализации

Нормализация является стандартной практикой в различных областях, особенно в компьютерном зрении (CV). Платформы, такие как Ultralytics HUB, оптимизируют рабочие процессы, где такая предварительная обработка необходима для обучения высокопроизводительных моделей.

• Предварительная обработка данных изображений: В компьютерном зрении изображения состоят из значений пикселей, которые обычно находятся в диапазоне от 0 до 255. Перед подачей изображения в модель для таких задач, как классификация изображений или обнаружение объектов, эти значения пикселей почти всегда нормализуются. Масштабирование их до диапазона [0, 1] или [-1, 1] обеспечивает согласованность всех изображений в наборе данных, что имеет решающее значение для таких моделей, как YOLO11, для эффективного изучения признаков.
• Анализ медицинских изображений: В таких областях, как ИИ в здравоохранении, медицинские сканы, такие как МРТ или КТ, часто поступают с разных аппаратов с различными настройками, что приводит к различным шкалам интенсивности. При использовании ИИ для обнаружения опухолей нормализация этих сканов является критически важным шагом. Это гарантирует, что анализ модели сопоставим для разных пациентов и оборудования, что приводит к более надежным и точным диагностическим прогнозам. Это фундаментальная концепция в анализе медицинских изображений.
• Прогнозное моделирование в финансах: При построении моделей для прогнозирования цен на акции или оценки кредитного риска наборы данных часто включают признаки с совершенно разными масштабами, такие как объем торгов (в миллионах) и отношение цены к прибыли (например, 10-50). Нормализация этих признаков необходима для алгоритмов, основанных на расстоянии, и гарантирует, что обучение на основе градиента не будет искажено признаками с большими значениями, что является обычной практикой в компьютерном зрении в финансах.