Regularization

Регуляризация — это набор методов, используемых в машинном обучении, чтобы не допустить чрезмерного усложнения моделей и улучшить их способность обобщать данные на новые, ранее не встречавшиеся примеры. В процессе обучения модель стремится минимизировать свою ошибку, часто изучая сложные закономерности в обучающих данных. Однако без ограничений модель может начать запоминать шум и выбросы — эту проблему называют переобучением. Регуляризация решает эту проблему, добавляя штраф к функции потерь модели, фактически препятствуя появлению экстремальных значений параметров и заставляя алгоритм изучать более плавные и устойчивые закономерности.

Основные концепции и методы#

Принцип регуляризации часто сравнивают с бритвой Оккама, согласно которой простейшее решение обычно является правильным. Ограничивая модель, разработчики добиваются того, чтобы она сосредоточилась на наиболее значимых признаках данных, а не на случайных корреляциях.

Для реализации регуляризации в современных фреймворках глубокого обучения используются несколько распространённых методов:

• Регуляризация L1 и L2: Эти методы добавляют штрафной член, зависящий от величины весов модели. Регуляризация L2, также известная как гребневая регрессия или затухание весов, сильно штрафует большие веса, побуждая делать их небольшими и распределёнными. Регуляризация L1, или лассо-регрессия, может обнулять некоторые веса, фактически выполняя отбор признаков.
• Dropout: Этот метод специально применяется в нейронных сетях: слой dropout случайным образом деактивирует определённый процент нейронов во время обучения. Это заставляет сеть формировать избыточные пути для распознавания признаков, не позволяя одному нейрону стать узким местом при выполнении конкретного предсказания.
• Аугментация данных: Хотя это в первую очередь этап предварительной обработки, аугментация данных выступает мощным средством регуляризации. Искусственно расширяя набор данных изменёнными версиями изображений (повороты, отражения, изменения цветов), ты подвергаешь модель воздействию большего разнообразия данных и не позволяешь ей запоминать исходные статичные примеры.
• Ранняя остановка: Этот метод предполагает мониторинг производительности модели на валидационных данных во время обучения. Если ошибка на валидации начинает расти, а ошибка на обучении снижается, процесс останавливается, чтобы модель не училась на шуме.

Практические применения#

Регуляризация незаменима при развертывании надёжных систем ИИ в различных отраслях с высокой вариативностью данных.

1. Автономное вождение: В решениях на основе ИИ для автомобильной отрасли модели компьютерного зрения должны обнаруживать пешеходов и дорожные знаки в разнообразных погодных условиях. Без регуляризации модель может запомнить определённые условия освещения из обучающего набора и не справиться в реальном мире. Такие методы, как затухание весов, обеспечивают хорошее обобщение системы обнаружения на дождь, туман и блики, что критически важно для безопасности автономных транспортных средств.

2. Медицинская визуализация: При выполнении анализа медицинских изображений наборы данных часто ограничены по размеру из-за требований к конфиденциальности или редкости заболеваний. Здесь переобучение представляет значительный риск. Методы регуляризации помогают моделям, обученным обнаруживать аномалии на рентгеновских снимках или МРТ, сохранять точность на данных новых пациентов, способствуя улучшению диагностических результатов в ИИ для здравоохранения.

Реализация на Python#

Современные библиотеки упрощают применение регуляризации с помощью гиперпараметров. В следующем примере показано, как применять dropout и weight_decay при обучении модели YOLO26.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train with regularization hyperparameters
# 'dropout' adds randomness, 'weight_decay' penalizes large weights to prevent overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

Управлять этими экспериментами и отслеживать влияние различных значений регуляризации на производительность можно с помощью Ultralytics Platform, которая предоставляет инструменты для журналирования и сравнения запусков обучения.

Регуляризация и связанные понятия#

Полезно отличать регуляризацию от других терминов, связанных с оптимизацией и предварительной обработкой:

• Регуляризация и нормализация: Нормализация предполагает масштабирование входных данных до стандартного диапазона для ускорения сходимости. Хотя такие методы, как пакетная нормализация, могут оказывать небольшой регуляризующий эффект, их основная цель — стабилизация динамики обучения, тогда как регуляризация явно штрафует сложность.
• Регуляризация и настройка гиперпараметров: Параметры регуляризации, такие как коэффициент dropout или штраф L2, сами являются гиперпараметрами. Настройка гиперпараметров — это более широкий процесс поиска оптимальных значений этих параметров, часто для балансировки компромисса между смещением и дисперсией.
• Регуляризация и ансамблевое обучение: Ансамблевые методы объединяют предсказания нескольких моделей, чтобы уменьшить дисперсию и улучшить обобщение. Хотя это позволяет достичь цели, схожей с регуляризацией, такой результат достигается за счёт объединения разнообразных моделей, а не ограничения обучения одной модели.