Mixed Precision

Смешанная точность — это ключевой метод оптимизации моделей, используемый для ускорения обучения моделей глубокого обучения при одновременном снижении потребления памяти. Стратегически сочетая различные числовые форматы — обычно 16-битные и 32-битные типы с плавающей запятой — этот метод позволяет алгоритмам машинного обучения выполнять вычисления быстрее, не жертвуя итоговой точностью модели. Это стало стандартной практикой в современной разработке ИИ, особенно для ресурсоемких задач, таких как обучение архитектуры YOLO26 на огромных наборах данных.

Link to this sectionКак работает смешанная точность#

В традиционных процессах глубокого обучения модели обычно выполняют вычисления с использованием формата с плавающей запятой одинарной точности (FP32). Каждое число в FP32 требует 32 бита памяти. Хотя этот формат обладает высокой точностью, он может быть вычислительно затратным и требовательным к памяти.

Смешанная точность вводит использование полуточности (FP16), которая использует только 16 бит. Однако использование только FP16 может привести к численной нестабильности из-за меньшего динамического диапазона. Чтобы решить эту проблему, методы смешанной точности поддерживают «мастер-копию» весов модели в FP32 для стабильности, в то время как FP16 используется для основной части математических операций, таких как свертки и матричное умножение.

Процесс обычно включает три ключевых этапа:

1. Приведение типов (Casting): Преобразование входных данных и активаций модели в FP16 для ускорения выполнения на совместимом оборудовании, таком как NVIDIA Tensor Cores.

2. Масштабирование потерь (Loss Scaling): Усиление значений функции потерь для предотвращения «потери точности» (underflow), когда небольшие обновления градиента становятся нулевыми в FP16.

3. Аккумуляция (Accumulation): Выполнение арифметических операций в FP16, но накопление результатов в FP32 для сохранения необходимой информации перед обновлением мастер-весов.

Link to this sectionПреимущества в обучении ИИ#

Применение смешанной точности дает значительные преимущества разработчикам и исследователям, эффективно использующим вычислительные ресурсы:

• Более высокая скорость обучения: Операции в FP16 требуют меньшей пропускной способности памяти и быстрее обрабатываются современными GPU. Это может существенно сократить время, необходимое для одной эпохи.
• Снижение потребления памяти: Поскольку тензоры FP16 занимают вдвое меньше памяти, чем FP32, ты можешь практически удвоить свой размер пакета. Большие размеры пакетов часто приводят к более стабильным оценкам градиента и более быстрой сходимости.
• Энергоэффективность: Снижение вычислительной нагрузки приводит к уменьшению потребления энергии, что критически важно для масштабных операций облачного обучения.

Link to this sectionРеальные приложения#

Смешанная точность используется в различных отраслях для эффективной работы со сложными моделями и большими наборами данных.

Link to this sectionАвтономное вождение#

При разработке автономных транспортных средств инженеры должны обучать модели обнаружения объектов на миллионах кадров видео высокого разрешения. Использование смешанной точности позволяет им эффективно обучать современные модели, такие как YOLO26. Снижение потребления памяти позволяет обрабатывать входные данные с более высоким разрешением, что крайне важно для обнаружения мелких объектов, таких как дорожные знаки или пешеходы на расстоянии.

Link to this sectionАнализ медицинских изображений#

Анализ медицинских изображений часто включает 3D-объемные данные из МРТ или КТ-сканирований, которые крайне требовательны к памяти. Обучение моделей сегментации на этих данных с использованием полной точности FP32 часто приводит к ошибкам нехватки памяти (OOM). Смешанная точность позволяет исследователям размещать эти тяжелые модели в памяти GPU, способствуя разработке ИИ, который помогает врачам диагностировать заболевания на более ранних стадиях.

Link to this sectionВнедрение смешанной точности с Ultralytics#

Современные фреймворки, такие как PyTorch, обычно обрабатывают сложности смешанной точности автоматически с помощью функции под названием Automatic Mixed Precision (AMP). Пакет ultralytics включает AMP по умолчанию во время обучения для обеспечения оптимальной производительности.

Вот краткий пример того, как начать обучение с помощью YOLO26, где смешанная точность активна по умолчанию (управляется через аргумент amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Link to this sectionСмешанная точность в сравнении с похожими понятиями#

Полезно отличать смешанную точность от похожих терминов в глоссарии, чтобы избежать путаницы:

• Квантование модели: В то время как смешанная точность использует числа с плавающей запятой с более низкой точностью (FP16) во время обучения, квантование обычно преобразует веса в целые числа (например, INT8) после обучения для развертывания. Квантование в основном фокусируется на задержке инференса на граничных устройствах, тогда как смешанная точность фокусируется на скорости и стабильности обучения.
• Полуточность: Это относится конкретно к формату данных FP16. Смешанная точность — это метод использования обоих форматов FP16 и FP32 вместе. Использование чистой полуточности без «смешанной» мастер-копии в FP32 часто приводит к тому, что модели не могут сойтись из-за численных ошибок.

Link to this sectionЗаключение#

Смешанная точность произвела революцию в том, как обучаются нейронные сети, став критически важным инструментом для массовых базовых моделей и систем компьютерного зрения, которые мы видим сегодня. Балансируя между необходимостью математической точности и ограничениями скорости оборудования и памяти, она позволяет разработчикам быстрее итерироваться и создавать более мощные ИИ-решения.

Для тех, кто хочет эффективно управлять наборами данных и обучать оптимизированные модели, платформа Ultralytics предлагает комплексную среду, которая автоматически использует эти современные методы оптимизации.