Mixed Precision

Смешанная точность — это ключевой метод оптимизации моделей, используемый для ускорения обучения моделей глубокого обучения при одновременном снижении потребления памяти. Стратегически объединяя различные числовые форматы (обычно 16-битные и 32-битные типы с плавающей запятой), этот метод позволяет алгоритмам машинного обучения выполнять вычисления быстрее без ущерба для итоговой точности модели. Он стал стандартной практикой в современной разработке ИИ, особенно для ресурсоемких задач, таких как обучение архитектуры YOLO26 на массивных наборах данных.

Как работает смешанная точность#

В традиционных рабочих процессах глубокого обучения модели обычно выполняют вычисления с использованием формата одинарной точности с плавающей запятой (FP32). Каждое число в FP32 требует 32 бита памяти. Несмотря на высокую точность, этот формат может быть вычислительно затратным и требовательным к памяти.

Смешанная точность предполагает использование половинной точности (FP16), которая задействует всего 16 бит. Однако использование только FP16 может привести к численной нестабильности из-за меньшего динамического диапазона. Чтобы решить эту проблему, методы смешанной точности поддерживают «главную копию» весов модели в формате FP32 для стабильности, в то время как FP16 используется для выполнения тяжелой работы по математическим операциям, таким как свертки и умножения матриц.

Процесс обычно включает три ключевых этапа:

1. Кастинг: Преобразование входных данных и активаций модели в FP16 для ускорения выполнения на совместимом оборудовании, таком как NVIDIA Tensor Cores.

2. Масштабирование потерь: Увеличение значений функции потерь для предотвращения «исчезновения» (underflow), при котором малые обновления градиентов становятся нулями в FP16.

3. Аккумуляция (Accumulation): Выполнение арифметических операций в FP16, но накопление результатов в FP32 для сохранения необходимой информации перед обновлением мастер-весов.

Преимущества в обучении ИИ#

Внедрение смешанной точности дает значительные преимущества разработчикам и исследователям, эффективно использующим вычислительные ресурсы:

• Более высокая скорость обучения: Операции в FP16 требуют меньшей пропускной способности памяти и быстрее обрабатываются современными GPU. Это может значительно сократить время, необходимое для одной эпохи.
• Снижение использования памяти: Поскольку тензоры FP16 занимают вдвое меньше памяти, чем FP32, разработчики могут существенно удвоить свой размер батча. Большие размеры батча часто приводят к более стабильным оценкам градиента и быстрой сходимости.
• Энергоэффективность: Снижение вычислительной нагрузки приводит к уменьшению энергопотребления, что крайне важно для крупномасштабных операций облачного обучения.

Реальные приложения#

Смешанная точность используется в различных отраслях для эффективной работы со сложными моделями и большими наборами данных.

Автономное вождение#

При разработке автономных транспортных средств инженеры должны обучать модели обнаружения объектов на миллионах кадров видео высокого разрешения. Использование смешанной точности позволяет им эффективно обучать современные модели, такие как YOLO26. Уменьшенный объем памяти позволяет обрабатывать входные данные более высокого разрешения, что критически важно для обнаружения мелких объектов, таких как дорожные знаки или пешеходы на расстоянии.

Анализ медицинских изображений#

Анализ медицинских изображений часто включает трехмерные объемные данные из МРТ или КТ-сканирования, которые крайне требовательны к памяти. Обучение моделей сегментации на этих данных в полной точности FP32 часто приводит к ошибкам нехватки памяти (Out of Memory, OOM). Смешанная точность позволяет исследователям уместить эти тяжелые модели в память GPU, способствуя разработке ИИ, который может помочь врачам диагностировать заболевания на более ранних стадиях.

Внедрение смешанной точности с Ultralytics#

Современные фреймворки, такие как PyTorch, обычно автоматически справляются со сложностями смешанной точности с помощью функции под названием Automatic Mixed Precision (AMP). Пакет ultralytics включает AMP по умолчанию во время обучения для обеспечения оптимальной производительности.

Вот краткий пример того, как запустить обучение с помощью Ultralytics YOLO26, где смешанная точность активна по умолчанию (управляется через аргумент amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Смешанная точность в сравнении с похожими понятиями#

Полезно отличать смешанную точность от похожих терминов в глоссарии, чтобы избежать путаницы:

• Квантование моделей: В то время как смешанная точность использует числа с плавающей запятой меньшей точности (FP16) во время обучения, квантование обычно преобразует веса в целые числа (например, INT8) после обучения для развертывания. Квантование в первую очередь ориентировано на задержку инференса на периферийных устройствах, тогда как смешанная точность сосредоточена на скорости и стабильности обучения.
• Половинная точность: Это относится конкретно к самому формату данных FP16. Смешанная точность — это метод одновременного использования FP16 и FP32. Использование чистой половинной точности без «смешанной» главной копии FP32 часто приводит к тому, что модели не могут сойтись из-за числовых ошибок.

Заключение#

Смешанная точность произвела революцию в обучении нейронных сетей, выступая в качестве важнейшего фактора для создания массивных базовых моделей и систем компьютерного зрения, которые мы видим сегодня. Балансируя между необходимостью математической точности и ограничениями скорости и памяти оборудования, она позволяет разработчикам быстрее итерировать и создавать более способные решения на базе ИИ.

Для тех, кто хочет беспрепятственно управлять наборами данных и обучать оптимизированные модели, платформа Ultralytics предлагает комплексную среду, которая автоматически использует эти современные методы оптимизации.