Механизм вывода

Как работают двигатели вывода

Механизм вывода использует предварительно обученную модель, часто разработанную с помощью фреймворков глубокого обучения (DL), таких как PyTorch или TensorFlowв которой заключены знания, необходимые для решения конкретной задачи. Когда на вход поступают новые данные (например, изображение, аудиоклип или текстовое предложение), механизм вывода обрабатывает их с помощью вычислительной структуры модели (часто это нейронная сеть). В результате генерируется выходной сигнал, например, идентификация объектов с ограничительными рамками на изображении, транскрипция речи или классификация настроения. Ultralytics YOLO Модели Ultralytics YOLO, например, зависят от эффективных движков вывода, позволяющих в реальном времени обнаруживать и сегментировать объекты на различных платформах, от мощных облачных серверов до ограниченных в ресурсах граничных устройств. Производительность движка вывода напрямую влияет на скорость и отзывчивость приложения, что часто измеряется задержкой вывода и пропускной способностью.

Оптимизации и ключевые особенности

Ключевая роль современных движков вывода - оптимизация. Прямой запуск большой обученной модели глубокого обучения может быть вычислительно дорогим и медленным. Движки вывода используют различные техники, чтобы сделать модели быстрее и эффективнее, что позволяет развертывать их на различном оборудовании. К распространенным стратегиям оптимизации моделей относятся:

• Квантование модели: Уменьшение точности весов модели (например, с 32-битной плавающей точки до 8-битных целых чисел) для уменьшения размера модели и ускорения вычислений, часто с минимальным влиянием на точность.
• Обрезка модели: Удаление лишних или неважных связей (весов) внутри нейронной сети для создания более компактной и быстрой модели.
• Оптимизация графа: Объединение слоев или перестановка операций в вычислительном графе модели для повышения эффективности выполнения на конкретном оборудовании.
• Аппаратное ускорение: Используй специализированные процессоры, такие как GPU, TPU или специальные ускорители ИИ, которые можно найти в таких устройствах, как Google Edge TPU или NVIDIA Jetson.

Многие движки вывода также поддерживают стандартизированные форматы моделей, например ONNX (Open Neural Network Exchange), что позволяет использовать модели, обученные в одном фреймворке (например. PyTorch), запускать их на другом движке или платформе. К популярным движкам для обработки выводов относятся NVIDIA TensorRT, OpenVINO отIntel и TensorFlow Lite. Модели Ultralytics поддерживают экспорт в различные форматы, совместимые с этими движками, что подробно описано в руководстве "Параметры развертывания модели".

Механизм вывода против обучающего фреймворка

Важно отличать движки вывода от обучающих фреймворков.

• Обучающие фреймворки (например, PyTorch, TensorFlow, Keras): Это комплексные библиотеки, используемые для построения, обучения и проверки моделей машинного обучения. Они предоставляют инструменты для определения сетевых архитектур, реализации обратного распространения, управления наборами данных и вычисления функций потерь. Основное внимание уделяется гибкости и процессу обучения.
• Движки для выводов (например, TensorRT, OpenVINO, ONNX Runtime): Это специализированные инструменты, предназначенные для эффективного запуска предварительно обученных моделей для задач предсказания(развертывания моделей). Их основной упор делается на оптимизацию скорости(низкая задержка), низкое потребление памяти и совместимость с целевым оборудованием. Часто они берут модели, обученные с помощью фреймворков, и преобразуют их в оптимизированный формат.

Применение в реальном мире

Механизмы вывода имеют решающее значение для применения ИИ в практических сценариях:

1. Автономные транспортные средства: Самоуправляемые автомобили(например, разработанные Waymo) в значительной степени зависят от эффективных движков вывода, работающих на встроенном оборудовании(например, на платформах NVIDIA Jetson) и обрабатывающих данные с датчиков (камер, LiDAR) в режиме реального времени. Двигатели оптимизируют сложные модели компьютерного зрения, такие как YOLO , для решения таких задач, как обнаружение объектов (распознавание автомобилей, пешеходов, знаков) и семантическая сегментация (понимание схемы дороги) с минимальной задержкой, что крайне важно для обеспечения безопасности. Узнай больше об искусственном интеллекте в автомобильных решениях.
2. Анализ медицинских изображений: Движки вывода ускоряют анализ медицинских снимков (рентгеновских, компьютерных, магнитно-резонансных) для решения таких задач, как обнаружение опухолей(см. Brain Tumor Dataset) или аномалий. Оптимизированные модели, развернутые с помощью движков вывода, могут быстро запускаться на серверах больниц или специализированных медицинских устройствах, помогая радиологам(читай об ИИ в радиологии) быстрее ставить диагнозы или давать второе мнение. Ознакомься с решениями ИИ в здравоохранении.

По сути, движки выводов сокращают разрыв между обученными моделями ИИ и их практическим применением, обеспечивая эффективное и действенное использование сложных возможностей ИИ на широком спектре устройств и платформ, включая управление моделями с помощью таких платформ, как Ultralytics HUB.