Механизм вывода

Механизм вывода - это специализированный программный компонент, который выполняет обученную модель машинного обучения для создания прогнозов на основе новых, еще не полученных данных. После обучения модели с помощью таких фреймворков, как PyTorch или TensorFlow, за ее эффективную работу в производственной среде берется механизм обработки выводов. Его главная задача - оптимизировать модель по скорости и использованию ресурсов, что позволяет проводить выводы в реальном времени на различных аппаратных платформах, от мощных облачных серверов до граничных устройств с ограниченными ресурсами.

Роль механизма вывода

Основная функция механизма вывода - преодолеть разрыв между обученной моделью и ее применением в реальном мире. Он выполняет несколько критических оптимизаций, чтобы минимизировать задержку вывода и максимизировать пропускную способность без существенного ущерба для точности.

Основные методы оптимизации включают:

• Оптимизация графа: Движок анализирует вычислительный граф модели и применяет такие оптимизации, как "слияние слоев", которое объединяет несколько последовательных операций в одну, чтобы снизить вычислительные затраты.
• Оптимизация под конкретное оборудование: Компилирует модель для работы на конкретном оборудовании, таком как CPU, GPU или специализированные ускорители ИИ, например TPU от Google. При этом используются высокооптимизированные вычислительные ядра, адаптированные к архитектуре оборудования.
• Снижение точности: Такие методы, как квантование модели, используются для преобразования весов модели из 32-битных чисел с плавающей точкой в более эффективные 16- или 8-битные целые числа. Это значительно сокращает потребление памяти и ускоряет вычисления, что особенно важно для граничных вычислений.
• Обрезка моделей: Механизм вывода может облегчить запуск моделей, в которых ненужные веса были удалены путем обрезки модели, что еще больше уменьшает размер модели и вычислительные требования.

Популярные механизмы вывода

Многие организации разработали высокопроизводительные движки вывода для ускорения моделей глубокого обучения. Популярными вариантами являются:

• NVIDIA TensorRT: высокопроизводительный оптимизатор и среда выполнения для графических процессоров NVIDIA, обеспечивающие современную скорость вычислений. Ultralytics предлагает бесшовную интеграцию с TensorRT для развертывания моделей YOLO.
• OpenVINO от Intel: инструментарий с открытым исходным кодом для оптимизации и развертывания моделей на оборудовании Intel, включая CPU и интегрированные GPU. Модели Ultralytics могут быть легко экспортированы в OpenVINO.
• ONNX Runtime: Кроссплатформенный движок, разработанный компанией Microsoft, который позволяет запускать модели в формате ONNX (Open Neural Network Exchange) на широком спектре оборудования.
• TensorFlow Lite (TFLite): Легкое решение, разработанное специально для развертывания моделей на мобильных и встраиваемых устройствах, например, на устройствах под управлением Android и iOS.
• Apache TVM: Фреймворк компилятора машинного обучения с открытым исходным кодом, который позволяет оптимизировать модели для различных аппаратных бэкендов.

Применение в реальном мире

Системы выводов являются операционной основой бесчисленных приложений ИИ.

1. В решениях ИИ для автомобильной промышленности на бортовом компьютере автомобиля работает механизм вывода, обрабатывающий данные с камер и датчиков. Он выполняет модель обнаружения объектов, например Ultralytics YOLO11, для идентификации пешеходов, дорожных знаков и других транспортных средств за миллисекунды, что позволяет использовать критически важные функции безопасности.
2. В "умном" производстве система компьютерного зрения, работающая на заводе, обеспечивает контроль качества. Она анализирует изображения с производственной линии в режиме реального времени для выявления дефектов, обеспечивая соответствие продукции стандартам качества с высокой скоростью и надежностью.

Механизм вывода по сравнению со смежными понятиями

В MLOps полезно отличать механизм вывода от других связанных с ним терминов.

• ML Framework vs. Inference Engine: Фреймворк машинного обучения, например PyTorch, - это комплексная библиотека для обучения и развертывания моделей. Она включает в себя инструменты для построения нейронных сетей, управления наборами данных и запуска циклов обучения. В отличие от этого, механизм вывода - это узкоспециализированный инструмент, ориентированный исключительно на этап развертывания. В то время как фреймворк обладает базовыми возможностями вывода, специализированный механизм вывода обеспечивает более высокую производительность за счет агрессивной оптимизации, специфичной для аппаратного обеспечения.

• Обслуживание модели по сравнению с механизмом вывода: Под обслуживанием моделей понимается более широкая инфраструктура для обеспечения доступности модели по сети, включающая такие компоненты, как конечные точки API, балансировщики нагрузки и инструменты мониторинга. Механизм вывода - это основной компонент системы обслуживания моделей, который выполняет запросы на прогнозирование. Вы можете изучить различные варианты развертывания моделей, чтобы понять, как механизмы вывода вписываются в общую картину. Платформы, подобные Ultralytics HUB, упрощают весь этот процесс, от обучения до оптимизированного развертывания.