Автоматизированное машинное обучение (AutoML)

Автоматизированное машинное обучение (AutoML) — это процесс автоматизации трудоемких итеративных задач разработки моделей машинного обучения (ML). Он направлен на то, чтобы сделать высокопроизводительные ML-модели доступными для неспециалистов и повысить продуктивность специалистов по данным за счет автоматизации выбора признаков, алгоритмов и параметров. Благодаря обработке задач от предварительной обработки данных до развертывания моделей, AutoML оптимизирует весь рабочий процесс, обеспечивая более быструю экспериментальную работу и создание более точных и эффективных моделей. Эта автоматизация является ключевым шагом на пути к тому, чтобы сделать передовой ИИ более доступным и масштабируемым.

Как работает AutoML

Системы AutoML автоматизируют наиболее повторяющиеся части конвейера машинного обучения. Типичный процесс AutoML включает в себя несколько ключевых этапов:

• Подготовка данных и разработка признаков: Автоматическая очистка необработанных данных и создание значимых признаков для модели. Это может включать обработку пропущенных значений, нормализацию и создание новых прогностических переменных из существующих.
• Выбор модели: Выбор наиболее подходящего алгоритма (например, дерево решений, машина опорных векторов или нейронная сеть) для данной задачи из широкого спектра возможностей.
• Оптимизация гиперпараметров: Автоматический поиск оптимальных гиперпараметров для выбранной модели. Это часто делается с использованием сложных стратегий поиска, таких как байесовская оптимизация, поиск по сетке или эволюционные алгоритмы. Ultralytics включает это в свои инструменты для таких задач, как настройка гиперпараметров.
• Оценка модели и итерация: Оценка производительности модели с использованием таких метрик, как точность или F1-мера, и итерация процесса для достижения лучших результатов.

Применение в реальном мире

AutoML применяется в различных отраслях для ускорения разработки и улучшения результатов.

1. ИИ в здравоохранении: В анализе медицинских изображений AutoML может быстро тестировать различные модели сегментации изображений для обнаружения опухолей на сканах. Система может автоматически обучать и оценивать различные архитектуры на наборе данных, таком как набор данных об опухолях головного мозга, что значительно сокращает время, необходимое исследователям для разработки развертываемого диагностического инструмента.
2. Финансовые услуги: Банки используют AutoML для создания моделей обнаружения мошенничества. Загружая исторические данные о транзакциях в платформу AutoML, они могут автоматически генерировать и оптимизировать модели, которые выявляют мошеннические паттерны с высокой точностью, что в противном случае потребовало бы значительных ручных усилий со стороны специалистов по анализу данных. Эта тема более подробно рассматривается в разделе компьютерное зрение для финансов.

AutoML и смежные концепции

Полезно различать AutoML и смежные области:

• AutoML vs. MLOps: В то время как AutoML конкретно нацелен на автоматизацию построения моделей (выбор, обучение, настройка), Machine Learning Operations (MLOps) охватывает весь жизненный цикл ML. MLOps включает в себя развертывание, мониторинг, управление и контроль, обеспечивая надежную работу моделей в производственной среде. AutoML часто является компонентом более крупной структуры MLOps, упрощая начальный этап разработки перед развертыванием модели и мониторингом модели.
• AutoML vs. NAS: Neural Architecture Search (NAS) — это подраздел AutoML, ориентированный конкретно на автоматическое проектирование архитектуры нейронных сетей. В то время как NAS автоматизирует проектирование сети, более широкие инструменты AutoML могут также автоматизировать разработку признаков и настройку гиперпараметров для различных типов моделей, а не только NN.

Инструменты и платформы AutoML

Многочисленные инструменты и платформы облегчают AutoML:

• Облачные платформы: Крупные поставщики предлагают интегрированные сервисы AutoML, такие как Google Cloud AutoML, Amazon SageMaker Autopilot и Microsoft Azure Machine Learning. Они используют масштабируемые ресурсы облачных вычислений. Ultralytics также предлагает Ultralytics HUB Cloud Training.
• Библиотеки с открытым исходным кодом: Популярные библиотеки включают Auto-sklearn (на основе scikit-learn), TPOT (который использует генетическое программирование) и H2O AutoML. Фреймворки, такие как PyTorch и TensorFlow, обеспечивают базовую инфраструктуру для многих задач ML, в том числе автоматизированных инструментами AutoML.
• Интегрированные платформы: Ultralytics HUB включает функции AutoML, особенно для настройки гиперпараметров, упрощая процесс обучения пользовательских моделей для таких задач, как обнаружение объектов.