Data Flywheel

Маховик данных — это самоподдерживающийся цикл, в котором развёрнутая модель ИИ генерирует данные, включая входные данные, предсказания, ошибки и отзывы пользователей, а затем эти данные отбираются и превращаются в более качественные данные для обучения следующей версии. Каждый новый выпуск правильно обрабатывает больше случаев, более качественный продукт привлекает больше пользователей, а рост использования создаёт всё больше данных, необходимых для следующего выпуска. Название отсылает к механическому маховику: для начала вращения требуется усилие, зато потом он накапливает импульс.

В компьютерном зрении этот цикл сосредоточен на сложных случаях: кадрах, в которых детектор пропустил объект, выдал ложное срабатывание или предсказал его с низкой уверенностью. После запуска система визуального контроля сталкивается с новыми материалами и отражениями, а модель для учёта товаров в рознице — с сезонной упаковкой, поэтому именно эти изображения стоит размечать. Команда Tesla Autopilot представила известный пример такого подхода, названный ею движком данных, на мероприятии Autonomy Day в 2019 году: случаи, в которых сеть работала плохо, извлекали из данных автопарка, размечали и добавляли в обучение. Продукты на основе больших языковых моделей используют тот же цикл: оценки, правки и диалоги пополняют наборы для оценки, дообучения и обучения с подкреплением на основе отзывов людей.

Как работает маховик данных#

Каждый виток проходит этапы сбора данных, проверки, повторного обучения и принятия решения о выпуске:

На этапе сбора решают, какие рабочие данные попадут в цикл. Хранить всё дорого, и большая часть данных избыточна, поэтому системы сохраняют информативные входные данные: предсказания с низкой уверенностью, расхождения между моделями, исправления пользователей, редкие классы и входные данные, указывающие на дрейф данных. Выбирать примеры, которые принесут модели наибольшую пользу при обучении, помогает активное обучение.

На этапе проверки собранные входные данные превращаются в эталонную разметку. Разметчики в процессе с участием человека подтверждают или исправляют каждую метку, удаляют дубликаты и конфиденциальный контент, а одобренные примеры добавляют в версионируемый набор данных, чтобы для каждой модели можно было отследить данные, на которых она обучалась.

Повторное обучение создаёт кандидата на замену, который перед выпуском должен превзойти текущую модель на фиксированном отложенном тестовом наборе, часто тщательно отобранном эталонном наборе данных. Затем постепенное развёртывание и мониторинг модели помогают выявлять регрессии и запускать следующий виток.

Платформа Ultralytics автоматизирует сбор данных с помощью агентов — визуальных рабочих процессов. Шаблон Collect Uncertain Detections запускает изображения набора данных через развёрнутую модель, сохраняет изображения хотя бы с одним обнаружением в заданном диапазоне уверенности, например от 0.25 до 0.5, и добавляет их без разметки в целевой набор данных для проверки в редакторе аннотаций.

Почему маховики останавливаются#

Маховик вращается не быстрее самого медленного этапа, которым часто оказывается ручная разметка. Если передавать предсказания модели обратно в качестве меток без проверки человеком, её ошибки начинают усиливать сами себя. Система, действующая на основе собственных предсказаний, также влияет на данные, которые увидит дальше: например, рекомендательная система обучается только на тех объектах, которые сама решила показать. В 2015 году исследователи Google отнесли подобные циклы обратной связи к источникам скрытого технического долга в системах машинного обучения. Оценка каждой версии на тестовом наборе, который меняется вместе с поступающими данными, скрывает регрессии, а перенос тестовых примеров в обучающую выборку приводит к утечке данных.

Маховик данных и связанные термины#

• ИИ, ориентированный на данные: Практика улучшения моделей за счёт улучшения данных. Маховик применяет этот подход непрерывно, используя данные из рабочей среды.
• Непрерывное обучение: Обновляет модель на новых данных с течением времени, не допуская катастрофического забывания предыдущих задач. Вместо этого большинство маховиков при каждом выпуске повторно обучают модель на полном, постоянно растущем наборе данных.
• Операции машинного обучения (MLOps): Конвейеры и инструменты для версионирования, обучения, развёртывания и мониторинга, которые обеспечивают воспроизводимость каждого витка маховика.
• Сетевые эффекты: Ценность продукта растёт по мере того, как им пользуется всё больше людей. Маховик данных даёт долгосрочное преимущество только тогда, когда такое использование создаёт данные, которые конкурентам сложно собрать.