Как размечать меньше: сравнение инструментов авторазметки и активного обучения

У большинства команд компьютерного зрения нет проблем с разметкой. У них есть проблема с объемом разметки: слишком много кадров, мало часов у проверяющих и модель, которой для улучшения нужна лишь доля этих кадров. Инструменты автоматизации подходят к этому с двух сторон, и разница между ними определяет, что именно тебе нужно.

Авторазметки ставит модель перед человеком. Она предлагает боксы, маски или ключевые точки, а рецензент исправляет их, снижая стоимость каждой разметки. Активное обучение ставит модель перед датасетом. Она оценивает неразмеченные данные и подсказывает, какие кадры вообще стоят внимания проверяющего, сокращая необходимое количество разметок. Покупка первого, когда требовалось второе, — самая частая бесполезная трата в этой категории.

Для команд, обучающих модели Ultralytics YOLO, Ultralytics Platform закрывает задачу авторазметки с помощью функции Smart Annotation на базе SAM, которая передает данные прямо на обучение. Это не универсальный ответ. Lightly и Voxel51 FiftyOne созданы специально для выборки, CVAT — лучший выбор для развертывания силами сообщества с открытым исходным кодом, а Labelbox, Encord и SuperAnnotate содержат более тяжелые корпоративные механизмы проверки, чем потребуются небольшой команде по зрению.

Сравнение инструментов авторазметки и активного обучения#

Поставщики на этой странице перечислены по алфавиту, а не по рейтингу. Ultralytics публикует это сравнение и участвует в нем, поэтому порядок намеренно нейтрален, а для каждой записи указан конкретный компромисс.

Здесь нет единственного лучшего инструмента, поскольку эти две задачи требуют разных покупок. Выбирай Ultralytics Platform, когда аннотирование, обучение и развертывание должны оставаться в одном цикле. Выбирай CVAT или Label Studio, когда контроль над открытым исходным кодом важнее удобства. Выбирай Lightly или FiftyOne, когда твое реальное ограничение — определение того, что заслуживает разметки. Выбирай управляемую корпоративную платформу, когда реальной проблемой является управление проверкой в большой команде.

Авторазметка против активного обучения#

Они продаются вместе и решают разные узкие места. Четкое определение твоего узкого места сэкономит цикл закупок.

Авторазметка снижает стоимость создания разметки. Модель обрабатывает твои изображения, предлагает аннотации, а человек принимает, редактирует или отклоняет их. Выигрыш реален, но ограничен: ты все еще касаешься каждого кадра, а ошибки модели становятся нагрузкой для проверяющего. На классах, с которыми модель уже справляется хорошо, исправление происходит быстро. В неопределенных, перекрытых и редких случаях (тех, что реально улучшают модель) предложения хуже всего, а исправление — медленнее всего.

Активное обучение сокращает количество требуемых разметок. Система создает эмбеддинги или оценивает пул неразмеченных данных и ранжирует кадры по тому, насколько сильно они обучат модель: высокая неопределенность, низкое сходство с тем, что у тебя уже есть, или разногласия между версиями моделей. Ты размечаешь лишь часть пула и получаешь большую часть точности.

Практический вывод:

• Если рецензенты тонут в кадрах, которые нужно аннотировать полностью, тебе нужна авторазметка.
• Если у тебя гораздо больше материалов, чем ты когда-либо сможешь разметить, и нет системного способа выбора, тебе нужно активное обучение.
• Если у тебя обе проблемы, тебе нужны оба инструмента, и обычно это два разных продукта.

Полезная последовательность — сначала выбрать данные с помощью активного обучения, а затем авторазмечать только то, что было выбрано. Запуск автоматизации по всему пулу тратит вычислительные ресурсы и время проверки на кадры, которые не изменили бы модель.

CVAT#

Что это такое. Зрелый инструмент аннотирования с открытым исходным кодом для изображений, видео и 3D-данных, который можно развернуть самостоятельно или использовать в облаке.

Кому подходит лучше всего. Командам, которым нужен полный контроль над тем, где выполняется аннотирование и во сколько оно обходится.

Как работает автоматизация. Автоматическая аннотация вызывает модели, запущенные параллельно с CVAT, включая SAM для интерактивной сегментации, и предварительно размечает задачи до того, как их откроют проверяющие.

Сильные стороны. Способный интерфейс аннотирования без лицензионных затрат, серьезная поддержка видео, включая интерполяцию, и отсутствие вендора, удерживающего твои данные.

Компромиссы. Ты сам отвечаешь за развертывание, обслуживание моделей и проектирование рабочего процесса проверки. Автоматизация ровно настолько хороша, насколько хороши модели, которые ты за ней установишь.

Encord#

Что это такое. Платформа аннотирования и управления данными для сложных визуальных данных, включая видео, DICOM и облака точек.

Кому подходит лучше всего. Командам с длинными видеопоследовательностями или медицинской визуализацией, где покадровая работа нецелесообразна.

Как работает автоматизация. Автоматизированная аннотация и трекинг объектов распространяют аннотации по кадрам с этапом проверки сгенерированных разметок.

Сильные стороны. Истинно мощная обработка видео и медицинских форматов, а также качественные инструменты, выявляющие проблемы с разметкой, а не просто подсчитывающие пропускную способность.

Компромиссы. Больше платформы и больше сложностей при вводе в работу, чем оправдано для небольшого проекта детекции.

Label Studio#

Что это такое. Фреймворк разметки с открытым исходным кодом, охватывающий зрение, текст, аудио и другие типы данных, с корпоративной редакцией.

Кому подходит лучше всего. Командам, стандартизирующим единый слой разметки для разных модальностей.

Как работает автоматизация. Написанный и хостящийся тобой бэкенд машинного обучения возвращает предварительные аннотации, поэтому модель для разметки выбирается полностью тобой.

Сильные стороны. Максимальная гибкость в отношении интерфейса и автоматизации, а также отсутствие ограничений по выбору модели для предварительной аннотации.

Компромиссы. Автоматизация здесь — это фреймворк, а не функция. Кому-то придется создавать, обслуживать и поддерживать бэкенд.

Labelbox#

Что это такое. Корпоративная платформа разметки данных, охватывающая множество типов данных с мощным слоем проверки и контроля качества.

Кому подходит лучше всего. Организациям, размечающим изображения наряду с другими модальностями в рамках единого процесса управления.

Как работает автоматизация. Разметка с помощью модели импортирует предсказания в виде редактируемых предварительных аннотаций, а запуски моделей позволяют сравнивать предсказания с эталонными данными на одном датасете.

Сильные стороны. Зрелые рабочие процессы проверки, детализированный контроль качества и видимость производительности каждого разметчика.

Компромиссы. Широта возможностей, подходящая для мультимодальной корпоративной программы, добавляет конфигурацию, которая не нужна команде компьютерного зрения.

Lightly#

Что это такое. Платформа выбора данных, которая использует эмбеддинги для определения того, какие неразмеченные данные стоит размечать.

Кому подходит лучше всего. Командам, обладающим гораздо большим объемом материалов, чем они могут разметить, особенно с непрерывно записывающих камер или парков устройств.

Как работает автоматизация. Данные преобразуются в эмбеддинги, затем отбираются по принципу разнообразия, неопределенности или сходства с интересующими вас случаями, а выбранная подвыборка отправляется в любой используемый инструмент разметки.

Сильные стороны. Напрямую решает проблему избыточности видеоданных, где тысячи практически идентичных кадров добавляют стоимость и не несут информации.

Компромиссы. Ее центр тяжести смещен в сторону выборки, а не разметки, поэтому ее обычно используют в паре с инструментом разметки. Тем не менее LightlyStudio, текущий релиз под лицензией Apache-2.0, расширился и теперь включает разметку, так что проверяй текущий функционал, а не предполагай, что это решение только для выборки.

Roboflow#

Что это такое. Платформа компьютерного зрения, охватывающая управление датасетами, разметку, обучение и развертывание, широко используемая командами разработчиков.

Кому подходит лучше всего. Командам, которым нужен облачный рабочий процесс компьютерного зрения и которые готовы принять ее соглашения о датасетах.

Как работает автоматизация. Разметка с помощью модели предлагает аннотации на основе базовой модели или модели, которую ты уже обучил для проекта, поэтому предложения улучшаются по мере совершенствования твоей модели.

Сильные стороны. Хорошо документированный интерфейс аннотирования, мощное версионирование датасетов и большая экосистема публичных датасетов, позволяющая быстро сформировать список классов.

Компромиссы. Ценность возрастает при использовании большей части платформы, поэтому командам, которым нужен только слой разметки, возможно, придется купить больше, чем нужно.

SuperAnnotate#

Что это такое. Платформа аннотирования в сочетании с доступом к услугам управляемой разметки.

Кому подходит лучше всего. Командам, чьим узким местом в равной степени являются и мощности разметки, и программное обеспечение для нее.

Как работает автоматизация. Функции автоматизации предварительно размечают и распространяют разметку внутри проекта, а для ручной проверки доступны управляемые рецензенты.

Сильные стороны. Один вендор для инструментов и персонала с корпоративным управлением проектами для обоих направлений.

Компромиссы. Требования к ПО и услугам необходимо оценивать отдельно, иначе ты купишь мощности, которыми не сможешь управлять.

Платформа Ultralytics#

Что это такое. Ultralytics Platform связывает аннотирование датасетов с обучением и развертыванием моделей. Исходные изображения или существующие разметки поступают на вход, Smart Annotation предлагает аннотации, проверяющие исправляют их, а датасет обучает модель Ultralytics YOLO без необходимости переносить данные в отдельную систему обучения.

Кому подходит лучше всего. Командам, создающим модели детекции, сегментации, классификации, позы или ориентированных боксов с помощью Ultralytics YOLO, которым нужно, чтобы цикл «разметка — обучение — проверка» оставался в одном месте.

Как работает автоматизация. Smart Annotation использует SAM, модель Segment Anything от Meta, для генерации масок, ограничивающих рамок и ориентированных боксов на основе одного клика и нескольких уточняющих точек, а проверяющие редактируют результат вручную. По умолчанию используется SAM 3, но при этом можно выбрать более легкие варианты SAM 2.1, когда скорость взаимодействия важнее точности маски. Инструмент охватывает детекцию, сегментацию, семантическую сегментацию и ориентированные боксы; датасеты для позы и классификации размечаются вручную, хотя для позы предусмотрены шаблоны скелетов человека, руки, собаки, лица и бокса для ускорения ручной проверки.

Она также выполняет предварительную разметку на основе предобученных моделей YOLO, что является более интересным механизмом. Поскольку обучение происходит на той же платформе, твоя собственная дообученная модель становится предварительным аннотатором для следующего раунда. Цикл замыкается без шага экспорта: обучайся на том, что есть, смотри, в чем модель ошибается, и отправляй это обратно на разметку. Это тот самый накопительный эффект, описанный далее в этом руководстве, доступный без необходимости настраивать все самостоятельно.

Сильные стороны. Замкнутый цикл — это главная цель. Между разметкой и обучением нет этапа экспорта-преобразования-импорта, ручная разметка охватывает шесть задач компьютерного зрения, поддерживаемых моделями Ultralytics, а датасет, на котором была обучена конкретная версия, остается связанным с ней.

Компромиссы. Платформа создана для компьютерного зрения, поэтому командам, размечающим текст или аудио наряду с изображениями, потребуется отдельный инструмент. Она не предоставляет управляемый штат разметков и не является движком выборки на основе эмбеддингов для очень большого пула неразмеченных данных. У преимущества интеграции есть и обратная сторона, о которой стоит упомянуть: чем большая часть твоего рабочего процесса находится на одной платформе, тем больше она зависит от одного вендора — это та же стоимость привязки, что отмечалась выше для Roboflow. Это также самый новый вариант в данном сравнении: Ultralytics Platform была запущена в марте 2026 года, в то время как CVAT, Labelbox и Roboflow имеют за плечами годы производственной истории. Там, где продолжительность истории работы является требованием при закупке, эта разница реальна, и ее следует взвесить.

V7#

Что это такое. Платформа аннотирования, ориентированная на детальную работу с изображениями и видео, наиболее сильная в медицинской и научной визуализации.

Кому подходит лучше всего. Командам, создающим плотные высокоточные аннотации, где эргономика работы проверяющего доминирует в затратах.

Как работает автоматизация. Автоматическая аннотация создает детальные аннотации экземпляров на основе легкого ввода с отслеживанием по видеокадрам.

Сильные стороны. Инструменты, ориентированные на точность, и хорошо зарекомендовавший себя интерфейс для сложной работы по сегментации.

Компромиссы. Специализация, нацеленная на сложные изображения, является избыточными накладными расходами для простой детекции объектов.

Voxel51 FiftyOne#

Что это такое. Инструментарий с открытым исходным кодом для исследования, кураторства и отладки датасетов компьютерного зрения и предсказаний моделей, включающий корпоративную редакцию.

Кому подходит. Командам, чья проблема с точностью заключается в проблеме с данными, которую они пока не видят.

Как работает автоматизация. Предсказания и базовые истины загружаются в одно и то же представление, поэтому ты можешь сортировать по потерям, находить ошибки разметки и дубликаты, а также экспортировать целевой срез для повторной разметки.

Преимущества. Необычайно эффективен в выявлении проблем датасета (ошибок разметки, дубликатов, дисбаланса классов), которые не удастся исправить никаким объемом дополнительной разметки.

Недостатки. Слой кураторства и анализа. Это не интерфейс аннотирования и не сервис разметки.

Модели, лежащие в основе авторазметки#

Поставщики рекламируют автоматизацию как функцию, но получаемое тобой качество зависит от лежащей в основе модели, а поисковые запросы по этой теме называют эти модели напрямую.

Segment Anything (SAM). Модель сегментации с подсказками от Meta создает маски по текстовой или прямоугольной подсказке. Она является рабочей лошадкой функций умного аннотирования, в том числе в Ultralytics Platform, и отлично справляется с поиском границ объектов. Она не знает твоих названий классов. Она выполняет сегментацию, а что-то другое должно решить, чем является этот сегмент.

Детекторы с открытым словарем. Модели семейства Grounding DINO обнаруживают объекты по текстовой подсказке, что позволяет предварительно аннотировать класс, на котором модель никогда не обучалась. Это полезно для создания нового списка классов, но менее надежно для специфических деталей и дефектов в предметной области, где твой словарь не совпадает ни с чем в публичном интернете.

Собственная дообученная модель. Как только появляется первая модель, она обычно становится лучшим средством предварительного аннотирования для твоих данных, поскольку она видела твои камеры, освещение и классы. Именно этот механизм заставляет цикл развиваться по нарастающей: каждый раунд разметки создает лучший инструмент предварительного аннотирования для следующего.

Практический вывод заключается в том, что автоматизация становится лучше по мере жизненного цикла проекта. Оценка инструмента по тому, насколько хорошо универсальная модель предварительно аннотирует твою первую сотню изображений, принижает то, что она сделает на десятой тысяче изображений.

Запуск рабочего процесса без ухудшения качества датасета#

Автоматизация переносит риск, а не устраняет его. Предварительно аннотированный кадр, который проверяющий одобряет не глядя, выглядит точно так же, как тщательно проверенный, а когда рамка уже нарисована, сильна предвзятость подтверждения.

Элементы контроля, которые стоит внедрить перед масштабированием автоматизации:

• Проверяй предварительные аннотации, а не подтверждай их. Установи ожидания, что проверяющие исправляют черновик, и проводи аудиты показателей принятия, которые выглядят неправдоподобно высокими.
• Оставляй набор для оценки, размеченный вручную. Если твой тестовый набор был автоматически размечен тем же семейством моделей, которое ты оцениваешь, твои метрики измеряют согласие, а не точность.
• Выбирай выборку и перепроверяй. Выделяй случайный срез принятых авторазметок в каждом раунде и размечай его с нуля независимо. Уровень расхождений — это твой реальный сигнал качества.
• Следи за классами, с которыми автоматизация справляется хуже всего. Маленькие объекты, сильное перекрытие и редкие классы — это то, где предложения дают сбой и где концентрируются скрытые ошибки.
• Поддерживай онтологию стабильной или создавай ее версии. Автоматизация добросовестно и с высокой скоростью распространяет старое определение класса.
• Отслеживай происхождение. Знание того, какие метки были предложены машиной, а какие нарисованы вручную, делает последующее расследование качества выполнимым.

Когда автоматизация перестает окупаться#

Автоматизация приносит больше всего пользы на больших объемах визуально стабильных данных с четко определенными классами. Она приносит меньше всего пользы в трех ситуациях, которые стоит распознать на ранней стадии.

Первая — это действительно новые классы. Если ни одна из доступных моделей не имеет понятия о твоей детали, дефекте или событии, предварительное аннотирование создает шум, который проверяющий должен устранить перед выполнением реальной работы. Разметь несколько сотен вручную, обучи модель, а затем позволь ей выполнять предварительную аннотацию.

Вторая — экспертная оценка. Когда сложность заключается в том, чтобы решить, считается ли что-то дефектом вообще, узким местом является принятие решения, а не рисование. Автоматизация не ускоряет разрешение спора между двумя квалифицированными инспекторами.

Третья — датасет, который уже достаточно велик. После определенного момента большее количество разметок одних и тех же сцен перестает повышать точность, и ограничением становится разнообразие данных. Это проблема отбора, и добавление в нее возможностей авторазметки просто приводит к более быстрому созданию избыточных меток.