Разбираемся, почему разметка с участием человека (human-in-the-loop) важна

Двадцать лет назад, если бы кто-то сказал, что собирается завести робота для помощи по дому, это прозвучало бы как нечто фантастическое. Однако сейчас мы находимся в самом разгаре бума ИИ, и роботов тестируют в подобных сценариях.

Ключевой областью ИИ, стимулирующей этот прогресс, является компьютерное зрение, которое дает машинам способность понимать изображения и видео. Другими словами, такие модели компьютерного зрения, как Ultralytics YOLO11 и готовящаяся к выпуску Ultralytics YOLO26, могут обучаться на наборах данных, состоящих из визуальных данных и аннотаций.

Эти аннотации помогают модели понять визуальные данные. Например, в наборах данных для обнаружения объектов используются ограничивающие рамки (bounding boxes), чтобы обвести прямоугольниками интересующие объекты. Это позволяет модели находить и определять местоположение этих объектов на новых изображениях, даже если сцена перегружена или объект частично скрыт.

Другие задачи компьютерного зрения зависят от иных видов аннотаций. Наборы данных для сегментации размечают точный контур объекта на уровне пикселей, а наборы данных с ключевыми точками отмечают специфические ориентиры, например, суставы человека.

Однако для всех этих форматов одним из решающих факторов является качество и согласованность меток. Модели учатся непосредственно на данных, на которых они обучаются, поэтому, если метки непоследовательны или неверны, модель часто будет переносить эти ошибки в свои прогнозы.

Даже при наличии автоматизации наборы данных, размеченные человеком, по-прежнему критически важны, особенно в таких ответственных областях, как медицинская визуализация. Небольшие ошибки в разметке, такие как неточная граница опухоли или пропущенная аномалия, могут научить модель неправильному паттерну и привести к небезопасным прогнозам в будущем. Человеческие эксперты обеспечивают точные эталонные данные и суждения, необходимые для этих приложений.

Рис 1. Существует потребность в наборах данных, размеченных человеком. Изображение автора.

В этой статье мы подробнее рассмотрим, почему данные, размеченные человеком, остаются необходимыми, даже несмотря на постоянное развитие ИИ.

Link to this sectionПотребность в разметке изображений и видео#

Модели компьютерного зрения учатся во многом так же, как и мы — видя множество примеров. Разница в том, что они учатся через обучение на больших наборах данных из изображений и видео, которые люди размечают заранее. Эти метки выступают в качестве эталонных данных (ground truth), обучая модель таким вещам, как «это пешеход», «здесь граница опухоли» или «тот объект — машина».

Реальные визуальные данные редко бывают чистыми или последовательными. Освещение может меняться, заставляя один и тот же объект выглядеть иначе. Люди и транспортные средства могут перекрываться или быть частично скрытыми. Фоны могут быть загруженными и отвлекающими. Когда наборы данных включают в себя тщательную, согласованную разметку в таких ситуациях, модели гораздо лучше подготовлены к тому, с чем они столкнутся вне контролируемых условий.

Разметка данных — это также не просто рисование рамок или обводка контуров. Она включает в себя применение правил и принятие практических решений о том, что считать объектом, где должна проходить его граница и что делать, когда что-то неясно. Именно это человеческое суждение сохраняет данные точными и пригодными для использования.

В конечном счете, система компьютерного зрения работает лишь настолько хорошо, насколько хороши размеченные данные, на которых она учится. В высокоэффективных приложениях, таких как выявление рака на сканах или обнаружение дорожных опасностей для беспилотных автомобилей, точная разметка от квалифицированных специалистов имеет реальное значение для точности и безопасности.

Link to this sectionРост автоматизации в разметке данных#

По мере масштабирования компьютерного зрения и роста объемов данных автоматизация становится обычным способом ускорения разметки. Вместо того чтобы размечать все вручную, команды используют модели ИИ для создания первого прохода разметки.

Затем люди проверяют результаты, исправляют ошибки и обрабатывают случаи, которые модель не может разметить с уверенностью. Такой подход ускоряет разметку, сохраняя при этом высокое качество.

Вот несколько способов, которыми автоматизация обычно помогает при разметке данных:

• Автоматическая сегментация: Модели могут автоматически предлагать контуры объектов или маски на уровне пикселей, что уменьшает объем ручной обводки, которую необходимо выполнять разметчикам.
• Отслеживание оптического потока: Что касается видео, методы отслеживания могут следовать за движущимся объектом по кадрам и переносить его метку вперед, помогая сохранять аннотации согласованными с течением времени.
• Интерполяция кадров: Инструменты могут заполнять метки для кадров между двумя размеченными кадрами, используя сигналы движения и отслеживания, поэтому разметчикам не нужно размечать каждый отдельный кадр.
• Активное обучение: Конвейеры обучения могут определять примеры, которые кажутся модели неопределенными или необычными, и отправлять их в первую очередь людям, чтобы ручные усилия направлялись на данные, которые больше всего улучшают производительность.

Link to this sectionПочему разметка данных человеком остается такой важной#

Хотя автоматизация может ускорить разметку, моделям ИИ по-прежнему требуется суждение человека, чтобы оставаться точными и надежными.

Вот несколько ключевых областей, где человеческий опыт оказывает влияние на разметку данных:

• Понимание контекста: Реальные изображения и видео часто бывают хаотичными. Тени, блики, размытость при движении и перекрывающиеся объекты могут сбить с толку автоматизированные инструменты. Человеческие разметчики могут интерпретировать то, что происходит на самом деле, поэтому метки становятся более точными.
• Поддержание согласованности меток: По мере роста наборов данных автоматизированные метки могут дрейфовать или варьироваться между пакетами. Люди могут проверять, исправлять и приводить метки в соответствие, чтобы набор данных оставался согласованным от начала до конца.
• Снижение предвзятости и вреда: Люди лучше замечают чувствительный контент, культурные нюансы и паттерны, которые могут привести к предвзятости. Их контроль помогает сделать наборы данных более справедливыми и избежать непреднамеренного вреда.
• Применение предметных знаний: Некоторые задачи требуют знания предметной области, например, выявление медицинских аномалий или промышленных дефектов. Эксперты могут предоставить точные метки и разрешить неоднозначные случаи, чтобы модель усвоила правильные детали.

Link to this sectionОбзор разметки с участием человека#

Инструменты и платформы для разметки, такие как Roboflow, интегрируют автоматизацию для ускорения процесса, часто используя фундаментальные модели, такие как Segment Anything Model 3 или SAM3. SAM3 — это фундаментальная модель сегментации с поддержкой промптов от Meta AI.

Она может обнаруживать, сегментировать и отслеживать объекты на изображениях и видео с помощью простых промптов, таких как клики, ограничивающие рамки или короткие текстовые фразы, создавая маски сегментации для соответствующих объектов без необходимости обучения под конкретную задачу для каждой новой категории.

Даже с такими передовыми подходами по-прежнему нужны человеческие эксперты для проверки и завершения аннотаций. Когда автоматизированные инструменты создают первый черновик, а люди проверяют, исправляют и уточняют его, такой рабочий процесс называется разметкой с участием человека. Это сохраняет высокую скорость разметки, гарантируя при этом, что финальные метки являются достаточно точными и согласованными для обучения надежных моделей.

Рис 2. Взгляд на разметку с участием человека. (Источник)

Link to this sectionКогда автоматизация разметки работает, а когда нет#

Автоматизированная разметка лучше всего работает для данных, полученных из контролируемых сред. Изображения, собранные на заводах, складах или в торговых залах, обычно имеют стабильное освещение и четкий обзор объектов, поэтому автоматизированные инструменты могут точно их разметить и помочь командам масштабироваться быстрее с меньшими ручными затратами.

Данные из менее контролируемых сред более сложны. Уличная съемка меняется в зависимости от времени суток и погоды, а сцены с улиц или домов часто содержат хаос, размытость при движении, перекрывающиеся объекты и множество наложений. Маленькие объекты, тонкие границы или редкие ситуации добавляют еще больше пространства для ошибок. Модель, которая хорошо работает на чистых данных из помещений, все еще может испытывать трудности с хаотичными реальными визуальными данными.

Вот почему человеческий вклад по-прежнему важен. Люди могут вмешаться, когда модель не уверена, интерпретировать сложный контекст и исправить ошибки до того, как они попадут в финальный набор данных. Разметка с участием человека помогает автоматизации оставаться привязанной к реальным условиям и поддерживает надежность моделей после развертывания.

Link to this sectionГде разметка с участием человека может иметь значение?#

Теперь, когда мы увидели, где автоматизация работает хорошо, а где ее недостаточно, давайте исследуем несколько приложений, где разметка с участием человека играет важную роль.

Link to this sectionОбнаружение дефектов в производстве#

Представьте фабричный конвейер, где сотни деталей проходят под камерой каждую минуту. Большинство дефектов очевидны, но иногда появляется волосяная трещина под странным углом или под бликом света. Автоматизированная система может пропустить ее или пометить как безобидную текстуру поверхности, но эксперт-человек может заметить дефект, исправить аннотацию и убедиться, что модель выучила разницу.

В этом и заключается роль разметки с участием человека в промышленном контроле. Автоматизация может предварительно разметить распространенные типы дефектов и быстро обработать большие объемы изображений, но людям все равно нужно проверять результаты, уточнять границы и обрабатывать редкие сбои, которые не часто встречаются при обучении.

Link to this sectionАвтономные транспортные средства и интеллектуальный транспорт#

Аналогичным образом автономные транспортные средства используют компьютерное зрение для обнаружения пешеходов, чтения знаков и навигации в трафике, но реальные дороги непредсказуемы. Например, пешеход, выходящий из-за припаркованной машины ночью, может быть частично скрыт и его трудно увидеть при бликах.

Рис 3. Пример использования компьютерного зрения для анализа трафика. (Источник)

Человеческие разметчики могут размечать эти редкие, критически важные для безопасности краевые случаи во время обучения, чтобы модели учились правильному реагированию не только в нормальных условиях, но и в самые важные моменты. Этот шаг с участием человека является ключевым для обучения систем обработке низкочастотных событий, которые трудно уловить с помощью одной лишь автоматизации.

Link to this sectionПуть вперед для наборов данных, размеченных человеком#

Разметка с участием человека становится все более совместной по мере развития технологий. Интересно, что зрительно-языковые модели (VLM), которые обучаются как на изображениях, так и на тексте, теперь используются для создания первого прохода меток и предложения исправлений на основе простых промптов.

Поэтому вместо того, чтобы вручную просматривать каждое изображение, чтобы решить, что размечать, разметчик может дать VLM промпт вроде «разметь всех пешеходов, машины и светофоры» или «сегментируй все дефекты на этой детали» и получить черновой набор аннотаций для проверки.

Рис 4. Крупные мультимодальные модели могут работать с человеческими разметчиками (Источник)

Это сокращает время разметки, потому что модель может справиться со многими простыми случаями заранее, чтобы люди могли сосредоточиться на проверке результатов, исправлении сложных примеров и поддержании согласованности набора данных. Крупные мультимодальные модели также начинают направлять разметчиков к наиболее неопределенным выборкам, делая усилия человека более целенаправленными и улучшая общее качество набора данных.

Link to this sectionОсновные выводы#

Компьютерное зрение помогает машинам интерпретировать то, что они видят, и реагировать на это, но оно работает лучше всего, когда в процесс вовлечен человеческий опыт. Данные, размеченные человеком, держат модели в рамках реальных условий и повышают надежность их работы. Благодаря тому, что автоматизация и суждение человека работают рука об руку, команды могут создавать эффективные системы зрения.

Присоединяйся к нашему активному сообществу и изучай инновации, такие как ИИ в логистике и ИИ зрения в робототехнике. Посети наш репозиторий на GitHub, чтобы узнать больше. Чтобы начать работу с компьютерным зрением уже сегодня, ознакомься с нашими вариантами лицензирования.