Почему разметка с участием человека так важна

Двадцать лет назад мысль о том, чтобы завести робота-помощника по дому, звучала бы совершенно неправдоподобно. Но сейчас, в разгар бума ИИ, роботов испытывают в подобных условиях.

Одно из ключевых направлений AI, способствующих этому прогрессу, — компьютерное зрение, которое позволяет машинам понимать изображения и видео. Иными словами, модели компьютерного зрения, такие как Ultralytics YOLO11 и более новая Ultralytics YOLO26, можно обучать на наборах данных, состоящих из визуальных данных и аннотаций.

Аннотации помогают модели понимать визуальные данные. Например, в наборах данных для обнаружения объектов прямоугольными ограничивающими рамками обводят интересующие объекты. Благодаря этому модель может обнаруживать такие объекты и определять их местоположение на новых изображениях, даже если сцена загромождена или объект частично скрыт.

Для других задач компьютерного зрения нужны другие типы аннотаций. В наборах данных для сегментации точно размечают контуры объектов на уровне пикселей, а в наборах для работы с ключевыми точками отмечают конкретные ориентиры, например суставы человека.

Однако для всех этих форматов критически важны качество и единообразие меток. Модели учатся непосредственно на обучающих данных, поэтому при непоследовательной или ошибочной разметке модель часто воспроизводит эти ошибки в своих предсказаниях.

Даже при автоматизации наборы данных с разметкой, выполненной человеком, по-прежнему критически важны, особенно в таких ответственных областях, как медицинская визуализация. Небольшие ошибки разметки — например, неточно обозначенная граница опухоли или пропущенная аномалия — могут научить модель неверным закономерностям и привести к небезопасным предсказаниям. Эксперты обеспечивают точную эталонную разметку и оценку, необходимые для таких задач.

Рис. 1. Наборы данных с разметкой, выполненной человеком, необходимы. Изображение автора.

В этой статье мы подробнее разберём, почему данные с разметкой, выполненной человеком, остаются необходимыми даже на фоне постоянного развития ИИ.

Зачем размечать изображения и видео#

Модели компьютерного зрения учатся во многом так же, как и мы, — на множестве примеров. Разница в том, что они обучаются на больших наборах данных с изображениями и видео, которые люди заранее размечают. Эти метки служат эталонной разметкой и учат модель распознавать, например, пешехода, границу опухоли или автомобиль.

Визуальные данные из реального мира редко бывают чистыми и единообразными. Освещение может меняться, из-за чего один и тот же объект выглядит по-разному. Люди и транспортные средства могут перекрывать друг друга или быть частично скрытыми. Фон может быть перегруженным и отвлекающим. Если наборы данных содержат тщательно и единообразно размеченные примеры таких ситуаций, модели гораздо лучше подготовлены к тому, с чем им предстоит столкнуться вне контролируемых условий.

Разметка данных — это не просто рисование рамок или обведение контуров. Она предполагает применение правил и принятие практических решений о том, что считать объектом, где проходит его граница и как поступать в неоднозначных случаях. Благодаря человеческому суждению данные остаются точными и пригодными для использования.

В конечном счёте компьютерное зрение работает не лучше, чем размеченные данные, на которых оно обучается. В критически важных приложениях — например, при выявлении рака на снимках или обнаружении опасностей на дороге для беспилотных автомобилей — точная разметка, выполненная опытными специалистами, существенно повышает точность и безопасность.

Распространение автоматизации разметки данных#

По мере масштабирования компьютерного зрения и роста наборов данных автоматизация становится распространённым способом ускорить аннотирование. Вместо того чтобы размечать всё вручную, команды используют модели AI для создания первичной разметки.

Затем люди проверяют результаты, исправляют ошибки и обрабатывают случаи, в которых модель не может выполнить разметку с достаточной уверенностью. Такой подход ускоряет разметку, сохраняя её высокое качество.

Вот несколько типичных способов, которыми автоматизация помогает размечать данные:

• Автоматическая сегментация: Модели могут автоматически предлагать контуры объектов или маски на уровне пикселей, уменьшая объём ручной обводки, которую должны выполнять специалисты по разметке.
• Отслеживание с помощью оптического потока: при работе с видео методы отслеживания могут сопровождать движущийся объект от кадра к кадру и переносить его метку, помогая сохранять согласованность разметки во времени.
• Интерполяция кадров: инструменты могут заполнять метки для кадров между двумя размеченными кадрами, используя данные о движении и отслеживании, поэтому специалистам не нужно размечать каждый кадр.
• Активное обучение: конвейеры обучения могут выявлять примеры, которые модель считает неоднозначными или необычными, и сначала передавать их людям, чтобы ручная работа была сосредоточена на данных, которые сильнее всего повышают качество модели.

Почему человеческая разметка данных по-прежнему так важна#

Автоматизация ускоряет разметку, но моделям ИИ по-прежнему требуется человеческое суждение, чтобы оставаться точными и надёжными.

Вот несколько ключевых областей, в которых опыт специалистов влияет на качество разметки данных:

• Понимание контекста: реальные изображения и видео часто бывают хаотичными. Тени, отражения, размытие в движении и перекрывающиеся объекты могут сбивать автоматизированные инструменты с толку. Специалисты по разметке способны понять, что происходит на самом деле, и благодаря этому точнее размечать данные.
• Согласованность меток: по мере роста наборов данных автоматические метки могут постепенно смещаться или различаться между партиями данных. Люди могут проверять, исправлять и согласовывать метки, чтобы обеспечить единообразие набора данных от начала до конца.
• Снижение предвзятости и вреда: люди лучше замечают деликатный контент, культурные нюансы и закономерности, способные привести к предвзятости. Их контроль помогает сделать наборы данных справедливее и избежать непреднамеренного вреда.
• Применение экспертных знаний: для некоторых задач нужны знания предметной области, например для выявления медицинских отклонений или промышленных дефектов. Эксперты могут точно размечать данные и разрешать неоднозначные случаи, чтобы модель училась распознавать нужные детали.

Обзор разметки с участием человека в цикле#

Инструменты и платформы для разметки, такие как Roboflow, интегрируют автоматизацию, чтобы ускорить процесс, часто используя фундаментальные модели, например Segment Anything Model 3, или SAM 3. SAM 3 — фундаментальная модель сегментации Meta AI, работающая с текстовыми запросами.

Она может обнаруживать, сегментировать и отслеживать объекты на изображениях и видео по простым запросам — например, щелчкам, ограничивающим рамкам или коротким текстовым фразам — и создавать маски сегментации для соответствующих объектов без необходимости отдельно обучать модель для каждой новой категории.

Даже при использовании этих передовых методов экспертам всё равно нужно проверять и завершать разметку. Когда автоматизированные инструменты создают черновой вариант, а люди проверяют, исправляют и уточняют его, такой процесс называется разметкой с участием человека в цикле. Это ускоряет разметку и помогает обеспечить точность и согласованность итоговых меток, необходимые для обучения надёжных моделей.

Рис. 2. Разметка с участием человека в цикле. (Источник)

Когда автоматизация разметки эффективна, а когда — нет#

Автоматизированная разметка лучше всего работает с данными из контролируемых условий. На изображениях, собранных на заводах, складах или в торговых залах, обычно стабильное освещение и хорошо видны объекты. Поэтому автоматизированные инструменты могут точно размечать такие изображения и помогать командам быстрее масштабировать работу с меньшими затратами ручного труда.

Данные из менее контролируемых условий устроены сложнее. Уличные кадры меняются в зависимости от времени суток и погоды, а на улицах и в домах часто встречаются беспорядок, размытие в движении, взаимное перекрытие объектов и множество наложений. Маленькие объекты, тонкие границы и редкие ситуации создают ещё больше возможностей для ошибок. Модель, которая хорошо работает на чистых данных из помещений, всё ещё может испытывать трудности с хаотичными визуальными данными из реального мира.

Именно поэтому участие человека по-прежнему важно. Люди могут вмешаться, когда модель не уверена, разобраться в сложном контексте и исправить ошибки, прежде чем они попадут в итоговый набор данных. Разметка с участием человека в цикле помогает автоматизации учитывать реальные условия и поддерживает надёжность моделей после развёртывания.

В каких задачах разметка с участием человека в цикле может помочь?#

Теперь, когда мы разобрались, где автоматизация эффективна, а где ей не хватает возможностей, рассмотрим несколько областей применения, в которых разметка с участием человека в цикле играет важную роль.

Обнаружение дефектов на производстве#

Представь производственный конвейер, по которому каждую минуту проходят сотни деталей перед камерой. Большинство дефектов очевидны, но иногда под необычным углом или из-за блика на поверхности появляется тонкая трещина. Автоматизированная система может её не заметить или принять за безобидную текстуру поверхности, тогда как проверяющий человек способен обнаружить дефект, исправить разметку и убедиться, что модель научится отличать одно от другого.

Такова роль разметки с участием человека в цикле при промышленном контроле. Автоматизация может предварительно размечать распространённые типы дефектов и быстро обрабатывать большие массивы изображений, но людям всё равно нужно проверять результаты, уточнять границы и разбирать редкие сбои, которые нечасто встречаются в обучающих данных.

Беспилотные автомобили и интеллектуальный транспорт#

Подобным образом беспилотные автомобили используют компьютерное зрение, чтобы замечать пешеходов, читать дорожные знаки и ориентироваться в потоке, но реальные дороги непредсказуемы. Например, пешеход, выходящий из-за припаркованной машины ночью, может быть частично скрыт и плохо различим из-за бликов.

Рис. 3. Пример анализа дорожного движения с помощью компьютерного зрения. (Источник)

Во время обучения специалисты могут размечать такие редкие критически важные для безопасности ситуации, чтобы модели учились правильно реагировать не только в обычных условиях, но и в самые важные моменты. Этот этап с участием человека в цикле необходим, чтобы научить системы справляться с редкими событиями, которые трудно охватить одной лишь автоматизацией.

Будущее наборов данных с разметкой, выполненной людьми#

По мере развития технологий разметка с участием человека в цикле становится всё более совместной. Примечательно, что визуально-языковые модели (VLM), обучающиеся на изображениях и текстах, теперь используют для создания первого варианта разметки и предложения исправлений по простым запросам.

Вместо того чтобы вручную просматривать каждое изображение и решать, что размечать, аннотатор может дать визуально-языковой модели запрос вроде «разметь всех пешеходов, машины и светофоры» или «сегментируй все дефекты на этой детали» и получить черновой набор аннотаций для проверки. На Ultralytics Platform команды могут автоматически размечать датасеты обнаружения объектов с помощью визуально-языковых моделей, а таблица лидеров VLM сравнивает точность разметки реальных изображений каждой модели.

Рис. 4. Большие мультимодальные модели могут работать совместно со специалистами по разметке (Источник)

Это сокращает время разметки: модель может заранее обработать множество простых случаев, а люди — сосредоточиться на проверке результатов, исправлении сложных примеров и поддержании согласованности набора данных. Большие мультимодальные модели также начинают направлять специалистов к наиболее неоднозначным примерам, благодаря чему усилия людей используются эффективнее, а общее качество набора данных повышается.

Главные выводы#

Компьютерное зрение помогает машинам интерпретировать увиденное и реагировать на него, но лучше всего оно работает при участии экспертов. Данные, размеченные людьми, помогают моделям учитывать реальные условия и повышают надёжность их работы. Совместная работа автоматизации и человеческого суждения позволяет командам создавать эффективные системы компьютерного зрения.

Присоединяйся к нашему активному сообществу и изучай инновации, например AI в логистике и Vision AI в робототехнике. Посети наш репозиторий GitHub, чтобы узнать больше. Чтобы уже сегодня начать работу с компьютерным зрением, ознакомься с нашими вариантами лицензирования.