Почему разметка с участием человека имеет ключевое значение

Двадцать лет назад, если бы кто-то сказал, что подумывает завести робота для помощи по дому, это звучало бы совершенно неправдоподобно. Однако сейчас мы переживаем бум искусственного интеллекта, и роботов испытывают в подобных сценариях.

Одно из ключевых направлений ИИ, обеспечивающих этот прогресс, — компьютерное зрение, которое наделяет машины способностью понимать изображения и видео. Иными словами, модели компьютерного зрения, такие как Ultralytics YOLO11 и готовящаяся к выпуску Ultralytics YOLO26, можно обучать на датасетах, состоящих из визуальных данных и аннотаций.

Эти аннотации помогают модели понимать визуальные данные. Например, в датасетах для обнаружения объектов с помощью ограничивающих рамок рисуют прямоугольники вокруг интересующих объектов. Благодаря этому модель может обнаруживать и локализовать эти объекты на новых изображениях, даже если сцена загромождена или объект частично скрыт.

Другие задачи компьютерного зрения зависят от других типов аннотаций. В датасетах для сегментации точный контур объекта размечается на уровне пикселей, а в датасетах ключевых точек отмечаются определённые ориентиры, например суставы человека.

Однако для всех этих форматов решающее значение имеют качество и согласованность меток. Модели напрямую учатся на данных, на которых их обучают, поэтому при непоследовательных или ошибочных метках модель часто переносит эти ошибки в свои предсказания.

Даже при наличии автоматизации датасеты, размеченные людьми, по-прежнему крайне важны, особенно в областях с высокими рисками, таких как медицинская визуализация. Небольшие ошибки разметки, например неточная граница опухоли или пропущенная аномалия, могут научить модель неправильному паттерну и впоследствии привести к небезопасным предсказаниям. Люди-эксперты обеспечивают точную эталонную разметку и экспертную оценку, необходимые для таких приложений.

Рис. 1. Необходимость датасетов, размеченных людьми. Изображение автора.

В этой статье мы подробнее рассмотрим, почему данные, размеченные людьми, необходимы даже по мере дальнейшего развития ИИ.

Необходимость разметки изображений и видео#

Модели компьютерного зрения учатся во многом так же, как и мы: просматривая множество примеров. Разница в том, что они обучаются на больших датасетах изображений и видео, которые люди заранее размечают. Эти метки служат эталонной разметкой и учат модель понимать, например, что это пешеход, здесь граница опухоли, а тот объект — автомобиль.

Визуальные данные из реального мира редко бывают чистыми или однородными. Освещение может меняться, из-за чего один и тот же объект выглядит по-разному. Люди и транспортные средства могут перекрывать друг друга или быть частично скрыты. Фон может быть сложным и отвлекающим. Если датасеты содержат тщательно и согласованно размеченные данные для таких ситуаций, модели гораздо лучше подготовлены к тому, с чем столкнутся за пределами контролируемых условий.

Разметка данных — это нечто большее, чем просто рисование рамок или обведение контуров. Она включает применение рекомендаций и принятие практических решений о том, что считать объектом, где должна проходить его граница и как поступать в неоднозначных случаях. Такая экспертная оценка помогает сохранить точность и пригодность данных.

В конечном счёте система компьютерного зрения работает не лучше, чем размеченные данные, на которых она учится. В важных приложениях, таких как обнаружение рака на снимках или выявление дорожных опасностей для беспилотных автомобилей, точные метки, созданные квалифицированными специалистами, заметно повышают точность и безопасность.

Распространение автоматизации в разметке данных#

По мере масштабирования компьютерного зрения и роста датасетов автоматизация становится распространённым способом ускорить разметку. Вместо того чтобы размечать всё вручную, команды используют модели ИИ для создания первого варианта меток.

Затем люди проверяют результаты, исправляют ошибки и обрабатывают случаи, которые модель не может уверенно разметить. Такой подход ускоряет разметку и одновременно сохраняет высокое качество.

Вот несколько способов, которыми автоматизация обычно помогает размечать данные:

• Автоматическая сегментация: модели могут автоматически предлагать контуры объектов или маски на уровне пикселей, уменьшая объём ручной трассировки, которую должны выполнять специалисты по разметке.
• Отслеживание оптического потока: при работе с видео методы отслеживания могут следить за движущимся объектом между кадрами и переносить его метку дальше, помогая сохранять согласованность аннотаций во времени.
• Интерполяция кадров: инструменты могут заполнять метки для кадров между двумя размеченными кадрами, используя признаки движения и отслеживания, поэтому специалистам не нужно размечать каждый кадр.
• Активное обучение: конвейеры обучения могут выявлять примеры, которые модель считает неоднозначными или необычными, и сначала передавать их людям, чтобы ручные усилия направлялись на данные, которые сильнее всего повышают производительность.

Почему разметка данных людьми по-прежнему так важна#

Хотя автоматизация может ускорить разметку, моделям ИИ по-прежнему нужна экспертная оценка людей, чтобы оставаться точными и надёжными.

Вот несколько ключевых областей, в которых опыт специалистов влияет на разметку данных:

• Понимание контекста: реальные изображения и видео часто бывают сложными. Тени, отражения, размытие в движении и перекрывающиеся объекты могут сбивать автоматизированные инструменты. Люди, выполняющие разметку, могут понять, что происходит на самом деле, поэтому метки становятся точнее.
• Согласованность меток: по мере роста датасетов автоматические метки могут становиться непоследовательными или различаться между пакетами данных. Люди могут проверять, исправлять и согласовывать метки, чтобы датасет оставался единообразным от начала до конца.
• Снижение предвзятости и вреда: люди лучше выявляют чувствительный контент, культурные нюансы и закономерности, способные привести к предвзятости. Их контроль помогает сделать датасеты справедливее и избежать непреднамеренного вреда.
• Применение предметной экспертизы: для некоторых задач нужны знания в конкретной области, например для выявления медицинских аномалий или промышленных дефектов. Эксперты могут создавать точные метки и разрешать неоднозначные случаи, чтобы модель училась правильным деталям.

Обзор разметки с участием человека#

Инструменты и платформы для разметки, такие как Roboflow, интегрируют автоматизацию для ускорения разметки, часто используя фундаментальные модели, такие как модель «Сегментируй всё» 3 или SAM3. SAM3 — фундаментальная модель сегментации Meta AI, управляемая промптами.

Она может обнаруживать, сегментировать и отслеживать объекты на изображениях и видео по простым промптам, таким как клики, ограничивающие рамки или короткие текстовые фразы, создавая маски сегментации для соответствующих объектов без необходимости обучать её отдельно под каждую новую категорию.

Даже при использовании таких передовых подходов эксперты по-прежнему нужны для проверки и финализации аннотаций. Когда автоматизированные инструменты создают первый вариант, а люди проверяют, исправляют и уточняют его, такой процесс называется разметкой с участием человека. Это позволяет сохранять высокую скорость разметки и одновременно обеспечивать точность и согласованность итоговых меток, достаточные для обучения надёжных моделей.

Рис. 2. Разметка с участием человека. (Источник)

Когда автоматизация разметки работает, а когда — нет#

Автоматизированная разметка лучше всего работает с данными из контролируемых мест. На изображениях, собранных на фабриках, складах или в торговых рядах, обычно стабильное освещение и хорошо видны объекты, поэтому автоматизированные инструменты могут точно размечать их и помогать командам быстрее масштабироваться с меньшим объёмом ручной работы.

Данные из менее контролируемых мест сложнее. Уличные записи меняются в зависимости от времени суток и погоды, а на сценах с улиц или из домов часто встречаются беспорядок, размытие в движении, заслоняющие друг друга объекты и множество перекрытий. Маленькие объекты, тонкие границы или редкие ситуации создают ещё больше возможностей для ошибок. Модель, которая хорошо работает на чистых данных из помещений, всё ещё может испытывать трудности с неидеальными визуальными данными из реального мира.

Именно поэтому участие людей по-прежнему важно. Они могут вмешаться, когда модель не уверена, разобраться в сложном контексте и исправить ошибки до того, как те попадут в итоговый датасет. Разметка с участием человека помогает автоматизации учитывать условия реального мира и сохраняет надёжность моделей после развёртывания.

Где разметка с участием человека может изменить ситуацию?#

Теперь, когда мы увидели, где автоматизация хорошо работает, а где даёт сбои, рассмотрим несколько приложений, в которых разметка с участием человека играет важную роль.

Обнаружение дефектов на производстве#

Представь производственный конвейер, где сотни деталей каждую минуту проходят под камерой. Большинство дефектов очевидны, но иногда под необычным углом или из-за бликов от источника света появляется трещина толщиной с волос. Автоматизированная система может не заметить её или принять за безобидную текстуру поверхности, тогда как человек-проверяющий обнаружит дефект, исправит аннотацию и поможет модели научиться различать эти случаи.

Такова роль разметки с участием человека при промышленном контроле. Автоматизация может предварительно размечать распространённые типы дефектов и быстро обрабатывать большие объёмы изображений, но людям по-прежнему нужно проверять результаты, уточнять границы и обрабатывать редкие ошибки, которые нечасто встречаются в обучающих данных.

Беспилотные автомобили и интеллектуальный транспорт#

Аналогичным образом беспилотные автомобили используют компьютерное зрение, чтобы замечать пешеходов, распознавать знаки и ориентироваться в потоке транспорта, но реальные дороги непредсказуемы. Например, пешеход, выходящий ночью из-за припаркованного автомобиля, может быть частично скрыт и плохо виден из-за бликов.

Рис. 3. Пример использования компьютерного зрения для анализа дорожного движения. (Источник)

Люди, выполняющие разметку, могут размечать такие редкие критически важные для безопасности крайние случаи во время обучения, чтобы модели учились правильной реакции не только в обычных условиях, но и в самые важные моменты. Этот этап с участием человека крайне важен для обучения систем работе с редко возникающими событиями, которые трудно охватить одной лишь автоматизацией.

Будущее датасетов, размеченных людьми#

По мере развития технологий разметка с участием человека становится более совместной. Интересно, что модели зрения и языка (VLMs), которые учатся на изображениях и тексте, теперь используют для создания первого варианта меток и предложения исправлений по простым промптам.

Вместо того чтобы вручную просматривать каждое изображение и решать, что размечать, специалист может задать VLMs фразу вроде «разметь всех пешеходов, автомобили и светофоры» или «сегментируй все дефекты на этой детали» и получить черновой набор аннотаций для проверки.

Рис. 4. Большие мультимодальные модели могут работать вместе со специалистами по разметке (Источник)

Это сокращает время разметки, поскольку модель заранее обрабатывает множество простых случаев, а люди могут сосредоточиться на проверке результатов, исправлении сложных примеров и поддержании согласованности датасета. Большие мультимодальные модели также начинают направлять специалистов к наиболее неоднозначным образцам, делая усилия людей более целенаправленными и повышая общее качество датасета.

Основные выводы#

Компьютерное зрение помогает машинам интерпретировать увиденное и реагировать на него, но лучше всего оно работает при участии человеческой экспертизы. Данные, размеченные людьми, помогают моделям учитывать условия реального мира и повышают надёжность их работы. Когда автоматизация и экспертная оценка людей работают бок о бок, команды могут создавать эффективные системы компьютерного зрения.

Присоединяйся к нашему активному сообществу и изучай такие инновации, как ИИ в логистике и компьютерное зрение на базе ИИ в робототехнике. Посети наш репозиторий на GitHub, чтобы узнать больше. Чтобы начать работать с компьютерным зрением уже сегодня, ознакомься с нашими вариантами лицензирования.