Как Ultralytics Platform использует ИИ для автоматизации разметки

Решения в области компьютерного зрения, анализирующие изображения и видео, становятся неотъемлемой частью рабочих процессов во многих отраслях, от производства до медицинской визуализации. В производстве, например, обнаружение дефектов поверхности на изделиях, движущихся по конвейерной ленте, зависит от моделей компьютерного зрения, способных распознавать тонкие закономерности.

Чтобы такие модели работали эффективно, их нужно обучать на размеченных данных, где каждый дефект четко идентифицирован. Это позволяет моделям понимать, что именно нужно искать, и распознавать похожие закономерности.

Процесс создания этих меток называется аннотированием данных. В частности, аннотирование изображений и видео включает в себя отрисовку ограничивающих рамок, оконтуривание фигур или маркировку конкретных областей на изображениях и кадрах видео.

Хотя для небольших наборов данных это вполне выполнимо, по мере роста объема данных задача становится все сложнее. Разметка тысяч изображений требует постоянных ручных усилий, что делает аннотирование серьезным «узким местом». Традиционные инструменты часто работают медленно, разобщены и их трудно масштабировать.

Ultralytics Platform, универсальная платформа для ИИ в области зрения, помогает решить эти проблемы с помощью аннотирования при поддержке ИИ. Используя ИИ для автоматического создания начальных меток, которые можно быстро проверить и уточнить, платформа снижает объем ручной работы и повышает эффективность.

В этой статье мы рассмотрим, как работает аннотирование с поддержкой ИИ в Ultralytics Platform и как оно улучшает процесс разметки. Давай начнем!

Link to this sectionОбзор процесса аннотирования данных#

Прежде чем погрузиться в то, как работает аннотирование на базе ИИ в Ultralytics Platform, давай подробнее разберем, что такое аннотирование данных.

Аннотирование данных, также известное как разметка данных, — это процесс присвоения структурированных меток необработанным данным, чтобы их можно было использовать для обучения моделей машинного обучения. В компьютерном зрении эти метки определяют интересующие объекты, области или признаки на изображениях или видео.

В процессе обучения модели или алгоритмы учатся сопоставлять входные данные с этими метками, поэтому качество аннотирования является ключевым фактором производительности модели. Точные и согласованные наборы размеченных данных позволяют модели усвоить правильные закономерности, в то время как плохая или противоречивая разметка может привести к ненадежным предсказаниям.

Например, в случае обнаружения дефектов изображение изделия на конвейерной ленте можно аннотировать, отметив места появления дефектов и указав их тип. Это помогает модели понять, как выглядят дефекты, чтобы она могла идентифицировать их на новых изображениях.

Link to this sectionОбзор распространенных задач аннотирования#

Далее давай рассмотрим некоторые распространенные способы разметки изображений в компьютерном зрении. Эти методы используются для маркировки визуальных данных для таких задач, как обнаружение объектов, сегментация экземпляров и классификация изображений. Каждый метод аннотирования выполняет свою функцию, например: локализацию объектов, захват фигур или идентификацию ключевых структур.

Link to this sectionBBox#

Ограничивающие рамки (Bounding boxes) — это простые прямоугольники, нарисованные вокруг объектов на изображении, чтобы показать, где они находятся. Это один из самых распространенных способов разметки данных в компьютерном зрении.

Обучаясь на изображениях с такими рамками, модели обнаружения объектов учатся распознавать различные объекты и понимать их местоположение в кадре. Это позволяет им обнаруживать несколько объектов одновременно и определять, где находится каждый из них.

Например, представь игру в бейсбол, анализируемую с помощью компьютерного зрения. Рамки можно рисовать вокруг игроков, биты и мяча в каждом кадре, позволяя модели обнаруживать и идентифицировать эти объекты на протяжении всей игры.

Рис 1. Ограничивающие рамки можно использовать для маркировки и локализации нескольких объектов. (Источник)

Link to this sectionПолигоны или маски сегментации#

Полигоны, также называемые масками сегментации, идут дальше ограничивающих рамок, маркируя объекты на уровне пикселей. Вместо отрисовки грубого прямоугольника они захватывают точную форму и границы каждого объекта на изображении. Это делает их полезными для задач, требующих более детального понимания.

Например, в беспилотном вождении маски сегментации используются в таких задачах, как семантическая сегментация, где каждому пикселю присваивается категория, например «дорога» или «небо», и сегментация экземпляров, где отдельные объекты, такие как автомобили или пешеходы, идентифицируются отдельно.

Они также используются для задач типа удаления фона, когда объект, например человек, должен быть изолирован от остальной части изображения.

Link to this sectionКлючевые точки (Keypoints)#

Ключевые точки используются для маркировки определенных точек на объекте, таких как суставы тела человека или части тела животного. Идентифицируя эти точки, модели могут понять структуру объекта и то, как его части расположены относительно друг друга.

В компьютерном зрении это известно как оценка позы (pose estimation), где цель состоит в том, чтобы идентифицировать местоположение этих ключевых точек и понять, как они связаны друг с другом. Отслеживание этих точек с течением времени позволяет анализировать движение и изменения в позе.

Рис 2. Аннотации ключевых точек можно использовать для маркировки суставов для оценки позы человека. (Источник)

Распространенным примером является маркировка суставов тела на видео для анализа движений человека. Фокусируясь на этих ключевых точках, модели могут зафиксировать, как позиционирован человек и как его поза меняется с течением времени.

Link to this sectionОриентированная ограничивающая рамка (OBB)#

Не все объекты на изображении идеально выровнены. Во многих реальных сценариях объекты кажутся наклоненными, повернутыми или видны под разными углами.

Стандартные ограничивающие рамки часто плохо справляются в таких случаях, так как могут включать ненужный фон или неточно прилегать к объекту. Ориентированные ограничивающие рамки решают эту проблему, используя повернутые прямоугольники, которые выравниваются по направлению объекта. Это приводит к более точным и плотным аннотациям.

Этот подход используется в обнаружении ориентированных ограничивающих рамок (OBB), где модели идентифицируют как местоположение объекта, так и его ориентацию. Пример — аэрофотосъемка, где объекты, такие как здания, корабли или транспортные средства, часто появляются под разными углами. Повернутые рамки облегчают захват их истинной формы и направления в сцене.

Link to this sectionМетки классификации#

Метки классификации используют иной подход по сравнению с другими методами аннотирования, присваивая единую метку всему изображению, а не маркируя конкретные объекты или области. Они используются, когда цель состоит в том, чтобы идентифицировать то, что присутствует на изображении, без фокусировки на том, где оно находится.

Например, изображение может быть помечено как «кошка» или «собака» на основе его общего содержания. Это делает классификацию изображений полезной для задач, где достаточно высокоуровневого понимания изображения.

Link to this sectionОграничения традиционных инструментов аннотирования#

Многие традиционные инструменты разметки полагаются на множество этапов и разрозненные рабочие процессы. Командам разработчиков ИИ часто приходится переключаться между платформами для аннотирования, хранения и проверки, что замедляет ИИ-проекты.

Большинство инструментов поддерживают лишь ограниченный набор типов аннотаций и типов данных, поэтому команды в итоге используют разные инструменты для рамок, сегментации и ключевых точек. Эту фрагментированную настройку может быть трудно поддерживать, особенно командам, новичкам в компьютерном зрении.

Ручной труд — еще одна серьезная проблема. Хотя аннотирование одного изображения может занять всего несколько минут, работа с большими наборами данных быстро становится трудоемкой, особенно когда похожие изображения включают повторяющиеся задачи.

По мере роста наборов данных командам также приходится управлять файлами, отслеживать версии наборов данных и поддерживать согласованность аннотаций. Это увеличивает рабочую нагрузку: больше времени тратится на управление данными и меньше — на повышение производительности модели.

Более эффективный подход — использование аннотирования с поддержкой ИИ в составе Ultralytics Platform, которая применяет ИИ для создания и уточнения меток, снижая ручные усилия и повышая скорость и согласованность, и все это в рамках единой среды, объединяющей управление наборами данных, аннотирование, обучение моделей, развертывание и мониторинг.

Link to this sectionКак Ultralytics Platform обеспечивает процесс аннотирования#

Ultralytics Platform упрощает аннотирование, подключая его напрямую к остальной части рабочего процесса компьютерного зрения. Вместо того чтобы полагаться на отдельные инструменты, команды могут работать с данными, аннотациями и моделями в одной среде.

Она поддерживает ряд задач компьютерного зрения, включая обнаружение объектов, классификацию изображений, сегментацию экземпляров, оценку позы и обнаружение ориентированных ограничивающих рамок.

В рамках этой настройки аннотирование можно выполнять несколькими способами. Команды могут размечать данные вручную для полного контроля, использовать «умное» аннотирование на базе SAM для интерактивной разметки по точкам или применять «умное» аннотирование на базе YOLO для автоматического создания аннотаций, которые можно проверить и уточнить. Эта гибкость облегчает работу с различными наборами данных и требованиями к аннотированию.

Рис 3. Взгляд на аннотирование в Ultralytics Platform (Источник)

Поскольку аннотирование (как с помощью ИИ, так и вручную) интегрировано с управлением наборами данных и обучением моделей, команды могут беспрепятственно переходить от разметки данных к организации наборов данных и обучению моделей. Это поддерживает структурированность рабочих процессов и устраняет необходимость переключаться между инструментами или переформатировать аннотации.

Платформа также поддерживает модели Ultralytics YOLO, такие как Ultralytics YOLO11 и Ultralytics YOLO26, позволяя использовать аннотированные данные напрямую для обучения и тестирования. Это упрощает идентификацию пробелов в наборах данных, уточнение аннотаций и переобучение моделей посредством непрерывной итерации.

Link to this sectionКлючевые особенности «умного» аннотирования SAM в Ultralytics Platform#

«Умное» аннотирование на базе SAM в Ultralytics Platform предназначено для ускорения аннотирования в задачах обнаружения объектов, сегментации экземпляров и ориентированных ограничивающих рамок (OBB).

Платформа предоставляет несколько вариантов моделей SAM, включая SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large и SAM 3, давая пользователям возможность выбирать между скоростью и точностью.

Рис 4. «Умное» аннотирование на базе SAM в Ultralytics Platform (Источник)

Более компактные модели, такие как Tiny и Small, быстрее и хорошо подходят для быстрых рабочих процессов аннотирования, в то время как более крупные модели, такие как Large и SAM 3, обеспечивают более высокую точность для сложных сцен. Переключение между моделями мгновенно обновляет поведение аннотирования.

В редакторе аннотаций, после выбора модели SAM, специалисты по разметке могут перейти в режим Smart (Умный), чтобы начать работу. Вместо ручной отрисовки фигур модель направляется с помощью простых точечных вводов.

Левый клик добавляет положительную точку для включения области, а правый клик — отрицательную для исключения нежелательных участков. На основе этих входных данных модель генерирует точную маску в режиме реального времени.

Чтобы ускорить рабочий процесс, можно включить режим автоприменения (auto-apply). Когда он активен, каждый клик автоматически генерирует и сохраняет аннотацию без необходимости ручного подтверждения. Для более сложных объектов аннотаторы могут удерживать «Shift», чтобы разместить несколько точек перед применением маски, или отключить автоприменение, чтобы свободно добавлять точки, а затем нажать «Enter» для применения маски.

Link to this sectionПонимание «умного» аннотирования YOLO в Ultralytics Platform#

Подобно «умному» аннотированию на базе SAM, «умное» аннотирование YOLO в Ultralytics Platform использует ИИ для ускорения процесса разметки. Вместо того чтобы направлять модель кликами, оно использует предсказания модели для автоматической генерации аннотаций.

Этот подход поддерживает такие задачи, как обнаружение объектов, сегментация экземпляров и аннотирование ориентированных ограничивающих рамок (OBB). Он работает конкретно с моделями Ultralytics YOLO, включая предобученные модели, предоставленные Ultralytics, и кастомные модели YOLO.

В редакторе аннотаций аннотаторы могут войти в режим Smart, выбрать модель YOLO в меню выбора моделей и нажать Predict (Предсказать). Меню выбора моделей показывает только те модели YOLO, которые соответствуют текущей задаче набора данных, гарантируя, что сгенерированные аннотации будут совместимы.

Модель анализирует изображение и генерирует аннотации на основе своих предсказаний, которые затем добавляются непосредственно на изображение. Если предсказания перекрываются с существующими аннотациями того же класса, дублирующиеся обнаружения автоматически пропускаются, когда перекрытие превышает заданный порог, что помогает поддерживать чистоту и согласованность меток.

Рис 5. «Умное» аннотирование с поддержкой моделей Ultralytics YOLO в Ultralytics Platform (Источник)

После генерации предсказаний аннотаторы в цикле «человек в системе» (human-in-the-loop) могут проверять, корректировать или удалять их по мере необходимости. Это облегчает быструю разметку больших наборов данных, начиная с аннотаций, сгенерированных моделью, и уточняя их, вместо аннотирования всего вручную.

Со временем улучшенные модели YOLO могут быть повторно использованы для создания более качественных предсказаний, поддерживая итеративный рабочий процесс автоматической разметки.

Link to this sectionПрименение маркировки с поддержкой ИИ в реальных конвейерах#

Далее давай разберем примеры того, как Ultralytics Platform обеспечивает аннотирование данных в реальных сценариях использования.

Link to this sectionСегментация в автономном вождении#

Автономные транспортные средства, интегрированные с моделями компьютерного зрения, полагаются на хорошо аннотированные визуальные данные для понимания окружающей обстановки в режиме реального времени. Модели, обученные на этих данных, могут обнаруживать и сегментировать транспортные средства, пешеходов, дорожные знаки и границы дорог.

Задачи сегментации требуют точных границ на уровне пикселей, что делает аннотирование критически важным и трудоемким. Ручная разметка больших объемов сенсорных данных может быстро стать «узким местом», особенно в сложных дорожных сценах.

Ultralytics Platform оптимизирует этот процесс с помощью аннотирования при поддержке ИИ, используя модели SAM и YOLO. «Умное» аннотирование SAM обеспечивает быструю сегментацию на основе кликов с точными масками, а модели YOLO можно использовать для автоматической генерации аннотаций на изображениях.

Вместе эти подходы упрощают работу со сложными сценами с перекрывающимися объектами.

Поскольку аннотирование напрямую связано с обучением моделей, обновленные крупномасштабные наборы данных могут быть сразу использованы для переобучения и оценки моделей. Это позволяет командам постоянно улучшать производительность и более эффективно адаптироваться к новым дорожным условиям.

Link to this sectionУлучшение систем обеспечения качества в производстве#

В производстве поддержание последовательного контроля качества зависит от точного обнаружения дефектов во время производства. Модели компьютерного зрения часто используются для идентификации проблем в режиме реального времени, но их производительность зависит от того, насколько хорошо обучающие данные отражают реальные производственные условия.

Изменения в производственной среде, такие как вариации сырья, настроек оборудования или освещения, могут привести к появлению новых и редких типов дефектов, которые не были частью исходных обучающих данных. Это создает разрыв между тем, что узнала модель, и тем, что появляется на производственной линии.

Чтобы оставаться в соответствии с требованиями, наборы данных должны регулярно обновляться высококачественными внутренними аннотациями. Ultralytics Platform позволяет легко обновлять аннотации и расширять наборы данных по мере появления новых типов дефектов. Эти обновленные наборы данных затем могут использоваться для переобучения моделей, помогая командам быстрее адаптироваться к меняющимся производственным условиям.

Link to this sectionМониторинг площадок и безопасность в строительстве#

Строительные площадки — это динамичные среды с множеством команд, движущимся оборудованием и постоянно меняющейся планировкой. Поддержание безопасности в этих условиях зависит от четких, хорошо аннотированных визуальных данных.

Точные аннотации могут повысить качество данных и помочь ИИ-системам идентифицировать работников, оборудование, средства защиты и потенциальные риски в различных условиях площадки, включая переполненные сцены, меняющиеся фоны и различное освещение.

Ultralytics Platform поддерживает это, позволяя легко обновлять и уточнять аннотации по мере развития условий на площадке. Новые изображения могут быть сняты и добавлены в набор данных по мере их появления, поддерживая его актуальность в соответствии с реальными сценариями.

Link to this sectionОсновные выводы#

Высококачественное аннотирование необходимо для построения надежных моделей компьютерного зрения и ИИ, но традиционные рабочие процессы часто замедляют команды. Ultralytics Platform оптимизирует этот процесс с помощью инструментов автоматического аннотирования и масштабируемого рабочего процесса. В результате команды могут быстрее переходить от данных к модели, сохраняя при этом точность и согласованность.

Загляни в наше растущее сообщество и репозиторий GitHub, чтобы узнать больше о компьютерном зрении. Если ты хочешь создавать решения в области машинного зрения, ознакомься с нашими вариантами лицензирования. Изучи страницы наших решений, чтобы подробнее узнать о преимуществах компьютерного зрения в производстве и ИИ в здравоохранении.