Как Ultralytics Platform использует ИИ для автоматизации разметки

Решения для компьютерного зрения, анализирующие изображения и видео, становятся обычной частью рабочих процессов во многих отраслях — от производства до медицинской визуализации. Например, на производстве обнаружение поверхностных дефектов товаров на конвейере зависит от моделей компьютерного зрения, способных распознавать малозаметные закономерности.

Чтобы такие модели хорошо работали, их нужно обучать на размеченных данных, где каждый дефект чётко обозначен. Благодаря этому модели учатся распознавать нужные признаки и находить похожие закономерности.

Процесс создания таких меток называется аннотированием данных. В частности, аннотирование изображений и видео включает в себя рисование ограничивающих рамок, обведение контуров и разметку отдельных областей на изображениях и видеокадрах.

С небольшими наборами данных справиться несложно, но с ростом объёма данных задача быстро становится труднее. Разметка тысяч изображений требует постоянных ручных усилий, из-за чего аннотирование превращается в серьёзное узкое место. Традиционные инструменты часто работают медленно, разрознены и плохо масштабируются.

Платформа Ultralytics — универсальная платформа ИИ для компьютерного зрения — помогает решить эти проблемы с помощью аннотирования при поддержке ИИ. ИИ автоматически создаёт начальные метки, которые можно быстро проверить и уточнить, сокращая объём ручной работы и повышая эффективность.

В этой статье мы рассмотрим, как работает аннотирование при поддержке ИИ на платформе Ultralytics и как оно улучшает процесс разметки. Начнём!

Обзор процесса аннотирования данных#

Прежде чем подробно разбирать работу аннотирования на базе ИИ на платформе Ultralytics, давай сначала подробнее рассмотрим аннотирование данных.

Аннотирование данных, также называемое разметкой данных, — это процесс присвоения структурированных меток необработанным данным, чтобы их можно было использовать для обучения моделей машинного обучения. В компьютерном зрении эти метки обозначают интересующие объекты, области или признаки на изображениях и видео.

Во время обучения модели или алгоритмы учатся сопоставлять входные данные с этими метками, поэтому качество аннотаций — один из ключевых факторов производительности модели. Точные и согласованные наборы размеченных данных позволяют модели усваивать правильные закономерности, тогда как плохие или несогласованные аннотации могут привести к ненадёжным предсказаниям.

Например, при обнаружении дефектов изображение товара на конвейере можно аннотировать, отметив места дефектов и указав их тип. Так модель учится распознавать внешний вид дефектов и находить их на новых изображениях.

Распространённые задачи аннотирования#

Теперь рассмотрим несколько распространённых способов аннотирования изображений в компьютерном зрении. Эти методы используются для разметки визуальных данных в таких задачах, как обнаружение объектов, сегментация экземпляров и классификация изображений. Каждый способ аннотирования выполняет свою функцию: например, помогает находить объекты, описывать их форму или выделять ключевые структуры.

Ограничивающие рамки#

Ограничивающие рамки — это простые прямоугольники, нарисованные вокруг объектов на изображении, чтобы показать их расположение. Это один из самых распространённых способов разметки данных в компьютерном зрении.

Обучаясь на изображениях с такими рамками, модели обнаружения объектов учатся распознавать разные объекты и определять их расположение на изображении. Благодаря этому модель может одновременно обнаруживать несколько объектов и определять, где находится каждый из них.

Например, представь, что компьютерное зрение используют для анализа бейсбольного матча. На каждом кадре можно обвести рамками игроков, биту и мяч, чтобы модель обнаруживала и распознавала эти объекты на протяжении всей игры.

Рис. 1. Ограничивающие рамки можно использовать для разметки и определения местоположения нескольких объектов. (Источник)

Полигоны или маски сегментации#

Полигоны, также называемые масками сегментации, позволяют размечать объекты на уровне пикселей, обеспечивая более точное описание, чем ограничивающие рамки. Вместо примерного прямоугольника они передают точную форму и границы каждого объекта на изображении. Это делает их полезными для задач, требующих более детального анализа.

Например, в беспилотном вождении маски сегментации используются в таких задачах, как семантическая сегментация, где каждому пикселю присваивается категория, например «дорога» или «небо», и сегментация экземпляров, где отдельные объекты, например автомобили или пешеходы, распознаются по отдельности.

Их также используют для таких задач, как удаление фона, когда объект, например человек, должен быть отделён от остальной части изображения.

Ключевые точки#

Ключевые точки отмечают на объекте определённые места, например суставы человеческого тела или части тела животного. Определив эти точки, модели могут понять структуру объекта и взаимное расположение его частей.

В компьютерном зрении это называется оценкой позы: задача заключается в том, чтобы определить расположение ключевых точек и понять, как они соотносятся друг с другом. Отслеживание этих точек во времени позволяет анализировать движения и изменения позы.

Рис. 2. Аннотации ключевых точек можно использовать для отметки суставов при оценке позы человека. (Источник)

Типичный пример — разметка суставов тела на видео для анализа движений человека. Сосредоточившись на этих ключевых точках, модели могут определить положение человека и отследить изменения его позы с течением времени.

Ориентированная ограничивающая рамка (OBB)#

Не все объекты на изображении расположены строго прямо. Во многих реальных ситуациях объекты наклонены, повёрнуты или видны под разными углами.

В таких случаях со стандартными ограничивающими рамками часто возникают проблемы: они могут захватывать лишний фон или неточно повторять контуры объекта. Ориентированные ограничивающие рамки решают эту проблему с помощью повёрнутых прямоугольников, выровненных по направлению объекта. Благодаря этому разметка получается более точной и плотной.

Этот подход применяется для обнаружения объектов с помощью ориентированных ограничивающих рамок (OBB): модели определяют и положение объекта, и его ориентацию. Например, на аэрофотоснимках здания, корабли и транспортные средства часто расположены под разными углами. Повёрнутые рамки позволяют точнее передать их форму и направление на изображении.

Метки классов#

Метки классов отличаются от других методов аннотирования: одна метка присваивается всему изображению, а не отдельным объектам или областям. Такой подход используют, когда нужно определить, что изображено, не выясняя, где именно находится объект.

Например, изображение целиком можно пометить как «кошка» или «собака». Поэтому классификация изображений подходит для задач, в которых достаточно общего понимания содержимого изображения.

Ограничения традиционных инструментов аннотирования#

Многие традиционные инструменты разметки требуют выполнения нескольких шагов и основаны на несвязанных рабочих процессах. Командам, разрабатывающим ИИ, часто приходится переключаться между платформами для разметки, хранения и проверки данных, что замедляет проекты в области ИИ.

Большинство инструментов поддерживают лишь ограниченный набор типов аннотаций и данных, поэтому команды используют разные инструменты для ограничивающих рамок, сегментации и ключевых точек. Такую раздробленную систему сложно администрировать, особенно командам, которые только начинают работать с компьютерным зрением.

Ещё одна серьёзная проблема — объём ручной работы. На разметку одного изображения может уйти всего несколько минут, но обработка больших наборов данных быстро становится трудоёмкой, особенно когда похожие изображения требуют многократного выполнения одних и тех же задач.

По мере роста наборов данных командам приходится управлять файлами, отслеживать версии наборов и обеспечивать единообразие аннотаций. Это увеличивает нагрузку: больше времени уходит на управление данными и меньше — на улучшение производительности модели.

Более эффективный подход — использовать аннотирование с помощью ИИ на платформе Ultralytics: ИИ создаёт и уточняет метки, сокращая объём ручной работы и повышая скорость и единообразие. Всё это доступно в единой среде, объединяющей управление наборами данных, аннотирование, обучение моделей, развёртывание и мониторинг.

Как Ultralytics Platform упрощает процесс аннотирования#

Ultralytics Platform упрощает аннотирование, напрямую объединяя его с остальными этапами рабочего процесса компьютерного зрения. Вместо отдельных инструментов команды могут работать с данными, аннотациями и моделями в единой среде.

Платформа поддерживает различные задачи компьютерного зрения, включая обнаружение объектов, классификацию изображений, сегментацию экземпляров, оценку позы и обнаружение объектов с помощью ориентированных ограничивающих рамок.

В этой среде аннотировать данные можно несколькими способами. Для полного контроля команды могут размечать данные вручную, использовать интеллектуальное аннотирование на базе SAM с интерактивной разметкой по точкам или применять интеллектуальное аннотирование на базе YOLO для автоматической генерации аннотаций с последующей проверкой и уточнением. Такая гибкость упрощает работу с разными наборами данных и требованиями к аннотированию.

Рис. 3. Аннотирование на платформе Ultralytics Platform (Источник)

Поскольку аннотирование с помощью ИИ и ручное аннотирование интегрированы с управлением наборами данных и обучением моделей, команды могут без лишних переходов перейти от разметки данных к организации наборов и обучению моделей. Благодаря этому рабочие процессы остаются структурированными и не нужно переключаться между инструментами или менять формат аннотаций.

Платформа также поддерживает модели Ultralytics YOLO, например Ultralytics YOLO11 и Ultralytics YOLO26, поэтому аннотированные данные можно напрямую использовать для обучения и тестирования. Это упрощает поиск пробелов в наборах данных, уточнение аннотаций и повторное обучение моделей в рамках непрерывного цикла итераций.

Основные возможности интеллектуального аннотирования на базе SAM в Ultralytics Platform#

Интеллектуальное аннотирование на базе SAM в Ultralytics Platform ускоряет разметку для обнаружения объектов, сегментации экземпляров и задач с ориентированными ограничивающими рамками (OBB).

На платформе доступны разные варианты моделей SAM: SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large и SAM 3. Можно выбрать подходящую модель с учётом скорости и точности.

Рис. 4. Интеллектуальное аннотирование на базе SAM в Ultralytics Platform (Источник)

Модели поменьше, например Tiny и Small, работают быстрее и хорошо подходят для быстрой разметки, а более крупные модели, такие как Large и SAM 3, обеспечивают более высокую точность на сложных сценах. При переключении между моделями поведение аннотирования меняется сразу.

Выбрав модель SAM в редакторе аннотаций, разметчики могут перейти в режим Smart и начать разметку. Вместо ручного рисования фигур модель направляют с помощью простых точечных указаний.

Щелчок левой кнопкой мыши добавляет положительную точку, включающую область в маску, а щелчок правой кнопкой — отрицательную точку, исключающую ненужную область. На основе этих указаний модель в реальном времени создаёт точную маску.

Чтобы ускорить работу, можно включить режим автоматического применения. В этом режиме каждый щелчок автоматически создаёт и сохраняет аннотацию без подтверждения вручную. Для более сложных объектов разметчики могут удерживать "Shift", чтобы поставить несколько точек до применения маски, или отключить автоматическое применение, свободно добавлять точки, а затем нажать "Enter", чтобы применить маску.

Как работает интеллектуальное аннотирование на базе YOLO в Ultralytics Platform#

Как и интеллектуальное аннотирование на базе SAM, интеллектуальное аннотирование на базе YOLO в Ultralytics Platform использует ИИ для ускорения разметки. Вместо того чтобы направлять модель щелчками, этот подход использует предсказания модели для автоматической генерации аннотаций.

Этот подход подходит для таких задач, как обнаружение объектов, сегментация экземпляров и аннотирование с помощью ориентированных ограничивающих рамок (OBB). Он работает именно с моделями Ultralytics YOLO, включая предварительно обученные модели от Ultralytics и модели YOLO, обученные на пользовательских данных.

В редакторе аннотаций разметчики могут перейти в режим Smart, выбрать модель YOLO в списке моделей и нажать Predict. В списке отображаются только модели YOLO, совместимые с текущей задачей набора данных, поэтому сгенерированные аннотации подходят для этой задачи.

Модель анализирует изображение и создаёт аннотации на основе предсказаний, после чего добавляет их прямо на изображение. Если предсказания перекрывают уже имеющиеся аннотации того же класса, повторные обнаружения автоматически пропускаются при превышении заданного порога перекрытия. Это помогает поддерживать чистоту и единообразие меток.

Рис. 5. Интеллектуальное аннотирование с помощью моделей Ultralytics YOLO на платформе Ultralytics Platform (Источник)

После генерации предсказаний разметчики с участием человека могут проверить, изменить или удалить их при необходимости. Так большие наборы данных проще быстро разметить: сначала использовать аннотации, созданные моделью, а затем уточнить их, вместо того чтобы размечать всё вручную.

Со временем улучшенные модели YOLO можно повторно использовать для генерации более точных предсказаний, поддерживая итеративный процесс автоматической разметки.

Применение разметки с помощью ИИ в реальных рабочих процессах#

Далее рассмотрим примеры того, как Ultralytics Platform помогает аннотировать данные в реальных сценариях.

Сегментация для автономного вождения#

Автономные транспортные средства с моделями компьютерного зрения используют качественно размеченные визуальные данные, чтобы в реальном времени понимать окружающую обстановку. Обученные на этих данных модели обнаруживают и сегментируют транспортные средства, пешеходов, дорожные знаки и границы проезжей части.

Для сегментации нужны точные границы на уровне пикселей, поэтому аннотирование становится критически важной и трудоёмкой задачей. Ручная разметка больших объёмов данных с датчиков может быстро стать узким местом, особенно на сложных дорожных сценах.

Ultralytics Platform упрощает этот процесс с помощью аннотирования на базе ИИ и моделей SAM и YOLO. Интеллектуальное аннотирование на базе SAM позволяет быстро сегментировать объекты с помощью щелчков и создавать точные маски, а модели YOLO могут автоматически генерировать аннотации для изображений.

Вместе эти подходы упрощают обработку сложных сцен с перекрывающимися объектами.

Поскольку аннотирование напрямую связано с обучением моделей, обновлённые крупные наборы данных можно сразу использовать для повторного обучения и оценки моделей. Это позволяет командам постоянно повышать качество работы моделей и эффективнее адаптироваться к новым условиям вождения.

Повышение эффективности систем контроля качества на производстве#

На производстве стабильный контроль качества зависит от точного обнаружения дефектов в ходе выпуска продукции. Модели компьютерного зрения часто применяют для выявления проблем в реальном времени, но их эффективность зависит от того, насколько обучающие данные соответствуют реальным условиям производства.

Изменения условий производства, например различия в сырье, настройках оборудования или освещении, могут привести к появлению новых и редких типов дефектов, которых не было в исходных обучающих данных. Из-за этого возникает разрыв между тем, чему научилась модель, и тем, что появляется на производственной линии.

Чтобы данные оставались актуальными, наборы данных нужно регулярно обновлять с помощью качественных аннотаций, созданных внутри компании. Ultralytics Platform упрощает обновление аннотаций и расширение наборов данных по мере появления новых типов дефектов. Затем обновлённые наборы данных можно использовать для повторного обучения моделей, чтобы команды быстрее адаптировались к меняющимся условиям производства.

Мониторинг строительных площадок и обеспечение безопасности#

Строительные площадки — это динамичная среда с множеством бригад, движущейся техникой и постоянно меняющейся планировкой. Для обеспечения безопасности в таких условиях нужны чёткие, качественно размеченные визуальные данные.

Точные аннотации повышают качество данных и помогают системам ИИ выявлять работников, оборудование, средства защиты и потенциальные риски в самых разных условиях на площадке, включая скопления людей, меняющийся фон и разное освещение.

Ultralytics Platform помогает решать эту задачу, упрощая обновление и уточнение аннотаций по мере изменения условий на площадке. Новые изображения можно добавлять в набор данных по мере их появления, поддерживая его соответствие реальным условиям.

Главные выводы#

Качественное аннотирование необходимо для создания надёжных моделей компьютерного зрения и ИИ, но традиционные рабочие процессы часто замедляют команды. Ultralytics Platform упрощает этот процесс благодаря инструментам автоматического аннотирования и масштабируемому рабочему процессу. В результате команды быстрее переходят от данных к модели, сохраняя точность и единообразие.

Загляни в наше растущее сообщество и репозиторий на GitHub, чтобы узнать больше о компьютерном зрении. Если ты хочешь создавать решения на основе компьютерного зрения, ознакомься с нашими вариантами лицензирования. На страницах наших решений ты узнаешь больше о преимуществах компьютерного зрения в производстве и ИИ в здравоохранении.