Как Ultralytics Platform использует ИИ для автоматизации аннотации

Решения в области компьютерного зрения, анализирующие изображения и видео, становятся неотъемлемой частью рабочих процессов во многих отраслях — от производства до медицинской визуализации. Например, на производстве обнаружение поверхностных дефектов на изделиях, движущихся по конвейеру, зависит от моделей компьютерного зрения, способных выявлять малозаметные закономерности.

Чтобы такие модели работали хорошо, их необходимо обучать на размеченных данных, где каждый дефект четко обозначен. Это позволяет моделям учиться распознавать нужные признаки и находить похожие закономерности.

Процесс создания таких меток называется аннотированием данных. В частности, аннотирование изображений и видео включает рисование ограничивающих рамок, выделение контуров объектов или разметку определенных областей на изображениях и кадрах видео.

Для небольших наборов данных это вполне выполнимо, но по мере роста объема данных задача быстро усложняется. Разметка тысяч изображений требует постоянных ручных усилий, превращая аннотирование в серьезное узкое место. Традиционные инструменты часто работают медленно, разрозненны и плохо масштабируются.

Ultralytics Platform, универсальная платформа для AI компьютерного зрения, помогает решить эти задачи с помощью аннотирования при поддержке AI. Автоматически создавая исходные метки, которые можно быстро проверить и уточнить, платформа сокращает объем ручной работы и повышает эффективность.

В этой статье мы рассмотрим, как аннотирование при поддержке AI работает в Ultralytics Platform и как оно улучшает процесс разметки. Давай начнем!

Обзор процесса аннотирования данных#

Прежде чем перейти к тому, как работает аннотирование с поддержкой AI в Ultralytics Platform, давай сначала подробнее рассмотрим аннотирование данных.

Аннотирование данных, также называемое разметкой данных, — это процесс присвоения структурированных меток необработанным данным, чтобы их можно было использовать для обучения моделей машинного обучения. В компьютерном зрении эти метки определяют интересующие объекты, области или признаки на изображениях и видео.

Во время обучения модели или алгоритмы учатся сопоставлять входные данные с этими метками, поэтому качество аннотирования является одним из ключевых факторов производительности модели. Точные и согласованные размеченные наборы данных позволяют модели изучать правильные закономерности, тогда как неточные или непоследовательные аннотации могут привести к ненадежным прогнозам.

Например, в задаче обнаружения дефектов изображение изделия на конвейере можно аннотировать, отметив места появления дефектов и указав их тип. Это помогает модели понять, как выглядят дефекты, чтобы затем находить их на новых изображениях.

Распространенные задачи аннотирования#

Теперь рассмотрим несколько распространенных способов аннотирования изображений в компьютерном зрении. Эти методы используются для разметки визуальных данных в таких задачах, как обнаружение объектов, сегментация экземпляров и классификация изображений. Каждый метод аннотирования выполняет свою функцию: определяет местоположение объектов, фиксирует их формы или выделяет ключевые структуры.

Ограничивающие рамки#

Ограничивающие рамки — это простые прямоугольники, нарисованные вокруг объектов на изображении, чтобы показать их местоположение. Это один из самых распространенных способов разметки данных в компьютерном зрении.

Обучаясь на изображениях с такими рамками, модели обнаружения объектов учатся распознавать разные объекты и определять их местоположение на изображении. Благодаря этому они могут одновременно обнаруживать несколько объектов и определять, где находится каждый из них.

Например, рассмотрим бейсбольный матч, анализируемый с помощью компьютерного зрения. В каждом кадре можно нарисовать рамки вокруг игроков, биты и мяча, чтобы модель могла обнаруживать и распознавать эти объекты на протяжении всей игры.

Рис. 1. Ограничивающие рамки можно использовать для разметки и определения местоположения нескольких объектов. (Источник)

Полигоны или маски сегментации#

Полигоны, также называемые масками сегментации, позволяют выполнить более точную разметку, чем ограничивающие рамки, — на уровне пикселей. Вместо приблизительного прямоугольника они передают точную форму и границы каждого объекта на изображении. Это делает их полезными для задач, требующих более детального понимания.

Например, в автономном вождении маски сегментации используются в таких задачах, как семантическая сегментация, где каждому пикселю присваивается категория, например дорога или небо, и сегментация экземпляров, где отдельные объекты, такие как автомобили или пешеходы, распознаются независимо.

Они также используются для таких задач, как удаление фона, когда объект, например человек, необходимо отделить от остальной части изображения.

Ключевые точки#

Ключевые точки используются для обозначения конкретных точек на объекте, например суставов человеческого тела или частей животного. Определяя эти точки, модели могут понимать структуру объекта и взаимное расположение его частей.

В компьютерном зрении это называется оценкой позы: задача заключается в определении расположения ключевых точек и понимании их взаимосвязи. Отслеживание этих точек во времени позволяет анализировать движение и изменения позы.

Рис. 2. Аннотации ключевых точек можно использовать для обозначения суставов при оценке позы человека. (Источник)

Распространенный пример — обозначение суставов тела на видео для анализа движений человека. Сосредоточившись на этих ключевых точках, модели могут определить положение человека и то, как его поза меняется со временем.

Ориентированная ограничивающая рамка (OBB)#

Не все объекты на изображении идеально выровнены. Во многих реальных сценариях объекты наклонены, повернуты или видны под разными углами.

Стандартные ограничивающие рамки часто плохо справляются с такими случаями: они могут включать лишний фон или неточно соответствовать объекту. Ориентированные ограничивающие рамки решают эту проблему, используя повернутые прямоугольники, выровненные по направлению объекта. В результате аннотации становятся более точными и плотно соответствуют объектам.

Этот подход используется в обнаружении ориентированных ограничивающих рамок (OBB), где модели определяют как местоположение объекта, так и его ориентацию. Например, на аэрофотоснимках здания, корабли или автомобили часто расположены под разными углами. Повернутые рамки облегчают передачу их реальной формы и направления в сцене.

Метки классификации#

Метки классификации отличаются от других методов аннотирования тем, что присваивают одну метку всему изображению, а не обозначают отдельные объекты или области. Они используются, когда нужно определить, что изображено, без учета того, где именно это находится.

Например, изображение можно пометить как «кошка» или «собака» на основе его общего содержания. Поэтому классификация изображений полезна в задачах, где достаточно общего понимания изображения.

Ограничения традиционных инструментов аннотирования#

Многие традиционные инструменты разметки требуют выполнения нескольких шагов и используют разрозненные рабочие процессы. Командам, занимающимся разработкой AI, часто приходится переключаться между платформами аннотирования для разметки, хранения и проверки данных, что замедляет AI-проекты.

Большинство инструментов поддерживает только ограниченный набор типов аннотаций и данных, поэтому команды используют разные инструменты для ограничивающих рамок, сегментации и ключевых точек. Такой фрагментированный подход может быть сложным в управлении, особенно для команд, которые только начинают работать с компьютерным зрением.

Еще одна серьезная проблема — ручная работа. Хотя аннотирование одного изображения может занимать всего несколько минут, работа с большими наборами данных быстро становится трудоемкой, особенно когда похожие изображения требуют повторяющихся действий.

По мере роста наборов данных командам также приходится управлять файлами, отслеживать версии наборов данных и обеспечивать согласованность аннотаций. Это увеличивает нагрузку: больше времени уходит на управление данными и меньше — на улучшение производительности моделей.

Более эффективный подход — использовать аннотирование при поддержке AI в Ultralytics Platform. Платформа применяет AI для создания и уточнения меток, сокращая объем ручной работы и повышая скорость и согласованность в единой среде, объединяющей управление наборами данных, аннотирование, обучение моделей, развертывание и мониторинг.

Как Ultralytics Platform обеспечивает процесс аннотирования#

Ultralytics Platform упрощает аннотирование, напрямую связывая его с остальными этапами рабочего процесса компьютерного зрения. Вместо использования отдельных инструментов команды могут работать с данными, аннотациями и моделями в единой среде.

Платформа поддерживает широкий спектр задач компьютерного зрения, включая обнаружение объектов, классификацию изображений, сегментацию экземпляров, оценку позы и обнаружение ориентированных ограничивающих рамок.

В этой среде аннотирование можно выполнять несколькими способами. Команды могут размечать данные вручную для полного контроля, использовать интеллектуальное аннотирование на базе SAM для интерактивной разметки по точкам или применять интеллектуальное аннотирование на базе YOLO для автоматического создания аннотаций с последующей проверкой и уточнением. Такая гибкость упрощает работу с разными наборами данных и требованиями к аннотированию.

Рис. 3. Аннотирование в Ultralytics Platform (Источник)

Поскольку аннотирование при поддержке AI и ручное аннотирование интегрированы с управлением наборами данных и обучением моделей, команды могут без лишних переходов перейти от разметки данных к организации наборов данных и обучению моделей. Это поддерживает структурированные рабочие процессы и устраняет необходимость переключаться между инструментами или менять формат аннотаций.

Платформа также поддерживает модели Ultralytics YOLO, такие как Ultralytics YOLO11 и Ultralytics YOLO26, позволяя напрямую использовать аннотированные данные для обучения и тестирования. Это упрощает выявление пробелов в наборах данных, уточнение аннотаций и повторное обучение моделей в рамках непрерывной итерации.

Ключевые возможности интеллектуального аннотирования SAM в Ultralytics Platform#

Интеллектуальное аннотирование на базе SAM в Ultralytics Platform предназначено для ускорения аннотирования в задачах обнаружения объектов, сегментации экземпляров и обнаружения ориентированных ограничивающих рамок (OBB).

Платформа предоставляет несколько вариантов моделей SAM, включая SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large и SAM 3, позволяя выбрать оптимальный баланс между скоростью и точностью.

Рис. 4. Интеллектуальное аннотирование на базе SAM в Ultralytics Platform (Источник)

Меньшие модели, например Tiny и Small, работают быстрее и хорошо подходят для быстрых рабочих процессов аннотирования, тогда как более крупные модели, такие как Large и SAM 3, обеспечивают более высокую точность в сложных сценах. Переключение между моделями сразу изменяет поведение аннотирования.

В редакторе аннотаций после выбора модели SAM специалисты по разметке могут перейти в режим Smart и начать разметку. Вместо ручного рисования фигур модель управляется с помощью простых точечных вводов.

Щелчок левой кнопкой мыши добавляет положительную точку, включающую область, а щелчок правой кнопкой — отрицательную точку, исключающую ненужные области. На основе этих вводов модель в реальном времени создает точную маску.

Чтобы ускорить рабочий процесс, можно включить режим автоматического применения. В активном режиме каждый щелчок автоматически создает и сохраняет аннотацию без подтверждения вручную. Для более сложных объектов специалист по разметке может удерживать "Shift", чтобы разместить несколько точек до применения маски, или отключить автоматическое применение, свободно добавлять точки, а затем нажать "Enter", чтобы применить маску.

Интеллектуальное аннотирование YOLO в Ultralytics Platform#

Подобно интеллектуальному аннотированию на базе SAM, интеллектуальное аннотирование YOLO в Ultralytics Platform использует AI для ускорения процесса разметки. Вместо управления моделью с помощью щелчков оно использует прогнозы модели для автоматического создания аннотаций.

Этот подход поддерживает такие задачи, как обнаружение объектов, сегментация экземпляров и аннотирование ориентированных ограничивающих рамок (OBB). Он работает именно с моделями Ultralytics YOLO, включая предобученные модели, предоставляемые Ultralytics, и модели YOLO, обученные на пользовательских данных.

В редакторе аннотаций специалисты по разметке могут перейти в режим Smart, выбрать модель YOLO в окне выбора моделей и нажать Predict. В окне отображаются только модели YOLO, соответствующие текущей задаче набора данных, поэтому созданные аннотации будут совместимы с ним.

Модель анализирует изображение и создает аннотации на основе своих прогнозов, после чего они напрямую добавляются к изображению. Если прогнозы перекрываются с существующими аннотациями того же класса, дублирующиеся обнаружения автоматически пропускаются, когда степень перекрытия превышает установленный порог. Это помогает поддерживать чистые и согласованные метки.

Рис. 5. Интеллектуальное аннотирование с помощью моделей Ultralytics YOLO в Ultralytics Platform (Источник)

После создания прогнозов специалисты по разметке с участием человека в контуре могут проверить, скорректировать или удалить их при необходимости. Это упрощает быструю разметку больших наборов данных: вместо полной ручной разметки можно начать с аннотаций, созданных моделью, и уточнить их.

Со временем улучшенные модели YOLO можно повторно использовать для создания более точных прогнозов, поддерживая итеративный рабочий процесс автоматической разметки.

Применение разметки при поддержке AI в реальных рабочих процессах#

Теперь рассмотрим примеры того, как Ultralytics Platform обеспечивает аннотирование данных в реальных сценариях использования.

Сегментация в автономном вождении#

Автономные транспортные средства, интегрированные с моделями компьютерного зрения, используют качественно аннотированные визуальные данные для понимания окружающей обстановки в реальном времени. Обученные на этих данных модели могут обнаруживать и сегментировать автомобили, пешеходов, дорожные знаки и границы дороги.

Задачи сегментации требуют точных границ на уровне пикселей, поэтому аннотирование становится одновременно критически важным и трудоемким. Ручная разметка больших объемов данных с датчиков быстро превращается в узкое место, особенно в сложных дорожных сценах.

Ultralytics Platform оптимизирует этот процесс с помощью аннотирования при поддержке AI, используя модели SAM и YOLO. Интеллектуальное аннотирование на базе SAM обеспечивает быструю сегментацию по щелчкам с точными масками, а модели YOLO можно использовать для автоматического создания аннотаций на изображениях.

Вместе эти подходы упрощают работу со сложными сценами, в которых объекты перекрываются.

Поскольку аннотирование напрямую связано с обучением моделей, обновленные крупномасштабные наборы данных можно сразу использовать для повторного обучения и оценки моделей. Это позволяет командам постоянно повышать производительность и эффективнее адаптироваться к новым условиям вождения.

Повышение эффективности систем контроля качества на производстве#

На производстве поддержание стабильного контроля качества зависит от точного обнаружения дефектов во время выпуска продукции. Модели компьютерного зрения часто используются для выявления проблем в реальном времени, но их производительность зависит от того, насколько хорошо обучающие данные отражают реальные производственные условия.

Изменения на производстве, такие как различия в сырье, настройках оборудования или освещении, могут приводить к появлению новых и редких типов дефектов, отсутствовавших в исходных обучающих данных. Это создает разрыв между тем, чему научилась модель, и тем, что появляется на производственной линии.

Чтобы сохранять соответствие реальным условиям, наборы данных необходимо регулярно обновлять с помощью качественных внутренних аннотаций. Ultralytics Platform упрощает обновление аннотаций и расширение наборов данных по мере появления новых закономерностей дефектов. Затем эти обновленные наборы данных можно использовать для повторного обучения моделей, помогая командам быстрее адаптироваться к меняющимся производственным условиям.

Мониторинг объектов и безопасность в строительстве#

Строительные площадки — это динамичные среды с несколькими командами, движущейся техникой и постоянно меняющейся планировкой. Обеспечение безопасности в таких условиях зависит от четких и качественно аннотированных визуальных данных.

Точные аннотации могут повысить качество данных и помочь AI-системам распознавать работников, оборудование, средства индивидуальной защиты и потенциальные риски в различных условиях на площадке, включая crowded scenes, меняющийся фон и разное освещение.

Ultralytics Platform помогает в этом, упрощая обновление и уточнение аннотаций по мере изменения условий на площадке. Новые изображения можно получать и добавлять в набор данных по мере их появления, сохраняя его соответствие реальным сценариям.

Основные выводы#

Качественное аннотирование необходимо для создания надежных моделей компьютерного зрения и AI, но традиционные рабочие процессы часто замедляют работу команд. Ultralytics Platform оптимизирует этот процесс с помощью автоматизированных инструментов аннотирования и масштабируемого рабочего процесса. В результате команды могут быстрее переходить от данных к модели, сохраняя точность и согласованность.

Загляни в наше растущее сообщество и репозиторий GitHub, чтобы узнать больше о компьютерном зрении. Если ты хочешь создавать решения в области компьютерного зрения, ознакомься с нашими вариантами лицензирования. Посети страницы наших решений, чтобы подробнее узнать о преимуществах компьютерного зрения в производстве и AI в здравоохранении.