Узнайте, как Ultralytics использует искусственный интеллект для автоматизации аннотирования, управления большими наборами данных, повышения согласованности и ускорения разработки решений в области компьютерного зрения.
Решения в области компьютерного зрения, предназначенные для анализа изображений и видео, становятся неотъемлемой частью рабочих процессов во многих отраслях — от производства до медицинской визуализации. Например, в производстве обнаружение дефектов поверхности на изделиях, движущихся по конвейерной ленте, зависит от моделей компьютерного зрения, способных распознавать едва заметные дефекты.
Чтобы такие модели работали эффективно, их необходимо обучать на помеченных данных, где каждый дефект четко обозначен. Это позволяет моделям научиться определять, на что следует обращать внимание, и распознавать похожие паттерны.
Процесс создания таких меток называется аннотированием данных. В частности, аннотирование изображений и видео заключается в нанесении ограничительных рамок, обводке фигур или маркировке определенных областей на изображениях и в кадрах видео.
Хотя с небольшими наборами данных справиться еще можно, с ростом объема данных эта задача быстро становится все более сложной. Маркировка тысяч изображений требует постоянных ручных усилий, что делает аннотирование основным «узким местом». Традиционные инструменты зачастую работают медленно, являются фрагментированными и плохо масштабируются.
Ultralytics — универсальная платформа искусственного интеллекта для систем технического зрения — помогает решать эти задачи с помощью аннотирования с поддержкой ИИ. Используя ИИ для автоматического создания первоначальных меток, которые можно быстро проверить и доработать, она сокращает объем ручной работы и повышает эффективность.
В этой статье мы рассмотрим, как работает аннотирование с помощью ИИ на Ultralytics и как оно оптимизирует процесс маркировки. Приступим!
Прежде чем углубиться в то, как работает аннотирование на основе искусственного интеллекта на Ultralytics , давайте сначала подробнее рассмотрим процесс аннотирования данных.
Аннотирование данных, также известное как маркировка данных, представляет собой процесс присвоения структурированных меток исходным данным, чтобы их можно было использовать для обучения моделей машинного обучения. В области компьютерного зрения эти метки определяют объекты, области или интересующие признаки на изображениях или в видеороликах.
В процессе обучения модели или алгоритмы учатся соотносить входные данные с этими метками, поэтому качество аннотации является ключевым фактором, определяющим эффективность модели. Точные и согласованные аннотированные наборы данных позволяют модели усваивать правильные закономерности, тогда как некачественные или несогласованные аннотации могут привести к недостоверным прогнозам.
Например, при обнаружении дефектов на изображении продукта, движущегося по конвейерной ленте, можно отметить места появления дефектов и указать их тип. Это помогает модели запомнить, как выглядят дефекты, чтобы впоследствии распознавать их на новых изображениях.
Далее рассмотрим некоторые распространенные способы аннотирования изображений в области компьютерного зрения. Эти методы используются для маркировки визуальных данных при решении таких задач, как обнаружение объектов, сегментация экземпляров и классификация изображений. Каждый метод аннотирования выполняет свою функцию, например, определение местоположения объектов, фиксацию форм или выделение ключевых структур.
Ограничительные прямоугольники — это простые прямоугольники, нарисованные вокруг объектов на изображении, чтобы показать их расположение. Это один из наиболее распространённых способов маркировки данных в области компьютерного зрения.
Обучаясь на изображениях с этими рамками, модели обнаружения объектов учатся распознавать различные объекты и определять их расположение на изображении. Это позволяет им detect сразу detect объектов и определять местоположение каждого из них.
Например, рассмотрим игру в бейсбол, которую анализируют с помощью компьютерного зрения. На каждом кадре вокруг игроков, биты и мяча можно нарисовать прямоугольники, что позволит модели detect идентифицировать эти объекты на протяжении всей игры.
Многоугольники, также называемые масками сегментации, идут дальше, чем ограничительные прямоугольники, поскольку позволяют маркировать объекты на пиксельном уровне. Вместо того чтобы рисовать приблизительный прямоугольник, они фиксируют точную форму и края каждого объекта на изображении. Это делает их полезными для задач, требующих более детального понимания.
Например, в сфере автономного вождения маски сегментации используются в таких задачах, как семантическая сегментация, при которой каждому пикселю присваивается категория (например, «дорога» или «небо»), и сегментация экземпляров, при которой отдельные объекты, такие как автомобили или пешеходы, идентифицируются индивидуально.
Они также используются для таких задач, как удаление фона, когда объект, например человек, необходимо выделить из общего фона изображения.
Ориентиры используются для обозначения определенных точек на объекте, таких как суставы человеческого тела или части тела животного. Определяя эти точки, модели могут понять структуру объекта и расположение его частей относительно друг друга.
В области компьютерного зрения этот процесс называется оценкой позы, и его цель заключается в определении расположения этих ключевых точек и выяснении взаимосвязей между ними. Отслеживание этих точек во времени позволяет анализировать движения и изменения позы.
Распространенным примером является маркировка суставов тела на видео для анализа движений человека. Ориентируясь на эти ключевые точки, модели могут фиксировать положение человека и изменения его осанки во времени.
Не все объекты на изображении расположены идеально ровно. Во многих реальных ситуациях объекты выглядят наклоненными, повернутыми или видны под разными углами.
В таких случаях стандартные ограничительные прямоугольники часто не справляются с задачей, поскольку могут включать ненужный фон или не точно повторять контуры объекта. Ориентированные ограничительные прямоугольники решают эту проблему за счет использования повернутых прямоугольников, которые выравниваются по направлению объекта. Это позволяет создавать более плотные и точные аннотации.
Данный подход применяется при обнаружении ориентированных ограничительных прямоугольников (OBB), когда модели определяют как местоположение объекта, так и его ориентацию. Примером могут служить аэрофотоснимки, на которых такие объекты, как здания, корабли или транспортные средства, часто изображаются под разными углами. Поворотные прямоугольники позволяют легче фиксировать их истинную форму и направление в кадре.
Метки классификации отличаются от других методов аннотирования тем, что присваивают одну метку всему изображению целиком, а не отмечают отдельные объекты или области. Их используют в тех случаях, когда задача состоит в том, чтобы определить, что присутствует на изображении, не уделяя особого внимания тому, где именно это находится.
Например, изображение можно классифицировать как «кошка» или «собака» на основе его общего содержания. Благодаря этому классификация изображений оказывается полезной для задач, в которых достаточно общего понимания изображения.
Многие традиционные инструменты для маркировки предполагают выполнение нескольких этапов и использование разрозненных рабочих процессов. Команды разработчиков ИИ часто вынуждены переключаться между различными платформами для аннотирования, хранения и проверки данных, что замедляет реализацию проектов в области ИИ.
Большинство инструментов поддерживают лишь ограниченный набор типов аннотаций и типов данных, в результате чего команды вынуждены использовать разные инструменты для построения ограничительных рамок, сегментации и определения ключевых точек. Такая фрагментированная конфигурация может затруднять управление, особенно для команд, которые только начинают работать с компьютерным зрением.
Еще одной серьезной проблемой является ручной труд. Хотя аннотирование одного изображения может занять всего несколько минут, работа с большими наборами данных быстро становится трудоемкой, особенно когда похожие изображения требуют выполнения повторяющихся задач.
По мере роста объёма наборов данных командам приходится также управлять файлами, track версии track и обеспечивать согласованность аннотаций. Это увеличивает рабочую нагрузку: больше времени уходит на управление данными, а на повышение эффективности модели — меньше.
Более эффективный подход заключается в использовании аннотирования с помощью ИИ в рамках Ultralytics , которая использует искусственный интеллект для генерации и доработки меток, сокращая объем ручной работы и одновременно повышая скорость и согласованность — и всё это в единой среде, объединяющей управление наборами данных, аннотирование, обучение моделей, развёртывание и мониторинг.
Ultralytics упрощает процесс аннотирования, напрямую интегрируя его в общий рабочий процесс компьютерного зрения. Вместо использования отдельных инструментов команды могут работать с данными, аннотациями и моделями в единой среде.
Он поддерживает целый ряд задач компьютерного зрения, включая обнаружение объектов, классификацию изображений, сегментацию экземпляров, оценку позы и обнаружение ориентированных ограничительных рамок.
В рамках этой конфигурации аннотирование можно осуществлять несколькими способами. Команды могут маркировать данные вручную для полного контроля, использовать интеллектуальное аннотирование SAM для интерактивной маркировки отдельных точек или применять интеллектуальное аннотирование YOLO для автоматического создания аннотаций, которые затем можно проверить и доработать. Такая гибкость упрощает работу с различными наборами данных и требованиями к аннотированию.
Поскольку аннотирование с помощью ИИ и ручное аннотирование интегрированы с управлением наборами данных и обучением моделей, команды могут плавно переходить от маркировки данных к организации наборов данных и обучению моделей. Это позволяет сохранять структурированность рабочих процессов и избавляет от необходимости переключаться между инструментами или переформатировать аннотации.
Платформа также поддерживаетYOLO Ultralytics YOLO , такие как Ultralytics YOLO11 и Ultralytics , что позволяет напрямую использовать аннотированные данные для обучения и тестирования. Это упрощает выявление пробелов в наборах данных, уточнение аннотаций и переобучение моделей посредством непрерывной итерации.
Интеллектуальная аннотация SAM на Ultralytics предназначена для ускорения процесса аннотирования при решении задач обнаружения объектов, сегментации экземпляров и определения ориентированных ограничительных рамок (OBB).
Платформа предлагает несколько вариантов SAM , в том числе SAM .1 Tiny, SAM .1 Small, SAM .1 Base, SAM .1 Large и SAM , что позволяет пользователям выбирать между скоростью и точностью.
Более компактные модели, такие как Tiny и Small, работают быстрее и хорошо подходят для оперативных процессов аннотирования, в то время как более крупные модели, такие как Large и SAM , обеспечивают более высокую точность при работе со сложными сценами. При переключении между моделями поведение аннотирования обновляется мгновенно.
После выбора SAM в редакторе аннотаций операторы-аннотаторы могут перейти в «умный» режим, чтобы приступить к маркировке. Вместо того чтобы рисовать фигуры вручную, модель управляется с помощью простых точечных вводов.
Щелчок левой кнопкой мыши добавляет положительную точку для включения области, а щелчок правой кнопкой — отрицательную точку для исключения ненужных участков. На основе этих данных модель в режиме реального времени генерирует точную маску.
Для ускорения рабочего процесса можно включить режим автоматического применения. В этом режиме каждый щелчок мыши автоматически создает и сохраняет аннотацию без необходимости ручного подтверждения. При работе со сложными объектами пользователи могут либо удерживать клавишу «Shift», чтобы разместить несколько точек перед применением маски, либо отключить автоматическое применение, чтобы свободно добавлять точки, а затем нажать «Enter» для применения маски.
Подобно интеллектуальной аннотации SAM, YOLO аннотация YOLO на Ultralytics использует искусственный интеллект для ускорения процесса маркировки. Вместо того чтобы направлять модель с помощью щелчков мышью, она использует прогнозы модели для автоматического создания аннотаций.
Данный подход поддерживает такие задачи, как обнаружение объектов, сегментация экземпляров и аннотирование ориентированных ограничительных рамок (OBB). Он специально разработан для работы сYOLO Ultralytics YOLO , включая предотренированные модели, предоставляемые Ultralytics настроенные пользователем YOLO .
В редакторе аннотаций аннотаторы могут перейти в «Умный» режим, выбрать YOLO в списке моделей и нажать кнопку «Предсказать». В списке моделей отображаются только YOLO , которые соответствуют текущей задаче набора данных, что гарантирует совместимость сгенерированных аннотаций.
Модель анализирует изображение и генерирует аннотации на основе своих прогнозов, которые затем добавляются непосредственно к изображению. Если прогнозы пересекаются с уже имеющимися аннотациями того же класса, дубликаты автоматически игнорируются, когда степень пересечения превышает заданный порог, что помогает поддерживать чистоту и согласованность меток.
После генерации прогнозов аннотаторы, участвующие в процессе, могут проверять, корректировать или удалять их по мере необходимости. Это упрощает быструю маркировку больших наборов данных, поскольку позволяет начинать с аннотаций, сгенерированных моделью, и дорабатывать их, вместо того чтобы аннотировать всё вручную.
Со временем усовершенствованные YOLO можно повторно использовать для получения более точных прогнозов, что способствует итеративному процессу автоматической маркировки.
Далее рассмотрим примеры того, как Ultralytics позволяет осуществлять аннотирование данных в различных реальных сценариях использования.
Автономные транспортные средства, оснащённые моделями компьютерного зрения, используют тщательно аннотированные визуальные данные для понимания окружающей обстановки в режиме реального времени. Модели, обученные на этих данных, способны detect segment , пешеходов, дорожные знаки и границы проезжей части.
Задачи сегментации требуют точных границ на уровне пикселей, что делает аннотирование одновременно крайне важным и трудоемким процессом. Ручная маркировка больших объемов данных с датчиков может быстро стать «узким местом», особенно в сложных дорожных ситуациях.
Ultralytics оптимизирует этот процесс за счет аннотирования с помощью искусственного интеллекта, использующего YOLO SAM YOLO . Интеллектуальная аннотация SAM обеспечивает быструю сегментацию одним щелчком мыши с точными масками, а YOLO позволяют автоматически генерировать аннотации на всех изображениях.
В совокупности эти подходы упрощают обработку сложных сцен с перекрывающимися объектами.
Поскольку аннотирование напрямую связано с обучением моделей, обновленные крупномасштабные наборы данных можно сразу же использовать для повторного обучения и оценки моделей. Это позволяет командам постоянно повышать эффективность работы и более оперативно адаптироваться к новым условиям движения.
В производстве обеспечение стабильного контроля качества зависит от точного выявления дефектов в процессе производства. Для выявления проблем в режиме реального времени часто используются модели компьютерного зрения, однако их эффективность зависит от того, насколько точно обучающие данные отражают реальные производственные условия.
Изменения в условиях производства, такие как колебания качества сырья, настроек оборудования или освещения, могут привести к появлению новых и редких типов дефектов, которые не были представлены в исходных обучающих данных. Это приводит к несоответствию между тем, чему научилась модель, и тем, что встречается на производственной линии.
Для обеспечения согласованности наборы данных необходимо регулярно обновлять с помощью высококачественных внутренних аннотаций. Ultralytics упрощает обновление аннотаций и расширение наборов данных по мере появления новых типов дефектов. Эти обновленные наборы данных затем можно использовать для переобучения моделей, что помогает командам быстрее адаптироваться к меняющимся условиям производства.
Строительные площадки — это динамичная среда, где работают многочисленные бригады, перемещается техника и постоянно меняется планировка. Обеспечение безопасности в таких условиях зависит от наличия четких и подробно аннотированных визуальных данных.
Точные аннотации могут повысить качество данных и помочь системам искусственного интеллекта распознавать работников, оборудование, средства защиты и потенциальные риски в самых разных условиях на объекте, включая места с большим скоплением людей, меняющийся фон и переменное освещение.
Ultralytics обеспечивает эту возможность, позволяя легко обновлять и уточнять аннотации по мере изменения условий на объекте. Новые изображения можно снимать и добавлять в набор данных по мере их появления, что позволяет поддерживать его соответствие реальным сценариям.
Качественная аннотация имеет решающее значение для создания надёжных моделей компьютерного зрения и искусственного интеллекта, однако традиционные рабочие процессы зачастую замедляют работу команд. Ultralytics оптимизирует этот процесс благодаря инструментам автоматической аннотации и масштабируемому рабочему процессу. В результате команды могут быстрее переходить от данных к модели, сохраняя при этом точность и согласованность.
Познакомьтесь с нашим растущим сообществом и репозиторием на GitHub, чтобы узнать больше о компьютерном зрении. Если вы планируете создавать решения в области компьютерного зрения, ознакомьтесь с нашими вариантами лицензирования. Посетите страницы с описанием наших решений, чтобы узнать больше о преимуществах компьютерного зрения в производстве и искусственного интеллекта в здравоохранении.
Начните свой путь в будущее машинного обучения
