Лучшие модели для детекции объектов

В начале этого года Эндрю Ын, один из пионеров ИИ и машинного обучения, представил концепцию агентного обнаружения объектов. Этот подход использует рассуждающий агент для обнаружения объектов по текстовой подсказке без необходимости в огромных объемах обучающих данных.

Возможность распознавать объекты на изображениях и видео без огромных размеченных наборов данных — это шаг к более интеллектуальным и гибким системам компьютерного зрения. Однако агентный ИИ для зрения все еще находится на ранней стадии развития.

Хотя он может выполнять общие задачи, например обнаруживать людей или дорожные знаки на изображении, более точные приложения компьютерного зрения по-прежнему полагаются на традиционные модели обнаружения объектов. Эти модели обучаются на больших, тщательно размеченных наборах данных, чтобы точно понимать, что искать и где находятся объекты.

Рис. 1. Пример обнаружения объектов. (Источник)

Традиционное обнаружение объектов необходимо, поскольку оно обеспечивает и распознавание — определение того, что представляет собой объект, — и локализацию — точное определение его положения на изображении. Это сочетание позволяет машинам надежно выполнять сложные задачи в реальном мире: от управления автономными транспортными средствами до промышленной автоматизации и медицинской диагностики.

Благодаря технологическим достижениям модели обнаружения объектов постоянно совершенствуются: они становятся быстрее, точнее и лучше адаптируются к условиям реального мира. В этой статье мы рассмотрим некоторые из лучших доступных сегодня моделей обнаружения объектов. Давай начнем!

Зачем нужно обнаружение объектов#

Задачи компьютерного зрения, такие как классификация изображений, позволяют определить, содержит ли изображение автомобиль, человека или другой объект. Однако они не могут определить, где именно объект расположен на изображении.

Здесь и проявляется польза обнаружения объектов. Модели обнаружения объектов могут определить, какие объекты присутствуют, а также точно указать их местоположение. Этот процесс, известный как локализация, позволяет машинам точнее понимать сцены и соответствующим образом реагировать: останавливать беспилотный автомобиль, направлять роботизированный манипулятор или выделять область на медицинском снимке.

Развитие глубокого обучения преобразило обнаружение объектов. Вместо опоры на запрограммированные вручную правила современные модели изучают закономерности непосредственно из аннотаций и визуальных данных. Эти наборы данных учат модели тому, как выглядят объекты, где они обычно появляются и как справляться с такими сложностями, как маленькие объекты, загроможденные сцены или различия в освещении.

Современные системы обнаружения объектов действительно могут точно обнаруживать несколько объектов одновременно. Это делает обнаружение объектов критически важной технологией для таких приложений, как автономное вождение, робототехника, здравоохранение и промышленная автоматизация.

Как работают задачи обнаружения объектов#

Входными данными для модели обнаружения объектов служит изображение, полученное с камеры, из видеокадра или даже с медицинского сканера. Входное изображение обрабатывается нейронной сетью, обычно сверточной нейронной сетью (CNN), обученной распознавать закономерности в визуальных данных.

Внутри сети изображение анализируется поэтапно. На основе обнаруженных признаков модель предсказывает, какие объекты присутствуют и где они расположены.

Эти предсказания представлены ограничивающими рамками — прямоугольниками, нарисованными вокруг каждого обнаруженного объекта. Для каждой ограничивающей рамки модель назначает метку класса (например, автомобиль, человек или собака) и оценку уверенности, показывающую, насколько она уверена в предсказании (это также можно рассматривать как вероятность).

Рис. 2. Предсказания обнаружения объектов можно визуализировать с помощью ограничивающих рамок.

Весь процесс во многом основан на извлечении признаков. Модель учится распознавать полезные визуальные закономерности, такие как границы, формы, текстуры и другие отличительные характеристики. Эти закономерности кодируются в картах признаков, которые помогают сети понимать изображение на нескольких уровнях детализации.

Обнаружение объектов: двухэтапные и одноэтапные модели#

В зависимости от архитектуры модели детекторы объектов используют разные стратегии локализации объектов, находя баланс между скоростью, точностью и сложностью.

Многие модели обнаружения объектов, особенно двухэтапные детекторы, такие как Faster R-CNN, сосредотачиваются на отдельных частях изображения, называемых областями интереса (ROIs). Концентрируясь на этих областях, модель отдает приоритет участкам, которые с большей вероятностью содержат объекты, вместо того чтобы одинаково анализировать каждый пиксель.

С другой стороны, одноэтапные модели, такие как ранние модели YOLO, не выбирают отдельные ROIs, как это делают двухэтапные модели. Вместо этого они делят изображение на сетку и используют заранее заданные рамки, называемые якорными рамками, вместе с картами признаков, чтобы за один проход предсказывать объекты по всему изображению.

Сегодня передовые модели обнаружения объектов исследуют безъякорные подходы. В отличие от традиционных одноэтапных моделей, которые полагаются на заранее заданные якорные рамки, безъякорные модели предсказывают расположение и размеры объектов непосредственно по картам признаков. Это может упростить архитектуру, снизить вычислительные затраты и повысить производительность, особенно при обнаружении объектов разной формы и размера.

Обзор лучших моделей обнаружения объектов#

Сегодня существует множество моделей обнаружения объектов, каждая из которых разработана с учетом конкретных целей. Некоторые оптимизированы для работы в реальном времени, другие ориентированы на достижение максимальной точности. Выбор подходящей модели для решения на основе компьютерного зрения часто зависит от конкретного варианта использования и требований к производительности.

Далее рассмотрим некоторые из лучших моделей обнаружения объектов 2026 года.

1. Модели Ultralytics YOLO#

Одним из наиболее широко используемых сегодня семейств моделей обнаружения объектов является семейство моделей Ultralytics YOLO. YOLO, что означает You Only Look Once, популярен в разных отраслях, поскольку обеспечивает высокую эффективность обнаружения, оставаясь быстрым, надежным и удобным в работе.

Семейство Ultralytics YOLO включает Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 и готовящуюся к выпуску Ultralytics YOLO26, предлагая различные варианты для разных требований к производительности и сценариям использования. Благодаря легковесной архитектуре и оптимизации скорости модели Ultralytics YOLO идеально подходят для обнаружения в реальном времени и могут развертываться на периферийных устройствах с ограниченными вычислительными ресурсами и объемом памяти.

Рис. 3. Использование Ultralytics YOLO11 для обнаружения объектов (Источник)

Помимо базового обнаружения объектов, эти модели отличаются высокой универсальностью. Они также поддерживают такие задачи, как сегментация экземпляров, которая выделяет объекты на уровне пикселей, и оценка позы, которая определяет ключевые точки на людях или объектах. Такая гибкость делает модели Ultralytics YOLO оптимальным выбором для широкого спектра приложений — от сельского хозяйства и логистики до розничной торговли и производства.

Еще одна ключевая причина популярности моделей Ultralytics YOLO — пакет Ultralytics для Python, который предоставляет простой и удобный интерфейс для обучения, дообучения и развертывания моделей. Разработчики могут начать с предварительно обученных весов, адаптировать модели под собственные наборы данных и развернуть их всего несколькими строками кода.

2. RT-DETR и RT-DETRv2#

RT‑DETR (трансформер обнаружения объектов в реальном времени) и более новая модель RT‑DETRv2 — это модели обнаружения объектов, созданные для работы в реальном времени. В отличие от многих традиционных моделей, они могут принимать изображение и напрямую выдавать итоговые результаты обнаружения без использования подавления немаксимумов (NMS).

NMS — это этап, на котором удаляются лишние перекрывающиеся рамки, когда модель несколько раз предсказывает один и тот же объект. Пропуск NMS упрощает и ускоряет процесс обнаружения.

Эти модели объединяют CNN и трансформеры. CNN обнаруживает визуальные детали, такие как границы и формы, а трансформер представляет собой тип нейронной сети, способной одновременно анализировать все изображение и понимать взаимосвязи между его частями. Такое комплексное понимание позволяет модели обнаруживать близко расположенные или перекрывающиеся объекты.

RT‑DETRv2 улучшает исходную модель благодаря таким функциям, как многошкальное обнаружение, помогающее находить маленькие и большие объекты, а также более эффективная обработка сложных сцен. Эти изменения сохраняют высокую скорость модели и повышают точность.

3. RF-DETR#

RF‑DETR — это модель на основе трансформера для работы в реальном времени, разработанная для сочетания точности трансформерных архитектур со скоростью, необходимой для приложений реального мира. Как и RT‑DETR с RT‑DETRv2, она использует трансформер для анализа всего изображения и CNN для извлечения тонких визуальных признаков, таких как границы, формы и текстуры.

Модель напрямую предсказывает объекты по входному изображению, пропуская якорные рамки и подавление немаксимумов, что упрощает процесс обнаружения и обеспечивает быструю обработку. RF‑DETR также поддерживает сегментацию экземпляров, позволяя выделять объекты на уровне пикселей в дополнение к предсказанию ограничивающих рамок.

4. EfficientDet#

Выпущенная в конце 2019 года модель EfficientDet разработана для эффективного масштабирования и высокой производительности. Отличительная особенность EfficientDet — составное масштабирование, метод одновременного изменения разрешения входных данных, глубины сети и ширины сети вместо настройки только одного фактора. Такой подход помогает модели сохранять стабильную точность при увеличении масштаба для высокопроизводительных задач или уменьшении для легковесного развертывания.

Еще один ключевой компонент EfficientDet — эффективная сеть пирамиды признаков (FPN), позволяющая модели анализировать изображения в нескольких масштабах. Этот многошкальный анализ критически важен для обнаружения объектов разных размеров и позволяет EfficientDet надежно распознавать маленькие и большие объекты на одном изображении.

5. PP-YOLOE+#

Выпущенная в 2022 году модель PP-YOLOE+ относится к моделям обнаружения объектов в стиле YOLO, то есть обнаруживает и классифицирует объекты за один проход изображения. Такой подход обеспечивает высокую скорость и подходит для приложений реального времени, сохраняя при этом высокую точность.

Одно из ключевых улучшений в PP-YOLOE+ — согласованное с задачей обучение, благодаря которому оценки уверенности модели лучше отражают точность локализации объектов. Это особенно полезно при обнаружении маленьких или перекрывающихся объектов.

Рис. 4. Обнаружение объектов с помощью PP-YOLOE+ (Источник)

Модель также использует раздельную архитектуру головы, которая разделяет задачи предсказания местоположения объектов и меток классов. Это позволяет точнее строить ограничивающие рамки и одновременно правильно классифицировать объекты.

6. GroundingDINO#

GroundingDINO — это модель обнаружения объектов на основе трансформера, объединяющая зрение и язык. Вместо опоры на фиксированный набор категорий она позволяет обнаруживать объекты с помощью текстовых подсказок на естественном языке.

Сопоставляя визуальные признаки изображения с текстовыми описаниями, модель может локализовать объекты, даже если именно таких меток не было в ее обучающих данных. Это означает, что ты можешь задавать модели описания вроде «человек в шлеме» или «красный автомобиль рядом со зданием», и она создаст точные ограничивающие рамки вокруг соответствующих объектов.

Кроме того, благодаря поддержке обнаружения без примеров GroundingDINO снижает необходимость переобучать или дообучать модель для каждого нового сценария использования, делая ее чрезвычайно гибкой в широком спектре приложений. Такое сочетание понимания языка и визуального распознавания открывает новые возможности для интерактивных и адаптивных систем ИИ.

Распространенные метрики оценки детекторов объектов#

Сравнивая различные модели обнаружения объектов, ты можешь задуматься, как определить, какая из них действительно работает лучше всего. Это хороший вопрос, поскольку помимо архитектуры модели и качества данных на производительность могут влиять многие факторы.

Исследователи часто используют общие бенчмарки и стандартные метрики производительности, чтобы единообразно оценивать модели, сравнивать результаты и понимать компромиссы между скоростью и точностью. Стандартные бенчмарки особенно важны, поскольку многие модели обнаружения объектов оцениваются на одних и тех же наборах данных, например на наборе данных COCO.

Измерение точности и скорости обнаружения#

Рассмотрим подробнее некоторые распространенные метрики, используемые для оценки моделей обнаружения объектов:

• Пересечение по объединению (IoU): Эта метрика измеряет степень перекрытия предсказанной ограничивающей рамки с фактическим объектом на изображении. Она сравнивает рамку, построенную моделью, с эталонной рамкой, то есть положением объекта, размеченным в наборе данных. IoU вычисляется как площадь перекрытия, деленная на площадь объединения двух рамок. Более высокое значение IoU означает, что модель точнее разместила рамку, а более низкое — что предсказание менее точное. Проще говоря, IoU показывает, насколько предсказания модели соответствуют истинным положениям объектов.
• Средняя точность (mAP): Это основная метрика для оценки общей эффективности обнаружения объектов. Она учитывает как количество объектов, правильно обнаруженных моделью, так и точность этих обнаружений при разных уровнях уверенности и для разных категорий объектов.
• Кадры в секунду (FPS) и задержка: FPS показывает, сколько изображений или видеокадров модель может обработать за одну секунду. Например, модель, работающая с частотой 30 FPS, может обрабатывать 30 кадров в секунду. Более высокий FPS означает, что система может быстрее реагировать, что важно для таких сценариев, как трансляция видео в реальном времени, мониторинг дорожного движения или робототехника. Задержка, с другой стороны, измеряет, сколько времени требуется модели для обработки одного изображения или кадра — от момента его получения до готовности результата.

Преимущества и недостатки алгоритмов обнаружения объектов#

Вот некоторые ключевые преимущества использования моделей обнаружения объектов в приложениях реального мира:

• Масштабируются на разные отрасли: Обнаружение объектов можно применять в самых разных сценариях — от мониторинга дорожного движения и аналитики розничной торговли до здравоохранения, сельского хозяйства и производства.
• Снижают объем ручной работы: Автоматизация задач визуального контроля и мониторинга уменьшает необходимость в постоянном надзоре со стороны человека и помогает командам сосредоточиться на более важных задачах.
• Используют преимущества экосистем с открытым исходным кодом: Активные сообщества и ресурсы с открытым исходным кодом на GitHub упрощают доступ к предварительно обученным моделям, проведение экспериментов и адаптацию решений.

Несмотря на эти преимущества, существуют практические ограничения, способные влиять на работу моделей обнаружения объектов. Вот несколько важных факторов, которые следует учитывать:

• Требования к высококачественным данным: Модели обнаружения объектов зависят от больших, хорошо размеченных наборов данных для обучения. Создание и поддержка таких данных могут занимать много времени, быть дорогостоящими и плохо масштабироваться.
• Вычислительные требования: Модели, обеспечивающие более высокую точность обнаружения, часто требуют значительных вычислительных ресурсов как во время обучения, так и при развертывании в реальном времени. Обычно это означает использование высокопроизводительных GPU, что может увеличить затраты на инфраструктуру.
• Чувствительность к условиям реального мира: Изменения освещения, ракурса камеры, погоды и загруженности сцены могут влиять на эффективность обнаружения, поэтому необходимы постоянное тестирование и настройка.

Основные выводы#

Лучшая модель обнаружения объектов для твоего проекта компьютерного зрения зависит от сценария использования, организации данных, требований к производительности и ограничений оборудования. Одни модели оптимизированы для скорости, другие ориентированы на точность, а большинству приложений реального мира требуется баланс этих характеристик. Благодаря фреймворкам с открытым исходным кодом и активным сообществам на GitHub эти модели становится проще оценивать, адаптировать и развертывать для практического применения.

Чтобы узнать больше, изучи наш репозиторий на GitHub. Присоединяйся к нашему сообществу и загляни на страницы наших решений, чтобы прочитать о таких приложениях, как ИИ в здравоохранении и компьютерное зрение в автомобильной отрасли. Изучи наши варианты лицензирования, чтобы начать работу с ИИ для компьютерного зрения уже сегодня.