Лучшие модели детекции объектов

В начале этого года Эндрю Ын, пионер в области ИИ и машинного обучения, представил концепцию агентного обнаружения объектов. Этот подход использует агент, способный рассуждать и обнаруживать объекты по текстовому запросу, не требуя огромных объемов обучающих данных.

Возможность распознавать объекты на изображениях и видео без огромных размеченных датасетов — шаг к более интеллектуальным и гибким системам компьютерного зрения. Однако агентное компьютерное зрение на основе ИИ пока находится на раннем этапе развития.

Хотя такие системы справляются с общими задачами, например обнаруживают людей или дорожные знаки на изображении, для более точных приложений компьютерного зрения по-прежнему нужны традиционные модели обнаружения объектов. Эти модели обучают на больших, тщательно размеченных датасетах, чтобы они точно знали, что искать и где находятся объекты.

Рис. 1. Пример обнаружения объектов. (Источник)

Традиционное обнаружение объектов необходимо, поскольку оно одновременно распознает объект и определяет его точное положение на изображении. Благодаря этому сочетанию машины могут надежно выполнять сложные задачи в реальном мире: от управления автономными автомобилями до промышленной автоматизации и медицинской диагностики.

Модели обнаружения объектов постоянно совершенствуются: они становятся быстрее, точнее и лучше приспособлены к реальным условиям. В этой статье мы расскажем о некоторых лучших моделях обнаружения объектов, доступных сегодня.

Зачем нужно обнаружение объектов#

Задачи компьютерного зрения, например классификацию изображений, можно использовать, чтобы определить, изображена ли на картинке машина, человек или другой объект. Но такие задачи не позволяют установить, где именно находится объект на изображении.

Здесь и нужны модели обнаружения объектов. Они могут определять, какие объекты присутствуют на изображении, и точно указывать их местоположение. Этот процесс, известный как локализация, помогает машинам точнее понимать сцены и правильно на них реагировать: например, останавливать беспилотный автомобиль, направлять роботизированную руку или выделять область на медицинском изображении.

Развитие глубокого обучения преобразило обнаружение объектов. Вместо использования правил, заданных вручную, современные модели самостоятельно изучают закономерности по аннотациям и визуальным данным. Датасеты учат модели тому, как выглядят объекты, где они обычно встречаются и как справляться с такими трудностями, как мелкие объекты, загроможденные сцены и меняющееся освещение.

Современные системы обнаружения объектов способны точно находить сразу несколько объектов. Это делает обнаружение объектов важной технологией для автономного вождения, робототехники, здравоохранения и промышленной автоматизации.

Как работает обнаружение объектов#

На вход модели обнаружения объектов подается изображение, полученное с камеры, из видеокадра или даже с медицинского сканера. Входное изображение обрабатывает нейронная сеть — обычно сверточная нейронная сеть (CNN), обученная распознавать закономерности в визуальных данных.

Внутри сети изображение анализируется поэтапно. На основе обнаруженных признаков модель предсказывает, какие объекты присутствуют на изображении и где они находятся.

Предсказания представлены ограничивающими рамками — прямоугольниками, которые обводят каждый обнаруженный объект. Для каждой рамки модель присваивает метку класса (например, «машина», «человек» или «собака») и показатель уверенности, отражающий степень уверенности в предсказании (его также можно считать вероятностью).

Рис. 2. Предсказания обнаружения объектов можно визуализировать с помощью ограничивающих рамок.

Весь процесс во многом опирается на извлечение признаков. Модель учится распознавать полезные визуальные закономерности, такие как контуры, формы, текстуры и другие отличительные характеристики. Эти закономерности кодируются в картах признаков, которые помогают сети понимать изображение на разных уровнях детализации.

Обнаружение объектов: двухэтапные и одноэтапные модели#

В зависимости от архитектуры модели детекторы объектов используют разные стратегии поиска объектов, балансируя между скоростью, точностью и сложностью.

Многие модели обнаружения объектов, в частности двухэтапные детекторы, такие как Faster R-CNN, сосредоточиваются на отдельных участках изображения, называемых областями интереса (ROIs). Концентрируясь на этих областях, модель в первую очередь анализирует участки, где объекты с большей вероятностью присутствуют, а не рассматривает все пиксели одинаково.

Одноэтапные модели, например ранние модели YOLO, в отличие от двухэтапных не выбирают отдельные области интереса (ROIs). Вместо этого они делят изображение на сетку и используют заранее заданные рамки, называемые якорными рамками, а также карты признаков, чтобы за один проход предсказывать объекты на всем изображении.

Во многих современных моделях обнаружения объектов, включая новейшие модели Ultralytics YOLO, используются подходы без якорей. В отличие от традиционных одностадийных моделей, опирающихся на заранее заданные якорные рамки, модели без якорей напрямую предсказывают местоположение и размеры объектов по картам признаков. Это позволяет упростить архитектуру, снизить вычислительные затраты и повысить производительность, особенно при обнаружении объектов разной формы и размера.

Обзор лучших моделей обнаружения объектов#

Сегодня существует множество моделей обнаружения объектов, каждая из которых создана для определенных задач. Одни оптимизированы для работы в реальном времени, другие нацелены на максимальную точность. Выбор подходящей модели для решения на основе компьютерного зрения часто зависит от конкретной задачи и требований к производительности.

А теперь рассмотрим лучшие модели обнаружения объектов 2026 года.

1. Модели Ultralytics YOLO#

Сегодня семейство моделей Ultralytics YOLO — одно из самых широко используемых семейств моделей для обнаружения объектов. YOLO расшифровывается как You Only Look Once (ты смотришь только один раз) и популярна в самых разных отраслях, поскольку обеспечивает высокое качество обнаружения, работает быстро и надёжно и проста в использовании.

Семейство Ultralytics YOLO включает Ultralytics YOLOv5, Ultralytics YOLOv8, Ultralytics YOLO11 и новейшую модель Ultralytics YOLO26, предлагая варианты для разных требований к производительности и сценариям использования. Благодаря лёгкой конструкции и оптимизации скорости модели Ultralytics YOLO идеально подходят для обнаружения объектов в реальном времени и могут развёртываться на периферийных устройствах с ограниченными вычислительными ресурсами и памятью.

Рис. 3. Обнаружение объектов с помощью Ultralytics YOLO11 (Источник)

Помимо обычного обнаружения объектов, эти модели очень универсальны. Они также поддерживают такие задачи, как сегментация экземпляров, которая выделяет объекты на уровне пикселей, и оценка позы, которая определяет ключевые точки на людях или объектах. Благодаря этой гибкости модели Ultralytics YOLO подходят для самых разных приложений — от сельского хозяйства и логистики до розничной торговли и производства.

Ещё одна важная причина популярности моделей Ultralytics YOLO — пакет Ultralytics для Python, который предоставляет простой и удобный интерфейс для обучения, дообучения и развёртывания моделей. Разработчики могут начать с предварительно обученных весов, настроить модели под собственные наборы данных и развернуть их всего несколькими строками кода.

2. RT-DETR и RT-DETRv2#

RT‑DETR (Transformer для обнаружения объектов в реальном времени) и более новая RT‑DETRv2 — модели обнаружения объектов, предназначенные для работы в реальном времени. В отличие от многих традиционных моделей, они могут напрямую обрабатывать изображение и выдавать итоговые результаты обнаружения без использования подавления немаксимумов (NMS).

NMS — это этап, на котором удаляются лишние перекрывающиеся рамки, если модель несколько раз обнаруживает один и тот же объект. Пропуск NMS упрощает и ускоряет процесс обнаружения.

Эти модели объединяют CNN и трансформеры. CNN извлекает визуальные детали, например края и формы, а трансформер — это тип нейронной сети, который может одновременно анализировать всё изображение и определять взаимосвязи между его частями. Благодаря такому целостному анализу модель обнаруживает объекты, расположенные близко друг к другу или перекрывающиеся.

RT‑DETRv2 улучшает исходную модель за счёт таких возможностей, как обнаружение на нескольких масштабах, помогающее находить как мелкие, так и крупные объекты, и более эффективная обработка сложных сцен. Эти изменения повышают точность, сохраняя высокую скорость модели.

3. RF-DETR#

RF‑DETR — модель на основе трансформера для работы в реальном времени, созданная для сочетания точности архитектур трансформеров со скоростью, необходимой для реальных приложений. Как и RT‑DETR и RT‑DETRv2, она использует трансформер для анализа всего изображения и CNN для извлечения тонких визуальных признаков, таких как края, формы и текстуры.

Модель напрямую предсказывает объекты на входном изображении, не используя анкерные рамки и подавление немаксимумов, что упрощает обнаружение и ускоряет инференс. RF‑DETR также поддерживает сегментацию экземпляров, позволяя выделять объекты на уровне пикселей, а не только предсказывать ограничивающие рамки.

4. EfficientDet#

Выпущенная в конце 2019 года модель EfficientDet предназначена для эффективного масштабирования и высокой производительности при обнаружении объектов. Её отличительная особенность — составное масштабирование: метод, который одновременно меняет разрешение входных данных, глубину и ширину сети, а не корректирует только один параметр. Благодаря этому подходу модель сохраняет стабильную точность как при увеличении масштаба для высокопроизводительных задач, так и при уменьшении для лёгкого развёртывания.

Ещё один важный компонент EfficientDet — эффективная сеть пирамиды признаков (FPN), которая позволяет модели анализировать изображения в нескольких масштабах. Такой многоуровневый анализ крайне важен для обнаружения объектов разного размера и помогает EfficientDet надёжно находить на одном изображении как мелкие, так и крупные объекты.

5. PP-YOLOE+#

Выпущенная в 2022 году модель PP-YOLOE+ обнаруживает объекты в стиле YOLO, то есть за один проход по изображению находит и классифицирует объекты. Благодаря этому она работает быстро и подходит для приложений реального времени, сохраняя при этом высокую точность.

Одно из ключевых улучшений PP-YOLOE+ — согласованное с задачей обучение, благодаря которому оценки уверенности модели точнее отражают, насколько точно определено положение объектов. Это особенно полезно для обнаружения мелких или перекрывающихся объектов.

Рис. 4. Обнаружение объектов с помощью PP-YOLOE+ (Источник)

Модель также использует архитектуру с разделённой головой, которая разделяет задачи предсказания положения объектов и меток классов. Благодаря этому она точнее строит ограничивающие рамки и правильно классифицирует объекты.

6. GroundingDINO#

GroundingDINO — модель обнаружения объектов на основе Transformer, объединяющая компьютерное зрение и язык. Вместо фиксированного набора категорий она позволяет обнаруживать объекты с помощью текстовых запросов на естественном языке.

Сопоставляя визуальные признаки изображения с текстовыми описаниями, модель может находить объекты, даже если соответствующих меток не было в обучающих данных. Это значит, что ты можешь задавать модели описания вроде «человек в шлеме» или «красный автомобиль рядом со зданием», и она обведёт подходящие объекты ограничивающими рамками.

Кроме того, благодаря поддержке обнаружения объектов без примеров GroundingDINO избавляет от необходимости переобучать или дообучать модель для каждого нового сценария использования и подходит для самых разных приложений. Чтобы сравнить её с другими детекторами с открытым словарём и моделями компьютерного зрения, работающими с языком, на реальных наборах данных, загляни в рейтинг моделей VLM.

Распространённые метрики для оценки моделей обнаружения объектов#

Сравнивая разные модели обнаружения объектов, ты можешь задуматься, как определить, какая из них действительно работает лучше. Это хороший вопрос: на производительность влияют не только архитектура модели и качество данных, но и множество других факторов.

Исследователи часто используют общие бенчмарки и стандартные метрики производительности, чтобы последовательно оценивать модели, сравнивать результаты и понимать компромиссы между скоростью и точностью. Стандартные бенчмарки особенно важны, поскольку многие модели обнаружения объектов оцениваются на одних и тех же наборах данных, например COCO.

Оценка точности и скорости обнаружения#

Рассмотрим подробнее несколько распространённых метрик для оценки моделей обнаружения объектов:

• Пересечение над объединением (IoU): Эта метрика измеряет, насколько предсказанная ограничивающая рамка перекрывается с реальным объектом на изображении. Она сравнивает рамку, построенную моделью, с эталонной рамкой, обозначающей местоположение объекта в разметке набора данных. IoU рассчитывается как площадь пересечения рамок, делённая на площадь их объединения. Чем выше IoU, тем точнее модель размещает рамку; чем ниже IoU, тем менее точным является предсказание. Проще говоря, IoU показывает, насколько предсказания модели соответствуют истинному местоположению объектов.
• Средняя точность по всем классам (mAP): это основная метрика для оценки общей эффективности обнаружения объектов. Она учитывает как количество правильно обнаруженных моделью объектов, так и точность обнаружения при разных уровнях уверенности и для разных категорий объектов.
• Кадры в секунду (FPS) и задержка: FPS показывает, сколько изображений или видеокадров модель может обработать за секунду. Например, модель со скоростью 30 FPS обрабатывает 30 кадров в секунду. Чем выше FPS, тем быстрее система реагирует, что важно для таких сценариев, как трансляция видео в реальном времени, мониторинг дорожного движения и робототехника. Задержка, в свою очередь, показывает, сколько времени требуется модели на обработку одного изображения или кадра — с момента его получения до готовности результата.

Плюсы и минусы алгоритмов обнаружения объектов#

Вот несколько ключевых преимуществ применения моделей обнаружения объектов в реальных приложениях:

• Масштабирование для разных отраслей: обнаружение объектов подходит для самых разных задач — от мониторинга дорожного движения и аналитики розничной торговли до здравоохранения, сельского хозяйства и производства.
• Сокращение ручного труда: автоматизация визуального контроля и мониторинга снижает потребность в постоянном надзоре со стороны людей и помогает командам сосредоточиться на более важных задачах.
• Преимущества открытой экосистемы: активные сообщества и ресурсы с открытым исходным кодом на GitHub упрощают доступ к предварительно обученным моделям, проведение экспериментов и адаптацию решений.

Несмотря на эти преимущества, есть практические ограничения, которые могут влиять на работу моделей обнаружения объектов. Вот несколько важных факторов, которые стоит учитывать:

• Требования к качеству данных: для обучения моделям обнаружения объектов нужны большие и тщательно размеченные наборы данных. Их создание и поддержка могут отнимать много времени и средств, а также быть трудными для масштабирования.
• Вычислительные требования: модели с более высокой точностью обнаружения часто требуют значительных вычислительных ресурсов как во время обучения, так и при развёртывании в реальном времени. Обычно для этого нужны высокопроизводительные GPU, что может увеличить расходы на инфраструктуру.
• Чувствительность к условиям реального мира: изменения освещения, угла камеры и погоды, а также большое количество объектов в кадре могут влиять на качество обнаружения, поэтому необходимо регулярно проводить тестирование и настройку.

Главные выводы#

Лучшая модель обнаружения объектов для твоего проекта в области компьютерного зрения зависит от сценария использования, подготовки данных, требований к производительности и ограничений оборудования. Одни модели оптимизированы для скорости, другие ориентированы на точность, а большинству реальных приложений нужен баланс между ними. Благодаря фреймворкам с открытым исходным кодом и активным сообществам на GitHub оценивать, адаптировать и внедрять такие модели для практических задач становится всё проще.

Чтобы узнать больше, изучи наш репозиторий на GitHub. Присоединяйся к нашему сообществу и загляни на страницы наших решений, чтобы узнать о таких приложениях, как ИИ в здравоохранении и компьютерное зрение в автомобильной отрасли. Ознакомься с вариантами лицензирования, чтобы начать работу с визуальным ИИ уже сегодня.