Детекция небольших объектов с помощью Ultralytics YOLO11

Дроны с ИИ в компьютерном зрении могут летать на высоте в сотни метров и при этом должны обнаруживать человека, который занимает всего несколько пикселей в видеопотоке. Это распространённая проблема в таких областях, как робототехника, видеонаблюдение и дистанционное зондирование, где системам нужно находить очень маленькие объекты на изображении.

Но традиционные модели обнаружения объектов могут справляться с этой задачей плохо. Маленькие объекты на изображениях и видео содержат очень мало визуальной информации. Проще говоря, модели не хватает деталей, которые можно было бы изучить или распознать.

В основе такие модели обычно используют архитектуру на базе сверточной нейронной сети (CNN). Изображения проходят через слои сети и преобразуются в карты признаков — упрощенные представления, выделяющие важные закономерности вместо исходных пикселей.

По мере продвижения изображения по сети карты признаков уменьшаются. Это ускоряет вычисления, но также может привести к потере мелких деталей.

Для крошечных объектов эти детали крайне важны. Когда они исчезают, модели компьютерного зрения может быть трудно обнаружить объект, из-за чего ограничивающие рамки становятся менее точными или нестабильными.

Системы компьютерного зрения сквозной обработки в реальном времени делают эту задачу еще сложнее. Изображения высокого разрешения помогают сохранить детали, но замедляют инференс и требуют большей мощности GPU. Изображения низкого разрешения обрабатываются быстрее, но маленькие объекты на них обнаружить еще сложнее.

Здесь постоянно приходится искать баланс между скоростью, точностью и ограничениями оборудования. Благодаря недавнему развитию технологий модели компьютерного зрения, такие как Ultralytics YOLO11 и выпущенная позднее Ultralytics YOLO26, эффективнее справляются с этим компромиссом.

Рис. 1. Обнаружение маленьких объектов на аэрофотоснимках с помощью YOLO11 (Источник)

В этой статье мы рассмотрим, почему обнаруживать небольшие объекты сложно и как Ultralytics YOLO11 упрощает эту задачу.

Что такое обнаружение маленьких объектов и почему оно важно?#

Обнаружение маленьких объектов — это задача компьютерного зрения, области ИИ, которая занимается выявлением и локализацией объектов, занимающих очень небольшую часть изображения. На изображении такие объекты часто представлены небольшим количеством пикселей — наименьших единиц цифрового изображения. Поэтому обнаружить их сложнее, чем более крупные и четкие объекты, которые обычно занимают больше пикселей.

Например, транспорт на аэрофотоснимках, инструменты на производственном участке или люди, снятые широкоугольными камерами видеонаблюдения, могут выглядеть на изображении как маленькие объекты. Их обнаружение важно, поскольку такие объекты часто содержат критически важную информацию, а многие реальные приложения, например видеонаблюдение, зависят от их правильного обнаружения.

Если маленькие объекты пропустить, это может повлиять на производительность системы и принятие решений. Например, при мониторинге с помощью беспилотного летательного аппарата (UAV) пропуск небольшого движущегося объекта на земле может снизить точность навигации или отслеживания.

Проблемы, связанные с обнаружением маленьких объектов#

Ранние системы использовали созданные вручную признаки и традиционные методы компьютерного зрения, которые плохо справлялись со сложными или разнообразными сценами. Даже сегодня, когда модели глубокого обучения работают намного лучше, обнаруживать маленькие объекты по-прежнему трудно, если они занимают лишь крошечную часть изображения.

Теперь рассмотрим некоторые распространенные проблемы, возникающие при обнаружении маленьких объектов в разных реальных сценариях.

Размер, пиксели и потеря информации#

В маленьких объектах очень мало пикселей, что ограничивает количество визуальных деталей, которые модель может изучить на таких этапах, как извлечение признаков. В результате закономерности, например контуры, формы и текстуры, обнаружить сложнее, и маленькие объекты чаще сливаются с фоном.

Когда изображения проходят через сверточные слои нейронной сети, визуальная информация в пикселях постепенно сжимается в карты признаков. Это помогает модели работать эффективно, но при этом мелкие детали постепенно исчезают.

Рис. 2. Карты признаков представляют визуальные закономерности на изображении (Источник)

Для маленьких объектов важные признаки могут исчезнуть еще до того, как сеть обнаружения успеет их обработать. В этом случае локализация становится менее надежной, а ограничивающие рамки могут смещаться, перекрываться или полностью пропускать целевые объекты.

Перекрытие, изменение масштаба и контекст#

Проблемы, связанные с размером, часто усугубляются перекрытием объектов. Оно возникает, когда другие объекты сцены частично закрывают объекты, особенно маленькие.

Это уменьшает видимую область целевого объекта и ограничивает информацию, доступную детектору объектов. Даже небольшое перекрытие может сбить сети обнаружения с толку, особенно в сочетании с входными данными низкого разрешения. Интересный пример можно увидеть в наборах данных для БПЛА, таких как VisDrone, где пешеходы, велосипеды и транспорт могут быть частично закрыты зданиями, деревьями или другими движущимися объектами.

Рис. 3. Пример маленьких объектов из набора данных VisDrone (Источник)

Аналогично, изменение масштаба создает дополнительную сложность: один и тот же объект может казаться очень маленьким или относительно крупным в зависимости от расстояния и положения камеры. Несмотря на эти трудности, алгоритмы обнаружения должны распознавать маленькие объекты в разных масштабах, не теряя точности.

Контекст также играет важную роль при обнаружении. Например, крупные объекты обычно видны на фоне четкого окружения, которое дает полезные визуальные подсказки. Маленьким объектам часто не хватает такой контекстной информации, из-за чего распознавать закономерности становится труднее.

Скрытая проблема метрик при обнаружении маленьких объектов#

Распространенные метрики оценки, например пересечение над объединением (IoU), измеряют, насколько предсказанная ограничивающая рамка перекрывается с эталонной рамкой. IoU хорошо работает для крупных объектов, но для маленьких объектов ведет себя иначе.

Маленькие объекты занимают всего несколько пикселей, поэтому даже небольшое смещение предсказанной рамки может привести к большой относительной ошибке и резко снизить показатель IoU. В итоге маленькие объекты часто не проходят стандартный порог IoU, используемый для признания предсказания правильным, даже если объект виден на изображении.

В результате ошибки локализации чаще классифицируются как ложноположительные или ложноотрицательные срабатывания. Эти ограничения побудили исследователей пересмотреть подходы к оценке и обработке маленьких объектов, которые трудно обнаружить.

Многоуровневые признаки: ключ к обнаружению маленьких объектов в реальном времени#

Исследователи, работавшие над улучшением обнаружения мелких объектов, пришли к выводу, что для этого необходимо сохранять и представлять визуальную информацию в нескольких масштабах. Этот вывод подтверждается недавними исследованиями на arXiv и работами, представленными на таких площадках, как международные конференции IEEE и Европейская конференция по компьютерному зрению (ECCV).

По мере прохождения изображений через слои нейронной сети маленькие объекты могут терять детали или исчезать совсем. Поэтому современные модели компьютерного зрения, такие как Ultralytics YOLO11, уделяют особое внимание улучшению извлечения признаков. Далее разберем основные понятия, связанные с картами признаков и пирамидами признаков, чтобы лучше понять их работу.

Карты признаков и представление масштаба#

Когда входное изображение, например снимок дистанционного зондирования, поступает в нейронную сеть, оно постепенно преобразуется в карты признаков. Это упрощенные представления изображения, выделяющие визуальные закономерности, например контуры, формы и текстуры.

По мере углубления в сеть пространственный размер карт признаков уменьшается. Это позволяет модели работать эффективнее и сосредоточиться на информации высокого уровня. Однако уменьшение и углубление карт признаков также снижает пространственную детализацию.

Рис. 4. Извлечение признаков — ключевой этап обнаружения маленьких объектов. (Источник)

Крупные объекты сохраняют достаточно визуальной информации для точного обнаружения, тогда как маленькие могут потерять важные детали всего за несколько слоев сети. В таком случае модели бывает трудно распознать, что маленький объект вообще существует. Это одна из основных причин, по которым модели глубокого обнаружения объектов пропускают маленькие объекты.

Пирамиды признаков и обучение на нескольких масштабах#

Пирамиды признаков, часто называемые FPN, были разработаны для решения проблемы потери пространственной детализации. Они работают как вспомогательный модуль, объединяющий информацию из нескольких слоев, чтобы модели могли эффективнее обнаруживать маленькие объекты. Этот процесс также называют агрегированием и слиянием признаков.

Мелкие слои содержат точные пространственные детали, а более глубокие добавляют семантический контекст, что позволяет эффективно обучаться на признаках разных масштабов. В отличие от простого увеличения масштаба, при котором карты признаков просто растягиваются, FPN сохраняет значимую информацию и улучшает обнаружение маленьких объектов.

Современные подходы развивают эту идею с помощью адаптивного слияния признаков и архитектур, учитывающих контекст, чтобы еще лучше обнаруживать маленькие объекты. Иными словами, FPN помогает моделям одновременно видеть и общую картину, и мельчайшие детали. Такая оптимизация крайне важна для маленьких объектов.

Как развивались модели обнаружения объектов для работы с маленькими объектами#

Кратко рассмотрим, как со временем развивались и совершенствовались модели обнаружения объектов, чтобы лучше распознавать объекты разных размеров, в том числе очень маленькие:

• Ранние методы обнаружения: Первые подходы к обнаружению объектов опирались на признаки, спроектированные вручную, и алгоритмы на основе правил из классической обработки изображений. Поскольку признаки были фиксированными, качество работы ухудшалось на разных изображениях.
• Появление машинного и глубокого обучения: Переход к машинному и глубокому обучению стал важным этапом в исследованиях обнаружения объектов. Вместо заранее заданных правил нейронные сети стали изучать визуальные представления непосредственно по обучающим данным, лучше адаптируясь к разным размерам объектов и сценам.
• Сверточные сети: Эти нейронные сети учатся распознавать закономерности на изображениях. Каждый слой выделяет разные детали: сначала простые контуры и цвета, затем формы и, наконец, целые объекты. Поэтому такие сети стали важной частью современного компьютерного зрения.
• Двухэтапные детекторы объектов: двухэтапные детекторы, такие как Faster R-CNN, представленный Ren et al., сначала генерировали области-кандидаты, а затем классифицировали их. Такой подход повысил точность обнаружения мелких объектов, но увеличил вычислительные затраты и снизил производительность в реальном времени.
• Одноэтапные детекторы объектов: Одноэтапные детекторы, например SSD (детектор с одним проходом) и семейство YOLO (YOLO), включая YOLOv3, Ultralytics YOLOv5 и более позднюю Ultralytics YOLOv8, обнаруживают объекты за один проход. Такая архитектура значительно ускоряет инференс, сохраняя конкурентоспособную точность.
• Современные передовые модели: Новые модели обнаружения объектов уделяют больше внимания работе в реальном времени и развёртыванию на периферийных устройствах. Недавние модели Ultralytics YOLO, например Ultralytics YOLO11 и Ultralytics YOLO26, призваны сочетать высокую точность с низкой задержкой инференса. Поэтому они хорошо подходят для обнаружения объектов любого размера, включая небольшие цели, на устройствах с ограниченными вычислительными ресурсами.

Использование Ultralytics YOLO11 для обнаружения маленьких объектов#

Теперь, когда мы лучше понимаем, как работает обнаружение маленьких объектов, рассмотрим несколько реальных задач, для которых можно использовать Ultralytics YOLO11.

БПЛА и аэрофотосъемка#

Представь дрон, летящий высоко над оживленной городской улицей. С такой высоты машины, велосипеды и даже люди занимают на экране всего несколько пикселей.

Модули БПЛА и аэрофотосъемки часто фиксируют именно такие сцены: интересующие объекты очень малы и окружены загроможденным фоном, поэтому моделям компьютерного зрения трудно их обнаружить.

В таких сценариях Ultralytics YOLO11 может стать отличным выбором. Например, дрон с моделью YOLO11, дообученной на наборах данных аэрофотосъёмки, таких как VisDrone, сможет в реальном времени наблюдать за дорожным движением и обнаруживать автомобили, велосипедистов и пешеходов, даже если каждый объект занимает лишь небольшую часть изображения. Это помогает быстрее принимать решения и получать более точные сведения в таких областях, как управление дорожным движением, общественная безопасность и городское планирование.

Робототехника и автоматизация#

Роботы часто работают в условиях, где точность и время реакции имеют решающее значение. На складах, заводах и фермах роботу может потребоваться распознать очень маленький объект — например, деталь на сборочной линии, этикетку на упаковке или небольшой росток в поле — и быстро на него среагировать.

Обнаруживать объекты такого размера бывает непросто, особенно если они занимают всего несколько пикселей в видеопотоке с камеры или частично перекрыты другими объектами. Если пропустить такие детали, автоматизация может замедлиться, а робот — не справиться с задачей.

В таких ситуациях Ultralytics YOLO11 может сыграть важную роль. Улучшенное извлечение признаков и быстрый инференс позволяют роботам обнаруживать маленькие объекты в реальном времени и сразу же реагировать.

Ultralytics YOLO11 также поддерживает сегментацию экземпляров, которая помогает роботам точнее определять границы объектов и точки захвата, а не просто находить общие ограничивающие рамки. Например, роботизированная рука с интегрированной YOLO11 может обнаружить маленькие компоненты на конвейере, выделить их точную форму и захватить до того, как они окажутся вне досягаемости, помогая системе работать эффективно и надежно.

Почему Ultralytics YOLO11 эффективна для обнаружения маленьких объектов#

Сегодня доступно так много моделей компьютерного зрения, что ты, возможно, задаешься вопросом, чем выделяется Ultralytics YOLO11.

Вот несколько причин, почему Ultralytics YOLO11 отлично подходит для приложений, где нужно обнаруживать маленькие объекты:

• Улучшенное извлечение признаков: YOLO11 использует усовершенствованную архитектуру backbone и neck для улучшения извлечения признаков, что позволяет точнее обнаруживать объекты.
• Экосистема и удобство использования: Пакет Ultralytics для Python — это библиотека со встроенными функциями для загрузки, обучения, валидации и развертывания таких моделей, как YOLO11. Для этих рабочих процессов нужно всего несколько строк кода, поэтому команды могут быстро экспериментировать и адаптировать модели для обнаружения маленьких объектов.
• Оптимизация для развертывания на периферийных устройствах: Ultralytics YOLO11 эффективно работает на периферийных устройствах, например NVIDIA Jetson, Raspberry Pi и промышленных камерах. Проще говоря, модель позволяет выполнять задачи ИИ для компьютерного зрения в реальном времени прямо на устройстве.

Практические рекомендации по обнаружению маленьких объектов с помощью Ultralytics YOLO11#

Помимо выбора такой модели, как Ultralytics YOLO11, на качество обнаружения существенно влияют подготовка аннотаций, набор данных в целом и процедура обучения модели. Во время инференса инференс с разбиением изображения на тайлы с помощью SAHI также может помочь обнаруживать очень маленькие объекты на изображениях высокого разрешения.

Кратко рассмотрим, на чем стоит сосредоточиться:

• Правильная аугментация данных: Умеренная аугментация, например масштабирование или кадрирование, помогает модели обобщать результаты на новые изображения. Однако чрезмерная аугментация с сильным изменением масштаба может исказить или удалить маленькие объекты, из-за чего модели будет труднее их изучить.
• Анализ ошибок: Анализ случаев, когда модель пропускает или неверно распознает объекты, помогает определить исходный уровень качества и выяснить, связаны ли проблемы с набором данных, потерей информации при извлечении признаков или необходимостью скорректировать настройки обучения.
• Состав набора данных: В наборе данных должно быть достаточно примеров маленьких объектов, чтобы модель могла выучить значимые закономерности. Кроме того, набор должен оставаться сбалансированным, чтобы крупные объекты не затмевали маленькие во время обучения.

Главные выводы#

Обнаруживать маленькие объекты сложно, потому что они теряют детали по мере прохождения изображений через модель компьютерного зрения. Ultralytics YOLO11 лучше сохраняет эти детали, делая обнаружение маленьких объектов более надежным без ущерба для производительности в реальном времени. Благодаря такому балансу YOLO11 обеспечивает точное и эффективное обнаружение в реальных приложениях.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Посети страницы наших решений и познакомься с инновациями в области компьютерного зрения в розничной торговле и ИИ в автомобильной отрасли. Чтобы начать создавать решения на основе компьютерного зрения уже сегодня, ознакомься с нашими вариантами лицензирования.