Что такое YOLOE? Новые возможности моделей компьютерного зрения

Обнаружение объектов — ключевая задача компьютерного зрения, цель которой — выявлять объекты на изображениях и видео и определять их местоположение. Это важная часть компьютерного зрения — области искусственного интеллекта (AI), которая позволяет машинам понимать и интерпретировать визуальные данные. Например, обнаружение объектов может помочь найти автомобиль на фотографии или человека в видеопотоке.

Одна из самых известных серий моделей для задач компьютерного зрения, например обнаружения объектов, — это серия YOLO (You Only Look Once, «смотришь только один раз»). Модели YOLO создавались с расчётом на скорость и точность и постоянно совершенствовались. Например, Ultralytics YOLO11, которую сменила Ultralytics YOLO26, хорошо работает в реальных условиях и обеспечивает точные результаты даже в сложной обстановке.

Новая модель YOLOE развивает этот прогресс и призвана расширить возможности моделей YOLO. В отличие от традиционных моделей, которые нужно переобучать для распознавания новых объектов, YOLOE может обнаруживать ранее невиданные объекты по простым текстовым или графическим подсказкам, что позволяет ей гораздо лучше адаптироваться к меняющимся условиям.

В этой статье мы подробнее рассмотрим, чем уникальна YOLOE, чем она отличается от предыдущих моделей YOLO и как начать пользоваться ею уже сегодня.

Обзор YOLOE#

YOLOE — модель компьютерного зрения, которая выводит обнаружение объектов на новый уровень. Её представили в марте 2025 года исследователи Университета Цинхуа. От традиционных моделей YOLOE отличает использование обнаружения с открытым словарём.

Большинство моделей обучают распознавать фиксированный набор объектов, а YOLOE позволяет указать, что нужно найти, с помощью короткого описания или примерного изображения. Например, если ты ищешь «зелёный рюкзак», можно ввести это описание или показать модели фотографию — и YOLOE найдёт его на сцене.

Кроме того, YOLOE может самостоятельно обнаруживать множество повседневных объектов даже без подсказок. Эта способность распознавать объекты, которых модель раньше не видела, называется обнаружением объектов без примеров. Это особенно полезно в динамичной среде, где задача или интересующие объекты могут неожиданно измениться.

Рис. 1. Возможности YOLOE.

Ключевые функции YOLOE#

YOLOE поддерживает широкий набор функций, разработанных для повышения эффективности модели в реальных приложениях. Благодаря работе со структурированными и неструктурированными входными данными YOLOE открывает новые возможности для обнаружения и сегментации объектов.

Вот некоторые ключевые функции модели:

• Обнаружение по подсказке: YOLOE может искать объекты по короткой текстовой подсказке или примерному изображению. Это значит, что при изменении задачи не нужно каждый раз переобучать модель: просто опиши или покажи ей, что нужно найти.
• Сегментация экземпляров: Помимо построения ограничивающих рамок вокруг объектов, YOLOE может очерчивать их точную форму с помощью сегментации экземпляров. Это особенно полезно, когда объекты перекрываются или нужно знать точные границы объекта.
• Распознавание объектов без подсказок: YOLOE может распознавать объекты и без специальных инструкций. Она использует набор заранее выученных описаний, чтобы быстро выявлять объекты, делая процесс быстрее и эффективнее.

Сравнение YOLOE с другими моделями YOLO#

Теперь, когда мы лучше понимаем, что такое YOLOE, давай рассмотрим похожие модели из семейства YOLO.

По мере развития компьютерного зрения совершенствовались и модели YOLO. Например, Ultralytics YOLOv8 добавила поддержку новых задач, таких как сегментация и классификация, а более поздние версии, например Ultralytics YOLO11, были нацелены на повышение точности и производительности при решении более широкого круга задач.

Кроме того, YOLO-World, выпущенная в январе 2024 года, позволила использовать текстовые подсказки, чтобы пользователи могли описывать объекты, которые нужно найти. YOLO-World хорошо подходила для обнаружения объектов без примеров, но в ней не было таких функций, как сегментация экземпляров и поддержка визуальных подсказок.

YOLOE развивает возможности YOLO-World, добавляя эти функции, повышая гибкость и производительность и предлагая более эффективный инструмент для реальных задач компьютерного зрения. Чтобы сравнить детекторы с открытым словарём и визуально-языковые модели на реальных наборах данных для детекции, загляни в таблицу лидеров Ultralytics VLM.

Рис. 2. YOLO-World и YOLOE поддерживают обнаружение объектов без примеров.

Использование YOLOE с пакетом Ultralytics для Python#

Начать работу с YOLOE просто: можно искать конкретные объекты или изучать всё изображение целиком. Модель поддерживается пакетом Ultralytics для Python, поэтому её легко интегрировать в свои проекты. Давай разберёмся, как её использовать.

Установка пакета Ultralytics#

Первый шаг — установить пакет Ultralytics для Python с помощью менеджера пакетов, например pip. Для этого выполни pip install ultralytics в терминале или командной строке.

После установки пакета у тебя будет всё необходимое, чтобы загрузить модель, получать прогнозы и экспериментировать с разными режимами обнаружения. Если при установке возникнут проблемы, загляни в полезный раздел по устранению неполадок в официальной документации Ultralytics.

Запускать прогнозирование с YOLOE можно несколькими способами. Прогнозирование — это использование обученной модели для выявления объектов на изображениях или видео и определения их местоположения. Эти способы позволяют настроить взаимодействие с моделью в соответствии с конкретными потребностями.

Давай разберём каждый способ по очереди.

Поиск конкретных объектов по текстовым или графическим подсказкам#

YOLOE может обнаруживать объекты по короткому текстовому описанию. Например, если ты ищешь бегущую лошадь, используй подсказку «лошадь идёт».

Для начала загрузи предварительно обученную модель YOLOE и задай подсказку — описание объекта, который нужно найти, — как показано в приведённом ниже фрагменте кода.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Когда модель и подсказка заданы, запусти модель на изображении или видео. Замени путь в коде на путь к своему файлу изображения или видео:

results = model.predict("path/to/your/image.jpg")
results[0].show()

На изображении будет чётко отмечен обнаруженный объект, соответствующий подсказке. Ты можешь изменить подсказку и искать другие объекты, например «красный чемодан», «велосипед» или «зебра».

Рис. 3. Пример поиска конкретных объектов с помощью YOLOE и текстовой подсказки.

Также можно использовать изображение как подсказку для YOLOE с пакетом Ultralytics для Python. В режиме визуальных подсказок модель использует изображение, чтобы находить похожие объекты на другой сцене. Это особенно полезно для объектов, которые трудно описать или у которых нет чётких меток.

Подробнее изучить код можно в документации Ultralytics.

Обнаружение объектов общего назначения с YOLOE#

Иногда ты можешь не знать точно, что искать, или вообще не искать какой-то конкретный объект. В таких случаях пригодится режим без подсказок.

В этом режиме не нужно вводить описание или предоставлять примерное изображение. YOLOE самостоятельно анализирует изображения и обнаруживает всё, что может распознать: людей, животных, мебель и повседневные предметы.

Этот режим помогает изучать сцену, не давая модели специальных инструкций. Сканируешь ли ты переполненное помещение или просматриваешь запись с большим количеством событий — режим без подсказок быстро покажет, что есть на изображении.

Чтобы запустить YOLOE в режиме без подсказок, используй приведённый ниже код. Сначала загружается модель, затем она обрабатывает изображение и автоматически обнаруживает объекты. В конце отображаются результаты и выделяются найденные объекты.

Не забудь заменить путь к файлу на фактический путь к изображению.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

Ниже показан пример того, что YOLOE может обнаружить в режиме без подсказок.

Рис. 4. Использование YOLOE в режиме без подсказок.

Применение YOLOE в реальном времени#

Благодаря способности реагировать на текстовые и графические подсказки YOLOE становится надёжным инструментом для приложений реального времени. Гибкость модели особенно полезна в быстро меняющихся условиях, где важны скорость и точность.

Рассмотрим несколько примеров применения YOLOE в реальных условиях.

Оптимизация обработки багажа: обнаружение багажа в реальном времени#

В загруженных аэропортах бывает трудно найти конкретный багаж, особенно если он потерян. YOLOE может упростить эту задачу, анализируя видеопоток и быстро выявляя предметы по простым подсказкам, например «красная сумка».

Если сумка потерялась или оказалась не на месте, сотрудники могут легко изменить подсказку и найти другой предмет, например «чёрный чемодан». Возможность мгновенно менять критерии поиска помогает сотрудникам аэропорта быстро находить нужный багаж без длительного просмотра записей и переобучения модели, ускоряя и упрощая обработку багажа и поиск пропавших вещей.

Мониторинг общественных пространств с YOLOE#

Записи с камер наблюдения в общественных местах, например на многолюдных рынках и в кафе, часто содержат множество людей, предметов и событий, которые меняются в течение дня. YOLOE может анализировать такие записи в реальном времени в режиме без подсказок и автоматически обнаруживать предметы — сумки, столы или велосипеды — без специальных инструкций.

Рис. 5. YOLOE может обнаруживать различные объекты в оживлённом общественном месте.

Это особенно полезно службам безопасности, чтобы выявлять оставленные без присмотра предметы или отслеживать перемещение толпы. Благодаря способности одновременно обнаруживать множество объектов YOLOE упрощает управление общественными пространствами во время мероприятий и в периоды высокой загруженности, помогая командам быть в курсе ситуации и оперативно реагировать.

Преимущества и недостатки YOLOE#

Вот некоторые ключевые преимущества использования YOLOE в приложениях компьютерного зрения:

• Производительность в реальном времени: YOLOE оптимизирована для быстрой и эффективной обработки, поэтому может обнаруживать объекты в реальном времени даже в динамичной среде, например в видеопотоках или оживлённых общественных местах.
• Масштабируемость: YOLOE легко масштабируется и подходит для самых разных задач — от безопасности и видеонаблюдения до розничной торговли, здравоохранения и автономного транспорта.
• Простота использования: поскольку YOLOE поддерживается пакетом Ultralytics для Python, её легко интегрировать в существующие проекты компьютерного зрения.

Однако при использовании YOLOE стоит учитывать несколько ограничений. Вот некоторые из них:

• Требуются достаточные обучающие данные: хотя YOLOE поддерживает обнаружение объектов без примеров, её качество распознавания невиданных ранее объектов зависит от способности обобщать результаты обучения. В некоторых случаях для эффективного решения узкоспециализированных задач может понадобиться больше данных или дополнительная тонкая настройка.
• Чувствительность к качеству входных данных: точность модели может снижаться при обработке некачественных изображений или видео. Размытые или плохо освещённые входные данные ухудшают распознавание объектов, поэтому для оптимальной работы важно использовать качественные данные.

Главные выводы#

YOLOE делает компьютерное зрение гибче: пользователи могут направлять процесс обнаружения с помощью текстовых или графических подсказок. Модель хорошо работает в реальных условиях, где сцены быстро меняются, а переобучение невозможно.

От обработки багажа до мониторинга общественных пространств — YOLOE легко адаптируется к новым задачам. По мере повышения доступности ИИ такие модели, как YOLOE, помогают всё большему числу отраслей практично и эффективно использовать технологии компьютерного зрения.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше о новейших разработках в области ИИ. На страницах наших решений ты найдёшь последние достижения в таких сферах, как ИИ в розничной торговле и компьютерное зрение в здравоохранении. Ознакомься с нашими вариантами лицензирования и начни использовать компьютерное зрение уже сегодня!