Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Настройки cookie
Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Узнайте, как YOLOE позволяет находить объекты с помощью простого запроса или фотографии. Это обеспечивает более интеллектуальное и быстрое компьютерное зрение без переобучения или тонкой настройки моделей.
Обнаружение объектов — это ключевая задача компьютерного зрения, цель которой — идентифицировать и локализовать объекты на изображениях или видео. Это важная часть компьютерного зрения, области искусственного интеллекта (ИИ), которая позволяет машинам понимать и интерпретировать визуальные данные. Например, обнаружение объектов может помочь идентифицировать автомобиль на картинке или заметить человека в видеопотоке.
Одной из самых известных серий моделей, поддерживающих задачи компьютерного зрения, такие как обнаружение объектов, является серия моделей YOLO (You Only Look Once). Разработанные для обеспечения скорости и точности, модели YOLO постоянно совершенствуются с течением времени. Например, одна из последних версий, Ultralytics YOLO11отлично работает в реальных условиях, обеспечивая точные результаты даже в более сложных средах.
Новая модель под названием YOLOE призвана расширить возможности моделей YOLO . В отличие от традиционных моделей, которые требуют переобучения для распознавания новых объектов, YOLOE может следовать простым текстовым или графическим подсказкам для detect объектов, которые она раньше не видела, что делает ее гораздо более адаптируемой к меняющимся условиям.
В этой статье мы подробно рассмотрим , что делает YOLOE уникальным, как он отличается от предыдущих моделей YOLO и как вы можете начать использовать его уже сегодня. Давайте начнем!
Обзор YOLOE
YOLOE — это модель компьютерного зрения, которая выводит обнаружение объектов на новый уровень. Она была представлена в марте 2025 года исследователями из Университета Цинхуа. Отличительной особенностью YOLOE от традиционных моделей является использование обнаружения с открытым словарем.
В то время как большинство моделей обучены распознавать фиксированный список объектов, YOLOE позволяет вам указывать, что искать, используя краткое описание или пример изображения. Например, если вы ищете «зеленый рюкзак», вы можете либо ввести это описание, либо показать модели фотографию, и YOLOE найдет его в кадре.
Кроме того, даже без подсказок YOLOE может самостоятельно detect множество повседневных объектов. Эта способность распознавать объекты, которых он никогда раньше не видел, называется "обнаружением с нулевого выстрела". Она особенно полезна в динамичных средах, где задача или интересующие объекты могут неожиданно измениться.
YOLOE поддерживает широкий спектр функций, предназначенных для повышения ее производительности в реальных приложениях. Благодаря своей способности обрабатывать как структурированные, так и неструктурированные входные данные, YOLOE открывает новые возможности для обнаружения и сегментации объектов.
Вот некоторые из ключевых особенностей, которые предлагает эта модель:
Обнаружение на основе подсказок: YOLOE может искать объекты на основе короткой текстовой подсказки или примера изображения. Это означает, что вам не нужно переобучать модель каждый раз, когда меняется ваша задача; просто опишите или покажите модели, что вы ищете.
Сегментация экземпляров: В дополнение к рисованию ограничивающих рамок вокруг объектов, YOLOE может очерчивать их точную форму, используя сегментацию экземпляров. Это особенно полезно, когда объекты перекрываются или когда вам необходимо знать точные границы объекта.
Распознавание объектов без подсказок: YOLOE может распознавать объекты даже без конкретных инструкций. Она использует набор предварительно изученных описаний для быстрой идентификации объектов, что делает процесс быстрее и эффективнее.
Сравнение YOLOE с другими моделями YOLO
Теперь, когда мы лучше понимаем, что такое YOLOE, давайте посмотрим на некоторые похожие модели семейства YOLO .
С развитием компьютерного зрения модели YOLO тоже стали развиваться. Например, Ultralytics YOLOv8 обеспечила поддержку новых задач, таких как сегментация и классификация, а более поздние версии, например Ultralytics YOLO11, были направлены на повышение точности и производительности для более широкого круга задач.
Кроме того, в январе 2024 года была выпущена игра YOLO, в которой появилась возможность использовать письменные подсказки, позволяющие пользователям описывать объекты, которые они хотят найти. Хотя YOLO был отличным вариантом для обнаружения нулевых выстрелов, ему не хватало таких функций, как сегментация экземпляров и поддержка визуальных подсказок.
YOLOE развивает YOLO, добавляя эти возможности, повышая гибкость и производительность и предлагая более эффективный инструмент для реальных приложений компьютерного зрения.
Рис. 2. YOLO и YOLOE поддерживают обнаружение нулевого выстрела.
Использование YOLOE с пакетом Ultralytics Python
Хотите ли вы detect конкретные объекты или изучить все на изображении, начать работу с YOLOE очень просто. Эта модель поддерживается пакетом Ultralytics Python , что позволяет легко интегрировать ее в ваши проекты. Далее мы рассмотрим, как ее использовать.
Установка пакета Ultralytics
Первым шагом будет установка пакетаUltralytics Python с помощью менеджера пакетов, например 'pip'. Вы можете сделать это, выполнив команду "pip install ultralytics" в терминале или командной строке.
После установки пакета у вас будет все необходимое для загрузки модели, составления прогнозов и экспериментов с различными режимами обнаружения. Если во время установки возникнут какие-либо проблемы, в официальной документации Ultralytics есть полезный раздел по устранению неполадок.
Существует несколько различных способов использования YOLOE для выполнения прогнозов. Выполнение прогнозов означает использование обученной модели для идентификации и определения местоположения объектов на изображениях или видео. Эти различные методы позволяют вам настраивать взаимодействие с моделью в зависимости от ваших конкретных потребностей.
Давайте обсудим каждый из этих методов по очереди.
Обнаружение определенных объектов с помощью текстовых или графических запросов
YOLOE может detect объекты на основе короткого текстового описания. Например, если вы ищете лошадь в движении, вы можете использовать подсказку типа "лошадь идет".
Для начала загрузите предварительно обученную модель YOLOE и установите свой запрос (описание того, что вы хотите, чтобы модель искала), как показано в фрагменте кода ниже.
from ultralytics import YOLOE
model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))
После того, как ваша модель и запрос установлены, вы можете запустить модель на изображении или видео. Замените путь к файлу в коде путем к вашему файлу изображения или видео:
Это отобразит изображение с четко обозначенным обнаруженным объектом на основе вашего запроса. Вы можете изменить запрос для поиска различных объектов, таких как «красный чемодан», «велосипед» или «зебра», в зависимости от того, что вы ищете.
Рис. 3. Пример использования YOLOE для detect конкретных объектов с помощью текстовой подсказки.
Аналогичным образом можно использовать изображение для подсказки YOLOE с помощью пакета Ultralytics Python . В режиме визуальной подсказки модель использует изображение для поиска похожих предметов в другой сцене. Это особенно полезно для объектов, которые сложно описать или у которых нет четких обозначений.
В некоторых случаях вы можете точно не знать, что искать, или вы можете не искать конкретный объект. Вот тут-то и пригодится режим без запросов.
С помощью этой опции вам не нужно вводить описание или предоставлять пример изображения. YOLOE просто анализирует изображения самостоятельно и обнаруживает все, что может распознать, например, людей, животных, мебель или предметы повседневного обихода.
Это полезный способ исследовать сцену, не давая модели никаких конкретных инструкций. Независимо от того, сканируете ли вы переполненную комнату или просматриваете кадры с большим количеством действий, режим без запросов позволяет быстро увидеть, что присутствует на изображении.
Вы можете использовать следующий код для запуска YOLOE в режиме без запросов. Сначала загружается модель, затем она обрабатывает изображение и автоматически обнаруживает объекты на нем. Наконец, результаты отображаются, и обнаруженные объекты выделяются.
Обязательно замените путь к файлу фактическим путем к вашему изображению.
from ultralytics import YOLOE
model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()
Изображение, показанное ниже, - пример того, что может detect YOLOE в режиме без подсказок.
Рис. 4. Использование YOLOE в режиме без запросов.
Приложения YOLOE в реальном времени
Способность YOLOE реагировать как на текстовые, так и на графические запросы делает его надежным инструментом для приложений реального времени. Его гибкость особенно полезна в быстро меняющихся средах, где важны время и точность.
Давайте рассмотрим несколько реальных примеров использования YOLOE.
Совершенствование обработки багажа: Обнаружение багажа в реальном времени
В оживленных аэропортах поиск конкретного багажа может быть затруднен, особенно когда речь идет о пропавших сумках. YOLOE может упростить этот процесс, помогая сканировать видео в реальном времени и быстро идентифицировать предметы на основе простых запросов, таких как «красная сумка».
Если сумка потерялась или была не на месте, персонал может легко изменить запрос для поиска другого предмета, например, «черного чемодана». Эта способность мгновенно адаптироваться может помочь сотрудникам аэропорта быстро найти нужный багаж, не просматривая долгие часы отснятого материала и не переобучая модель, что значительно ускоряет и повышает эффективность обработки багажа и решения проблем с пропавшим багажом.
Мониторинг общественных мест с помощью YOLOE
Видеозаписи с камер наблюдения в общественных местах, таких как переполненные рынки и кафе, часто содержат смесь людей, объектов и действий, которые меняются в течение дня. YOLOE может анализировать эти кадры в режиме реального времени, используя режим без запросов, автоматически обнаруживая такие предметы, как сумки, столы или велосипеды, без необходимости в конкретных инструкциях.
Рис. 5. YOLOE может detect различные объекты в оживленном общественном месте.
Это особенно полезно для служб безопасности, чтобы обнаружить оставленные без присмотра предметы или track движение толпы. Способность YOLOE detect сразу несколько объектов облегчает управление общественными пространствами во время мероприятий или в периоды большой загруженности, помогая командам оставаться информированными и оперативными.
Плюсы и минусы YOLOE
Вот некоторые из ключевых преимуществ использования YOLOE для приложений компьютерного зрения:
Производительность в реальном времени: YOLOE оптимизирован для быстрой и эффективной обработки, обеспечивая обнаружение в реальном времени даже в динамических средах, таких как прямые видеотрансляции или оживленные общественные места.
Масштабируемость: YOLOE масштабируем и хорошо работает для широкого спектра приложений, от безопасности и наблюдения до розничной торговли, здравоохранения и автономных транспортных средств.
Простота использования: Поскольку YOLOE поддерживается пакетом Ultralytics Python , его легко интегрировать в существующие проекты по компьютерному зрению.
Однако при использовании YOLOE следует помнить о некоторых ограничениях. Вот несколько факторов, которые следует учитывать:
Требуется достаточное количество данных для обучения: Хотя YOLOE поддерживает обнаружение объектов без предварительного обучения, ее производительность на незнакомых объектах зависит от того, насколько хорошо она обобщает данные, полученные в процессе обучения. В некоторых случаях может потребоваться дополнительная информация или тонкая настройка для эффективной работы в узкоспециализированных задачах.
Чувствительность к качеству входных данных: На точность модели могут повлиять некачественные изображения или видео. Размытые или плохо освещенные входные данные могут снизить способность модели точно detect объекты, поэтому для оптимальной работы важно использовать высококачественные входные данные.
Основные выводы
YOLOE обеспечивает большую гибкость в компьютерном зрении, позволяя пользователям направлять обнаружение с помощью текстовых или графических подсказок. Она хорошо работает в реальных ситуациях, когда сцены быстро меняются и переобучение невозможно.
От обработки багажа до мониторинга общественных мест, YOLOE легко адаптируется к новым задачам. Поскольку ИИ становится все более доступным, такие модели, как YOLOE, помогают все большему числу отраслей использовать технологии компьютерного зрения практичными и эффективными способами.
