SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдать за животными в естественной среде обитания — будь то пасущийся на ферме скот или акулы у берега — всегда было важно для их безопасности и благополучия. Однако вручную следить за животными непросто. Часто приходится часами терпеливо и внимательно наблюдать за ними, замечая любые изменения в поведении или движении. И даже при этом легко упустить малозаметные, но важные признаки.

Благодаря искусственному интеллекту (AI) этот процесс становится быстрее, умнее и значительно эффективнее: нагрузка на наблюдателей снижается, а точность повышается. В частности, компьютерное зрение можно использовать для отслеживания животных, выявления опасностей и принятия решений в режиме реального времени. Задачи, которые раньше занимали часы, теперь можно выполнить за минуты, что открывает новые возможности для изучения поведения животных.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, организованном Ultralytics, эксперты и новаторы собрались, чтобы обсудить, как ИИ помогает решать повседневные задачи. Среди представленных тем были достижения в области обнаружения объектов в реальном времени и наблюдения за животными, которые показывают, как ИИ повышает безопасность и эффективность в самых разных сферах.

Одним из ярких моментов мероприятия стало выступление Джима Гриффина, основателя AI Master Group. Он показал, как Vision AI повышает безопасность на пляжах, обнаруживая акул до того, как они подойдут слишком близко к берегу. Джим рассказал, как с помощью модели компьютерного зрения Ultralytics YOLOv8 удалось точно распознавать акул в реальном времени даже в сложных условиях: при сильном волнении, бликах и подводных препятствиях.

В этой статье мы подробнее рассмотрим проект SharkEye и поделимся интересными выводами из выступления Джима.

Знакомство с SharkEye: приложение компьютерного зрения#

Джим начал выступление с рассказа о пляже Падаро — популярном месте для серфинга в Калифорнии, где серферы и акулы часто оказываются в одних и тех же водах. Подчеркнув, насколько сложно обнаруживать акул, он сказал: «Конечно, акулу легко обнаружить, если она тебя укусит. Поэтому мы хотели распознавать акул заранее».

Рис. 1. Джим на сцене YOLO Vision 2024.

Проект SharkEye был создан для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре. Джим рассказал, как дроны с камерами на базе ИИ поднимались примерно на 200 футов над водой и сканировали океан в режиме реального времени.

Если система обнаруживала акулу, около 80 человек получали оповещения по SMS. Среди них были спасатели, владельцы магазинов для серферов и все, кто подписался на обновления. Джим отметил, что такие мгновенные оповещения позволяют быстро реагировать и повышают безопасность отдыхающих, когда акула приближается к берегу.

Джим также рассказал, что в SharkEye есть панель мониторинга в реальном времени, где пользователи могут просматривать статистику обнаружения акул. Например, за 12 недель система распознала двух крупных и 15 небольших акул — в среднем чуть больше одной акулы в неделю.

Затем он представил Нила Натана, учёного, который руководил проектом SharkEye. Несмотря на то что Натан специализировался на изучении окружающей среды, а не на информатике, он успешно возглавил проект. Джим подчеркнул, что современные инструменты ИИ, в том числе использованные в SharkEye, доступны широкому кругу пользователей и позволяют людям без технического образования создавать полезные решения.

Обнаружение акул с помощью Ultralytics YOLOv8#

Подробно рассказав о SharkEye, Джим объяснил, что решение для обнаружения акул не сводилось к простой задаче обнаружения объектов. Система должна была справляться с изменчивыми и непредсказуемыми условиями, например с плавающими водорослями, которые легко принять за акул. В отличие от обнаружения неподвижного объекта, распознавание акулы требует точности и адаптивности, поэтому Ultralytics YOLOv8 отлично подошла для этой задачи.

Ещё одно преимущество Ultralytics YOLOv8 — возможность запуска на дроне без использования облачных серверов. Джим объяснил, что благодаря такому подходу SharkEye может мгновенно отправлять оповещения, а это важно для своевременного реагирования в непредсказуемых условиях океана.

Обнаружение объектов всего за шесть строк кода#

Рассказав о работе SharkEye и совместных усилиях, благодаря которым появился проект, Джим показал демонстрацию в реальном времени.

Джим Гриффин начал живую демонстрацию со знакомого примера — фрагмента кода «hello world» для моделей Ultralytics YOLO. Всего за шесть строк кода на Python он показал, как предварительно обученная модель Ultralytics YOLOv8 обнаруживает автобус на изображении.

Рис. 2. Демонстрация Джима на YOLO Vision 2024.

В демонстрации Джим использовал Ultralytics YOLOv8 Nano — облегчённую модель для устройств с низким энергопотреблением, например дронов. Эта же модель применялась в SharkEye для обнаружения акул в реальном времени.

Чтобы пояснить контекст, Джим упомянул, что модель в демонстрации обучалась на COCO128 — уменьшенной выборке из широко используемого набора данных COCO. Набор данных COCO содержит около 330 000 изображений, более 200 000 из которых размечены, и охватывает 80 категорий объектов. COCO128 подходит для коротких демонстраций, но SharkEye требовался более надёжный набор данных для обнаружения акул, созданный специально для этой задачи и учитывающий сложности реальных условий.

Дообучение Ultralytics YOLOv8 для SharkEye#

По словам Джима, самой сложной частью проекта SharkEye было не обучение модели ИИ, а сбор нужных данных. Он отметил: «Основная работа над этим проектом была связана не с ИИ. Главная работа заключалась в том, чтобы пять лет запускать дроны, снимать видео, отбирать из них изображения и правильно их размечать».

Он рассказал, как команда собрала 15 000 изображений на пляже Падаро. Каждое изображение нужно было вручную разметить, чтобы отличить акул от водорослей и других объектов в воде. Этот медленный и трудоёмкий процесс заложил основу для всей дальнейшей работы.

Рис. 3. Съёмка акул с помощью дронов для обнаружения объектов в реальном времени.

Когда набор данных был готов, на нём дообучили Ultralytics YOLOv8. Джим сказал: «Само обучение было несложным — на GPU T4 оно заняло всего 20 часов [графических процессоров].» Он также добавил, что на более мощном оборудовании, например GPU A100, обучение можно было бы сократить всего до пяти часов.

Оценка SharkEye: точность важнее полноты#

Затем Джим рассказал, как оценивали эффективность SharkEye. Он пояснил, что ключевой метрикой была точность — доля случаев, когда система правильно распознавала настоящих акул. Точность SharkEye составила 92%, что подтвердило высокую эффективность модели при распознавании акул в сложных условиях океана.

Подробнее остановившись на важности точности, Джим объяснил, почему в этом случае точность была важнее полноты. «Чаще всего людей интересует полнота, особенно в таких областях, как здравоохранение, где пропуск положительного случая может иметь критические последствия. Но в этом случае мы не знали, сколько акул находится в океане, поэтому нас интересовала точность», — пояснил он. Сосредоточившись на точности, SharkEye свела к минимуму ложные тревоги, благодаря чему спасатели и другие специалисты могли быстрее принимать меры.

Рис. 4. Джим рассказывает о SharkEye на YOLO Vision 2024.

Он завершил выступление, сравнив результаты ИИ с человеческими и отметив, что точность SharkEye в 92% намного выше точности экспертов-людей — 60%. Он подчеркнул эту разницу: «Это потому, что мы люди. Какими бы экспертами ни были ты или я, если нам весь день приходится сидеть перед экраном и высматривать акул, рано или поздно мы начнём отвлекаться». В отличие от людей, модели ИИ не устают и не отвлекаются, поэтому они надёжно справляются с задачами, требующими непрерывного мониторинга.

Ultralytics YOLO11#

Слова Джима Гриффина из выступления — «Однажды шесть строк кода могут спасти тебе жизнь» — показывают, насколько мощным и доступным стал ИИ. Модели Ultralytics YOLO созданы с учётом этой идеи: они открывают доступ к передовым технологиям компьютерного зрения разработчикам и компаниям любого масштаба. Ultralytics YOLO11 развивает этот подход, обеспечивая более быстрый инференс и высокую точность; впоследствии её сменила Ultralytics YOLO26.

Кратко рассмотрим, чем Ultralytics YOLO11 отличается от других моделей:

• Переработанная архитектура: улучшенная архитектура backbone и neck обеспечивает более качественное извлечение признаков и повышает точность.
• Простота использования: работать с ним можно с помощью Python или инструментов без кода, таких как Ultralytics Platform.
• Гибкость в решении разных задач: Ultralytics YOLO11 поддерживает задачи компьютерного зрения, включая обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы, ориентированные ограничивающие рамки (OBB) и отслеживание.
• Повышенная точность: Ultralytics YOLO11m обеспечивает более высокое среднее значение точности (mAP), чем YOLOv8m на наборе данных COCO, используя при этом на 22% меньше параметров.

Благодаря этим возможностям Ultralytics YOLO11 отлично подходит для отслеживания поведения животных в динамичных условиях — как на ферме, так и в дикой природе.

Главные выводы#

Развитие ИИ в сфере компьютерного зрения упрощает решение реальных задач, предоставляя практические инструменты для самых разных областей. Например, модели компьютерного зрения, такие как Ultralytics YOLO11, позволяют наблюдать за животными и отслеживать их перемещения в реальном времени даже в сложных условиях.

В своём пленарном докладе на YV24 Джим Гриффин показал, как Ultralytics YOLOv8 помогает решать сложные задачи с минимальным количеством кода. Проект SharkEye, в котором дроны используются вместе с ИИ для обнаружения акул в реальном времени, продемонстрировал, как технологии могут повысить безопасность на пляжах.

Это был убедительный пример того, как доступный ИИ помогает людям с разным опытом создавать эффективные решения.

Присоединяйся к нашему сообществу и изучи наш репозиторий GitHub, чтобы глубже погрузиться в ИИ. Узнай, как эти технологии помогают внедрять инновации: от компьютерного зрения в сельском хозяйстве до ИИ в беспилотных автомобилях. Ознакомься с вариантами лицензирования, чтобы уже сегодня начать свои проекты в области ИИ!