SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдение за животными в их естественной среде обитания — будь то пасущийся на ферме скот или акулы, перемещающиеся у берега, — всегда имело большое значение для их безопасности и благополучия. Однако наблюдать за ними вручную непросто. Это часто требует часов терпения и сосредоточенности, поскольку наблюдателям приходится внимательно следить за любыми изменениями в поведении или движении. Даже в этом случае легко не заметить едва уловимые, но важные признаки.

Благодаря искусственному интеллекту (AI) этот процесс становится быстрее, интеллектуальнее и гораздо эффективнее, снижая нагрузку на наблюдателей и повышая точность. В частности, компьютерное зрение можно использовать для отслеживания животных, выявления опасностей и принятия решений в реальном времени. Задачи, на которые раньше уходили часы, теперь можно выполнить за минуты, открывая новые возможности для понимания поведения животных.

На YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии, организованном Ultralytics, — эксперты и новаторы собрались, чтобы обсудить, как AI помогает решать повседневные задачи. Среди представленных тем были достижения в области обнаружения объектов в реальном времени и мониторинга животных, демонстрирующие, как AI повышает безопасность и эффективность в различных сферах.

Одним из главных событий мероприятия стало выступление Джима Гриффина, основателя AI Master Group, в котором он продемонстрировал, как AI на основе компьютерного зрения делает пляжи безопаснее, обнаруживая акул до того, как они подойдут слишком близко к берегу. Он объяснил, как команда использовала Ultralytics YOLOv8 — передовую модель компьютерного зрения, — чтобы точно обнаруживать акул в реальном времени даже в сложных условиях, таких как бурные волны, блики и подводные препятствия.

В этой статье мы подробнее рассмотрим проект SharkEye и поделимся интересными выводами из выступления Джима.

Знакомство с SharkEye: приложение компьютерного зрения#

Джим начал выступление с рассказа о пляже Падаро — популярном месте для серфинга в Калифорнии, где серферы и акулы часто находятся в одних и тех же водах. Подчеркивая реальную сложность обнаружения акул, он сказал: «Конечно, легко обнаружить акулу, если она тебя укусит, поэтому мы хотели выявлять акул заранее».

Рис. 1. Джим на сцене YOLO Vision 2024.

SharkEye был создан для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре. Джим рассказал, как дроны с AI-камерами высокого разрешения поднимались примерно на 200 футов над водой и сканировали океан в реальном времени.

При обнаружении акулы SMS-оповещения получают около 80 человек, включая спасателей, владельцев магазинов для серфинга и всех, кто подписался на обновления. Джим отметил, что эти мгновенные уведомления позволяют быстро реагировать и повышают безопасность посетителей пляжа, когда акула находится у берега.

Джим также упомянул, что в SharkEye есть панель мониторинга в реальном времени, где пользователи могут просматривать статистику обнаружения акул. Например, за 12 недель система обнаружила двух крупных и 15 небольших акул — в среднем чуть больше одной акулы в неделю.

Затем он представил Нила Натана — ученого, руководившего работами над SharkEye. Несмотря на образование в области экологических исследований, а не информатики, Натан успешно возглавил проект. Джим подчеркнул, что современные инструменты AI, подобные используемым в SharkEye, создаются доступными, позволяя людям без технического образования разрабатывать решения, способные приносить значимый результат.

Использование Ultralytics YOLOv8 для обнаружения акул#

Раскрывая подробности, Джим рассказал, что происходит внутри SharkEye и почему решение для обнаружения акул не сводилось к простой задаче обнаружения объектов. Системе приходилось работать в динамичных и непредсказуемых условиях, например с плавающими водорослями, которые легко принять за акул. В отличие от обнаружения неподвижного объекта, выявление акулы требует точности и адаптивности, поэтому Ultralytics YOLOv8 оказался идеальным выбором.

Еще одним преимуществом Ultralytics YOLOv8 стала возможность развернуть модель на дроне без использования облачных серверов. Джим объяснил, что такой подход позволил SharkEye отправлять мгновенные оповещения — это важнейшая часть своевременного реагирования в непредсказуемых условиях океана.

Обнаружение объектов всего с шестью строками кода#

Рассказав о работе SharkEye и совместных усилиях, стоящих за проектом, Джим продемонстрировал его работу в реальном времени.

Джим Гриффин начал демонстрацию в реальном времени со знакомого примера — фрагмента кода «hello world» для моделей Ultralytics YOLO. Всего с шестью строками кода на Python он показал, как предварительно обученная модель Ultralytics YOLOv8 легко обнаруживает автобус на изображении.

Рис. 2. Демонстрация Джима на YOLO Vision 2024.

В демонстрации использовалась модель Ultralytics YOLOv8 Nano — облегченная версия для устройств с низким энергопотреблением, например дронов. Та же модель применялась в SharkEye для обнаружения акул в реальном времени.

Для контекста Джим упомянул, что модель в демонстрации обучалась на COCO128 — уменьшенной версии широко используемого набора данных COCO. Набор данных COCO содержит более 20 000 изображений в 80 различных категориях объектов. Хотя COCO128 хорошо подходит для быстрых демонстраций, Джим отметил, что SharkEye требовалось нечто более надежное — специализированный набор данных для обнаружения акул, способный справляться со сложностями реальных сценариев.

Дообучение Ultralytics YOLOv8 для SharkEye#

По словам Джима, самой сложной частью проекта SharkEye было не обучение модели AI, а сбор подходящих данных. Он отметил: «Основная работа в этом проекте была связана не с AI. Основная работа заключалась в том, чтобы в течение пяти лет облетать эти дроны, извлекать изображения из видеозаписей и правильно размечать их».

Команда собрала 15 000 изображений на пляже Падаро. Каждое изображение требовалось вручную разметить, чтобы отличить акул, водоросли и другие объекты в воде. Хотя этот процесс был медленным и требовательным, он заложил основу для всей дальнейшей работы.

Рис. 3. Использование дронов для съемки изображений акул для обнаружения объектов в реальном времени.

После подготовки набора данных на нем провели дообучение Ultralytics YOLOv8. Джим сказал: «Самой сложной частью было не обучение — оно заняло всего 20 часов на графических процессорах T4 [графических процессорах].» Он также добавил, что при использовании более мощного оборудования, например графических процессоров A100, это время можно было сократить всего до пяти часов.

Оценка SharkEye: точность важнее полноты#

Затем Джим обсудил оценку производительности SharkEye. Он показал, что ключевой метрикой была точность — насколько корректно система идентифицировала настоящих акул. Достигнув впечатляющей точности 92%, SharkEye продемонстрировал высокую эффективность точной идентификации акул в сложной океанской среде.

Подробнее остановившись на важности точности, Джим объяснил, почему в данном случае точность была важнее полноты. «В большинстве случаев людей интересует полнота, особенно в таких областях, как здравоохранение, где пропуск положительного случая может иметь критические последствия. Но в этом случае мы не знали, сколько акул находится в море, поэтому нас интересовала именно точность», — объяснил он. SharkEye свела количество ложных тревог к минимуму благодаря акценту на точности, что облегчило спасателям и другим службам быстрое реагирование.

Рис. 4. Джим демонстрирует SharkEye на YOLO Vision 2024.

В завершение выступления он сравнил производительность AI и людей, отметив, что точность SharkEye в 92% значительно превзошла показатель точности людей-экспертов в 60%. Он подчеркнул эту разницу: «Все дело в том, что мы люди. Какими бы экспертами ни были ты или я, если нам придется весь день сидеть перед экраном и искать акул, в конце концов мы позволим своим мыслям отвлечься». В отличие от людей, модели AI не устают и не отвлекаются, что делает их надежным решением для задач, требующих непрерывного мониторинга.

Ultralytics YOLO11: новейшая версия YOLO#

Звучащая интригующе цитата из выступления Джима Гриффина — «Однажды шесть строк кода могут спасти тебе жизнь» — идеально отражает, насколько передовым и доступным стал AI. Модели Ultralytics YOLO создавались именно с этой целью, делая передовые технологии компьютерного зрения доступными разработчикам и компаниям любого масштаба. Ultralytics YOLO11 развивает эту идею, обеспечивая более быстрый инференс и высокую точность.

Кратко рассмотрим, чем Ultralytics YOLO11 отличается от других решений:

• Переработанная архитектура: улучшенные архитектуры backbone и neck обеспечивают более эффективное извлечение признаков и повышенную точность.
• Простота использования: доступ к модели можно получить через код на Python или инструменты без написания кода, такие как Ultralytics HUB.
• Гибкость в разных задачах: Ultralytics YOLO11 поддерживает задачи компьютерного зрения, такие как обнаружение объектов, сегментация экземпляров, классификация изображений, отслеживание, оценка позы и обнаружение ориентированных ограничивающих рамок (OBB).
• Повышенная точность: Ultralytics YOLO11 обеспечивает на 22% более высокое среднее значение точности (mAP) по сравнению с YOLOv8m на наборе данных COCO, предоставляя более точные результаты обнаружения.

Эти возможности делают Ultralytics YOLO11 отличным решением для отслеживания поведения животных в динамичной среде — будь то ферма или дикая природа.

Основные выводы#

Развитие AI на основе компьютерного зрения упрощает решение реальных задач, предоставляя практические инструменты для различных сфер. Например, модели компьютерного зрения, такие как Ultralytics YOLO11, можно использовать для мониторинга и отслеживания животных в реальном времени даже в сложных условиях.

Основной доклад Джима Гриффина на YV24 показал, как Ultralytics YOLOv8 позволяет решать сложные задачи с минимальным объемом кода. Проект SharkEye, объединяющий дроны и AI для обнаружения акул в реальном времени, продемонстрировал, как технологии могут повысить безопасность на пляжах.

Это был увлекательный пример того, как доступный AI помогает людям с разным опытом создавать эффективные решения. По мере дальнейшего развития AI он преобразует целые отрасли и позволяет людям использовать его потенциал, чтобы сделать мир безопаснее, умнее и эффективнее.

Стань частью нашего сообщества и изучи наш репозиторий на GitHub, чтобы глубже погрузиться в AI. От компьютерного зрения в сельском хозяйстве до AI в беспилотных автомобилях — узнай, как эти технологии стимулируют инновации. Ознакомься с вариантами лицензирования, чтобы начать свои проекты в области AI уже сегодня!