SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдение за животными в их естественной среде обитания, будь то пасущийся на ферме скот или акулы у берега, всегда было важно для их безопасности и благополучия. Однако наблюдать за ними вручную непросто. Это часто требует долгих часов терпения и предельной концентрации, так как наблюдателям приходится внимательно следить за любыми изменениями в поведении или движении. Даже в этом случае легко упустить тонкие, но важные признаки.

Благодаря вмешательству искусственного интеллекта (ИИ) этот процесс становится быстрее, умнее и значительно эффективнее, снижая нагрузку на наблюдателей-людей и повышая точность. В частности, computer vision можно использовать для отслеживания животных, обнаружения опасностей и принятия решений в реальном времени. Задачи, на выполнение которых раньше уходили часы, теперь решаются за считанные минуты, открывая новые способы понимания поведения животных.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, организуемом Ultralytics, эксперты и инноваторы собрались вместе, чтобы изучить, как ИИ справляется с повседневными задачами. Среди представленных тем были достижения в области обнаружения объектов в реальном времени и animal monitoring, демонстрирующие, как ИИ повышает безопасность и эффективность в различных сферах.

Одним из самых ярких моментов мероприятия стала презентация Джима Гриффина (Jim Griffin), основателя AI Master Group, на которой он продемонстрировал, как vision AI делает пляжи безопаснее, обнаруживая акул до того, как они подплывают слишком близко к берегу. Он рассказал, как они использовали Ultralytics YOLOv8, передовую модель компьютерного зрения, для точного определения акул в реальном времени даже в сложных условиях, таких как волнение на море, блики и подводные препятствия.

В этой статье мы подробнее рассмотрим SharkEye project и поделимся интересными выводами из выступления Джима.

Знакомство с SharkEye: приложение компьютерного зрения#

Джим начал свое выступление с представления пляжа Падаро, известного места для серфинга в Калифорнии, где серферы и акулы часто делят одну воду. Подчеркивая реальную проблему обнаружения акул, он поделился: «Конечно, легко обнаружить акулу, если она тебя укусила, поэтому мы хотели научиться распознавать их заранее».

Рис. 1. Джим на сцене YOLO Vision 2024.

Проект SharkEye был создан для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре. Джим рассказал, как дроны с камерами высокого разрешения AI cameras использовались для полетов на высоте около 200 футов над водой и сканирования океана в реальном времени.

Если акула обнаружена, SMS-оповещения получают около 80 человек, включая спасателей, владельцев серф-магазинов и всех, кто подписался на обновления. Джим отметил, что эти мгновенные уведомления позволяют быстро реагировать, повышая безопасность отдыхающих, когда акула находится рядом с берегом.

Джим также упомянул, что в SharkEye есть живая панель мониторинга, где пользователи могут видеть статистику обнаружения акул. Например, за 12 недель система идентифицировала двух крупных акул и 15 более мелких, в среднем чуть более одной акулы в неделю.

Затем он представил Нила Натана, ученого, руководившего работой над SharkEye. Несмотря на то, что у Натана был опыт в области экологии, а не компьютерных наук, он успешно возглавил проект. Джим подчеркнул, что современные инструменты ИИ, подобные тем, что используются в SharkEye, разработаны так, чтобы быть доступными, позволяя людям без технического образования создавать эффективные решения.

Использование Ultralytics YOLOv8 для обнаружения акул#

Переходя к деталям, Джим рассказал о том, что находится "под капотом" SharkEye, и о том, что решение для обнаружения акул — это не просто простая задача обнаружения объектов. Ему приходилось справляться с динамичными и непредсказуемыми условиями, такими как плавающие водоросли, которые легко спутать с акулами. В отличие от обнаружения неподвижного объекта, идентификация акулы требует точности и адаптируемости, что делает Ultralytics YOLOv8 идеальным выбором.

Еще одним преимуществом Ultralytics YOLOv8 было то, что его можно было развернуть на дроне без использования облачных серверов. Джим объяснил, как такой подход позволил SharkEye отправлять мгновенные оповещения, что является важной частью обеспечения своевременного реагирования в непредсказуемых условиях океана.

Обнаружение объектов всего шестью строками кода#

После рассказа о работе SharkEye и совместных усилиях, стоящих за ним, Джим провел живую демонстрацию.

Джим Гриффин начал свою живую демонстрацию с показа знакомого примера — фрагмента кода «hello world» для Ultralytics YOLO models. Всего с помощью шести строк кода Python он показал, как предварительно обученная модель Ultralytics YOLOv8 может легко обнаружить автобус на изображении.

Рис. 2. Демонстрация Джима на YOLO Vision 2024.

В его демо использовалась модель Ultralytics YOLOv8 Nano, легковесная версия для устройств с низким энергопотреблением, таких как дроны. Эта же модель использовалась в SharkEye для обнаружения акул в реальном времени.

Для большего контекста Джим упомянул, что модель в демоверсии обучалась на COCO128, меньшем подмножестве широко используемого COCO dataset. Датасет COCO содержит более 20 000 изображений в 80 различных категориях объектов. Хотя COCO128 отлично подходит для быстрых демонстраций, он отметил, что для SharkEye требуется что-то более надежное — специализированный набор данных для обнаружения акул, способный справляться со сложностями реальных сценариев.

Самостоятельное обучение Ultralytics YOLOv8 для SharkEye#

По словам Джима, самой сложной частью проекта SharkEye было не обучение модели ИИ, а сбор правильных данных. Он отметил: «Основная работа в этом проекте заключалась не в ИИ. Основная работа заключалась в том, чтобы пять лет летать на этих дронах, отбирать изображения из этих видео и правильно их размечать».

Он рассказал, как команда собрала 15 000 изображений на пляже Падаро. Каждое изображение пришлось размечать вручную, чтобы отличить акул от водорослей и других объектов в воде. Хотя процесс был медленным и трудоемким, он заложил фундамент для всего остального.

Рис. 3. Использование дронов для захвата изображений акул для обнаружения объектов в реальном времени.

Как только набор данных был готов, на нем была выполнена custom-trained модель Ultralytics YOLOv8. Джим сказал: «Само обучение не было сложной задачей — оно заняло всего 20 часов на графических процессорах T4 [Graphics processing units]». Он также добавил, что это время можно было сократить до пяти часов при использовании более мощного оборудования, например графических процессоров A100.

Оценка SharkEye: точность превыше полноты#

Затем Джим обсудил, как оценивалась работа SharkEye. Он пояснил, что ключевым показателем была точность — насколько верно система идентифицировала настоящих акул. Достигнув впечатляющей точности в 92%, модель доказала свою высокую эффективность в правильном распознавании акул в сложной океанской среде.

Погружаясь глубже в важность точности, Джим объяснил, почему в данном случае точность важнее полноты. «Большинство людей интересует recall, особенно в таких областях, как здравоохранение, где пропуск позитивного случая может иметь критическое значение. Но в этом случае мы не знали, сколько всего акул находится вокруг, поэтому для нас была важна точность», — пояснил он. Проект SharkEye свел к минимуму количество ложных срабатываний за счет акцента на точности, что облегчило спасателям и другим службам быстрое принятие мер.

Рис. 4. Джим демонстрирует SharkEye на YOLO Vision 2024.

Он завершил свое выступление сравнением ИИ с человеческими способностями, отметив, что точность SharkEye в 92% намного превосходит 60%-ную точность экспертов-людей. Он подчеркнул этот разрыв, сказав: «Все потому, что мы люди. Какими бы экспертами вы или я ни были, если нам придется весь день сидеть перед экраном в поисках акул, в конце концов, наше внимание начнет рассеиваться». В отличие от людей, модели ИИ не устают и не отвлекаются, что делает их надежным решением для задач, требующих постоянного мониторинга.

Ultralytics YOLO11: новейшая версия YOLO#

Интересная цитата из выступления Джима Гриффина: «Шесть строк кода могут однажды спасти вам жизнь», — отлично отражает то, насколько продвинутым, но в то же время доступным стал ИИ. Модели Ultralytics YOLO создавались именно с учетом этого, делая передовые технологии компьютерного зрения доступными для разработчиков и компаний любого масштаба. Ultralytics YOLO11 развивает этот успех за счет более быстрого вывода и повышенной точности.

Вот краткий обзор того, что отличает Ultralytics YOLO11:

• Переработанная архитектура: ее улучшенная архитектура backbone и neck обеспечивает лучшее извлечение признаков и повышенную точность.
• Простота использования: доступ осуществляется с помощью программирования на Python или инструментов no-code, таких как Ultralytics HUB.
• Гибкость в решении задач: Ultralytics YOLO11 поддерживает задачи компьютерного зрения, такие как обнаружение объектов, сегментация экземпляров, классификация изображений, трекинг, оценка позы и ориентированные ограничивающие рамки (OBB).
• Повышенная точность: Ultralytics YOLO11 достигает на 22% более высокой средней точности (mAP) по сравнению с YOLOv8m на датасете COCO, обеспечивая более точные результаты обнаружения.

Эти функции делают Ultralytics YOLO11 отличным решением для отслеживания поведения животных в динамичных условиях, будь то на ферме или в дикой природе.

Основные выводы#

Достижения в области компьютерного зрения упрощают решение реальных задач, предоставляя практические инструменты для различных сфер. Например, такие модели компьютерного зрения, как Ultralytics YOLO11, можно использовать для мониторинга и отслеживания животных в реальном времени даже в сложных условиях.

Выступление Джима Гриффина на YV24 продемонстрировало, как можно использовать Ultralytics YOLOv8 для решения сложных задач с минимальным количеством кода. Проект SharkEye, объединяющий дроны с искусственным интеллектом для обнаружения акул в реальном времени, показал, как технологии могут повысить безопасность на пляжах.

Это был захватывающий пример того, как доступный ИИ дает возможность людям с разным опытом создавать эффективные решения. По мере того как ИИ продолжает развиваться, он трансформирует отрасли и позволяет отдельным лицам использовать его потенциал, чтобы сделать мир более безопасным, умным и эффективным местом.

Стань частью our community и изучи наш GitHub repository, чтобы глубже погрузиться в ИИ. От computer vision in agriculture до AI in self-driving cars — посмотри, как эти технологии стимулируют инновации. Ознакомься с our licensing options, чтобы начать свои проекты в области ИИ уже сегодня!