SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдение за животными в их естественной среде обитания, будь то пасущийся на ферме скот или акулы у берега, всегда было важно для их безопасности и благополучия. Однако наблюдать за ними вручную непросто. Это часто требует долгих часов терпения и предельной концентрации, так как наблюдателям приходится внимательно следить за любыми изменениями в поведении или движении. Даже в этом случае легко упустить тонкие, но важные признаки.

Благодаря внедрению искусственного интеллекта (ИИ) этот процесс становится быстрее, умнее и намного эффективнее, снижая нагрузку на людей-наблюдателей и повышая точность. В частности, компьютерное зрение можно использовать для отслеживания животных, обнаружения опасностей и принятия решений в режиме реального времени. Задачи, на которые раньше уходили часы, теперь выполняются за считанные минуты, открывая новые возможности для понимания поведения животных.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, организованном Ultralytics, эксперты и новаторы собрались, чтобы обсудить, как ИИ справляется с повседневными задачами. Среди представленных тем были достижения в области обнаружения объектов в режиме реального времени и мониторинга животных, демонстрирующие, как ИИ повышает безопасность и эффективность в различных областях.

Одним из ярких моментов мероприятия стало выступление Джима Гриффина, основателя AI Master Group, где он продемонстрировал, как vision AI делает пляжи безопаснее, обнаруживая акул до того, как они приблизятся к берегу. Он рассказал, как они использовали Ultralytics YOLOv8, передовую модель компьютерного зрения, для точного распознавания акул в реальном времени, даже в сложных условиях, таких как волны, блики и подводные препятствия.

В этой статье мы подробнее рассмотрим проект SharkEye и поделимся интересными выводами из выступления Джима.

Link to this sectionЗнакомство с SharkEye: приложение компьютерного зрения#

Джим начал свое выступление с представления пляжа Падаро, известного места для серфинга в Калифорнии, где серферы и акулы часто делят одну воду. Подчеркивая реальную проблему обнаружения акул, он поделился: «Конечно, легко обнаружить акулу, если она тебя укусила, поэтому мы хотели научиться распознавать их заранее».

Рис. 1. Джим на сцене YOLO Vision 2024.

SharkEye был создан для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре. Джим рассказал, как дроны с камерами AI-камерами высокого разрешения использовались для полетов на высоте около 200 футов над водой, сканируя океан в реальном времени.

Если акула обнаружена, SMS-оповещения получают около 80 человек, включая спасателей, владельцев серф-магазинов и всех, кто подписался на обновления. Джим отметил, что эти мгновенные уведомления позволяют быстро реагировать, повышая безопасность отдыхающих, когда акула находится рядом с берегом.

Джим также упомянул, что в SharkEye есть живая панель мониторинга, где пользователи могут видеть статистику обнаружения акул. Например, за 12 недель система идентифицировала двух крупных акул и 15 более мелких, в среднем чуть более одной акулы в неделю.

Затем он представил Нила Натана, ученого, руководившего работой над SharkEye. Несмотря на то, что у Натана был опыт в области экологии, а не компьютерных наук, он успешно возглавил проект. Джим подчеркнул, что современные инструменты ИИ, подобные тем, что используются в SharkEye, разработаны так, чтобы быть доступными, позволяя людям без технического образования создавать эффективные решения.

Link to this sectionИспользование Ultralytics YOLOv8 для обнаружения акул#

Углубляясь в детали, Джим рассказал о том, что скрывается под капотом SharkEye и как решение для обнаружения акул было не просто простой задачей обнаружения объектов. Приходилось справляться с динамичными, непредсказуемыми условиями, такими как плавающие водоросли, которые легко можно было принять за акул. В отличие от обнаружения неподвижного объекта, идентификация акулы требует точности и адаптивности, что делает YOLOv8 идеальным выбором.

Еще одним преимуществом YOLOv8 было то, что его можно было развернуть на дроне, не полагаясь на облачные серверы. Джим объяснил, что такой подход позволил SharkEye отправлять немедленные оповещения — это важная часть обеспечения своевременного реагирования в непредсказуемых условиях океана.

Link to this sectionОбнаружение объектов всего шестью строками кода#

После рассказа о работе SharkEye и совместных усилиях, стоящих за ним, Джим провел живую демонстрацию.

Джим Гриффин начал свою живую демонстрацию, показав аудитории знакомый пример — фрагмент кода «hello world» для моделей Ultralytics YOLO. Всего шестью строками кода на Python он показал, как предварительно обученная модель Ultralytics YOLOv8 может легко обнаружить автобус на изображении.

Рис. 2. Демонстрация Джима на YOLO Vision 2024.

В своей демонстрации он использовал модель YOLOv8 Nano, облегченную версию для устройств с низким энергопотреблением, таких как дроны. Та же модель использовалась в SharkEye для обнаружения акул в реальном времени.

Для контекста Джим упомянул, что модель в демонстрации была обучена на COCO128, небольшом подмножестве широко используемого набора данных COCO. Набор данных COCO содержит более 20 000 изображений в 80 различных категориях объектов. Хотя COCO128 хорошо подходит для быстрых демонстраций, он отметил, что SharkEye требовалось нечто более надежное — набор данных для обнаружения акул, предназначенный для конкретного приложения, который мог бы справиться со сложностями реальных сценариев.

Link to this sectionПользовательское обучение YOLOv8 для SharkEye#

По словам Джима, самой сложной частью проекта SharkEye было не обучение модели ИИ, а сбор правильных данных. Он отметил: «Основная работа в этом проекте заключалась не в ИИ. Основная работа заключалась в том, чтобы пять лет летать на этих дронах, отбирать изображения из этих видео и правильно их размечать».

Он рассказал, как команда собрала 15 000 изображений на пляже Падаро. Каждое изображение пришлось размечать вручную, чтобы отличить акул от водорослей и других объектов в воде. Хотя процесс был медленным и трудоемким, он заложил фундамент для всего остального.

Рис. 3. Использование дронов для захвата изображений акул для обнаружения объектов в реальном времени.

Как только набор данных был готов, Ultralytics YOLOv8 был дообучен на нем. Джим сказал: «Собственно обучение не было сложной частью — это заняло всего 20 часов на GPU [графических процессорах] T4». Он также добавил, что время могло быть сокращено до пяти часов при более мощном оборудовании, таком как GPU A100.

Link to this sectionОценка SharkEye: точность превыше полноты#

Затем Джим обсудил, как оценивалась работа SharkEye. Он пояснил, что ключевым показателем была точность — насколько верно система идентифицировала настоящих акул. Достигнув впечатляющей точности в 92%, модель доказала свою высокую эффективность в правильном распознавании акул в сложной океанской среде.

Углубляясь в важность точности, Джим объяснил, почему в данном случае точность важнее полноты. «Чаще всего людей интересует полнота (recall), особенно в таких областях, как здравоохранение, где пропуск положительного случая может быть критическим. Но в данном случае мы не знали, сколько акул там плавает, поэтому нас заботила точность», — объяснил он. SharkEye свел к минимуму ложные тревоги благодаря акценту на точность, облегчая спасателям и другим службам быстрое принятие мер.

Рис. 4. Джим демонстрирует SharkEye на YOLO Vision 2024.

Он завершил свое выступление сравнением ИИ с человеческими способностями, отметив, что точность SharkEye в 92% намного превосходит 60%-ную точность экспертов-людей. Он подчеркнул этот разрыв, сказав: «Все потому, что мы люди. Какими бы экспертами вы или я ни были, если нам придется весь день сидеть перед экраном в поисках акул, в конце концов, наше внимание начнет рассеиваться». В отличие от людей, модели ИИ не устают и не отвлекаются, что делает их надежным решением для задач, требующих постоянного мониторинга.

Link to this sectionUltralytics YOLO11: новейшая версия YOLO#

Интригующая цитата из выступления Джима Гриффина: «Шесть строк кода могут однажды спасти вам жизнь» — идеально отражает, насколько продвинутым, но доступным стал ИИ. Модели Ultralytics YOLO были созданы с учетом этого, делая передовые технологии компьютерного зрения доступными для разработчиков и компаний любого размера. Ultralytics YOLO11 развивает этот успех за счет более быстрого вывода и более высокой точности.

Вот краткий обзор того, что отличает YOLO11:

• Переработанная архитектура: ее улучшенная архитектура backbone и neck обеспечивает лучшее извлечение признаков и повышенную точность.
• Простота использования: доступ осуществляется с помощью программирования на Python или инструментов no-code, таких как Ultralytics HUB.
• Гибкость в решении задач: YOLO11 поддерживает задачи компьютерного зрения, такие как обнаружение объектов, сегментация экземпляров, классификация изображений, отслеживание, оценка позы и ориентированные ограничивающие рамки (OBB).
• Улучшенная точность: YOLO11 достигает на 22% более высокой средней точности (mAP) по сравнению с YOLOv8m на наборе данных COCO, обеспечивая более точное обнаружение.

Эти функции делают YOLO11 отличным инструментом для отслеживания поведения животных в динамичных условиях, будь то ферма или дикая природа.

Link to this sectionОсновные выводы#

Достижения в области vision AI упрощают решение реальных задач, предоставляя практические инструменты для различных областей. Например, модели компьютерного зрения, такие как YOLO11, можно использовать для мониторинга и отслеживания животных в реальном времени, даже в суровых условиях.

Основной доклад Джима Гриффина на YV24 показал, как можно использовать YOLOv8 для решения сложных проблем с минимальным кодом. Проект SharkEye, который сочетает дроны с ИИ для обнаружения акул в реальном времени, продемонстрировал, как технологии могут повысить безопасность пляжей.

Это был захватывающий пример того, как доступный ИИ дает возможность людям с разным опытом создавать эффективные решения. По мере того как ИИ продолжает развиваться, он трансформирует отрасли и позволяет отдельным лицам использовать его потенциал, чтобы сделать мир более безопасным, умным и эффективным местом.

Станьте частью нашего сообщества и исследуйте наш GitHub репозиторий, чтобы глубже погрузиться в ИИ. От компьютерного зрения в сельском хозяйстве до ИИ в самоуправляемых автомобилях, посмотрите, как эти технологии стимулируют инновации. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать свои ИИ-проекты уже сегодня!