SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдение за животными в их естественной среде обитания, будь то пасущийся на ферме скот или акулы, перемещающиеся у берега, всегда было важным для их безопасности и благополучия. Однако наблюдать за ними вручную непросто. Это часто требует часов терпения и пристального внимания, поскольку наблюдатели должны внимательно следить за любыми изменениями в поведении или передвижении. Даже в этом случае легко пропустить тонкие, но важные признаки.

Благодаря внедрению искусственного интеллекта (AI) этот процесс становится быстрее, умнее и намного эффективнее, снижая нагрузку на наблюдателей и повышая точность. В частности, компьютерное зрение можно использовать для отслеживания животных, выявления опасностей и принятия решений в режиме реального времени. Задачи, которые когда-то занимали часы, теперь можно выполнить за считанные минуты, открывая новые способы понимания поведения животных.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, организованном Ultralytics, эксперты и новаторы собрались, чтобы изучить, как ИИ решает повседневные задачи. Некоторые из представленных тем включали достижения в области обнаружения объектов в реальном времени и мониторинга животных, демонстрируя, как ИИ повышает безопасность и эффективность в различных областях.

Одним из ярких моментов мероприятия стало выступление Джима Гриффина, основателя AI Master Group, где он продемонстрировал, как Vision AI делает пляжи более безопасными, обнаруживая акул до того, как они подплывут слишком близко к берегу. Он объяснил, как они использовали Ultralytics YOLOv8, передовую модель компьютерного зрения, для точной идентификации акул в режиме реального времени, даже в сложных условиях, таких как неспокойные волны, блики и подводные препятствия.

В этой статье мы более подробно рассмотрим проект SharkEye и поделимся интересными выводами из доклада Джима.

Знакомство с SharkEye: приложение компьютерного зрения

Джим начал свой доклад с представления пляжа Падаро, известного места для серфинга в Калифорнии, где серферы и акулы часто делят одни и те же воды. Подчеркивая реальную проблему обнаружения акул, он поделился: «Конечно, легко обнаружить акулу, если она вас укусит, поэтому мы хотели идентифицировать акул заранее».

‍

SharkEye был создан для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре. Джим рассказал, как дроны с AI-камерами высокого разрешения использовались для полетов на высоте около 200 футов над водой, сканируя океан в режиме реального времени.

При обнаружении акулы SMS-оповещения получают около 80 человек, включая спасателей, владельцев магазинов для серфинга и всех, кто подписался на обновления. Джим отметил, как эти мгновенные уведомления позволяют быстро реагировать, обеспечивая безопасность отдыхающих на пляже, когда акула находится рядом с берегом.

Джим также упомянул, что SharkEye имеет интерактивную панель, где пользователи могут видеть статистику обнаружения акул. Например, за 12 недель система обнаружила двух крупных акул и 15 более мелких, в среднем чуть более одной акулы в неделю.

Затем он представил Нила Натана, ученого, который руководил разработкой SharkEye. Несмотря на то, что Натан имел образование в области охраны окружающей среды, а не в области компьютерных наук, он успешно возглавил проект. Джим подчеркнул, что современные инструменты ИИ, такие как те, которые используются в SharkEye, разработаны таким образом, чтобы быть доступными, позволяя людям без технического образования разрабатывать эффективные решения.

Использование Ultralytics YOLOv8 для обнаружения акул

Углубляясь в детали, Джим рассказал о том, что находится под капотом SharkEye, и как решение для обнаружения акул не просто включало в себя простую задачу обнаружения объектов. Пришлось иметь дело с динамическими, непредсказуемыми условиями, такими как плавающие водоросли, которые легко можно было принять за акул. В отличие от обнаружения неподвижного объекта, идентификация акулы требует точности и адаптивности, что делает YOLOv8 идеальным выбором.

Еще одним преимуществом YOLOv8 является возможность развертывания на дроне без использования облачных серверов. Джим объяснил, как этот подход позволил SharkEye отправлять немедленные оповещения, что является важной частью обеспечения своевременного реагирования в непредсказуемых океанических условиях.

Обнаружение объектов всего в шести строках кода

После рассказа о том, как работает SharkEye, и о совместных усилиях, вложенных в его разработку, Джим продемонстрировал живую демонстрацию.

Джим Гриффин начал свою живую демонстрацию с того, что провел аудиторию через знакомый пример - фрагмент кода «hello world» для моделей Ultralytics YOLO. Всего шестью строками кода Python он продемонстрировал, как предварительно обученная модель Ultralytics YOLOv8 может без труда обнаружить автобус на изображении. 

‍

В его демо использовалась модель YOLOv8 Nano, облегченная версия для маломощных устройств, таких как дроны. Эта же модель использовалась в SharkEye для обнаружения акул в реальном времени. 

Чтобы предоставить больше контекста, Джим упомянул, что модель в демоверсии обучалась на COCO128, меньшем подмножестве широко используемого набора данных COCO. Набор данных COCO содержит более 20 000 изображений по 80 различным категориям объектов. Хотя COCO128 хорошо подходит для быстрых демонстраций, он отметил, что SharkEye нужно что-то более надежное — специфичный для приложения набор данных обнаружения акул, который мог бы справиться со сложностями реальных сценариев.

Индивидуальное обучение YOLOv8 для SharkEye 

По словам Джима, самой сложной частью проекта SharkEye была не тренировка модели ИИ, а сбор правильных данных. Он прокомментировал: "Основная работа в этом проекте заключалась не в ИИ. Основная работа в этом проекте заключалась в том, чтобы в течение пяти лет летать на этих дронах, отбирать изображения из этих видео и соответствующим образом их помечать".

Он рассказал, как команда собрала 15 000 изображений на пляже Падаро. Каждое изображение должно было быть помечено вручную, чтобы различать акул, водоросли и другие объекты в воде. Хотя процесс был медленным и трудоемким, он заложил основу для всего, что последовало за ним.

‍

После того, как набор данных был готов, Ultralytics YOLOV8 был обучен на нем. Джим сказал: "Фактическое обучение не было сложной задачей - это заняло всего 20 часов на графических процессорах T4 [Graphics processing units]." Он также добавил, что это время можно было сократить до пяти часов с более мощным оборудованием, таким как графические процессоры A100.

Оценка SharkEye: Точность важнее полноты

Затем Джим рассказал, как оценивалась производительность SharkEye. Он пояснил, что ключевым показателем была точность (precision) - насколько точно система идентифицировала настоящих акул. SharkEye достиг впечатляющей точности в 92%, что доказывает высокую эффективность модели в точном выявлении акул в сложной океанической среде.

Углубляясь в важность точности, Джим пояснил, почему в данном случае точность важнее полноты. “В большинстве случаев люди заинтересованы в полноте, особенно в таких областях, как здравоохранение, где пропуск положительного случая может иметь критические последствия. Но в данном случае мы не знали, сколько акул находится в воде, поэтому нас интересовала именно точность”, – пояснил он. SharkEye обеспечивала минимизацию ложных тревог, уделяя особое внимание точности, что облегчало спасателям и другим службам быстрое принятие мер.

‍

В заключение своего выступления он сравнил ИИ с производительностью человека, отметив, что 92% точность SharkEye намного превосходит 60% точность экспертов-людей. Он подчеркнул этот разрыв, сказав: «Это потому, что мы люди. Независимо от того, насколько вы или я являемся экспертами, если нам придется сидеть перед экраном весь день в поисках акул, в конце концов, мы позволим нашим мыслям блуждать». В отличие от людей, модели ИИ не устают и не отвлекаются, что делает их надежным решением для задач, требующих непрерывного мониторинга.

Ultralytics YOLO11: новейшая YOLO

Интригующая цитата из выступления Джима Гриффина: «Шесть строк кода однажды могут спасти вам жизнь», прекрасно отражает, насколько продвинутым и доступным стал ИИ. Модели Ultralytics YOLO были созданы с учетом этого, что делает передовые технологии компьютерного зрения доступными для разработчиков и предприятий любого размера. Ultralytics YOLO11 развивает это направление, обеспечивая более быстрый вывод и более высокую точность. 

Вот краткий обзор того, что отличает YOLO11:

• Переработанная архитектура: Улучшенная базовая и промежуточная архитектура обеспечивают лучшее извлечение признаков и повышенную точность.
  ‍
• Простота использования: Доступ к нему можно получить через кодирование на Python или инструменты, не требующие кода, такие как Ultralytics HUB.
  ‍
• Гибкость в различных задачах: YOLO11 поддерживает такие задачи компьютерного зрения, как обнаружение объектов, сегментация экземпляров, классификация изображений, отслеживание, оценка позы и ориентированные ограничивающие рамки (OBB).
  ‍
• Повышенная точность: YOLO11 достигает на 22% более высокой средней точности (mAP) по сравнению с YOLOv8m на наборе данных COCO, обеспечивая более точное обнаружение.

Эти функции делают YOLO11 отличным решением для отслеживания поведения животных в динамических условиях, будь то на ферме или в дикой природе.

Основные выводы

Усовершенствования в Vision AI упрощают решение реальных задач, предоставляя практические инструменты для различных областей. Например, модели компьютерного зрения, такие как YOLO11, можно использовать для мониторинга и отслеживания животных в режиме реального времени даже в сложных условиях. 

Основной доклад Джима Гриффина на YV24 проиллюстрировал, как YOLOv8 можно использовать для решения сложных задач с минимальным объемом кодирования. Проект SharkEye, который сочетает в себе дроны с искусственным интеллектом для обнаружения акул в режиме реального времени, продемонстрировал, как технологии могут повысить безопасность на пляже. 

Это было увлекательное тематическое исследование того, как доступный ИИ позволяет людям из разных слоев общества создавать эффективные решения. Поскольку ИИ продолжает развиваться, он преобразует отрасли и позволяет отдельным лицам использовать его потенциал, чтобы сделать мир более безопасным, разумным и эффективным.

Станьте частью нашего сообщества и изучите наш репозиторий на GitHub, чтобы глубже погрузиться в ИИ. От компьютерного зрения в сельском хозяйстве до ИИ в самоуправляемых автомобилях — узнайте, как эти технологии стимулируют инновации. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать свои проекты в области ИИ уже сегодня!