SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдение за животными в их естественной среде обитания, будь то пасущийся на ферме скот или акулы, перемещающиеся у берега, всегда было важным для их безопасности и благополучия. Однако наблюдать за ними вручную непросто. Это часто требует часов терпения и пристального внимания, поскольку наблюдатели должны внимательно следить за любыми изменениями в поведении или передвижении. Даже в этом случае легко пропустить тонкие, но важные признаки.

Благодаря искусственному интеллекту (ИИ) этот процесс становится все быстрее, умнее и намного эффективнее, снижая нагрузку на наблюдателей-людей и повышая точность. В частности, компьютерное зрение позволяет track животных, замечать опасности и принимать решения в режиме реального времени. Задачи, на которые раньше уходили часы, теперь можно решать за считанные минуты, что открывает новые возможности для изучения поведения животных.

На ежегодном гибридном мероприятии YOLO Vision 2024 (YV24), организованном компанией Ultralytics, собрались эксперты и новаторы, чтобы узнать, как ИИ решает повседневные задачи. Среди представленных тем были достижения в области обнаружения объектов в реальном времени и мониторинга животных, демонстрирующие, как ИИ повышает безопасность и эффективность в различных областях.

Одним из главных событий мероприятия стало выступление Джима Гриффина, основателя AI Master Group, в котором он продемонстрировал, как искусственный интеллект Vision делает пляжи безопаснее, обнаруживая акул до того, как они подойдут слишком близко к берегу. Он рассказал, как они используют Ultralytics YOLOv8передовую модель компьютерного зрения, позволяющую точно идентифицировать акул в режиме реального времени, даже в таких сложных условиях, как неспокойные волны, блики и подводные препятствия.

В этой статье мы более подробно рассмотрим проект SharkEye и поделимся интересными выводами из доклада Джима.

Знакомство с SharkEye: приложение компьютерного зрения

В начале своего выступления Джим рассказал о пляже Падаро, известном месте для серфинга в Калифорнии, где серферы и акулы часто живут в одних и тех же водах. Подчеркивая реальную проблему обнаружения акул, он поделился: "Конечно, легко detect акулу, если она вас укусит, поэтому мы хотели сделать так, чтобы выявлять акул заранее".

‍

SharkEye был создан для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре. Джим рассказал, как дроны с AI-камерами высокого разрешения использовались для полетов на высоте около 200 футов над водой, сканируя океан в режиме реального времени.

При обнаружении акулы SMS-оповещения получают около 80 человек, включая спасателей, владельцев магазинов для серфинга и всех, кто подписался на обновления. Джим отметил, как эти мгновенные уведомления позволяют быстро реагировать, обеспечивая безопасность отдыхающих на пляже, когда акула находится рядом с берегом.

Джим также упомянул, что SharkEye имеет интерактивную панель, где пользователи могут видеть статистику обнаружения акул. Например, за 12 недель система обнаружила двух крупных акул и 15 более мелких, в среднем чуть более одной акулы в неделю.

Затем он представил Нила Натана, ученого, который руководил разработкой SharkEye. Несмотря на то, что Натан имел образование в области охраны окружающей среды, а не в области компьютерных наук, он успешно возглавил проект. Джим подчеркнул, что современные инструменты ИИ, такие как те, которые используются в SharkEye, разработаны таким образом, чтобы быть доступными, позволяя людям без технического образования разрабатывать эффективные решения.

Использование Ultralytics YOLOv8 для detect акул

Углубившись в детали, Джим рассказал о том, что находится под капотом SharkEye, и о том, что решение по обнаружению акул не сводилось к простой задаче распознавания объектов. Ему пришлось иметь дело с динамичными и непредсказуемыми условиями, такими как плавающие водоросли, которые можно легко принять за акул. В отличие от обнаружения неподвижного объекта, идентификация акулы требует точности и адаптивности, что делает YOLOv8 идеальным выбором.

Еще одно преимущество YOLOv8 заключается в том, что его можно развернуть на дроне, не полагаясь на облачные серверы. Джим объяснил, как такой подход позволил SharkEye отправлять немедленные оповещения, что является важной частью обеспечения своевременного реагирования в непредсказуемых условиях океана.

Обнаружение объектов всего в шести строках кода

После рассказа о том, как работает SharkEye, и о совместных усилиях, вложенных в его разработку, Джим продемонстрировал живую демонстрацию.

Джим Гриффин начал свое выступление с демонстрации знакомого примера - фрагмента кода "hello world" для моделейUltralytics YOLO . С помощью всего шести строк кода на Python он продемонстрировал, как предварительно обученная модель Ultralytics YOLOv8 может без труда detect автобус на изображении. 

‍

В его демонстрации использовалась модель YOLOv8 Nano, облегченная версия для маломощных устройств, таких как дроны. Эта же модель использовалась в SharkEye для обнаружения акул в режиме реального времени. 

В качестве дополнительного контекста Джим упомянул, что модель в демонстрационном ролике обучалась на COCO128, меньшем подмножестве широко используемого набора данныхCOCO . Набор данных COCO содержит более 20 000 изображений 80 различных категорий объектов. Хотя COCO128 хорошо подходит для быстрых демонстраций, он отметил, что SharkEye нужно что-то более надежное - набор данных для обнаружения акул, ориентированный на конкретные приложения, который мог бы справиться со сложностями реальных сценариев.

Индивидуальное обучение YOLOv8 для SharkEye 

По словам Джима, самой сложной частью проекта SharkEye была не тренировка модели ИИ, а сбор правильных данных. Он прокомментировал: "Основная работа в этом проекте заключалась не в ИИ. Основная работа в этом проекте заключалась в том, чтобы в течение пяти лет летать на этих дронах, отбирать изображения из этих видео и соответствующим образом их помечать".

Он рассказал, как команда собрала 15 000 изображений на пляже Падаро. Каждое изображение должно было быть помечено вручную, чтобы различать акул, водоросли и другие объекты в воде. Хотя процесс был медленным и трудоемким, он заложил основу для всего, что последовало за ним.

‍

Как только набор данных был готов, Ultralytics YOLOV8 был обучен на нем. Джим сказал: "Само обучение было не самым сложным - оно заняло всего 20 часов на графических процессорах T4". Он также добавил, что это время можно было бы сократить до пяти часов при использовании более мощного оборудования, например графических процессоров A100.

Оценка SharkEye: Точность важнее полноты

Затем Джим рассказал, как оценивалась производительность SharkEye. Он пояснил, что ключевым показателем была точность (precision) - насколько точно система идентифицировала настоящих акул. SharkEye достиг впечатляющей точности в 92%, что доказывает высокую эффективность модели в точном выявлении акул в сложной океанической среде.

Углубляясь в важность точности, Джим пояснил, почему в данном случае точность важнее полноты. “В большинстве случаев люди заинтересованы в полноте, особенно в таких областях, как здравоохранение, где пропуск положительного случая может иметь критические последствия. Но в данном случае мы не знали, сколько акул находится в воде, поэтому нас интересовала именно точность”, – пояснил он. SharkEye обеспечивала минимизацию ложных тревог, уделяя особое внимание точности, что облегчало спасателям и другим службам быстрое принятие мер.

‍

В заключение своего выступления он сравнил ИИ с производительностью человека, отметив, что 92% точность SharkEye намного превосходит 60% точность экспертов-людей. Он подчеркнул этот разрыв, сказав: «Это потому, что мы люди. Независимо от того, насколько вы или я являемся экспертами, если нам придется сидеть перед экраном весь день в поисках акул, в конце концов, мы позволим нашим мыслям блуждать». В отличие от людей, модели ИИ не устают и не отвлекаются, что делает их надежным решением для задач, требующих непрерывного мониторинга.

Ultralytics YOLO11: новейший YOLO

Интригующая цитата из выступления Джима Гриффина "Шесть строк кода могут однажды спасти вам жизнь" как нельзя лучше отражает то, насколько продвинутым и в то же время доступным стал искусственный интеллект. Модели Ultralytics YOLO были созданы с учетом этого, делая передовые технологии компьютерного зрения доступными для разработчиков и компаний любого размера. Ultralytics YOLO11 развивает эту идею, ускоряя умозаключения и повышая точность. 

Вот краткий обзор того, что отличает YOLO11 :

• Переработанная архитектура: Улучшенная базовая и промежуточная архитектура обеспечивают лучшее извлечение признаков и повышенную точность.
  ‍
• Простота использования: Доступ к нему можно получить с помощью кодирования на Python или с помощью инструментов без кода, таких как Ultralytics HUB.
  ‍
• Гибкость при решении различных задач: YOLO11 поддерживает такие задачи компьютерного зрения, как обнаружение объектов, сегментация объектов, классификация изображений, отслеживание, оценка позы и ориентированные ограничительные рамки (OBB).
  ‍
• Повышенная точность: YOLO11 достигает на 22 % более высокой средней точностиmAP) по сравнению с YOLOv8m на наборе данных COCO , обеспечивая более точные обнаружения.

Благодаря этим характеристикам YOLO11 отлично подходит для отслеживания поведения животных в динамичных условиях, будь то на ферме или в дикой природе.

Основные выводы

Достижения в области искусственного зрения облегчают решение реальных задач, предоставляя практические инструменты для различных областей. Например, модели компьютерного зрения, такие как YOLO11 , могут использоваться для мониторинга и слежения за животными в режиме реального времени, даже в сложных условиях. 

Выступление Джима Гриффина на YV24 показало, как YOLOv8 можно использовать для решения сложных задач с минимальным кодированием. Проект SharkEye, объединяющий дроны с искусственным интеллектом для обнаружения акул в режиме реального времени, продемонстрировал, как технологии могут повысить безопасность пляжей. 

Это было увлекательное тематическое исследование того, как доступный ИИ позволяет людям из разных слоев общества создавать эффективные решения. Поскольку ИИ продолжает развиваться, он преобразует отрасли и позволяет отдельным лицам использовать его потенциал, чтобы сделать мир более безопасным, разумным и эффективным.

Станьте частью нашего сообщества и изучите наш репозиторий на GitHub, чтобы глубже погрузиться в ИИ. От компьютерного зрения в сельском хозяйстве до ИИ в самоуправляемых автомобилях — узнайте, как эти технологии стимулируют инновации. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать свои проекты в области ИИ уже сегодня!