SharkEye использует Ultralytics YOLOv8 для обнаружения объектов

Наблюдение за животными в их естественной среде обитания, будь то пасущийся на ферме скот или передвигающиеся у берега акулы, всегда было важно для их безопасности и благополучия. Однако наблюдать за ними вручную не так-то просто. Часто это требует многочасового терпения и тщательной концентрации внимания, поскольку наблюдатели должны внимательно следить за любыми изменениями в поведении или движении. Но даже в этом случае легко пропустить едва заметные, но важные признаки.

Благодаря искусственному интеллекту (ИИ) этот процесс становится все быстрее, умнее и намного эффективнее, снижая нагрузку на наблюдателей-людей и повышая точность. В частности, компьютерное зрение позволяет отслеживать животных, замечать опасности и принимать решения в режиме реального времени. Задачи, на которые раньше уходили часы, теперь можно решать за считанные минуты, что открывает новые возможности для изучения поведения животных.

На ежегодном гибридном мероприятии YOLO Vision 2024 (YV24), организованном компанией Ultralytics, собрались эксперты и новаторы, чтобы узнать, как ИИ решает повседневные задачи. Среди представленных тем были достижения в области обнаружения объектов в реальном времени и мониторинга животных, демонстрирующие, как ИИ повышает безопасность и эффективность в различных областях.

Одним из главных событий мероприятия стало выступление Джима Гриффина, основателя AI Master Group, в котором он продемонстрировал, как Vision AI делает пляжи безопаснее, обнаруживая акул до того, как они подойдут слишком близко к берегу. Он рассказал, как с помощью Ultralytics YOLOv8, передовой модели компьютерного зрения, в режиме реального времени точно идентифицировать акул даже в таких сложных условиях, как неспокойные волны, блики и подводные препятствия.

В этой статье мы подробнее рассмотрим проект SharkEye и поделимся интересными моментами из выступления Джима.

Знакомство с SharkEye: Приложение для компьютерного зрения

В начале своего выступления Джим рассказал о пляже Падаро, известном месте для серфинга в Калифорнии, где серферы и акулы часто живут в одних и тех же водах. Подчеркивая реальную проблему обнаружения акул, он поделился: "Конечно, легко обнаружить акулу, если она вас укусит, поэтому мы хотели сделать так, чтобы выявлять акул заранее".

‍

Для решения этой проблемы при поддержке Калифорнийского университета в Санта-Барбаре была создана компания SharkEye. Джим рассказал, как дроны с камерами высокого разрешения с искусственным интеллектом летали на высоте около 200 футов над водой, сканируя океан в режиме реального времени.

Если акула обнаружена, SMS-оповещения приходят примерно 80 людям, включая спасателей, владельцев магазинов для серфинга и всех, кто подписался на обновления. Джим отметил, что такие мгновенные уведомления позволяют быстро реагировать на ситуацию, обеспечивая безопасность отдыхающих на пляже, когда акула находится рядом с берегом.

Джим также упомянул, что SharkEye имеет живую приборную панель, на которой пользователи могут увидеть статистику обнаружения акул. Например, за 12 недель система обнаружила две крупные акулы и 15 мелких, в среднем чуть больше одной акулы в неделю.

Затем он представил Нила Натана, ученого, который возглавил работу над проектом SharkEye. Несмотря на то что Натан получил образование в области экологии, а не информатики, он успешно возглавил проект. Джим подчеркнул, что современные инструменты искусственного интеллекта, такие как те, что используются в SharkEye, созданы для того, чтобы быть доступными и позволять людям с нетехническим образованием разрабатывать эффективные решения.

Использование Ultralytics YOLOv8 для обнаружения акул

Углубившись в детали, Джим рассказал о том, что находится под капотом SharkEye, и о том, что решение по обнаружению акул не сводилось к простой задаче распознавания объектов. Ему пришлось иметь дело с динамичными и непредсказуемыми условиями, такими как плавающие водоросли, которые можно легко принять за акул. В отличие от обнаружения неподвижного объекта, идентификация акулы требует точности и адаптивности, что делает YOLOv8 идеальным выбором.

Еще одно преимущество YOLOv8 заключается в том, что его можно развернуть на дроне, не полагаясь на облачные серверы. Джим объяснил, как такой подход позволил SharkEye отправлять немедленные оповещения, что является важной частью обеспечения своевременного реагирования в непредсказуемых условиях океана.

Обнаружение объектов с помощью всего шести строк кода

Рассказав о том, как работает SharkEye и какие совместные усилия стоят за этим, Джим продемонстрировал демонстрацию в реальном времени.

Джим Гриффин начал свое выступление с демонстрации знакомого примера - фрагмента кода "hello world" для моделей Ultralytics YOLO. С помощью всего шести строк кода на Python он продемонстрировал, как предварительно обученная модель Ultralytics YOLOv8 может без труда обнаружить автобус на изображении. 

‍

В его демонстрации использовалась модель YOLOv8 Nano, облегченная версия для маломощных устройств, таких как дроны. Эта же модель использовалась в SharkEye для обнаружения акул в режиме реального времени. 

В качестве дополнительного контекста Джим упомянул, что модель в демонстрационном ролике обучалась на COCO128, меньшем подмножестве широко используемого набора данных COCO. Набор данных COCO содержит более 20 000 изображений 80 различных категорий объектов. Хотя COCO128 хорошо подходит для быстрых демонстраций, он отметил, что SharkEye нужно что-то более надежное - набор данных для обнаружения акул, ориентированный на конкретные приложения, который мог бы справиться со сложностями реальных сценариев.

Индивидуальное обучение YOLOv8 для SharkEye 

По словам Джима, самым сложным в проекте SharkEye было не обучение модели искусственного интеллекта, а сбор нужных данных. Он сказал: "Основная работа в этом проекте заключалась не в искусственном интеллекте. Основная работа в этом проекте заключалась в том, чтобы в течение пяти лет летать на беспилотниках, отбирать изображения из видео и помечать их соответствующим образом".

Он рассказал, как команда собрала 15 000 снимков на пляже Падаро. Каждый снимок приходилось вручную маркировать, чтобы отличить акул, водоросли и другие объекты в воде. Хотя этот процесс был медленным и трудоемким, он заложил основу для всего последующего.

‍

Как только набор данных был готов, Ultralytics YOLOV8 был обучен на нем. Джим сказал: "Само обучение было не самым сложным - оно заняло всего 20 часов на графических процессорах T4". Он также добавил, что это время можно было бы сократить до пяти часов при использовании более мощного оборудования, например графических процессоров A100.

Оценка SharkEye: Точность и отзыв

Затем Джим рассказал о том, как оценивается эффективность работы SharkEye. Он показал, что ключевым показателем была точность - насколько точно система идентифицировала реальных акул. Точность SharkEye достигла впечатляющих 92 %, что говорит о высокой эффективности модели в точном определении акул в сложной океанической среде.

Углубляясь в важность точности, Джим пояснил, почему в данном случае точность важнее, чем отзыв. "Чаще всего людей интересует отзыв, особенно в таких областях, как здравоохранение, где пропуск положительного случая может быть критичным. Но в данном случае мы не знали, сколько там акул, поэтому нам была важна точность", - пояснил он. SharkEye обеспечил минимизацию ложных тревог, сосредоточившись на точности, что позволило спасателям и другим специалистам быстро принять меры".

‍

В заключение своего выступления он сравнил работу ИИ с работой человека, отметив, что 92-процентная точность SharkEye значительно превосходит 60-процентную точность человеческих экспертов. Он подчеркнул этот разрыв, сказав: "Это потому, что мы люди. Каким бы экспертом вы или я ни были, если нам приходится целыми днями сидеть перед экраном и искать акул, то в конце концов мы начинаем блуждать мыслями". В отличие от людей, модели ИИ не устают и не отвлекаются, что делает их надежным решением для задач, требующих постоянного контроля.

Ultralytics YOLO11: новейший YOLO

Интригующая цитата из выступления Джима Гриффина "Шесть строк кода могут однажды спасти вам жизнь" как нельзя лучше отражает то, насколько продвинутым и в то же время доступным стал искусственный интеллект. Модели Ultralytics YOLO были созданы с учетом этого, делая передовые технологии компьютерного зрения доступными для разработчиков и компаний любого размера. Ultralytics YOLO11 развивает эту идею, обеспечивая более быстрые выводы и высокую точность. 

Вот краткий обзор того, что отличает YOLO11:

• Переработанная архитектура: Усовершенствованная архитектура "позвоночника" и "шеи" обеспечивает лучшее извлечение признаков и повышенную точность.
  ‍
• Простота использования: Доступ к нему можно получить с помощью кодирования на языке Python или с помощью инструментов без кода, таких как Ultralytics HUB.
  ‍
• Гибкость при решении различных задач: YOLO11 поддерживает такие задачи компьютерного зрения, как обнаружение объектов, сегментация объектов, классификация изображений, отслеживание, оценка позы и ориентированные ограничительные рамки (OBB).
  ‍
• Повышенная точность: YOLO11 достигает на 22 % более высокой средней точности (mAP) по сравнению с YOLOv8m на наборе данных COCO, обеспечивая более точные обнаружения.

Благодаря этим характеристикам YOLO11 отлично подходит для отслеживания поведения животных в динамичных условиях, будь то на ферме или в дикой природе.

Основные выводы

Достижения в области искусственного зрения облегчают решение реальных задач, предоставляя практические инструменты для различных областей. Например, модели компьютерного зрения, такие как YOLO11, можно использовать для мониторинга и слежения за животными в режиме реального времени, даже в сложных условиях. 

Выступление Джима Гриффина на YV24 показало, как YOLOv8 можно использовать для решения сложных задач с минимальным кодированием. Проект SharkEye, объединяющий дроны с искусственным интеллектом для обнаружения акул в режиме реального времени, продемонстрировал, как технологии могут повысить безопасность пляжей. 

Это был увлекательный пример того, как доступный ИИ дает возможность людям из разных слоев общества создавать эффективные решения. По мере того как ИИ продолжает развиваться, он преобразует отрасли и дает возможность людям использовать его потенциал, чтобы сделать мир более безопасным, умным и эффективным.

Станьте частью нашего сообщества и изучите наш репозиторий GitHub, чтобы глубже погрузиться в мир ИИ. От компьютерного зрения в сельском хозяйстве до ИИ в самоуправляемых автомобилях- посмотрите, как эти технологии стимулируют инновации. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу над своими проектами в области ИИ уже сегодня!