Поведенческий ИИ делает компьютерное зрение более эффективным

Многие годы инновации в области компьютерного зрения были сосредоточены на таких задачах, как обнаружение объектов, — идентификация таких объектов, как собака или автомобиль, на изображениях и видео. Эти подходы сделали возможным создание приложений в таких сферах, как беспилотные автомобили, производство и здравоохранение.

Однако эти задачи часто сосредоточены лишь на определении того, чем является объект. Что, если системы ИИ для компьютерного зрения смогут пойти дальше? Например, вместо простого обнаружения собаки система сможет понять, что собака гонится за мячом, или что автомобиль резко тормозит, потому что дорогу переходит пешеход. Этот переход от базового распознавания к контекстному пониманию знаменует собой важный шаг к более интеллектуальному и учитывающему контекст поведенческому ИИ.

На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии Ultralytics, посвящённом достижениям в области ИИ для компьютерного зрения, центральное место заняла концепция анализа поведения с помощью ИИ во время интересного доклада Дэвида Скотта, генерального директора The Main Branch.

В своём докладе Дэвид рассмотрел переход от базовых задач компьютерного зрения к отслеживанию поведения. Обладая более чем 25-летним опытом создания передовых технологических приложений, он продемонстрировал влияние этого перехода. Он подчеркнул, как расшифровка закономерностей и моделей поведения меняет такие отрасли, как сельское хозяйство и защита животных.

В этой статье мы разберём основные моменты доклада Дэвида и рассмотрим, как отслеживание поведения делает ИИ более практичным.

Понимание проблем внедрения ИИ#

Дэвид Скотт начал свой программный доклад с реалистичной оценки ситуации и сказал: «Мой коллега часто говорит: „Наукой не продашь“, и это немного задевает многих из нас, потому что мы действительно любим науку. ИИ — это очень круто, почему люди просто не хотят его покупать? Но реальность такова: люди не хотят покупать его только потому, что мы считаем его крутым; им нужна причина для покупки».

Далее он объяснил, что в его компании The Main Branch основное внимание всегда уделяется решению реальных проблем с помощью ИИ, а не демонстрации его возможностей. Многие клиенты приходят, желая обсудить, как они могут использовать ИИ в целом, но он считает такой подход ошибочным — это всё равно что иметь решение без проблемы. Вместо этого они работают с клиентами, которые приходят с конкретными задачами, чтобы создавать решения на основе ИИ, действительно меняющие ситуацию.

Рис. 1. Дэвид Скотт на сцене YV24.

Дэвид также рассказал, что их работа часто выходит за рамки простого распознавания объектов в сцене. Обнаружить то, что находится перед камерой, — лишь первый шаг. Настоящая ценность заключается в том, чтобы понять, что делать с этой информацией, и сделать её полезной в рамках более широкой цепочки создания ценности.

Технология отслеживания поведения: ключ к практически применимому ИИ#

Важный шаг к тому, чтобы сделать ИИ действительно полезным, — выйти за рамки базовых задач компьютерного зрения, таких как обнаружение объектов, и использовать полученные данные для отслеживания поведения. Дэвид подчеркнул, что поведенческий ИИ сосредоточен на понимании действий и закономерностей, а не только на идентификации объектов. Благодаря этому ИИ способен распознавать значимые события и предоставлять полезные для принятия решений сведения.

Он привёл пример животного, катающегося по полу, что может указывать на болезнь. Люди не могут круглосуточно наблюдать за животным, а системы видеонаблюдения на основе ИИ с возможностями отслеживания поведения могут. Такие решения способны непрерывно отслеживать объекты, обнаруживать определённые модели поведения, отправлять уведомления и обеспечивать своевременное реагирование. Это превращает необработанные данные во что-то практичное и ценное.

Дэвид также продемонстрировал, что такой подход делает ИИ не просто интересным, а действительно эффективным. Решая реальные задачи, например отслеживая поведение и реагируя на него, технология отслеживания поведения может стать важной частью эффективных решений на основе ИИ в самых разных отраслях.

Практическое применение поведенческого ИИ#

Затем Дэвид Скотт показал, как Ultralytics YOLOv8, модель компьютерного зрения, стала прорывом для проектов его команды по отслеживанию поведения. Она дала им надёжную основу для обнаружения, классификации и отслеживания объектов. Команда также пошла дальше и дообучила YOLOv8, чтобы сосредоточиться на мониторинге поведения во времени, сделав модель более практичной и полезной в реальных условиях.

Примечательно, что с выпуском Ultralytics YOLO11 решения, подобные созданным The Main Branch, могут стать ещё надёжнее и точнее. Эта последняя модель предлагает такие возможности, как повышенная точность и более быстрая обработка, что улучшает её способность отслеживать поведение. Мы подробнее обсудим это после того, как лучше разберёмся в применениях поведенческого ИИ.

Теперь рассмотрим решения, о которых рассказал Дэвид, и то, как технология отслеживания поведения используется в реальных приложениях для решения повседневных задач и достижения значимых результатов.

HerdSense с анализом поведения на основе ИИ#

Сначала Дэвид рассказал об интересной задаче, которую они решали в рамках проекта HerdSense: мониторинге здоровья тысяч коров на огромной откормочной площадке. Цель заключалась в отслеживании поведения отдельных коров для выявления потенциальных проблем со здоровьем. Это означало одновременное наблюдение за десятками тысяч животных, и задача была непростой.

Рис. 2. HerdSense сосредоточен на мониторинге и идентификации коров с помощью поведенческого ИИ.

Чтобы решить задачу идентификации каждой коровы и отслеживания её поведения, команда Дэвида провела двухдневный семинар, на котором описала все возможные модели поведения, требующие мониторинга. Всего они выявили более 200 моделей поведения.

Каждая из 200 моделей поведения зависела от возможности точно распознавать отдельных коров, поскольку все данные нужно было привязать к конкретным животным. Одной из главных проблем было отслеживание коров, когда они собирались в плотные группы, из-за чего отдельных животных было трудно разглядеть.

Команда Дэвида разработала систему компьютерного зрения, которая обеспечивала постоянную идентификацию каждой коровы даже в сложных ситуациях. Им удалось подтвердить, что одной и той же корове всегда присваивается один и тот же ID, даже если она исчезает из поля зрения, смешивается с другими животными или позже снова появляется.

Мониторинг здоровья лошадей с помощью компьютерного зрения#

Далее Дэвид представил ещё один интересный проект, в котором они применили аналогичные методы отслеживания поведения для мониторинга лошадей. В этом проекте команде Дэвида не нужно было так тщательно отслеживать ID отдельных лошадей, как в случае с коровами. Вместо этого они сосредоточились на определённых моделях поведения и отслеживали такие детали, как характер питания и общий уровень активности, чтобы заранее выявлять проблемы со здоровьем. Обнаружение небольших изменений в поведении могло привести к более быстрому вмешательству, улучшить уход и предотвратить проблемы до того, как они станут серьёзными.

Рис. 3. Мониторинг лошадей с помощью поведенческого ИИ.

Почему поведенческий ИИ не так прост, как кажется#

Дэвид также обсудил сложность отслеживания поведения на примере, который вызвал большой интерес. Изучая способы улучшения анализа поведения, его команда обнаружила компанию, заявлявшую о возможности обнаруживать кражи в магазинах по анализу определённых поз, например положения, когда рука находится в кармане. Сначала это казалось разумной идеей: определённые движения могут указывать на подозрительное поведение, верно?

Рис. 4. Понимание проблем технологии отслеживания поведения.

Однако, изучив вопрос глубже, Дэвид осознал ограничения этого метода. Одна поза, например рука в кармане, не обязательно означает, что человек ворует в магазине. Возможно, ему просто удобно, он задумался или ему холодно. Проблема сосредоточения на отдельных позах заключается в том, что при этом игнорируется более широкий контекст. Поведение — это не отдельное действие, а последовательность действий во времени, сформированная контекстом и намерением.

Дэвид подчеркнул, что настоящее отслеживание поведения намного сложнее и требует целостного подхода. Речь идёт об анализе последовательностей действий и понимании их значения в более широком контексте. Хотя индустрия ИИ добивается успехов, он отметил, что для развития отслеживания поведения и получения содержательных и точных сведений ещё предстоит многое сделать.

Создание более интеллектуальных моделей ИИ для компьютерного зрения, понимающих действия#

Затем Дэвид показал аудитории внутреннюю кухню процесса и рассказал, как его команда создала решение на основе компьютерного зрения для мониторинга здоровья коров с помощью Ultralytics YOLOv8 и его возможностей оценки позы.

Сначала они создали специальный датасет для оценки позы коровы, увеличив стандартное количество ключевых точек с 17 до 145, чтобы модель лучше анализировала движения. Затем модель обучили на огромном датасете, включавшем более 2 миллионов изображений и 110 миллионов примеров поведения.

Используя передовую аппаратную инфраструктуру, команда Дэвида смогла обучить модель всего за два дня вместо нескольких недель, которые потребовались бы на обычном оборудовании. Затем обученную модель интегрировали со специальным трекером поведения, который одновременно анализировал несколько кадров видео, чтобы обнаруживать закономерности в действиях коров.

В результате появилось решение на основе ИИ для компьютерного зрения, способное обнаруживать и отслеживать восемь различных моделей поведения коров, таких как еда, питьё и лежание, чтобы выявлять небольшие изменения поведения, которые могут указывать на проблемы со здоровьем. Это позволяет фермерам быстро реагировать и улучшает управление стадом.

Перспективы поведенческого ИИ#

Дэвид завершил свой доклад важным напутствием для аудитории: «Если ты не даёшь ИИ возможности ошибаться, ты обрекаешь себя на неудачу, потому что, в конечном счёте, ИИ работает статистически». Он отметил, что ИИ, несмотря на свои сильные стороны, не безупречен. Это инструмент, который учится на закономерностях, и ситуации, когда он ошибается, будут всегда. Вместо того чтобы бояться этих ошибок, важно создавать системы, способные справляться с ними и со временем совершенствоваться.

То же самое относится и к самим моделям компьютерного зрения. Например, Ultralytics YOLO11, последняя версия моделей Ultralytics YOLO, создавалась с учётом необходимости вывести возможности на новый уровень по сравнению с YOLOv8.

Рис. 5. Задачи компьютерного зрения, поддерживаемые Ultralytics YOLO11.

В частности, Ultralytics YOLO11 обеспечивает более высокую производительность, особенно в приложениях реального времени, где точность имеет ключевое значение, например в сельском хозяйстве и здравоохранении. Благодаря расширенным возможностям YOLO11 меняет подход отраслей к использованию ИИ, предоставляя инновационные сведения в реальном времени и помогая эффективнее решать задачи.

Основные выводы#

Программный доклад Дэвида на YV24 напомнил, что ИИ — это не просто крутая инновация, а мощный инструмент для решения реальных проблем и улучшения нашей жизни и работы. Сосредоточившись на поведении, ИИ уже помогает в таких сферах, как отслеживание здоровья животных и распознавание значимых закономерностей в повседневных действиях.

Перспективы поведенческого ИИ впечатляют, и мы находимся лишь в начале пути. Превращая необработанные данные в полезные для принятия решений сведения, поведенческий ИИ переходит от пассивного мониторинга к активному решению проблем. По мере дальнейшего развития поведенческий ИИ будет способствовать принятию более эффективных решений, оптимизации процессов и значимому улучшению нашей жизни.

Оставайся на связи с нашим сообществом, чтобы узнать больше об ИИ и его применении в реальном мире. Посети наш репозиторий на GitHub, чтобы познакомиться с инновациями в таких областях, как ИИ в сельском хозяйстве и компьютерное зрение в производстве.