Поведенческий ИИ повышает практическую ценность компьютерного зрения

Многие годы инновации в области компьютерного зрения были сосредоточены на таких задачах, как обнаружение объектов, то есть поиск объектов — например, собаки или автомобиля — на изображениях и видео. Эти подходы позволили создавать решения для таких областей, как беспилотные автомобили, производство и здравоохранение.

Однако такие задачи часто ограничиваются определением того, что представляет собой объект. А что, если системы ИИ для компьютерного зрения смогут пойти дальше? Например, вместо простого обнаружения собаки система сможет понять, что собака гонится за мячом, или что автомобиль резко тормозит, потому что дорогу переходит пешеход. Такой переход от простого распознавания к пониманию контекста — важный шаг к более интеллектуальному ИИ, способному учитывать контекст и анализировать поведение.

На YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии Ultralytics, посвящённом достижениям в области ИИ для компьютерного зрения, — анализ поведения с помощью ИИ стал центральной темой интересного выступления Дэвида Скотта, генерального директора The Main Branch.

В своём выступлении Дэвид рассказал о переходе от базовых задач компьютерного зрения к отслеживанию поведения. Имея более чем 25-летний опыт создания передовых технологических приложений, он показал, какое влияние оказывает этот переход. Он подчеркнул, что анализ закономерностей и поведения меняет такие отрасли, как сельское хозяйство и защита животных.

В этой статье мы рассмотрим основные моменты выступления Дэвида и выясним, как отслеживание поведения делает ИИ практичнее.

Проблемы внедрения ИИ#

Дэвид Скотт начал своё основное выступление с неожиданного замечания и сказал: «Один мой коллега часто говорит: „Наука не продаётся“, и это немного задевает многих из нас, потому что мы действительно любим науку. ИИ — это так здорово: почему бы людям просто не купить его? Но в действительности люди не хотят покупать ИИ только потому, что мы считаем его классным. Им нужна причина для покупки».

Он также пояснил, что в его компании The Main Branch всегда стремятся решать реальные проблемы с помощью ИИ, а не просто демонстрировать его возможности. Многие клиенты приходят, чтобы обсудить, как использовать ИИ в целом, но он считает такой подход неверным — это всё равно что иметь решение без проблемы. Вместо этого компания работает с клиентами, которые приходят с конкретными задачами, чтобы создавать решения на основе ИИ, действительно меняющие ситуацию.

Рис. 1. Дэвид Скотт на сцене YV24.

Дэвид также рассказал, что их работа часто выходит за рамки простого распознавания объектов в сцене. Обнаружить, что находится вокруг, — лишь первый шаг. Настоящая ценность заключается в том, чтобы понять, что делать с этой информацией, и использовать её в более широкой цепочке создания ценности.

Технология отслеживания поведения: ключ к практическому применению ИИ#

Важный шаг на пути к действительно полезному ИИ — выйти за рамки базовых задач компьютерного зрения, таких как обнаружение объектов, и использовать полученные сведения для отслеживания поведения. Дэвид подчеркнул, что поведенческий ИИ помогает понимать действия и закономерности, а не просто распознавать объекты. Благодаря этому ИИ может выявлять значимые события и предоставлять информацию, на основе которой можно действовать.

Он привёл в пример животное, которое катается по полу: это может указывать на болезнь. Люди не могут наблюдать за животным круглосуточно, но системы видеонаблюдения на основе ИИ, способные отслеживать поведение, могут. Такие решения непрерывно наблюдают за объектами, распознают определённые модели поведения, отправляют оповещения и позволяют своевременно принять меры. Так необработанные данные превращаются в полезную и ценную информацию.

Дэвид также показал, что такой подход делает ИИ не просто интересным, но и действительно полезным. Решая реальные задачи — например, отслеживая поведение и реагируя на него, — технология отслеживания поведения может стать важной частью эффективных решений на основе ИИ в самых разных отраслях.

Как поведенческий ИИ работает на практике#

Затем Дэвид Скотт рассказал, как Ultralytics YOLOv8, модель компьютерного зрения, совершила прорыв в проектах его команды по отслеживанию поведения. Она дала команде надёжную основу для обнаружения, классификации и отслеживания объектов. Команда пошла дальше и дообучила YOLOv8 на собственных данных, чтобы отслеживать поведение с течением времени и сделать систему практичнее и полезнее в реальных условиях.

Примечательно, что с выходом Ultralytics YOLO11 такие решения, как разработанные The Main Branch, могут стать ещё надёжнее и точнее. Эта модель обладает такими особенностями, как повышенная точность и более высокая скорость обработки, что улучшает отслеживание поведения. Мы подробнее обсудим это после того, как разберёмся, для каких задач можно применять поведенческий ИИ.

Теперь давай рассмотрим решения, о которых рассказал Дэвид, и то, как технология отслеживания поведения применяется в реальных условиях, помогая решать повседневные задачи и добиваться значимых результатов.

HerdSense: анализ поведения с помощью ИИ#

Сначала Дэвид рассказал об интересной задаче, над которой они работали в рамках проекта HerdSense: нужно было следить за здоровьем тысяч коров на огромном откормочном комплексе. Цель состояла в том, чтобы отслеживать поведение каждой коровы и выявлять возможные проблемы со здоровьем. Для этого нужно было одновременно наблюдать за десятками тысяч животных, и задача оказалась непростой.

Рис. 2. HerdSense отслеживал коров и определял их с помощью поведенческого ИИ.

Чтобы начать решать задачу идентификации каждой коровы и отслеживания её поведения, команда Дэвида провела двухдневный семинар и составила список всех возможных моделей поведения, за которыми нужно было следить. Всего команда определила более 200 моделей.

Для распознавания всех 200 моделей поведения требовалось точно идентифицировать каждую корову, поскольку все данные необходимо было привязать к конкретным животным. Одной из главных проблем было отслеживание коров, когда они сбивались в группы: в таких случаях было сложно различать животных.

Команда Дэвида разработала систему компьютерного зрения, которая надежно распознавала каждую корову даже в сложных ситуациях. Им удалось обеспечить, чтобы одной и той же корове всегда назначался один и тот же ID, даже если она пропадала из поля зрения, смешивалась с другими или появлялась снова позднее.

Мониторинг здоровья лошадей с помощью компьютерного зрения#

Затем Дэвид представил ещё один интересный проект, в котором команда применила похожие методы отслеживания поведения для наблюдения за лошадьми. В этом проекте команде Дэвида не требовалось так тщательно отслеживать ID отдельных лошадей, как в случае с коровами. Вместо этого команда сосредоточилась на конкретных моделях поведения и отслеживала такие показатели, как режим питания и общая активность, чтобы заранее выявлять проблемы со здоровьем. Обнаружение небольших изменений в поведении позволяет быстрее вмешаться, обеспечить лучший уход и предотвратить развитие серьёзных проблем.

Рис. 3. Наблюдение за лошадьми с помощью поведенческого ИИ.

Почему поведенческий ИИ сложнее, чем кажется#

Дэвид также рассказал о сложности отслеживания поведения и привёл интересный пример. Изучая способы улучшить анализ поведения, его команда узнала о компании, которая утверждала, что может выявлять кражи в магазинах, анализируя определённые позы, например руку в кармане. Сначала это казалось разумной идеей: некоторые движения могут указывать на подозрительное поведение, верно?

Рис. 4. Понимание сложностей технологии отслеживания поведения.

Однако, изучив этот вопрос подробнее, Дэвид понял, что у такого метода есть ограничения. Одна поза — например, рука в кармане — не обязательно означает, что человек совершает кражу. Возможно, ему просто удобно так стоять, он задумался или замёрз. Проблема в том, что анализ отдельных поз не учитывает общий контекст. Поведение — это не одно действие, а последовательность действий во времени, на которую влияют контекст и намерения.

Дэвид подчеркнул, что для полноценного отслеживания поведения необходим гораздо более комплексный подход. Нужно анализировать последовательности действий и понимать их значение в более широком контексте. Индустрия ИИ добивается успехов, но, по его словам, для получения значимой и точной информации технологию отслеживания поведения ещё предстоит развивать.

Создание более интеллектуальных моделей компьютерного зрения, понимающих действия#

Затем Дэвид показал аудитории, как его команда с помощью Ultralytics YOLOv8 разработала решение на основе компьютерного зрения для мониторинга здоровья коров, используя возможности оценки позы модели.

Сначала команда создала собственный датасет для оценки позы коровы, увеличив стандартное число ключевых точек с 17 до 145, чтобы модель лучше анализировала движения. Затем модель обучили на огромном датасете, содержащем более 2 миллионов изображений и 110 миллионов примеров поведения.

Благодаря современной аппаратной инфраструктуре команда Дэвида обучила модель всего за два дня вместо нескольких недель, которые потребовались бы на обычном оборудовании. Затем обученную модель объединили с пользовательским трекером поведения, который одновременно анализировал несколько видеокадров, чтобы выявлять закономерности в действиях коров.

В результате получилось решение на основе ИИ для компьютерного зрения, которое может обнаруживать и отслеживать восемь типов поведения коров, например приём пищи, питьё и лежание, чтобы выявлять небольшие изменения в поведении, способные сигнализировать о проблемах со здоровьем. Это позволяет фермерам быстро реагировать и улучшает управление стадом.

Будущее поведенческого ИИ#

В завершение выступления Дэвид поделился с аудиторией важным выводом: «Если не позволить ИИ ошибаться, ты заранее обрекаешь себя на неудачу, потому что в конечном счёте всё строится на статистике». Он отметил, что ИИ, несмотря на свои сильные стороны, не безупречен. Это инструмент, который учится на закономерностях, и он всегда будет иногда ошибаться. Вместо того чтобы бояться этих ошибок, нужно создавать системы, способные справляться с ними и постоянно совершенствоваться.

Это касается и самих моделей компьютерного зрения. Например, Ultralytics YOLO11 — последняя на тот момент версия моделей Ultralytics YOLO, которую позднее сменила Ultralytics YOLO26, — разработана с учетом необходимости выйти на новый уровень по сравнению с YOLOv8.

Рис. 5. Задачи компьютерного зрения, поддерживаемые Ultralytics YOLO11.

В частности, Ultralytics YOLO11 обеспечивает более высокую производительность, особенно в приложениях реального времени, где важна точность, например в сельском хозяйстве и здравоохранении. Благодаря расширенным возможностям YOLO11 помогает отраслям получать аналитические данные в реальном времени и эффективнее решать сложные задачи.

Главные выводы#

Основное выступление Дэвида на YV24 напомнило, что ИИ — это не просто впечатляющая инновация, а мощный инструмент для решения реальных проблем и улучшения нашей жизни и работы. Сосредоточившись на поведении, ИИ уже помогает отслеживать здоровье животных и выявлять значимые закономерности в повседневных действиях.

Перспективы поведенческого ИИ впечатляют, и мы только в начале пути. Преобразуя необработанные данные в информацию, на основе которой можно действовать, поведенческий ИИ переходит от пассивного наблюдения к активному решению проблем. По мере дальнейшего развития поведенческий ИИ будет помогать принимать более взвешенные решения, оптимизировать процессы и заметно улучшать нашу жизнь.

Оставайся на связи с нашим сообществом, чтобы узнать больше об ИИ и его практическом применении. Посети наш репозиторий GitHub, чтобы познакомиться с инновациями в таких областях, как ИИ в сельском хозяйстве и компьютерное зрение в производстве.