Компьютерное зрение помогает агентам ИИ для компьютерного зрения принимать решения

В каждой отрасли — от производства до розничной торговли — есть свои проблемы с процессами, и поиск инновационных способов их решения всегда был важен для успешного ведения бизнеса. В последнее время ИИ-агенты стали популярным решением во многих сферах. Такие системы не просто анализируют данные — они могут действовать.

Например, ИИ-агенты в производстве могут обнаруживать дефекты в реальном времени и автоматически запускать меры контроля качества, обеспечивая бесперебойную работу производства. Аналогично, в логистике и розничной торговле они могут следить за несколькими объектами с помощью интеллектуального видеонаблюдения и мгновенно оповещать команды о необычной активности.

По мере развития этой тенденции ИИ-агенты активно преобразуют отрасли по всему миру. В 2024 году объём мирового рынка ИИ-агентов достиг 5,1 млрд долларов, а к 2030 году, по прогнозам, вырастет до 47,1 млрд долларов.

Рис. 1. Объём мирового рынка ИИ-агентов.

Одна из ключевых технологий, лежащих в основе этих достижений, — компьютерное зрение. Vision AI позволяет машинам обрабатывать и интерпретировать визуальные данные, благодаря чему AI-агенты могут с высокой точностью выполнять задачи компьютерного зрения, например обнаруживать объекты, сегментировать экземпляры и отслеживать объекты в реальном времени. Эта технология связывает то, что видят машины, с тем, как они принимают решения, и играет важную роль во многих решениях на базе AI.

В этой статье мы разберем, что такое AI-агенты и как они связаны с компьютерным зрением. Также рассмотрим разные типы AI-агентов и их применение в задачах, основанных на зрительном восприятии.

Что такое ИИ-агенты?#

Прежде чем перейти к ИИ-агентам на основе компьютерного зрения, давай разберёмся, что представляют собой ИИ-агенты в целом, и посмотрим, насколько универсальными могут быть эти системы.

AI-агент — это интеллектуальная система, способная понимать задачи и вопросы и реагировать на них без помощи человека. Многие AI-агенты используют машинное обучение и обработку естественного языка (NLP) для решения самых разных задач: от ответов на простые вопросы до управления сложными процессами.

Некоторые ИИ-агенты способны учиться и со временем совершенствоваться, в отличие от традиционных систем ИИ, которым для каждого обновления требуется участие человека. Поэтому ИИ-агенты быстро становятся неотъемлемой частью ИИ. Они могут автоматизировать задачи, принимать решения и взаимодействовать со средой без постоянного контроля. Они особенно полезны для выполнения повторяющихся и отнимающих много времени задач.

Например, ИИ-агентов можно встретить в таких сферах, как обслуживание клиентов и гостиничный бизнес. В службах поддержки ИИ-агенты обрабатывают запросы на возврат средств и предлагают персонализированные рекомендации товаров. А в гостиничном бизнесе они помогают персоналу отелей обрабатывать запросы гостей, оптимизировать обслуживание в номерах и советовать гостям местные достопримечательности. Эти примеры показывают, как ИИ-агенты ускоряют повседневные процессы и повышают их эффективность.

Как работают ИИ-агенты на основе компьютерного зрения#

Для начала кратко рассмотрим, как работают ИИ-агенты. Каждый ИИ-агент уникален и предназначен для решения определённых задач, но все они проходят три основных этапа: восприятие, принятие решений и действие.

Сначала, на этапе восприятия, ИИ-агенты собирают информацию из разных источников, чтобы понять, что происходит. Следующий этап — принятие решений. На основе собранной информации они анализируют ситуацию с помощью алгоритмов и выбирают оптимальный вариант действий. И наконец, действие. Приняв решение, они выполняют его: отвечают на вопрос, решают задачу или сообщают о проблеме, с которой должен разобраться человек.

На первый взгляд всё кажется простым, но в зависимости от типа ИИ-агента для выполнения этих этапов за кулисами часто происходит многое. Каждый ИИ-агент устроен по-своему и предназначен для определённых задач: от анализа сложных данных до использования передовых моделей машинного обучения.

Например, многие ИИ-агенты сосредоточены на обработке языка с помощью NLP, а другие, известные как ИИ-агенты на основе компьютерного зрения, используют компьютерное зрение для работы с визуальными данными. Благодаря передовым моделям компьютерного зрения, таким как Ultralytics YOLO11, ИИ-агенты на основе компьютерного зрения могут точнее анализировать изображения.

Рис. 2 Пример подсчёта яблок на изображении с помощью YOLO11.

ИИ-агенты на основе компьютерного зрения в беспилотных автомобилях#

Рассмотрим беспилотные автомобили и посмотрим, как ИИ-агенты на основе компьютерного зрения проходят три описанных выше этапа:

• Восприятие: Визуальные ИИ-агенты в беспилотных автомобилях собирают визуальные данные с камер и датчиков, установленных на автомобиле. Эти данные включают изображения и видео окружающей обстановки: других автомобилей, пешеходов, светофоров и дорожных знаков.
• Принятие решений: ИИ-агент обрабатывает эти визуальные данные с помощью таких моделей, как Ultralytics YOLO11. Он распознаёт объекты, например автомобили и пешеходов, обнаруживает препятствия и внезапные перестроения, а также распознаёт закономерности, такие как транспортный поток и сигналы светофора. Это помогает автомобилю в реальном времени понимать дорожную обстановку.
• Действие: На основе анализа ИИ-агент выполняет действия: объезжает препятствие, регулирует скорость или останавливается на красный свет. Решения принимаются быстро, чтобы обеспечить безопасное и эффективное вождение.

Беспилотные автомобили Waymo — известный пример этой технологии. Они используют визуальные ИИ-агенты, чтобы понимать окружающую обстановку, принимать решения в реальном времени и безопасно и эффективно передвигаться по дорогам без участия человека.

Рис. 3 Беспилотное такси Waymo на базе ИИ-агента.

Типы ИИ-агентов на основе компьютерного зрения#

Теперь, когда мы разобрались, как работают ИИ-агенты и как они используют компьютерное зрение, рассмотрим различные типы ИИ-агентов. Каждый тип предназначен для определённых задач — от простых действий до более сложного принятия решений и обучения.

Простые рефлекторные агенты#

Простые рефлекторные агенты — самый базовый тип ИИ-агентов. Они реагируют на определённые входные данные заранее заданными действиями, опираясь исключительно на текущую ситуацию и не учитывая ни предыдущий опыт, ни возможные последствия. Обычно такие агенты руководствуются простыми правилами «если — то».

Для анализа изображений простой рефлекторный агент можно запрограммировать на обнаружение определённого цвета, например красного, и запуск немедленного действия — например, выделения или подсчёта красных объектов. Такой подход подходит для простых задач, но не справляется с более сложными условиями, поскольку агент не учится на предыдущем опыте и не адаптируется к нему.

Рефлекторные агенты на основе модели#

Рефлекторные агенты на основе модели устроены сложнее простых рефлекторных агентов: они используют внутреннюю модель среды, чтобы лучше понимать ситуацию. Благодаря этой модели они могут работать с отсутствующей или неполной информацией и принимать более обоснованные решения.

Возьмём, к примеру, системы видеонаблюдения с ИИ. Встроенные в них визуальные ИИ-агенты могут использовать компьютерное зрение для анализа происходящего в реальном времени. Они могут сравнивать движения и действия с моделью нормального поведения, чтобы выявлять необычную активность, например магазинные кражи, и точнее обнаруживать потенциальные угрозы безопасности.

Рис. 4 Пример обнаружения кражи с помощью компьютерного зрения.

Агенты, основанные на полезности#

Представь дрон, основанный на полезности, который используется для мониторинга посевов. Он корректирует траекторию полёта, чтобы охватить большую площадь и обойти препятствия, а также выбирает оптимальный маршрут для задачи. Дрон оценивает несколько возможных действий, например определяет, какой участок осмотреть в первую очередь и как проложить эффективный маршрут, а затем выбирает действие, которое обеспечит максимальную эффективность.

Агенты, основанные на полезности, тоже предназначены для выбора наилучшего действия из нескольких вариантов, чтобы добиться максимальной пользы или результата. ИИ-агенты на основе компьютерного зрения этого типа могут обрабатывать и анализировать разные визуальные данные, например изображения или данные с датчиков, а затем выбирать наиболее полезный результат по заранее заданным критериям.

Рис. 5. Дроны, основанные на полезности, можно использовать для мониторинга посевов.

Целевые агенты#

Целевые агенты похожи на агентов, основанных на полезности: и те и другие стремятся достичь определённых целей. Однако целевые агенты сосредоточены исключительно на действиях, которые приближают их к заданной цели. Они оценивают каждое действие по тому, насколько оно помогает достичь цели, не учитывая другие факторы, например общую ценность или компромиссы.

Например, беспилотный автомобиль действует как целевой агент, если его цель — добраться до пункта назначения. Он обрабатывает данные с ИИ-камер и датчиков, чтобы принимать такие решения, как объезд препятствий, соблюдение сигналов светофора и выбор нужных поворотов. Эти решения полностью определяются тем, насколько они помогают безопасно и эффективно добраться до пункта назначения. В отличие от агентов, основанных на полезности, целевые агенты сосредоточены только на достижении цели и не учитывают дополнительные критерии, например эффективность или оптимизацию.

Рис. 6 Беспилотный автомобиль использует компьютерное зрение для распознавания окружающих объектов.

Обучающиеся агенты#

Если ты знаком с компьютерным зрением, то, возможно, слышал о дообучении — процессе, в ходе которого модели совершенствуются, обучаясь на новых данных. Обучающиеся агенты работают похожим образом: со временем они адаптируются и становятся лучше по мере накопления опыта. В таких приложениях, как контроль качества на основе компьютерного зрения, эти агенты с каждой проверкой всё лучше обнаруживают дефекты. Способность улучшать свою работу особенно важна в таких областях, как авиация, где безопасность и точность имеют решающее значение.

Иерархические агенты#

Иерархические агенты упрощают сложные задачи, разбивая их на небольшие, более управляемые этапы. Агент верхнего уровня контролирует весь процесс и принимает стратегические решения, а агенты нижнего уровня выполняют конкретные задачи. Такой подход повышает эффективность операций, включающих несколько этапов и требующих детального исполнения.

Например, на автоматизированном складе робот верхнего уровня может планировать процесс сортировки и решать, в какие зоны направлять товары. В это же время роботы нижнего уровня распознают товары с помощью компьютерного зрения, анализируют такие признаки, как размер, форма и маркировка, а затем распределяют товары по нужным контейнерам. Чёткое распределение обязанностей помогает системе работать слаженно.

Рис. 7 Пример роботизированного ИИ-агента, сортирующего посылки.

Как начать создавать ИИ-агента на основе компьютерного зрения#

В основе ИИ-агента с возможностями компьютерного зрения лежит модель компьютерного зрения, например Ultralytics YOLO11 или её преемник — Ultralytics YOLO26. Эти модели отличаются высокой эффективностью и точностью в реальном времени, поэтому отлично подходят для задач компьютерного зрения.

Вот основные этапы создания собственного ИИ-агента с использованием возможностей Ultralytics YOLO11:

• Подготовь набор данных: Собери и предварительно обработай размеченные изображения, относящиеся к задаче, которую будет выполнять твой ИИ-агент.
• Выполни дообучение модели: Обучи Ultralytics YOLO11 специально на своём наборе данных, чтобы повысить точность и производительность модели для конкретного приложения.
• Интегрируй модель с системой принятия решений: Подключи обученную модель к системе, которая позволит ИИ-агенту принимать решения на основе визуальных данных, например к Ultralytics Agents, преобразующей предсказания в автоматизированные действия.
• Протестируй и доработай: разверни ИИ-агента, проверь его производительность, собери отзывы и настрой модель, чтобы повысить точность и надёжность.

Главные выводы#

ИИ-агенты, объединённые с компьютерным зрением, — ИИ-агенты на основе компьютерного зрения — меняют целые отрасли, автоматизируя задачи, ускоряя процессы и улучшая принятие решений. От умных городов, управляющих дорожным движением, до систем безопасности с распознаванием лиц — эти агенты предлагают новые решения распространённых проблем.

Со временем они также могут продолжать обучаться и совершенствоваться, что делает их полезными в меняющихся условиях. Такие инструменты, как Ultralytics YOLO11, упрощают создание и использование этих ИИ-агентов, помогая разрабатывать более интеллектуальные и эффективные решения.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Изучи примеры применения компьютерного зрения в здравоохранении и ИИ в сельском хозяйстве на страницах наших решений. Ознакомься с доступными вариантами лицензирования, чтобы начать работу!