Компьютерное зрение определяет то, как агенты с ИИ в области зрения принимают решения

Каждая отрасль, от производства до розничной торговли, сталкивается со своими собственными операционными проблемами, и поиск инновационных способов решения этих задач всегда был ключом к успешному ведению бизнеса. В последнее время агенты AI стали популярным решением во многих областях. Эти системы выходят за рамки простого анализа данных. Они также могут предпринимать действия.

Например, AI agents in manufacturing могут обнаруживать дефекты в реальном времени и автоматически запускать меры контроля качества, чтобы производство работало бесперебойно. Аналогичным образом в сфере logistics и розничной торговли они могут контролировать несколько локаций с помощью интеллектуального видеонаблюдения и мгновенно предупреждать команды о необычной активности.

По мере роста этого тренда AI agents активно преобразуют отрасли по всему миру. global AI agents market достиг 5,1 млрд долларов в 2024 году, и прогнозируется, что к 2030 году он вырастет до 47,1 млрд долларов.

Fig 1. Обзор объема глобального рынка AI agents.

Одной из ключевых технологий, стимулирующих эти достижения, является computer vision. Позволяя машинам обрабатывать и интерпретировать визуальные данные, vision AI дает возможность AI agents выполнять такие задачи компьютерного зрения, как обнаружение объектов в реальном времени, сегментация экземпляров и отслеживание объектов с невероятной точностью. Она преодолевает разрыв между тем, что видят машины, и тем, как они принимают решения, что делает ее важнейшей частью многих решений на базе ИИ.

В этой статье мы изучим агентов AI и их связь с компьютерным зрением. Мы также обсудим различные типы агентов AI и то, как они используются в приложениях на основе зрения. Давай начнем!

Что такое агенты AI?#

Прежде чем погрузиться в тему агентов vision AI, давай уделим время пониманию агентов AI в целом, чтобы увидеть, насколько универсальными могут быть эти системы.

Агент AI — это интеллектуальная система, которая может понимать задачи или вопросы и реагировать на них без помощи человека. Многие агенты AI используют машинное обучение и обработку естественного языка (NLP) для выполнения широкого спектра задач: от ответов на простые вопросы до управления сложными процессами.

Некоторые агенты AI даже обладают способностью учиться и совершенствоваться с течением времени, в отличие от традиционных систем AI, которые полагаются на ввод данных человеком для каждого обновления. Именно поэтому агенты AI быстро становятся важной частью AI. Они могут автоматизировать задачи, принимать решения и взаимодействовать со своей средой без постоянного контроля. Они особенно полезны для управления повторяющимися и трудоемкими задачами.

Например, ты можешь встретить агентов AI в таких секторах, как обслуживание клиентов и гостиничный бизнес. В обслуживании клиентов агенты AI используются для обработки возвратов и предложения персонализированных рекомендаций по продуктам. В то же время в индустрии гостеприимства они могут помочь персоналу отеля управлять запросами гостей, оптимизировать обслуживание номеров и предлагать гостям близлежащие достопримечательности. Эти примеры демонстрируют, как агенты AI делают повседневные процессы быстрее и эффективнее.

Понимание того, как работают агенты vision AI#

Далее давай кратко рассмотрим, как работают агенты AI. Хотя каждый агент AI уникален и разработан для конкретных задач, все они разделяют три основных этапа: восприятие, принятие решений и действие.

Во-первых, на этапе восприятия агенты AI собирают информацию из различных источников, чтобы понять, что происходит. Затем следует принятие решений. На основе собранной информации они используют свои алгоритмы для анализа ситуации и выбора наилучшего плана действий. Наконец, происходит действие. Как только решение принято, они его выполняют — будь то ответ на вопрос, выполнение задачи или сообщение о проблеме для человека.

Это может звучать просто, но в зависимости от типа агента AI за кулисами часто происходит много процессов, обеспечивающих работу этих этапов. От анализа сложных данных до использования передовых моделей машинного обучения — каждый агент AI создан для выполнения конкретных задач своим уникальным способом.

Например, в то время как многие AI agents сосредоточены на обработке языка с помощью NLP, другие, известные как vision AI agents, интегрируют компьютерное зрение для работы с визуальными данными. Используя передовые модели компьютерного зрения, такие как Ultralytics YOLO11, vision AI agents могут выполнять более точный анализ изображений.

Fig 2. Пример подсчета яблок на изображении с использованием YOLO11.

Агенты vision AI в беспилотных автомобилях#

Давай возьмем в качестве примера беспилотные автомобили, чтобы увидеть, как агенты vision AI работают на трех основных этапах, описанных выше:

• Восприятие: Vision AI agents in self-driving автомобилей собирают визуальные данные с камер и датчиков, установленных на транспортном средстве. Эти данные включают в себя изображения и видео окружающей среды, такие как другие транспортные средства, пешеходы, сигналы светофора и дорожные знаки.
• Принятие решений: ИИ-агент обрабатывает эти визуальные данные с помощью таких моделей, как Ultralytics YOLO11. Он распознает такие объекты, как автомобили и пешеходы, обнаруживает препятствия или внезапные перестроения из полосы в полосу, а также распознает закономерности, такие как транспортный поток и состояния сигналов светофора. Это помогает автомобилю понимать дорожные условия в режиме реального времени.
• Действие: На основе проведенного анализа агент AI предпринимает действия, например, поворачивает руль, чтобы избежать препятствия, регулирует скорость или останавливается на красный свет. Эти решения принимаются быстро для обеспечения безопасного и эффективного вождения.

Беспилотные автомобили Waymo являются отличным примером этой технологии. Они используют агентов vision AI для понимания окружающей обстановки, принятия решений в реальном времени и безопасной и эффективной навигации по дорогам без участия человека.

Fig 3. Беспилотное такси компании Waymo на базе AI agent.

Типы агентов vision AI#

Теперь, когда мы увидели, как работают агенты AI и как они используют компьютерное зрение, давай рассмотрим различные типы агентов AI. Каждый тип предназначен для конкретных задач, от простых действий до более сложного принятия решений и обучения.

Агенты с простыми рефлексами#

Агенты с простыми рефлексами — это самый базовый тип агента AI. Они реагируют на определенные входные данные с помощью заранее определенных действий, основываясь исключительно на текущей ситуации, без учета какой-либо истории или будущих результатов. Такие агенты обычно используют простые правила «если-то» для управления своим поведением.

Что касается анализа изображений, агент с простыми рефлексами может быть запрограммирован на обнаружение определенного цвета (например, красного) и запуск немедленного действия (например, выделение или подсчет красных объектов). Хотя это может работать для простых задач, этот подход неэффективен в более сложных средах, поскольку агент не учится и не адаптируется на основе предыдущего опыта.

Агенты с рефлексами на основе моделей#

Агенты с рефлексами на основе моделей более продвинуты, чем агенты с простыми рефлексами, потому что они используют внутреннюю модель своей среды, чтобы лучше понимать ситуацию. Эта модель позволяет им справляться с отсутствующей или неполной информацией и принимать более обоснованные решения.

Возьмем, к примеру, AI security camera systems. Интегрированные в них vision AI agents могут использовать компьютерное зрение для анализа происходящего в реальном времени. Они могут сравнивать движения и действия с моделью нормального поведения, помогая точнее замечать необычную активность вроде магазинных краж и указывать на потенциальные угрозы безопасности.

Fig 4. Пример использования компьютерного зрения для обнаружения краж.

Агенты, основанные на полезности#

Подумай о utility-based drone, используемом для мониторинга посевов. Он корректирует траекторию полета, чтобы охватить большую площадь, избегая препятствий, и выбирает лучший маршрут для работы. Это означает, что дрон оценивает несколько возможных действий (например, какую зону сделать приоритетной или как эффективно проложить маршрут) и выбирает то, которое максимизирует его эффективность.

Аналогичным образом, агенты, основанные на полезности, предназначены для выбора наилучшего действия из нескольких вариантов для достижения наибольшей выгоды или результата. Агенты vision AI, разработанные для этого, могут обрабатывать и анализировать различные визуальные данные, такие как изображения или данные датчиков, и выбирать наиболее полезный результат на основе заранее определенных критериев.

Fig 5. Дроны на основе полезности могут использоваться для мониторинга урожая.

Целеориентированные агенты#

Целеориентированные агенты похожи на агентов, основанных на полезности, поскольку оба стремятся к достижению конкретных целей. Однако целеориентированные агенты фокусируются исключительно на действиях, которые приближают их к поставленной цели. Они оценивают каждое действие на основе того, как оно помогает достичь цели, не взвешивая другие факторы, такие как общая ценность или компромиссы.

Например, беспилотный автомобиль работает как целевой агент, когда его задача — добраться до пункта назначения. Он обрабатывает данные с AI cameras и датчиков для принятия решений, таких как объезд препятствий, соблюдение сигналов светофора и выбор правильных поворотов для движения по курсу. Эти решения руководствуются исключительно тем, насколько хорошо они соответствуют цели безопасного и эффективного достижения пункта назначения. В отличие от агентов на основе полезности, агенты на основе целей фокусируются только на достижении цели без учета дополнительных критериев, таких как эффективность или оптимизация.

Fig 6. Самоуправляемый автомобиль, использующий компьютерное зрение для распознавания объектов вокруг.

Обучающиеся агенты#

Если ты знаком с компьютерным зрением, то, возможно, слышал о fine-tuning — процессе, в ходе которого модели улучшаются, обучаясь на новых данных. Обучающиеся агенты работают аналогичным образом, адаптируясь и совершенствуясь со временем по мере накопления опыта. В таких приложениях, как vision-based quality control, эти агенты с каждой проверкой все лучше обнаруживают дефекты. Эта способность уточнять свою производительность особенно важна в таких областях, как авиация, где безопасность и точность имеют решающее значение.

Иерархические агенты#

Иерархические агенты упрощают сложные задачи, разбивая их на более мелкие, более управляемые этапы. Агент более высокого уровня контролирует общий процесс, принимая стратегические решения, в то время как агенты более низкого уровня выполняют конкретные задачи. Это более эффективно при выполнении операций, которые включают в себя множество шагов и детальное исполнение.

Например, на автоматизированном складе робот более высокого уровня может планировать процесс сортировки, решая, какие предметы должны поступать в какие зоны. В то же время роботы более низкого уровня фокусируются на идентификации предметов с помощью компьютерного зрения, анализируя такие характеристики, как размер, форма или этикетки, и раскладывая их по нужным ячейкам. Четкое разделение обязанностей помогает системе работать бесперебойно.

Fig 7. Пример робота-агента ИИ, сортирующего посылки.

Как начать создание агента vision AI#

Ядром AI agent с возможностями зрения является модель компьютерного зрения. Одной из новейших и самых надежных моделей компьютерного зрения, доступных сегодня, является Ultralytics YOLO11. YOLO11 известна своей эффективностью в реальном времени и точностью, что делает ее идеальной для computer vision tasks.

Вот различные процессы, задействованные в создании твоего собственного ИИ-агента с возможностями Ultralytics YOLO11:

• Подготовь dataset: собери и предварительно обработай размеченные изображения, относящиеся к задаче, которую будет выполнять твой AI agent.

• Custom-train модель: Обучи Ultralytics YOLO11 конкретно на своем наборе данных, чтобы повысить ее точность и производительность для твоей уникальной задачи.

• Интегрируй с платформой принятия решений: Подключи обученную модель к системе, которая позволяет агенту AI принимать решения на основе визуальных входных данных.

• Тестируй и совершенствуй: Разверни агента AI, протестируй его производительность, собери отзывы и настрой модель для повышения точности и надежности.

Основные выводы#

Агенты AI, интегрированные с компьютерным зрением — агенты vision AI — меняют отрасли, автоматизируя задачи, ускоряя процессы и улучшая принятие решений. От умных городов, управляющих дорожным движением, до систем безопасности, использующих распознавание лиц, эти агенты предлагают новые решения распространенных проблем.

Они также могут продолжать обучение и совершенствоваться со временем, что делает их полезными в меняющихся условиях. С такими инструментами, как Ultralytics YOLO11, создавать и использовать этих ИИ-агентов проще, что приводит к созданию более умных и эффективных решений.

Присоединяйся к нашему community и загляни в наш GitHub repository, чтобы узнать больше об ИИ. Изучай различные приложения computer vision in healthcare и AI in agriculture на страницах наших решений. Ознакомься с доступными licensing options, чтобы начать работу!