Ultralytics YOLO27: Вступи в список ожидания.
Лицензия YOLO
Назад к глоссарию Ultralytics

AI Agent

ИИ-агент достигает цели, наблюдая за средой, выбирая действие и выполняя его с помощью инструментов в цикле, пока задача не будет завершена. Как работают агенты.

ИИ-агент — это система, которая достигает цели, многократно наблюдая за окружением, выбирая следующий шаг и выполняя его, а затем используя результат для принятия дальнейших решений. В классическом учебнике «Искусственный интеллект: современный подход» агентом называется всё, что воспринимает окружение с помощью сенсоров и воздействует на него с помощью исполнительных механизмов. Это определение охватывает термостаты, игровые программы и роботов. Начиная с 2023 года этим термином чаще всего называют агентов на основе больших языковых моделей (LLM): модель получает цель, вызывает инструменты — например веб-поиск, выполнение кода или бизнес-API, — изучает результаты их работы и продолжает, пока не решит, что задача выполнена. Помощники для программирования, которые редактируют и тестируют целый репозиторий, исследовательские помощники, которые ищут и цитируют десятки источников, и агенты для работы с компьютером, управляющие рабочим столом с помощью снимков экрана и щелчков мыши, работают именно так.

Как работает ИИ-агент#

Агент на основе LLM работает в цикле. Модель получает цель, историю диалога и список доступных инструментов, после чего выдаёт либо окончательный ответ, либо вызов инструмента. Окружающая программа, называемая обвязкой агента, проверяет, разрешено ли действие, выполняет его и добавляет результат в контекст модели как новое наблюдение. Затем модель выбирает следующий шаг с учётом этих данных. Подсказки ReAct задали шаблон, в котором письменные рассуждения чередуются с действиями. Современные модели рассуждения обучаются с помощью обучения с подкреплением, чтобы выполнять длинные цепочки вызовов инструментов.

Большинство агентов объединяют одни и те же четыре компонента. Модель — универсальная LLM или визуально-языковая модель — выбирает следующий шаг. Инструменты — это функции, описанные именем, назначением и схемой JSON для аргументов; протокол контекста модели (MCP) позволяет агенту подключаться к инструментам, опубликованным другими командами. Память включает контекстное окно, в котором хранится текущая задача, а также файлы, базы данных или векторные базы данных, где агент ищет более старые данные. Навыки агента упаковывают повторно используемые инструкции, которые загружаются только тогда, когда нужны для задачи. Планирование разбивает цель на шаги, отслеживает их выполнение и пересматривает план, если шаг не удаётся.

ИИ-агенты, модели и рабочие процессы#

В широко используемом руководстве Anthropic по созданию эффективных агентов термин «агент» оставлен для систем, в которых LLM самостоятельно управляет процессом и использованием инструментов.

  • Модель ИИ: модель преобразует один вход в один выход, например изображение — в список обнаруженных объектов. Агент вызывает модели, часто многократно, и решает, что делать с результатами их работы.
  • Агентные рабочие процессы: вызовы LLM и инструментов следуют заранее заданному разработчиком сценарию, например «извлечь, затем классифицировать, затем обобщить». В агенте модель сама определяет, сколько шагов займёт задача и какие инструменты использовать на каждом шаге.
  • Чат-боты: чат-бот по очереди отвечает на каждое сообщение. Агент выполняет действия между сообщениями и может работать без участия человека несколько минут или часов.
  • Многоагентные системы: несколько агентов с разными ролями и контекстами совместно выполняют одну задачу. Уровень оркестрации распределяет работу и объединяет результаты.

Типы ИИ-агентов#

В учебной классификации Рассела и Норвига агенты располагаются по степени, с которой они рассуждают об окружающем мире:

  • Простые рефлексные агенты: реагируют на текущий вход по фиксированным правилам «условие — действие», как термостат или светильник с датчиком движения.
  • Рефлексные агенты на основе модели: поддерживают внутреннее состояние, которое описывает части мира, недоступные для текущего наблюдения, например какие люди уже были замечены.
  • Целевые агенты: ищут или планируют последовательности действий для достижения заданной цели, например прокладывают маршрут.
  • Агенты на основе полезности: выбирают между результатами по оценке полезности, учитывая компромисс между скоростью, стоимостью и риском.
  • Обучающиеся агенты: улучшают поведение на основе опыта, обычно с помощью вознаграждений.

Агенты на основе LLM — это целевые агенты, которые планируют в текстовой форме; агенты, обученные с подкреплением для использования инструментов, также относятся к обучающимся агентам.

Создание простого агента компьютерного зрения#

Агент на основе камеры воспринимает мир с помощью модели обнаружения объектов и действует с помощью кода. В этом рефлексном агенте на основе модели Ultralytics YOLO26 отслеживание присваивает каждому человеку постоянный идентификатор между видеокадрами. Агент сохраняет идентификаторы тех, на кого уже отреагировал, поэтому каждый человек вызывает одно оповещение, а не по одному на каждом кадре:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
alerted = set()  # The agent's memory of people it has already acted on

for frame, result in enumerate(model.track(video, stream=True, classes=[0])):
    # Perceive: IDs of the people tracked in this frame
    ids = set(result.boxes.id.int().tolist()) if result.boxes.is_track else set()

    # Decide and act: alert once for each person not seen before
    for track_id in sorted(ids - alerted):
        print(f"Frame {frame}: person {track_id} entered, alert sent")
    alerted |= ids

В выводимом журнале для каждого нового человека появляется одна строка. Это показывает, какую роль играет состояние: одна модель сообщала бы о каждом человеке снова на каждом кадре.

Примеры применения в реальных условиях#

  • Агентное программирование: агенты для программирования изучают репозиторий, редактируют файлы, запускают тесты и исправляют ошибки, пока изменение не пройдёт проверку.
  • Исследования и анализ: Исследовательские агенты выполняют множество поисковых запросов, изучают источники и составляют отчет со ссылками на источники, часто распределяя вопрос между несколькими субагентами.
  • Производство: Агент визуального контроля объединяет детектор дефектов с системами предприятия: останавливает конвейер, регистрирует дефект и создает заявку на обслуживание, когда дефекты возникают группами.
  • Физический ИИ: Складские и бытовые роботы воспринимают окружающий мир с помощью камер, планируют захват предмета или маршрут и выполняют действия с помощью моторов, замыкая контур управления много раз в секунду.

Надежность и безопасность#

Ошибки накапливаются при выполнении длинных задач: один неверный шаг может сорвать все последующие. Поэтому команды оценивают работу агентов от начала до конца с помощью бенчмарков оценки агентов и трассировок реальных запусков. Агенты, читающие веб-страницы, электронные письма или файлы, могут столкнуться с промпт-инъекцией — инструкциями, внедренными в контент, чтобы перенаправить агента. Поэтому среды выполнения ограничивают разрешения каждого инструмента, запускают код в песочницах и запрашивают подтверждение человека перед необратимыми действиями, такими как платежи или удаление данных. Возможности быстро растут: METR обнаружила, что продолжительность программных задач, которые передовые агенты могли выполнять с надежностью 50%, удваивалась примерно каждые семь месяцев с 2019 года до начала 2025 года.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения