Agent Evaluation

Оценка ИИ-агента — это систематическое тестирование способности ИИ-агента безопасно, правильно и эффективно достигать целей в ходе одного или нескольких взаимодействий. В отличие от обычной оценки модели, она охватывает всю систему: базовую модель, инструкции, память, инструменты, логику управления и среду. Поэтому полезная оценка проверяет не только то, что ИИ-агент в итоге сообщает или изменяет, но и действия, которые он выполняет на пути к результату.

Как работает оценка ИИ-агентов#

Оценка начинается с задачи, например обработки обращения в службу поддержки, проверки изображения продукта или обновления записи в базе данных. Агент выполняет задачу в контролируемой тестовой среде, создавая трассу или траекторию — запись сообщений, промежуточных результатов, вызовов инструментов, аргументов, ошибок и изменений состояния.

Затем оценщик сравнивает результат попытки с заданными критериями успеха. Существует три распространённых типа оценщиков: детерминированные программы, оценки на основе моделей и проверки людьми. Детерминированные проверки хорошо подходят для проверяемых результатов, например для подтверждения создания записи. Оценщики на основе моделей могут оценивать такие качества, как релевантность или тон, но их следует калибровать по человеческим оценкам.

Набор оценочных тестов обычно включает множество репрезентативных задач, и каждую задачу могут выполнять несколько раз, поскольку поведение агента может меняться от запуска к запуску. В него также нужно включить окружающую среду агента: изменение описаний инструментов, правил работы с памятью или логики повторных попыток может повлиять на результаты, даже если базовая модель остаётся неизменной.

Что оценивают при проверке ИИ-агентов#

Надёжный набор тестов сочетает несколько измерений, а не сводит результаты к одной оценке:

• Успех выполнения задачи: Достигнуто ли требуемое конечное состояние среды?
• Качество использования инструментов: правильно ли агент выбрал инструмент, указал допустимые аргументы и верно интерпретировал результат? В метриках оценки агентов Google отдельно оцениваются итоговые ответы, использование инструментов, траектории, галлюцинации и безопасность.
• Качество траектории: Были ли действия уместными, правильно упорядоченными и достаточно эффективными? Правильный ответ, полученный небезопасным или расточительным путём, всё равно может считаться провалом.
• Надёжность: Как часто агент справляется с задачей в повторных испытаниях, при перефразированных запросах, в сложных случаях и при сбоях инструментов?
• Безопасность и соблюдение политик: Соблюдает ли агент ограничения разрешений, защищает ли конфиденциальные данные и запрашивает ли подтверждение перед действиями с серьёзными последствиями? Рекомендации OWASP по угрозам агентного ИИ помогают выявлять такие риски, как чрезмерная автономность и небезопасное взаимодействие с инструментами.
• Эксплуатационные показатели: В рабочей среде важны задержка, расход токенов, количество вызовов инструментов, частота ошибок и стоимость выполнения задачи.

Эталонный набор данных из проверенных задач, ожидаемых результатов и пограничных случаев служит стабильной основой для сравнения. Однако его следует дополнять состязательными примерами и сбоями, выявленными в рабочей среде. Ресурсный центр ИИ NIST рассматривает тестирование, оценку, верификацию, валидацию и постоянные измерения в контексте более широкого управления рисками ИИ.

Оценка ИИ-агентов и связанные понятия#

Оценка ИИ-агентов шире, чем оценка модели, которая обычно проверяет результаты модели на фиксированном наборе данных. Она также отличается от наблюдаемости: наблюдаемость фиксирует события в работающей системе, а оценка применяет критерии, чтобы определить, было ли поведение приемлемым.

Аналогично, редтиминг ИИ активно ищет уязвимости, которыми можно воспользоваться, тогда как стандартная оценка многократно измеряет известные возможности и регрессии. Агентные рабочие процессы определяют, как выполняются задачи; оценка проверяет, дают ли эти процессы надёжные результаты.

Тестирование компонентов по-прежнему важно. Например, если агент использует компьютерное зрение через вызов функций и использование инструментов, разработчикам следует отдельно проверить модель компьютерного зрения, прежде чем оценивать полный цикл принятия решений.

from ultralytics import YOLO

# Load the agent's visual perception model
model = YOLO("yolo26n.pt")

# Evaluate it against labeled reference data
metrics = model.val(data="coco8.yaml", split="val")

# Report a useful component-level detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Этот документированный процесс валидации Ultralytics YOLO измеряет компонент восприятия. Он не показывает, правильно ли агент выбрал изображение, верно ли интерпретировал обнаруженные объекты и предпринял ли подходящее действие.

Примеры применения в реальных условиях#

• Визуальный контроль производства: Агент делает снимок продукта, вызывает детектор, проверяет правила качества и направляет неуверенные результаты на проверку человеком. Оценка может проверять точность обнаружения дефектов, корректность аргументов инструментов, действия при эскалации и то, попадают ли отклонённые продукты в очередь на проверку.

• Голосовые агенты службы поддержки: Голосовой агент может аутентифицировать звонящего, получить сведения об учётной записи и обработать запрос в ходе нескольких диалоговых ходов. Тесты должны варьировать акценты, перебивания, неоднозначные инструкции и сбои инструментов, одновременно измеряя выполнение задачи, качество диалога, несанкционированные действия и задержку. В процессе оценки агентов Google описана оценка полных трасс, а не только итоговых ответов.

Как выстроить практический процесс оценки#

Начни с небольшого набора обычных задач, важных пограничных случаев и ранее выявленных сбоев. До запуска агента определи наблюдаемые условия прохождения, а затем сочетай детерминированные проверки, оценку по критериям и периодическую проверку человеком. Запускай набор тестов заново при каждом изменении промптов, моделей, инструментов или навыков агентов.

После развёртывания объедини офлайн-тесты с выборочной проверкой трасс и мониторингом моделей. Для агентов с компьютерным зрением Ultralytics Platform поддерживает разметку наборов данных, обучение моделей, развёртывание и мониторинг служб восприятия, которые вызывают агенты. Эффективная оценка — непрерывный процесс: сбои в рабочей среде становятся новыми тестовыми случаями, а каждое изменение системы должно подтверждать улучшение, не нарушая уже установленное поведение.