Agent Evaluation

에이전트 평가는 하나 이상의 상호작용 전반에 걸쳐 AI 에이전트가 목표를 안전하고 정확하며 효율적으로 완료하는 능력을 체계적으로 테스트하는 과정입니다. 일반적인 모델 평가와 달리, 에이전트 평가는 기반 모델, 지침, 메모리, 도구, 제어 로직, 환경을 포함한 전체 시스템을 검사합니다. 따라서 유용한 평가는 AI 에이전트가 최종적으로 말하거나 변경하는 내용뿐만 아니라, 그 과정에서 취하는 행동까지 확인합니다.

에이전트 평가 작동 방식#

평가는 지원 요청 해결, 제품 이미지 검사 또는 데이터베이스 레코드 업데이트와 같은 작업으로 시작됩니다. 에이전트는 제어된 테스트 환경에서 작업을 시도하며, 메시지, 중간 출력, 도구 호출, 인자, 오류 및 상태 변경의 기록인 트레이스 또는 트래젝토리를 생성합니다.

그 후 평가기(grader)는 시도된 결과를 정의된 성공 기준과 비교합니다. 앤트로픽의 AI 에이전트 평가 가이드에서 설명하듯, 평가기는 결정론적 프로그램, 모델 기반 판정기 또는 인간 검토자일 수 있습니다. 결정론적 검사는 레코드 생성 여부와 같이 검증 가능한 결과에 효과적입니다. 모델 기반 평가기는 관련성이나 어조 같은 특성을 평가할 수 있지만, 인간의 판단에 맞춰 보정되어야 합니다.

평가 스위트(suite)는 일반적으로 여러 대표적인 작업을 포함하며, 에이전트의 동작이 실행마다 다를 수 있으므로 각 작업을 여러 번 반복할 수 있습니다. 주변 에이전트 하네스도 포함되어야 합니다. 도구 설명, 메모리 규칙 또는 재시도 로직을 변경하면 기반 모델이 유지되더라도 성능이 달라질 수 있습니다.

에이전트 평가가 측정하는 항목#

신뢰할 수 있는 스위트는 성능을 단일 점수로 압축하는 대신 여러 차원을 결합합니다:

• 작업 성공 여부: 환경이 필요한 최종 상태에 도달했습니까?
• 도구 사용 품질: 에이전트가 올바른 도구를 선택하고, 유효한 인자를 제공하며, 결과를 정확하게 해석했습니까? 구글의 에이전트 평가 지표에는 최종 응답, 도구 사용, 트래젝토리, 환각 및 안전성에 대한 별도의 측정이 포함되어 있습니다.
• 트래젝토리 품질: 행동이 관련성이 있었고, 올바른 순서로 정렬되었으며, 합리적으로 효율적이었습니까? 안전하지 않거나 낭비적인 단계를 통해 도달한 정답은 여전히 실패를 의미할 수 있습니다.
• 신뢰성: 반복된 시도, 의도가 변형된 요청, 어려운 사례 및 도구 장애 전반에서 에이전트가 얼마나 자주 성공합니까?
• 안전성 및 정책 준수: 권한을 존중하고, 민감한 데이터를 보호하며, 중요한 행동 전에 승인을 요청합니까? OWASP 에이전트형 AI 위협 가이드는 팀이 과도한 에이전시 및 안전하지 않은 도구 상호작용과 같은 위험을 식별하는 데 도움을 줍니다.
• 운영 성능: 프로덕션 환경에서는 지연 시간, 토큰 사용량, 도구 호출 횟수, 오류율 및 완료된 작업당 비용이 중요합니다.

검토된 작업, 예상 결과 및 엣지 케이스로 구성된 골든 데이터셋은 안정적인 기준을 제공합니다. 그러나 적대적 사례와 프로덕션에서 파생된 실패 사례로 보완되어야 합니다. NIST AI 리소스 센터는 테스트, 평가, 검증, 확인 및 지속적인 측정을 더 넓은 AI 위험 관리의 테두리 안에 두고 있습니다.

에이전트 평가와 관련 개념 비교#

에이전트 평가는 고정된 데이터셋에서 모델의 출력을 주로 테스트하는 모델 평가보다 더 광범위합니다. 또한 가시성(Observability)과도 다릅니다. 가시성은 라이브 시스템에서 발생한 일을 기록하는 반면, 평가는 해당 동작이 수용 가능한지 판단하기 위해 기준을 적용합니다.

마찬가지로 AI 레드 티밍은 악용 가능한 실패를 능동적으로 탐색하는 반면, 정기 평가는 알려진 기능과 회귀(regression)를 반복적으로 측정합니다. 에이전트형 워크플로는 작업 수행 방식을 정의하며, 평가는 해당 워크플로가 신뢰할 수 있는 결과를 생성하는지 테스트합니다.

컴포넌트 테스트는 여전히 유용합니다. 예를 들어 에이전트가 함수 호출 및 도구 사용을 통해 비전을 사용하는 경우, 개발자는 전체 의사결정 루프를 평가하기 전에 비전 모델을 별도로 검증해야 합니다.

from ultralytics import YOLO

# Load the agent's visual perception model
model = YOLO("yolo26n.pt")

# Evaluate it against labeled reference data
metrics = model.val(data="coco8.yaml", split="val")

# Report a useful component-level detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

이 문서화된 Ultralytics YOLO validation workflow는 인지 컴포넌트를 측정합니다. 에이전트가 올바른 이미지를 선택했는지, 감지 결과를 정확하게 해석했는지, 적절한 조치를 취했는지는 확립하지 않습니다.

실제 애플리케이션 사례#

• 제조업 시각 검사: 에이전트가 제품 이미지를 캡처하고, 탐지기를 호출하며, 품질 규칙을 확인하고, 불확실한 항목을 인간 검토용으로 라우팅합니다. 평가는 결함 감지 정확도, 올바른 도구 인자, 에스컬레이션 동작, 그리고 거부된 제품이 실제로 검사 대기열에 진입하는지 확인할 수 있습니다.

• 고객 서비스 음성 에이전트: 음성 에이전트는 발신자를 인증하고, 계정 정보를 검색하며, 여러 턴에 걸쳐 요청을 처리할 수 있습니다. 테스트는 억양, 중단, 모호한 지침 및 도구 중단을 다양하게 변주하는 동시에 작업 완료, 대화 품질, 무단 작업 및 지연 시간을 측정해야 합니다. 구글의 에이전트 평가 워크플로는 최종 응답만이 아니라 전체 트레이스를 평가하는 것을 설명합니다.

실용적인 평가 프로세스 구축#

소수의 일반적인 작업, 중요한 엣지 케이스, 이전에 관찰된 실패 사례로 시작하십시오. 에이전트를 실행하기 전에 관찰 가능한 통과 조건을 정의한 다음, 결정론적 검사를 루브릭 기반 및 주기적 인간 검토와 결합하십시오. 프롬프트, 모델, 도구 또는 Agent Skills가 변경될 때마다 스위트를 다시 실행하십시오.

배포 후에는 오프라인 테스트를 샘플링된 트레이스 검토 및 모델 모니터링과 연결하십시오. 비전 지원 에이전트의 경우, Ultralytics Platform은 에이전트가 호출하는 인지 서비스의 데이터셋 주석, 모델 학습, 배포 및 모니터링을 지원합니다. 효과적인 평가는 지속적입니다. 프로덕션 실패는 새로운 테스트 케이스가 되며, 모든 시스템 변경은 기존 동작을 깨뜨리지 않고 개선되었음을 입증해야 합니다.