Agent Evaluation

Đánh giá agent là quá trình kiểm thử có hệ thống khả năng hoàn thành mục tiêu một cách an toàn, chính xác và hiệu quả của một AI agent qua một hoặc nhiều lượt tương tác. Khác với đánh giá model thông thường, quá trình này kiểm tra toàn bộ hệ thống: model nền tảng, hướng dẫn, bộ nhớ, công cụ, logic điều khiển và môi trường. Do đó, một hệ thống đánh giá hữu ích không chỉ kiểm tra những gì một AI agent cuối cùng nói hoặc thay đổi, mà còn cả các hành động nó thực hiện trong suốt quá trình.

Cách Hoạt Động của Đánh Giá Agent#

Một quá trình đánh giá bắt đầu với một tác vụ, chẳng hạn như giải quyết yêu cầu hỗ trợ, kiểm tra hình ảnh sản phẩm hoặc cập nhật bản ghi cơ sở dữ liệu. Agent cố gắng thực hiện tác vụ bên trong một môi trường kiểm thử được kiểm soát, tạo ra một trace hoặc trajectory: bản ghi các thông điệp, đầu ra trung gian, lệnh gọi công cụ, tham số, lỗi và các thay đổi trạng thái.

Sau đó, bộ chấm điểm sẽ so sánh lượt thực hiện với các tiêu chí thành công đã xác định. Như được giải thích trong hướng dẫn đánh giá cho AI agent của Anthropic, bộ chấm điểm có thể là các chương trình tất định, trọng tài dựa trên model hoặc người đánh giá con người. Các bước kiểm tra tất định hoạt động tốt đối với các kết quả có thể xác minh, chẳng hạn như việc một bản ghi có được tạo hay không. Bộ chấm điểm dựa trên model có thể đánh giá các khía cạnh như mức độ liên quan hoặc giọng điệu, nhưng cần được hiệu chuẩn dựa trên đánh giá của con người.

Một bộ đánh giá thường chứa nhiều tác vụ đại diện và có thể lặp lại mỗi tác vụ vài lần vì hành vi của agent có thể thay đổi giữa các lần chạy. Agent harness xung quanh cũng phải được bao gồm: việc thay đổi mô tả công cụ, quy tắc bộ nhớ hoặc logic thử lại có thể làm thay đổi hiệu suất ngay cả khi model nền tảng giữ nguyên không đổi.

Đánh Giá Agent Đo Lường Những Gì#

Một bộ đánh giá đáng tin cậy kết hợp nhiều chiều thay vì nén hiệu suất thành một điểm số duy nhất:

• Độ thành công của tác vụ: Môi trường đã đạt được trạng thái cuối cùng được yêu cầu chưa?
• Chất lượng sử dụng công cụ: Agent có chọn đúng công cụ, cung cấp tham số hợp lệ và diễn giải kết quả chính xác không? Các chỉ số đánh giá agent của Google bao gồm các thước đo riêng biệt cho phản hồi cuối cùng, việc sử dụng công cụ, trajectory, hiện tượng ảo giác (hallucination) và tính an toàn.
• Chất lượng trajectory: Các hành động có liên quan, được sắp xếp đúng thứ tự và có hiệu quả hợp lý không? Một câu trả lời đúng đạt được thông qua các bước không an toàn hoặc lãng phí vẫn có thể được coi là thất bại.
• Độ tin cậy: Agent thành công bao nhiêu lần qua các lượt thử nghiệm lặp lại, các yêu cầu được diễn đạt lại, các trường hợp khó và sự cố công cụ?
• Tính an toàn và tuân thủ chính sách: Agent có tôn trọng quyền hạn, bảo vệ dữ liệu nhạy cảm và yêu cầu phê duyệt trước các hành động quan trọng không? Tài liệu hướng dẫn mối e dọa agentic AI của OWASP giúp các nhóm xác định các rủi ro như tính tự chủ quá mức và tương tác công cụ không an toàn.
• Hiệu suất vận hành: Độ trễ, lượng token sử dụng, số lần gọi công cụ, tỷ lệ lỗi và chi phí cho mỗi tác vụ hoàn thành là những yếu tố quan trọng trong môi trường production.

Một golden dataset gồm các tác vụ đã xem xét, kết quả mong đợi và các trường hợp biên cung cấp một tài liệu tham khảo ổn định. Tuy nhiên, nó nên được bổ sung thêm các trường hợp đối kháng và lỗi phát sinh từ production. Trung tâm Tài nguyên AI của NIST đặt các hoạt động kiểm thử, đánh giá, xác minh, thẩm định và đo lường liên tục vào phạm vi quản lý rủi ro AI rộng lớn hơn.

Đánh Giá Agent so với Các Khái Niệm Liên Quan#

Đánh giá agent rộng hơn đánh giá model, vốn thường kiểm tra đầu ra của model trên một dataset cố định. Quá trình này cũng khác với observability: observability ghi lại những gì đã xảy ra trong một hệ thống đang chạy trực tiếp, trong khi đánh giá áp dụng các tiêu chí để xác định xem hành vi đó có thể chấp nhận được hay không.

Tương tự như vậy, AI red teaming chủ động tìm kiếm các lỗi có thể khai thác, trong khi đánh giá định kỳ đo lường các khả năng đã biết và sự suy giảm hiệu suất lặp đi lặp lại. Agentic workflows xác định cách các tác vụ được thực hiện; đánh giá kiểm tra xem các workflow đó có tạo ra kết quả đáng tin cậy hay không.

Các bài kiểm tra thành phần vẫn có giá trị. Ví dụ: nếu một agent sử dụng thị giác thông qua gọi hàm và sử dụng công cụ, các lập trình viên nên xác thực riêng model thị giác trước khi đánh giá toàn bộ vòng lặp ra quyết định.

from ultralytics import YOLO

# Load the agent's visual perception model
model = YOLO("yolo26n.pt")

# Evaluate it against labeled reference data
metrics = model.val(data="coco8.yaml", split="val")

# Report a useful component-level detection metric
print(f"mAP50-95: {metrics.box.map:.3f}")

Workflow xác thực Ultralytics YOLO được ghi chép này đo lường thành phần nhận diện. Nó không xác định liệu agent có chọn đúng hình ảnh, diễn giải các phát hiện một cách chính xác hay thực hiện hành động thích hợp hay không.

Các ứng dụng trong thực tế#

• Kiểm tra thị giác trong sản xuất: Một agent chụp ảnh sản phẩm, kích hoạt một bộ dò tìm, kiểm tra các quy tắc chất lượng và chuyển các mặt hàng không chắc chắn để con người xem xét. Quá trình đánh giá có thể xác minh độ chính xác trong việc phát hiện lỗi, tham số công cụ chính xác, hành vi chuyển giao cấp cao hơn và việc các sản phẩm bị loại bỏ có thực sự được đưa vào hàng đợi kiểm tra hay không.

• Agent giọng nói dịch vụ khách hàng: Một voice agent có thể xác thực người gọi, truy xuất thông tin tài khoản và xử lý yêu cầu qua nhiều lượt tương tác. Các bài kiểm thử nên thay đổi giọng điệu, sự gián đoạn, hướng dẫn mơ hồ và sự cố công cụ trong khi đo lường mức độ hoàn thành tác vụ, chất lượng hội thoại, hành động trái phép và độ trễ. Workflow đánh giá agent của Google mô tả việc đánh giá toàn bộ trace thay vì chỉ các phản hồi cuối cùng.

Xây Dựng Quy Trình Đánh Giá Thực Tế#

Bắt đầu với một tập hợp nhỏ các tác vụ thông thường, các trường hợp biên quan trọng và các lỗi đã quan sát trước đó. Xác định các điều kiện đạt có thể quan sát được trước khi chạy agent, sau đó kết hợp kiểm tra tất định với việc đánh giá dựa trên rubric và đánh giá định kỳ của con người. Chạy lại bộ đánh giá bất cứ khi nào prompt, model, công cụ hoặc Agent Skills thay đổi.

Sau khi triển khai, hãy kết nối các bài kiểm thử ngoại tuyến với việc xem xét trace được lấy mẫu và model monitoring. Đối với các agent hỗ trợ thị giác, Ultralytics Platform hỗ trợ gắn nhãn dataset, huấn luyện model, triển khai và giám sát các dịch vụ nhận diện mà các agent gọi đến. Đánh giá hiệu quả là một quá trình liên tục: các lỗi phát sinh trong production trở thành các trường hợp kiểm thử mới, và mọi thay đổi hệ thống phải chứng minh được sự cải thiện mà không làm phá vỡ hành vi đã được thiết lập.