Đo lường hiệu suất AI để đánh giá tác động của các đổi mới

Trước đây, chúng ta đã tìm hiểu cách AI có thể được ứng dụng trong nhiều ngành như chăm sóc sức khỏe, sản xuất và du lịch. Chúng ta cũng đã xem xét cách AI có thể cải thiện các công việc thường ngày và thảo luận về các ý tưởng kinh doanh AI hàng đầu. Tất cả những thảo luận này đều dẫn đến cùng một câu hỏi then chốt: làm thế nào để đo lường thành công của các ứng dụng AI như vậy? Đây là câu hỏi quan trọng vì chỉ triển khai giải pháp AI là chưa đủ. Điều khiến những giải pháp này thực sự có giá trị là đảm bảo chúng mang lại kết quả.

Chúng ta có thể đo lường các chỉ số hiệu suất AI để xác định liệu model AI có thực sự giúp quy trình hiệu quả hơn, thúc đẩy đổi mới hay giải quyết vấn đề hay không. Bằng cách tập trung vào các chỉ số hiệu suất chính (KPIs) phù hợp, chúng ta có thể hiểu giải pháp AI hoạt động tốt đến đâu và cần cải thiện ở những điểm nào.

Trong bài viết này, chúng ta sẽ tìm hiểu cách đo lường thành công của các ứng dụng AI bằng những KPIs phù hợp nhất. Chúng ta sẽ phân tích sự khác biệt giữa KPI kinh doanh và KPI hiệu suất AI, xem xét các chỉ số chính như độ chính xác và độ thu hồi, đồng thời giúp bạn chọn KPIs phù hợp nhất cho từng giải pháp AI cụ thể.

Sự khác biệt giữa KPI kinh doanh AI và KPI hiệu suất AI#

Hình 1. So sánh KPI kinh doanh AI và KPI hiệu năng AI.

Khi nhắc đến KPI, bạn thường nghĩ đến các chỉ số kinh doanh như lợi tức đầu tư (ROI), khoản tiết kiệm chi phí hoặc doanh thu tạo ra, đặc biệt khi nói về AI doanh nghiệp. Các KPI kinh doanh về AI này đo lường tác động của AI đến thành công chung của công ty và gắn với các mục tiêu kinh doanh rộng hơn.

Tuy nhiên, KPI hiệu năng AI tập trung vào mức độ hoạt động của chính hệ thống AI, thông qua các chỉ số như độ chính xác, precision và recall. Chúng ta sẽ tìm hiểu chi tiết các chỉ số này bên dưới; về cơ bản, trong khi KPI kinh doanh thể hiện lợi ích tài chính và chiến lược của AI, KPI hiệu năng đảm bảo model AI thực hiện công việc hiệu quả.

Một số chỉ số thực tế có thể phục vụ cả hai mục đích. Ví dụ, mức tăng hiệu quả như giảm thời gian hoặc tài nguyên cần thiết để hoàn thành một tác vụ vừa có thể là KPI hiệu năng (cho thấy giải pháp AI hoạt động tốt ra sao), vừa là KPI kinh doanh (đo lường khoản tiết kiệm chi phí và cải thiện năng suất). Mức độ hài lòng của khách hàng cũng là một chỉ số giao thoa. Chỉ số này có thể phản ánh thành công của công cụ dịch vụ khách hàng ứng dụng AI, cả về hiệu năng kỹ thuật lẫn tác động đến mục tiêu kinh doanh tổng thể.

Tìm hiểu các chỉ số hiệu năng AI chính#

Có một số chỉ số phổ biến được dùng để đo lường hiệu năng của model AI. Trước tiên, chúng ta sẽ xem định nghĩa và cách tính các chỉ số này. Sau đó, chúng ta sẽ tìm hiểu cách theo dõi chúng.

Precision#

Precision là chỉ số đo lường mức độ chính xác của model AI khi nhận diện true positive (các trường hợp model nhận diện đúng một đối tượng hoặc tình trạng như dự kiến). Ví dụ, trong hệ thống nhận diện khuôn mặt, true positive xảy ra khi hệ thống nhận dạng và xác định chính xác khuôn mặt của một người mà hệ thống đã được huấn luyện để phát hiện.

Để tính precision, trước tiên hãy đếm số lượng true positive. Sau đó, chia số này cho tổng số mục mà model gán nhãn là positive. Tổng này bao gồm cả các kết quả nhận diện chính xác và các nhầm lẫn, được gọi là false positive. Về cơ bản, precision cho biết model đúng bao nhiêu lần khi tuyên bố đã nhận diện được một thứ gì đó.

Hình 2. Tìm hiểu về precision.

Chỉ số này đặc biệt quan trọng trong các tình huống mà false positive có thể gây tốn kém hoặc làm gián đoạn hoạt động. Chẳng hạn, trong sản xuất tự động, tỷ lệ precision cao cho thấy hệ thống có thể đánh dấu sản phẩm lỗi chính xác hơn và tránh loại bỏ hoặc gia công lại những sản phẩm tốt một cách không cần thiết. Một ví dụ phù hợp khác là giám sát an ninh. Precision cao giúp giảm thiểu cảnh báo sai và chỉ tập trung vào các mối đe dọa thực sự cần được xử lý về an ninh.

Recall#

Recall giúp đo lường khả năng của model AI trong việc xác định tất cả các trường hợp liên quan, hay true positive, trong một dataset. Nói đơn giản, recall thể hiện mức độ hệ thống AI tìm ra tất cả các trường hợp thực tế về một tình trạng hoặc đối tượng mà hệ thống được thiết kế để phát hiện. Có thể tính recall bằng cách chia số lượt phát hiện chính xác cho tổng số trường hợp positive đáng lẽ phải được phát hiện (bao gồm cả những trường hợp model xác định chính xác và những trường hợp model bỏ sót).

Hãy xem xét một hệ thống chẩn đoán hình ảnh y tế ứng dụng AI dùng để phát hiện ung thư. Trong trường hợp này, recall phản ánh tỷ lệ các ca ung thư thực tế được hệ thống xác định chính xác. Recall cao là yếu tố thiết yếu trong những tình huống như vậy, vì bỏ sót chẩn đoán ung thư có thể gây hậu quả nghiêm trọng đối với việc chăm sóc bệnh nhân.

Precision và recall#

Khi đánh giá hiệu năng của model AI, precision và recall giống như hai mặt của một đồng xu và thường cần được cân bằng. Thách thức nằm ở chỗ cải thiện chỉ số này thường có thể phải đánh đổi chỉ số kia.

Giả sử bạn muốn tăng precision. Model có thể trở nên chọn lọc hơn và chỉ xác định những trường hợp positive mà model rất chắc chắn. Ngược lại, nếu bạn muốn cải thiện recall, model có thể xác định nhiều trường hợp positive hơn, nhưng điều này có thể bao gồm nhiều false positive hơn và cuối cùng làm giảm precision.

Điều quan trọng là tìm được sự cân bằng phù hợp giữa precision và recall dựa trên nhu cầu cụ thể của ứng dụng. Công cụ hữu ích cho việc này là đường cong precision-recall, biểu thị mối quan hệ giữa hai chỉ số ở các ngưỡng khác nhau. Bằng cách phân tích đường cong này, bạn có thể xác định điểm tối ưu để model hoạt động tốt nhất cho trường hợp sử dụng cụ thể. Hiểu rõ sự đánh đổi này sẽ giúp tinh chỉnh model AI để đạt hiệu quả tối ưu cho các trường hợp sử dụng dự kiến.

Hình 3. Ví dụ về đường cong Precision-Recall.

Mean average precision (mAP)#

Độ chính xác trung bình trung bình (mAP) là chỉ số dùng để đánh giá hiệu năng của model AI trong các tác vụ như phát hiện đối tượng, nơi model cần nhận diện và phân loại nhiều đối tượng trong một hình ảnh. mAP cung cấp một điểm số duy nhất cho biết model hoạt động tốt ra sao trên tất cả các danh mục mà model được huấn luyện để nhận diện. Hãy cùng xem cách tính chỉ số này.

Diện tích bên dưới đường cong precision-recall cho biết độ chính xác trung bình (AP) của lớp đó. AP đo lường mức độ chính xác của dự đoán cho một lớp cụ thể, xét cả precision và recall ở nhiều mức độ tin cậy khác nhau (mức độ tin cậy thể hiện model chắc chắn đến đâu về dự đoán của mình). Sau khi tính AP cho từng lớp, mAP được xác định bằng cách lấy trung bình các giá trị AP trên tất cả các lớp.

Hình 4. Average precision của nhiều lớp khác nhau.

mAP hữu ích trong các ứng dụng như lái xe tự hành, nơi cần phát hiện đồng thời nhiều đối tượng như người đi bộ, phương tiện và biển báo giao thông. Điểm mAP cao có nghĩa là model hoạt động ổn định trên tất cả các danh mục, nhờ đó model đáng tin cậy và chính xác trong nhiều tình huống.

Tính toán các chỉ số hiệu năng dễ dàng#

Các công thức và phương pháp tính những chỉ số hiệu năng AI chính có thể khiến bạn thấy phức tạp. Tuy nhiên, các công cụ như gói Ultralytics có thể giúp việc này trở nên đơn giản và nhanh chóng. Dù bạn đang thực hiện các tác vụ phát hiện đối tượng, phân đoạn hay phân loại, Ultralytics cung cấp các tiện ích cần thiết để nhanh chóng tính toán những chỉ số quan trọng như precision, recall và mean average precision (mAP).

Để bắt đầu tính toán các chỉ số hiệu năng bằng Ultralytics, bạn có thể cài đặt gói Ultralytics như bên dưới.

pip install ultralytics

Trong ví dụ này, chúng ta sẽ tải một model YOLOv8 đã huấn luyện trước và dùng model để xác thực các chỉ số hiệu năng, nhưng bạn có thể tải bất kỳ model nào do Ultralytics cung cấp trong số các model được hỗ trợ. Sau đây là cách thực hiện:

from ultralytics import YOLO

# Tải model YOLOv8 đã huấn luyện trước
model = YOLO("yolov8n.pt")

Sau khi tải model, bạn có thể thực hiện validation trên dataset của mình. Đoạn code sau sẽ giúp bạn tính nhiều chỉ số hiệu năng, bao gồm precision, recall và mAP:

# Đánh giá model trên một dataset (COCO8 là dataset mẫu nhỏ)
metrics = model.val(data="coco8.yaml")

print(metrics.box.mp)  # precision trung bình
print(metrics.box.mr)  # recall trung bình
print(metrics.box.map50)  # mAP tại IoU 0.5
print(metrics.box.map)  # mAP50-95

Sử dụng các công cụ như Ultralytics giúp việc tính toán chỉ số hiệu năng dễ dàng hơn nhiều, nhờ đó bạn có thể dành nhiều thời gian hơn để cải thiện model và ít phải bận tâm hơn về các chi tiết của quy trình đánh giá.

Đo lường hiệu năng AI sau khi triển khai như thế nào?#

Khi phát triển model AI, việc kiểm tra hiệu năng trong môi trường được kiểm soát rất dễ dàng. Tuy nhiên, sau khi triển khai model, mọi việc có thể trở nên phức tạp hơn. May mắn là có các công cụ và phương pháp tốt nhất có thể giúp bạn theo dõi giải pháp AI sau khi triển khai.

Các công cụ như Prometheus, Grafana và Evidently AI được thiết kế để liên tục theo dõi hiệu năng model. Những công cụ này có thể cung cấp thông tin chi tiết theo thời gian thực, phát hiện bất thường và cảnh báo bạn về mọi vấn đề tiềm ẩn. Các công cụ này vượt xa hoạt động giám sát truyền thống nhờ cung cấp giải pháp tự động, có khả năng mở rộng và thích ứng với tính chất biến động của model AI trong môi trường production.

Sau đây là một số phương pháp tốt nhất cần áp dụng để đo lường mức độ thành công của model AI sau khi triển khai:

• Đặt ra các chỉ số hiệu năng rõ ràng: Quyết định các chỉ số chính như độ chính xác, precision và thời gian phản hồi để thường xuyên kiểm tra hiệu quả hoạt động của model.
• Thường xuyên kiểm tra data drift: Theo dõi những thay đổi trong dữ liệu mà model xử lý, vì các thay đổi này có thể ảnh hưởng đến dự đoán nếu không được quản lý phù hợp.
• Thực hiện A/B testing: Sử dụng phương pháp testing A/B để so sánh hiệu năng của model hiện tại với các phiên bản mới hoặc những điều chỉnh. Nhờ đó, bạn có thể đánh giá định lượng mức cải thiện hoặc suy giảm trong hành vi của model.
• Ghi lại và kiểm toán hiệu năng: Lưu nhật ký chi tiết về các chỉ số hiệu năng và những thay đổi đã thực hiện đối với hệ thống AI. Việc này rất quan trọng cho kiểm toán, tuân thủ và cải thiện kiến trúc model theo thời gian.

Lựa chọn KPI AI tối ưu mới chỉ là bước khởi đầu#

Việc triển khai thành công và quản lý một giải pháp AI phụ thuộc vào việc lựa chọn đúng KPI và duy trì cập nhật chúng. Nhìn chung, việc lựa chọn các chỉ số làm nổi bật hiệu quả của giải pháp AI cả về mặt kỹ thuật lẫn tác động kinh doanh là rất quan trọng. Khi mọi thứ thay đổi, dù là do tiến bộ công nghệ hay những thay đổi trong chiến lược kinh doanh, điều quan trọng là xem xét lại và điều chỉnh các KPI này.

Bằng cách duy trì tính linh hoạt cho các đợt đánh giá hiệu năng, bạn có thể giữ cho hệ thống AI luôn phù hợp và hiệu quả. Theo dõi sát các chỉ số này sẽ giúp bạn thu được thông tin hữu ích để cải thiện hoạt động. Cách tiếp cận chủ động giúp đảm bảo các nỗ lực AI thực sự mang lại giá trị và thúc đẩy doanh nghiệp phát triển!

Tham gia cộng đồng của chúng tôi và cùng đổi mới! Khám phá repository GitHub để xem những tiến bộ AI của chúng tôi. Tìm hiểu cách chúng tôi đang thay đổi các ngành như sản xuất và chăm sóc sức khỏe bằng Vision AI.