Đo lường hiệu suất AI để đánh giá tác động của các đổi mới

Trước đây, chúng ta đã tìm hiểu cách AI có thể được ứng dụng trong nhiều ngành khác nhau như chăm sóc sức khỏe, sản xuất và du lịch. Chúng ta cũng đã xem xét cách AI có thể cải thiện các tác vụ công việc hằng ngày và thảo luận về những ý tưởng kinh doanh AI hàng đầu. Tất cả những cuộc thảo luận này đều dẫn đến cùng một câu hỏi then chốt: làm thế nào để đo lường mức độ thành công của các triển khai AI như vậy? Đây là một câu hỏi quan trọng vì việc chỉ triển khai các giải pháp AI là chưa đủ. Đảm bảo rằng những giải pháp này thực sự mang lại kết quả mới là yếu tố tạo nên sự đột phá.

Chúng ta có thể đo lường các chỉ số hiệu suất AI để xác định liệu một model AI có thực sự hiệu quả trong việc tối ưu hóa quy trình, thúc đẩy đổi mới hay giải quyết vấn đề hay không. Bằng cách tập trung vào các chỉ số hiệu suất chính (KPIs) phù hợp, chúng ta có thể hiểu giải pháp AI đang hoạt động tốt đến đâu và cần cải thiện ở đâu.

Trong bài viết này, chúng ta sẽ tìm hiểu cách đo lường mức độ thành công của các triển khai AI bằng những KPIs phù hợp nhất. Chúng ta sẽ đề cập đến sự khác biệt giữa KPIs kinh doanh và KPIs hiệu suất AI, xem xét các chỉ số như precision và recall, đồng thời giúp bạn lựa chọn KPIs tốt nhất cho các giải pháp AI cụ thể của mình.

Sự khác biệt giữa KPIs kinh doanh AI và KPIs hiệu suất AI#

Hình 1. So sánh KPIs kinh doanh AI và KPIs hiệu suất AI.

Khi nghĩ đến KPIs, bạn thường dễ cho rằng chúng đều liên quan đến các chỉ số kinh doanh như tỷ suất hoàn vốn (ROI), khoản tiết kiệm chi phí hoặc doanh thu tạo ra — đặc biệt khi nói về AI doanh nghiệp. Các KPI kinh doanh AI này đo lường mức độ AI tác động đến thành công tổng thể của một công ty và phù hợp với các mục tiêu kinh doanh rộng hơn.

Tuy nhiên, KPIs hiệu suất AI tập trung vào mức độ hoạt động của chính hệ thống AI, sử dụng các chỉ số như accuracy, precision và recall. Chúng ta sẽ đi vào chi tiết các chỉ số này bên dưới, nhưng về bản chất, trong khi KPIs kinh doanh thể hiện những lợi ích tài chính và chiến lược của AI, KPIs hiệu suất đảm bảo rằng một model AI đang thực hiện nhiệm vụ hiệu quả.

Một số chỉ số thực tế có thể phục vụ cả hai mục đích. Ví dụ, mức tăng hiệu quả, chẳng hạn như giảm thời gian hoặc tài nguyên cần thiết để hoàn thành một tác vụ, vừa có thể là KPI hiệu suất (cho thấy giải pháp AI hoạt động tốt đến đâu) vừa là KPI kinh doanh (đo lường khoản tiết kiệm chi phí và mức cải thiện năng suất). Mức độ hài lòng của khách hàng là một chỉ số giao thoa khác. Chỉ số này có thể phản ánh mức độ thành công của một công cụ dịch vụ khách hàng sử dụng AI, cả về hiệu suất kỹ thuật lẫn tác động đến các mục tiêu kinh doanh tổng thể.

Tìm hiểu các chỉ số hiệu suất AI chính#

Có một số chỉ số phổ biến được sử dụng để đo lường mức độ hoạt động của một model AI. Trước tiên, chúng ta sẽ xem định nghĩa và cách tính các chỉ số này. Sau đó, chúng ta sẽ tìm hiểu cách theo dõi chúng.

Precision#

Precision là một chỉ số đo lường mức độ chính xác của một model AI trong việc xác định true positives (các trường hợp model xác định đúng một đối tượng hoặc điều kiện theo yêu cầu). Ví dụ, trong một hệ thống nhận diện khuôn mặt, true positive xảy ra khi hệ thống nhận dạng và xác định chính xác khuôn mặt của một người mà hệ thống đã được huấn luyện để phát hiện.

Để tính precision, trước tiên hãy đếm số lượng true positives. Sau đó, bạn có thể chia số này cho tổng số mục mà model gắn nhãn là positive. Tổng này bao gồm cả các nhận dạng đúng và các lỗi, được gọi là false positives. Về cơ bản, precision cho biết model đúng bao nhiêu lần khi tuyên bố đã nhận dạng được một đối tượng.

Hình 2. Tìm hiểu về Precision.

Chỉ số này đặc biệt quan trọng trong những tình huống mà false positives có thể gây tốn kém hoặc làm gián đoạn hoạt động. Ví dụ, trong sản xuất tự động, tỷ lệ precision cao cho thấy hệ thống có thể phát hiện chính xác hơn các sản phẩm lỗi và tránh loại bỏ hoặc gia công lại không cần thiết những sản phẩm đạt chuẩn. Giám sát an ninh là một ví dụ phù hợp khác. Precision cao giúp giảm thiểu cảnh báo giả và chỉ tập trung vào những mối đe dọa thực sự cần được xử lý an ninh.

Recall#

Recall giúp đo lường khả năng của một model AI trong việc xác định tất cả các trường hợp liên quan, hay true positives, trong một dataset. Nói đơn giản, chỉ số này thể hiện mức độ một hệ thống AI có thể phát hiện đầy đủ tất cả các trường hợp thực tế của một điều kiện hoặc đối tượng mà hệ thống được thiết kế để phát hiện. Recall được tính bằng cách chia số lần phát hiện đúng cho tổng số trường hợp positive đáng lẽ phải được phát hiện (bao gồm cả những trường hợp model xác định đúng và những trường hợp bị bỏ sót).

Hãy xem xét một hệ thống chẩn đoán hình ảnh y tế có hỗ trợ AI được sử dụng để phát hiện ung thư. Trong bối cảnh này, recall phản ánh tỷ lệ các ca ung thư thực tế được hệ thống xác định chính xác. Recall cao rất quan trọng trong những tình huống như vậy vì bỏ sót chẩn đoán ung thư có thể dẫn đến hậu quả nghiêm trọng đối với việc chăm sóc bệnh nhân.

Precision và recall#

Precision và recall giống như hai mặt của cùng một đồng xu khi đánh giá hiệu suất của một model AI, và chúng thường đòi hỏi sự cân bằng. Thách thức nằm ở chỗ việc cải thiện một chỉ số thường có thể phải đánh đổi bằng chỉ số còn lại.

Giả sử bạn ưu tiên precision cao hơn. Model có thể trở nên chọn lọc hơn và chỉ xác định những positive mà nó thực sự chắc chắn. Ngược lại, nếu bạn muốn cải thiện recall, model có thể xác định nhiều positive hơn, nhưng điều này có thể bao gồm nhiều false positives hơn và cuối cùng làm giảm precision.

Điều quan trọng là tìm được sự cân bằng phù hợp giữa precision và recall dựa trên nhu cầu cụ thể của ứng dụng. Một công cụ hữu ích cho việc này là đường cong Precision-Recall, biểu thị mối quan hệ giữa hai chỉ số ở các ngưỡng khác nhau. Bằng cách phân tích đường cong này, bạn có thể xác định điểm tối ưu mà tại đó model hoạt động tốt nhất cho use case cụ thể của mình. Hiểu rõ sự đánh đổi này sẽ hữu ích khi tinh chỉnh các model AI để đạt hiệu suất tối ưu cho use case dự kiến.

Hình 3. Ví dụ về đường cong Precision-Recall.

Mean average precision (mAP)#

Mean Average Precision (mAP) là một chỉ số được sử dụng để đánh giá hiệu suất của các model AI trong những tác vụ như phát hiện đối tượng, trong đó model cần xác định và phân loại nhiều đối tượng trong một hình ảnh. mAP cung cấp một điểm số duy nhất cho biết model hoạt động tốt đến đâu trên tất cả các danh mục khác nhau mà model được huấn luyện để nhận dạng. Hãy cùng xem cách tính chỉ số này.

Diện tích dưới đường cong Precision-Recall cho biết Average Precision (AP) của lớp đó. AP đo lường mức độ chính xác của các dự đoán của model đối với một lớp cụ thể, xét cả precision và recall ở nhiều mức độ tin cậy khác nhau (mức độ tin cậy cho biết model chắc chắn đến đâu về các dự đoán của mình). Sau khi tính AP cho từng lớp, mAP được xác định bằng cách lấy trung bình các giá trị AP này trên tất cả các lớp.

Hình 4. Average precision của các lớp khác nhau.

mAP hữu ích trong các ứng dụng như xe tự hành, nơi nhiều đối tượng như người đi bộ, phương tiện và biển báo giao thông cần được phát hiện đồng thời. Điểm mAP cao có nghĩa là model luôn hoạt động tốt trên tất cả các danh mục, nhờ đó đáng tin cậy và chính xác trong nhiều tình huống.

Tính các chỉ số hiệu suất một cách dễ dàng#

Công thức và phương pháp tính các chỉ số hiệu suất AI chính có thể khiến bạn cảm thấy phức tạp. Tuy nhiên, các công cụ như package Ultralytics có thể giúp quá trình này trở nên đơn giản và nhanh chóng. Dù bạn đang thực hiện các tác vụ phát hiện đối tượng, segmentation hay classification, Ultralytics đều cung cấp các tiện ích cần thiết để nhanh chóng tính những chỉ số quan trọng như precision, recall và mean average precision (mAP).

Để bắt đầu tính các chỉ số hiệu suất bằng Ultralytics, bạn có thể cài đặt package Ultralytics như minh họa bên dưới.

Trong ví dụ này, chúng ta sẽ nạp một model YOLOv8 đã được huấn luyện trước và sử dụng model đó để xác thực các chỉ số hiệu suất, nhưng bạn có thể nạp bất kỳ model nào được Ultralytics cung cấp trong số các model được hỗ trợ. Sau đây là cách thực hiện:

Sau khi nạp model, bạn có thể thực hiện validation trên dataset của mình. Đoạn code sau sẽ giúp bạn tính nhiều chỉ số hiệu suất khác nhau, bao gồm precision, recall và mAP:

Sử dụng các công cụ như Ultralytics giúp việc tính toán các chỉ số hiệu suất trở nên dễ dàng hơn nhiều, nhờ đó bạn có thể dành nhiều thời gian hơn để cải thiện model và ít thời gian hơn cho các chi tiết của quy trình đánh giá.

Hiệu suất AI được đo lường như thế nào sau khi triển khai?#

Khi phát triển model AI, việc kiểm thử hiệu suất trong một môi trường được kiểm soát thường khá dễ dàng. Tuy nhiên, một khi model được triển khai, mọi thứ có thể trở nên phức tạp hơn. May mắn là có những công cụ và phương pháp tốt nhất có thể giúp bạn giám sát giải pháp AI sau khi triển khai.

Các công cụ như Prometheus, Grafana và Evidently AI được thiết kế để liên tục theo dõi hiệu suất của model. Chúng có thể cung cấp thông tin chi tiết theo thời gian thực, phát hiện bất thường và cảnh báo bạn về mọi vấn đề tiềm ẩn. Những công cụ này vượt xa hoạt động giám sát truyền thống bằng cách cung cấp các giải pháp tự động, có khả năng mở rộng và thích ứng với bản chất năng động của các model AI trong môi trường production.

Để đo lường mức độ thành công của model AI sau khi triển khai, dưới đây là một số phương pháp tốt nhất cần thực hiện:

• Đặt ra các chỉ số hiệu suất rõ ràng: Xác định những chỉ số chính như accuracy, precision và thời gian phản hồi để thường xuyên kiểm tra model đang hoạt động tốt đến đâu.
• Thường xuyên kiểm tra data drift: Theo dõi những thay đổi trong dữ liệu mà model đang xử lý, vì các thay đổi này có thể ảnh hưởng đến dự đoán nếu không được quản lý phù hợp.
• Thực hiện A/B testing: Sử dụng testing A/B để so sánh hiệu suất của model hiện tại với các phiên bản mới hoặc những điều chỉnh mới. Điều này cho phép bạn đánh giá định lượng các cải tiến hoặc sự suy giảm trong hành vi của model.
• Ghi chép và audit hiệu suất: Lưu giữ nhật ký chi tiết về các chỉ số hiệu suất và những thay đổi được thực hiện đối với hệ thống AI. Đây là yếu tố thiết yếu cho hoạt động audit, compliance và việc cải thiện kiến trúc model theo thời gian.

Lựa chọn KPIs AI tối ưu mới chỉ là bước khởi đầu#

Việc triển khai và quản lý thành công một giải pháp AI phụ thuộc vào việc lựa chọn đúng KPIs và luôn cập nhật chúng. Nhìn chung, điều quan trọng là chọn những chỉ số làm nổi bật mức độ hoạt động của giải pháp AI cả về mặt kỹ thuật lẫn tác động kinh doanh. Khi mọi thứ thay đổi, dù là do tiến bộ công nghệ hay sự chuyển dịch trong chiến lược kinh doanh, việc xem xét lại và điều chỉnh các KPIs này là rất cần thiết.

Bằng cách duy trì hoạt động đánh giá hiệu suất linh hoạt, bạn có thể giữ cho hệ thống AI luôn phù hợp và hiệu quả. Việc liên tục theo dõi các chỉ số này sẽ mang lại những thông tin chi tiết giá trị, giúp cải thiện hoạt động của bạn. Cách tiếp cận chủ động đảm bảo rằng các nỗ lực AI thực sự tạo ra giá trị và góp phần thúc đẩy doanh nghiệp phát triển!

Hãy tham gia cộng đồng của chúng tôi và cùng chúng tôi đổi mới! Khám phá repository GitHub của chúng tôi để tìm hiểu những tiến bộ về AI. Tìm hiểu cách chúng tôi đang định hình lại các ngành như sản xuất và chăm sóc sức khỏe bằng công nghệ AI tiên phong. 🚀