22 tháng 8, 2024
Bạn có thể theo dõi sự thành công của các cải tiến AI của mình bằng các KPI và số liệu hiệu suất phù hợp. Tìm hiểu cách theo dõi và tối ưu hóa tác động của các ứng dụng AI.
Trước đây, chúng ta đã khám phá cách AI có thể được sử dụng trong các ngành khác nhau như chăm sóc sức khỏe, sản xuất và du lịch. Chúng ta cũng đã xem xét cách AI có thể cải thiện các công việc hàng ngày và thảo luận về các ý tưởng kinh doanh AI hàng đầu. Tất cả những cuộc thảo luận này chắc chắn dẫn đến cùng một câu hỏi quan trọng: làm thế nào chúng ta có thể đo lường sự thành công của việc triển khai AI như vậy? Đó là một câu hỏi quan trọng vì chỉ triển khai các giải pháp AI là không đủ. Đảm bảo rằng các giải pháp này thực sự mang lại kết quả mới là điều tạo nên sự thay đổi cuộc chơi.
Chúng ta có thể đo lường các metrics hiệu suất AI để xác định xem một mô hình AI có thực sự hiệu quả trong việc làm cho các quy trình hiệu quả hơn, tạo ra sự đổi mới hoặc giải quyết vấn đề hay không. Bằng cách tập trung vào các key performance indicators (KPI) phù hợp, chúng ta có thể hiểu rõ giải pháp AI đang hoạt động tốt như thế nào và có thể cần cải thiện ở đâu.
Trong bài viết này, chúng ta sẽ xem xét cách đo lường sự thành công của việc triển khai AI bằng các KPI phù hợp nhất. Chúng ta sẽ đề cập đến sự khác biệt giữa KPI kinh doanh và KPI hiệu suất AI, xem xét các metrics chính như precision và recall và giúp bạn chọn các KPI tốt nhất cho các giải pháp AI cụ thể của mình.
Khi bạn nghĩ về KPI, điều tự nhiên là cho rằng chúng đều liên quan đến các số liệu kinh doanh như lợi tức đầu tư (ROI), tiết kiệm chi phí hoặc doanh thu được tạo ra - đặc biệt khi nói về AI doanh nghiệp. Các KPI kinh doanh AI này đo lường tác động của AI đến thành công chung của một công ty và phù hợp với các mục tiêu kinh doanh rộng lớn hơn.
Tuy nhiên, KPI hiệu suất AI tập trung vào mức độ hoạt động tốt của chính hệ thống AI, sử dụng các số liệu như độ chính xác (accuracy), độ chụm (precision) và độ phủ (recall). Chúng ta sẽ đi vào chi tiết của các số liệu này bên dưới, nhưng về bản chất, trong khi KPI kinh doanh thể hiện những lợi ích tài chính và chiến lược của AI, thì KPI hiệu suất đảm bảo rằng mô hình AI đang thực hiện công việc của mình một cách hiệu quả.
Một số số liệu nhất định thực sự có thể phục vụ cả hai mục đích. Ví dụ: cải thiện hiệu quả, chẳng hạn như giảm thời gian hoặc nguồn lực cần thiết để hoàn thành một nhiệm vụ, có thể vừa là KPI hiệu suất (cho thấy giải pháp AI hoạt động tốt như thế nào) vừa là KPI kinh doanh (đo lường mức tiết kiệm chi phí và cải thiện năng suất). Sự hài lòng của khách hàng là một số liệu giao thoa khác. Nó có thể phản ánh sự thành công của một công cụ dịch vụ khách hàng do AI điều khiển cả về hiệu suất kỹ thuật và tác động của nó đối với các mục tiêu kinh doanh tổng thể.
Có một vài số liệu phổ biến được sử dụng để đo lường mức độ hoạt động tốt của một mô hình AI. Đầu tiên, chúng ta sẽ xem xét định nghĩa của chúng và cách chúng được tính toán. Sau đó, chúng ta sẽ xem cách các số liệu này có thể được theo dõi.
Độ chụm (Precision) là một số liệu đo lường mức độ chính xác của mô hình AI trong việc xác định true positives (các trường hợp mô hình xác định chính xác một đối tượng hoặc điều kiện như nó phải như vậy). Ví dụ: trong một hệ thống nhận dạng khuôn mặt, một true positive sẽ xảy ra khi hệ thống nhận ra và xác định chính xác khuôn mặt của một người mà nó đã được huấn luyện để phát hiện.
Để tính độ chụm (precision), trước tiên hãy đếm số lượng true positives. Sau đó, bạn có thể chia số này cho tổng số mục mà mô hình đã gắn nhãn là positive. Tổng số này bao gồm cả các nhận dạng chính xác và sai sót, được gọi là false positives. Về cơ bản, độ chụm (precision) cho bạn biết tần suất mô hình chính xác khi nó tuyên bố đã nhận ra điều gì đó.
Điều này đặc biệt quan trọng trong các tình huống mà hậu quả của false positive có thể gây tốn kém hoặc gián đoạn. Ví dụ: trong sản xuất tự động, tỷ lệ precision cao cho thấy rằng hệ thống có thể gắn cờ các sản phẩm bị lỗi một cách chính xác hơn và ngăn chặn việc loại bỏ hoặc làm lại không cần thiết các sản phẩm tốt. Một ví dụ điển hình khác là giám sát an ninh. Độ chính xác cao giúp giảm thiểu báo động giả và chỉ tập trung vào các mối đe dọa thực sự cần phản ứng an ninh.
Recall giúp đo lường khả năng của một mô hình AI trong việc xác định tất cả các trường hợp liên quan, hoặc true positive, trong một tập dữ liệu. Nói một cách đơn giản, nó thể hiện mức độ hệ thống AI có thể nắm bắt tất cả các trường hợp thực tế của một điều kiện hoặc đối tượng mà nó được thiết kế để phát hiện. Recall có thể được tính bằng cách chia số lượng phát hiện chính xác cho tổng số trường hợp positive đáng lẽ phải được phát hiện (nó bao gồm cả các trường hợp mà mô hình đã xác định chính xác và những trường hợp mà nó đã bỏ sót).
Hãy xem xét một hệ thống hình ảnh y tế hỗ trợ AI được sử dụng để phát hiện ung thư. Trong bối cảnh này, recall phản ánh tỷ lệ phần trăm các trường hợp ung thư thực tế mà hệ thống xác định chính xác. Recall cao là rất quan trọng trong các tình huống như vậy vì bỏ sót chẩn đoán ung thư có thể dẫn đến hậu quả nghiêm trọng cho việc chăm sóc bệnh nhân.
Precision và recall giống như hai mặt của cùng một đồng xu khi nói đến đánh giá hiệu suất của một mô hình AI, và chúng thường đòi hỏi sự cân bằng. Thách thức là việc cải thiện một số liệu thường có thể phải trả giá bằng số liệu khác.
Giả sử bạn thúc đẩy độ chính xác cao hơn. Mô hình có thể trở nên chọn lọc hơn và chỉ có thể xác định những positive mà nó rất chắc chắn. Mặt khác, nếu bạn muốn cải thiện recall, mô hình có thể xác định nhiều positive hơn, nhưng điều này có thể bao gồm nhiều false positive hơn và cuối cùng làm giảm độ chính xác.
Điều quan trọng là tìm ra sự cân bằng phù hợp giữa precision và recall dựa trên nhu cầu cụ thể của ứng dụng của bạn. Một công cụ hữu ích cho việc này là đường cong Precision-Recall, cho thấy mối quan hệ giữa hai số liệu ở các ngưỡng khác nhau. Bằng cách phân tích đường cong này, bạn có thể xác định điểm tối ưu nơi mô hình hoạt động tốt nhất cho trường hợp sử dụng cụ thể của bạn. Hiểu được sự đánh đổi này sẽ giúp ích khi tinh chỉnh các mô hình AI để hoạt động tối ưu cho các trường hợp sử dụng dự kiến của chúng.
Mean Average Precision (mAP) là một chỉ số được sử dụng để đánh giá hiệu suất của các mô hình AI cho các tác vụ như nhận diện đối tượng, trong đó mô hình cần xác định và phân loại nhiều đối tượng trong một hình ảnh. mAP cung cấp cho bạn một điểm số duy nhất cho biết mô hình hoạt động tốt như thế nào trên tất cả các danh mục khác nhau mà nó được huấn luyện để nhận dạng. Hãy xem cách nó được tính toán.
Diện tích dưới đường cong Precision-Recall cho biết Average Precision (AP) cho lớp đó. AP đo lường mức độ chính xác của mô hình khi đưa ra dự đoán cho một lớp cụ thể, có xét đến cả độ chính xác (precision) và độ phủ (recall) trên các mức độ tin cậy khác nhau (mức độ tin cậy đề cập đến mức độ chắc chắn của mô hình trong các dự đoán của nó). Sau khi AP được tính cho mỗi lớp, mAP được xác định bằng cách tính trung bình các giá trị AP này trên tất cả các lớp.
mAP rất hữu ích trong các ứng dụng như lái xe tự động, nơi cần phát hiện đồng thời nhiều đối tượng, chẳng hạn như người đi bộ, xe cộ và biển báo giao thông. Điểm mAP cao có nghĩa là mô hình hoạt động tốt một cách nhất quán trên tất cả các danh mục, làm cho nó trở nên đáng tin cậy và chính xác trong một loạt các tình huống.
Các công thức và phương pháp tính toán các chỉ số hiệu suất AI quan trọng có vẻ khó khăn. Tuy nhiên, các công cụ như gói Ultralytics có thể làm cho nó trở nên đơn giản và nhanh chóng. Cho dù bạn đang làm việc trên các tác vụ nhận diện đối tượng, phân đoạn hay phân loại, Ultralytics cung cấp các tiện ích cần thiết để tính toán nhanh chóng các chỉ số quan trọng như độ chính xác (precision), độ phủ (recall) và độ chính xác trung bình (mAP).
Để bắt đầu tính toán các chỉ số hiệu suất bằng Ultralytics, bạn có thể cài đặt gói Ultralytics như được hiển thị bên dưới.
Trong ví dụ này, chúng ta sẽ tải một mô hình YOLOv8 được huấn luyện trước và sử dụng nó để xác thực các chỉ số hiệu suất, nhưng bạn có thể tải bất kỳ mô hình nào được Ultralytics cung cấp được hỗ trợ. Đây là cách bạn có thể làm điều đó:
Sau khi mô hình được tải, bạn có thể thực hiện xác thực trên bộ dữ liệu của mình. Đoạn mã sau sẽ giúp bạn tính toán các chỉ số hiệu suất khác nhau, bao gồm độ chính xác (precision), độ phủ (recall) và mAP:
Sử dụng các công cụ như Ultralytics giúp việc tính toán các chỉ số hiệu suất trở nên dễ dàng hơn nhiều, vì vậy bạn có thể dành nhiều thời gian hơn để cải thiện mô hình của mình và ít lo lắng hơn về các chi tiết của quy trình đánh giá.
Khi phát triển mô hình AI, việc kiểm tra hiệu suất của nó trong môi trường có kiểm soát rất dễ dàng. Tuy nhiên, sau khi mô hình được triển khai, mọi thứ có thể trở nên phức tạp hơn. May mắn thay, có những công cụ và phương pháp tốt nhất có thể giúp bạn giám sát giải pháp AI sau khi triển khai.
Các công cụ như Prometheus, Grafana và Evidently AI được thiết kế để liên tục theo dõi hiệu suất của mô hình. Chúng có thể cung cấp thông tin chi tiết theo thời gian thực, phát hiện các điểm bất thường và cảnh báo bạn về bất kỳ vấn đề tiềm ẩn nào. Các công cụ này vượt xa khả năng giám sát truyền thống bằng cách cung cấp các giải pháp tự động, có khả năng mở rộng, thích ứng với bản chất động của các mô hình AI trong sản xuất.
Để đo lường sự thành công của mô hình AI sau khi triển khai, đây là một số phương pháp tốt nhất nên tuân theo:
Việc triển khai và quản lý thành công một giải pháp AI phụ thuộc vào việc lựa chọn đúng KPI và cập nhật chúng thường xuyên. Nhìn chung, việc chọn các chỉ số làm nổi bật hiệu quả hoạt động của giải pháp AI về mặt kỹ thuật và tác động kinh doanh là rất quan trọng. Khi mọi thứ thay đổi, cho dù đó là tiến bộ công nghệ hay thay đổi trong chiến lược kinh doanh của bạn, điều quan trọng là phải xem xét lại và điều chỉnh các KPI này.
Bằng cách giữ cho các đánh giá hiệu suất của bạn luôn linh hoạt, bạn có thể giữ cho hệ thống AI của mình phù hợp và hiệu quả. Bằng cách luôn cập nhật các chỉ số này, bạn sẽ có được những hiểu biết có giá trị giúp cải thiện hoạt động của mình. Một cách tiếp cận chủ động đảm bảo rằng những nỗ lực AI của bạn thực sự có giá trị và giúp thúc đẩy doanh nghiệp của bạn tiến lên!
Tham gia cộng đồng của chúng tôi và đổi mới cùng chúng tôi! Khám phá kho lưu trữ GitHub của chúng tôi để xem những tiến bộ về AI của chúng tôi. Tìm hiểu cách chúng tôi đang định hình lại các ngành công nghiệp như sản xuất và chăm sóc sức khỏe bằng công nghệ AI tiên phong. 🚀
.webp)