Đo lường hiệu suất AI để đánh giá tác động của các cải tiến của bạn

Chúng ta đã từng khám phá cách AI được sử dụng trong các ngành công nghiệp khác nhau như chăm sóc sức khỏe, sản xuất và du lịch. Chúng ta cũng đã tìm hiểu cách AI có thể cải thiện các tác vụ công việc hàng ngày và thảo luận về các ý tưởng kinh doanh AI hàng đầu. Tất cả các cuộc thảo luận này đều không tránh khỏi việc dẫn đến câu hỏi cốt lõi tương tự: làm thế nào chúng ta có thể đo lường mức độ thành công của các việc triển khai AI đó? Đây là một câu hỏi quan trọng bởi vì việc đơn thuần triển khai các giải pháp AI là chưa đủ. Đảm bảo rằng những giải pháp này thực sự mang lại kết quả mới là điều làm cho chúng trở nên đột phá.

Chúng ta có thể đo lường các chỉ số hiệu suất AI để xác định xem một model AI có thực sự hiệu quả trong việc làm cho các quy trình trở nên tinh gọn hơn, thúc đẩy đổi mới hay giải quyết các vấn đề hay không. Bằng cách tập trung vào các chỉ số hiệu suất chính (KPI) phù hợp, chúng ta có thể hiểu giải pháp AI đang hoạt động tốt như thế nào và điểm nào có thể cần cải thiện.

Trong bài viết này, chúng ta sẽ xem xét cách đo lường thành công của các việc triển khai AI với các KPI phù hợp nhất. Chúng tôi sẽ đề cập đến sự khác biệt giữa KPI kinh doanh và KPI hiệu suất AI, điểm qua các chỉ số chính như precision và recall, đồng thời giúp bạn chọn KPI tốt nhất cho các giải pháp AI cụ thể của mình.

Sự khác biệt giữa KPI kinh doanh AI và KPI hiệu suất AI#

Hình 1. So sánh KPI Kinh doanh AI và KPI Hiệu suất AI.

Khi bạn nghĩ về KPI, việc mặc định cho rằng chúng hoàn toàn xoay quanh các chỉ số kinh doanh như tỷ suất hoàn vốn (ROI), tiết kiệm chi phí hoặc doanh thu tạo ra là điều tự nhiên - đặc biệt là khi nói về AI doanh nghiệp. Các KPI kinh doanh AI này đo lường tác động của AI đối với thành công tổng thể của công ty và phù hợp với các mục tiêu kinh doanh rộng lớn hơn.

Tuy nhiên, các KPI hiệu suất AI tập trung vào mức độ hoạt động hiệu quả của chính hệ thống AI, sử dụng các chỉ số như độ chính xác (accuracy), precision và recall. Chúng ta sẽ đi sâu vào chi tiết của các chỉ số này bên dưới, nhưng về bản chất, trong khi các KPI kinh doanh thể hiện các lợi ích tài chính và chiến lược của AI, các KPI hiệu suất đảm bảo rằng một model AI đang thực hiện công việc của mình một cách hiệu quả.

Một số chỉ số nhất định thực sự có thể phục vụ cả hai mục đích. Ví dụ: lợi ích về hiệu suất, chẳng hạn như việc giảm thời gian hoặc tài nguyên cần thiết để hoàn thành một tác vụ, có thể vừa là KPI hiệu suất (cho thấy giải pháp AI hoạt động tốt ra sao) vừa là KPI kinh doanh (đo lường việc tiết kiệm chi phí và cải thiện năng suất). Sự hài lòng của khách hàng là một chỉ số giao thoa khác. Nó có thể phản ánh thành công của một công cụ dịch vụ khách hàng do AI điều khiển cả về mặt hiệu suất kỹ thuật lẫn tác động của nó đối với các mục tiêu kinh doanh tổng thể.

Tìm hiểu các chỉ số hiệu suất AI chính#

Có một vài chỉ số phổ biến được sử dụng để đo lường mức độ hoạt động của một model AI. Đầu tiên, chúng ta sẽ xem xét định nghĩa và cách tính toán chúng. Sau đó, chúng ta sẽ thấy cách theo dõi các chỉ số này.

Precision (Độ chính xác)#

Precision là một chỉ số đo lường mức độ chính xác mà một model AI xác định các trường hợp dương tính thật (true positive) (các trường hợp mà model xác định chính xác một đối tượng hoặc điều kiện đúng như dự kiến). Ví dụ, trong một hệ thống nhận diện khuôn mặt, một trường hợp dương tính thật sẽ xảy ra khi hệ thống nhận diện và xác định chính xác khuôn mặt của một người mà nó đã được huấn luyện để phát hiện.

Để tính precision, trước tiên hãy đếm số lượng các kết quả dương tính đúng. Sau đó, bạn chia số này cho tổng số mục mà model đã gắn nhãn là dương tính. Tổng này bao gồm cả các xác định đúng và các sai sót, được gọi là kết quả dương tính giả (false positives). Về cơ bản, precision cho bạn biết tần suất model chính xác khi nó tuyên bố đã nhận diện được thứ gì đó.

Hình 2. Hiểu về Precision.

Điều này đặc biệt quan trọng trong các tình huống mà hậu quả của các trường hợp dương tính giả (false positive) có thể tốn kém hoặc gây gián đoạn. Chẳng hạn, trong sản xuất tự động hóa, tỷ lệ precision cao cho biết hệ thống có thể gắn cờ các sản phẩm bị lỗi một cách chính xác hơn và ngăn chặn việc loại bỏ hoặc làm lại các mặt hàng tốt một cách lãng phí. Một ví dụ điển hình khác là giám sát an ninh. Precision cao giúp giảm thiểu các cảnh báo giả và chỉ tập trung vào các mối đe dọa thực sự cần phản ứng an ninh.

Recall (Khả năng gợi nhớ)#

Recall giúp đo lường khả năng của model AI trong việc xác định tất cả các trường hợp liên quan, hoặc kết quả dương tính đúng, trong một tập dữ liệu. Nói một cách đơn giản, nó thể hiện mức độ hiệu quả của hệ thống AI trong việc nắm bắt tất cả các trường hợp thực tế của một điều kiện hoặc đối tượng mà nó được thiết kế để phát hiện. Recall có thể được tính bằng cách chia số lượng các kết quả phát hiện đúng cho tổng số các trường hợp dương tính lẽ ra phải được phát hiện (bao gồm cả các trường hợp model đã xác định đúng và những trường hợp nó bỏ lỡ).

Hãy xem xét một hệ thống hình ảnh y tế hỗ trợ bằng AI được sử dụng để phát hiện ung thư. Recall, trong ngữ cảnh này, phản ánh tỷ lệ phần trăm các trường hợp ung thư thực tế mà hệ thống xác định chính xác. Recall cao đóng vai trò cực kỳ quan trọng trong những trường hợp như vậy vì việc bỏ sót chẩn đoán ung thư có thể dẫn đến hậu quả nghiêm trọng đối với việc chăm sóc bệnh nhân.

Precision so với recall#

Precision và recall giống như hai mặt của một đồng tiền khi nói đến việc đánh giá hiệu suất của model AI, và chúng thường đòi hỏi sự cân bằng. Thách thức là việc cải thiện chỉ số này thường có thể phải đánh đổi bằng chỉ số kia.

Giả sử bạn thúc đẩy để có precision cao hơn. Model có thể trở nên chọn lọc hơn và chỉ có thể xác định các trường hợp dương tính mà nó rất chắc chắn. Ngược lại, nếu bạn muốn cải thiện recall, model có thể xác định nhiều trường hợp dương tính hơn, nhưng điều này có thể bao gồm thêm nhiều kết quả dương tính giả và cuối cùng làm giảm precision.

Chìa khóa là tìm ra sự cân bằng phù hợp giữa precision và recall dựa trên các nhu cầu cụ thể của ứng dụng của bạn. Một công cụ hữu ích cho việc này là đường cong Precision-Recall, cho thấy mối quan hệ giữa hai chỉ số ở các ngưỡng khác nhau. Bằng cách phân tích đường cong này, bạn có thể xác định điểm tối ưu nơi model hoạt động tốt nhất cho trường hợp sử dụng cụ thể của mình. Việc hiểu rõ sự đánh đổi này sẽ hỗ trợ khi tinh chỉnh các model AI để đạt hiệu suất tối ưu cho các trường hợp sử dụng dự định của chúng.

Hình 3. Ví dụ về Đường cong Precision-Recall.

Mean Average Precision (mAP)#

Mean Average Precision (mAP) là một chỉ số được sử dụng để đánh giá hiệu suất của các model AI đối với các tác vụ như phát hiện đối tượng, nơi model cần nhận diện và phân loại nhiều đối tượng trong một hình ảnh. mAP cung cấp cho bạn một điểm số duy nhất cho biết model hoạt động tốt như thế nào trên tất cả các danh mục khác nhau mà nó được huấn luyện để nhận diện. Hãy cùng xem cách tính toán chỉ số này.

Diện tích dưới đường cong Precision-Recall cho ra Average Precision (AP) cho class đó. AP đo lường mức độ chính xác của các dự đoán của model cho một class cụ thể, xem xét cả precision và recall ở các mức độ tin cậy khác nhau (mức độ tin cậy đề cập đến độ chắc chắn của model trong các dự đoán của nó). Khi AP đã được tính toán cho mỗi class, mAP sẽ được xác định bằng cách lấy trung bình các giá trị AP này trên tất cả các class.

Hình 4. Độ chính xác trung bình của các lớp khác nhau.

mAP rất hữu ích trong các ứng dụng như lái xe tự động, nơi nhiều đối tượng, chẳng hạn như người đi bộ, phương tiện và biển báo giao thông, cần được phát hiện đồng thời. Điểm mAP cao có nghĩa là model hoạt động tốt một cách nhất quán trên tất cả các danh mục, giúp nó đáng tin cậy và chính xác trong một loạt các tình huống rộng lớn.

Tính toán các chỉ số hiệu suất một cách dễ dàng#

Các công thức và phương pháp tính toán các chỉ số hiệu suất AI quan trọng có vẻ đáng sợ. Tuy nhiên, các công cụ như gói Ultralytics có thể làm cho mọi thứ trở nên đơn giản và nhanh chóng. Cho dù bạn đang làm việc trên các tác vụ phát hiện đối tượng, phân đoạn hay phân loại, Ultralytics cung cấp các tiện ích cần thiết để tính toán nhanh chóng các chỉ số quan trọng như precision, recall và mean average precision (mAP).

Để bắt đầu tính toán các chỉ số hiệu suất bằng cách sử dụng Ultralytics, bạn có thể cài đặt gói Ultralytics như hiển thị bên dưới.

Đối với ví dụ này, chúng tôi sẽ tải một model YOLOv8 đã được huấn luyện trước và sử dụng nó để xác thực các chỉ số hiệu suất, nhưng bạn có thể tải bất kỳ model nào được hỗ trợ cung cấp bởi Ultralytics. Dưới đây là cách bạn có thể thực hiện:

Khi model được tải xong, bạn có thể thực hiện xác thực trên tập dữ liệu của mình. Đoạn mã sau sẽ giúp bạn tính toán các chỉ số hiệu suất khác nhau, bao gồm precision, recall và mAP:

Sử dụng các công cụ như Ultralytics giúp việc tính toán các chỉ số hiệu suất dễ dàng hơn nhiều, nhờ đó bạn có thể dành nhiều thời gian hơn để cải thiện model của mình và bớt lo lắng về các chi tiết của quy trình đánh giá.

Hiệu suất AI được đo lường như thế nào sau khi triển khai?#

Khi phát triển model AI của mình, việc kiểm tra hiệu suất của nó trong một môi trường được kiểm soát rất dễ dàng. Tuy nhiên, một khi model được triển khai, mọi thứ có thể trở nên phức tạp hơn. May mắn thay, có các công cụ và phương pháp hay nhất có thể giúp bạn giám sát giải pháp AI của mình sau khi triển khai.

Các công cụ như Prometheus, Grafana và Evidently AI được thiết kế để liên tục theo dõi hiệu suất của model. Chúng có thể cung cấp thông tin chi tiết theo thời gian thực, phát hiện các bất thường và cảnh báo cho bạn về bất kỳ vấn đề tiềm ẩn nào. Các công cụ này vượt xa việc giám sát truyền thống bằng cách cung cấp các giải pháp tự động, có thể mở rộng, thích ứng với bản chất năng động của các model AI trong môi trường sản xuất.

Để đo lường sự thành công của model AI sau khi triển khai, đây là một số phương pháp thực hành tốt nhất cần tuân theo:

• Thiết lập các chỉ số hiệu suất rõ ràng: Quyết định các chỉ số chính như accuracy, precision và thời gian phản hồi để kiểm tra thường xuyên mức độ hoạt động của model.
• Thường xuyên kiểm tra hiện tượng data drift: Hãy chú ý đến những thay đổi trong dữ liệu mà model của bạn đang xử lý, vì điều này có thể ảnh hưởng đến các dự đoán của nó nếu không được quản lý đúng cách.
• Thực hiện kiểm thử A/B: Sử dụng kiểm thử A/B để so sánh hiệu suất của model hiện tại của bạn với các phiên bản mới hoặc các tinh chỉnh. Điều này sẽ cho phép bạn đánh giá định lượng các cải tiến hoặc sự sụt giảm trong hành vi của model.
• Tài liệu hóa và kiểm tra hiệu suất: Lưu giữ nhật ký chi tiết về các chỉ số hiệu suất và các thay đổi được thực hiện đối với hệ thống AI của bạn. Điều này rất quan trọng đối với các cuộc kiểm toán, tuân thủ và cải thiện kiến trúc model của bạn theo thời gian.

Chọn KPI AI tối ưu mới chỉ là bắt đầu#

Việc triển khai và quản lý thành công một giải pháp AI phụ thuộc vào việc lựa chọn các KPI phù hợp và cập nhật chúng liên tục. Nhìn chung, việc lựa chọn các chỉ số nêu bật mức độ hoạt động tốt của giải pháp AI về mặt kỹ thuật cũng như tác động kinh doanh là điều cốt yếu. Khi mọi thứ thay đổi, cho dù đó là những tiến bộ công nghệ hay sự thay đổi trong chiến lược kinh doanh của bạn, việc xem xét lại và tinh chỉnh các KPI này là rất quan trọng.

Bằng cách giữ cho các đánh giá hiệu suất của bạn luôn linh hoạt, bạn có thể duy trì hệ thống AI của mình luôn phù hợp và hiệu quả. Bằng cách luôn nắm bắt được các chỉ số này, bạn sẽ có được những thông tin giá trị giúp cải thiện hoạt động của mình. Một phương pháp chủ động đảm bảo rằng các nỗ lực AI của bạn thực sự có giá trị và giúp đưa doanh nghiệp của bạn tiến về phía trước!

Hãy tham gia cộng đồng của chúng tôi và đổi mới cùng chúng tôi! Khám phá kho lưu trữ GitHub của chúng tôi để xem các tiến bộ AI của chúng tôi. Tìm hiểu cách chúng tôi định hình lại các ngành công nghiệp như sản xuất và chăm sóc sức khỏe bằng công nghệ AI tiên phong. 🚀