Giám sát model thị giác máy tính đã triển khai trên Ultralytics Platform

Kiểm thử model thị giác máy tính phân tích hình ảnh và video không phải lúc nào cũng giống với việc chạy chúng trong môi trường production. Trong quá trình phát triển, các model hoặc thuật toán này được kiểm thử trên những dataset sạch, được chuẩn bị kỹ lưỡng, với các điều kiện được kiểm soát và có thể dự đoán.

Sau khi triển khai, tình hình trở nên biến động hơn. Model phải xử lý lưu lượng thực tế, trong đó số lượng request có thể thay đổi, thời gian phản hồi có thể dao động và đôi khi xảy ra lỗi.

Ở giai đoạn này, trọng tâm chuyển sang việc đảm bảo hệ thống vận hành ổn định, với các endpoint luôn khả dụng, phản hồi nhanh và ổn định trong những điều kiện thay đổi.

Đó là lý do việc monitoring đóng vai trò thiết yếu. Monitoring cung cấp cái nhìn rõ ràng về cách các endpoint đã triển khai hoạt động trong môi trường production thông qua những chỉ số như số lượng request, độ trễ, tỷ lệ lỗi và tình trạng tổng thể của hệ thống.

Để đơn giản hóa việc này, trang bị các công cụ phù hợp cũng quan trọng không kém bản thân model. Gần đây, Ultralytics đã giới thiệu Ultralytics Platform, môi trường end-to-end mới của chúng tôi, kết hợp toàn bộ quy trình thị giác máy tính, từ dữ liệu và huấn luyện đến triển khai và monitoring.

Hình 1. Dashboard triển khai của Ultralytics Platform với các tính năng monitoring (Nguồn)

Với monitoring được tích hợp trực tiếp vào quy trình này, người dùng có thể theo dõi tình trạng endpoint, kiểm tra hoạt động của request và duy trì hệ thống ổn định mà không cần dựa vào các công cụ riêng biệt. Trong bài viết này, chúng ta sẽ tìm hiểu cách dùng Ultralytics Platform để monitor endpoint của model đã triển khai và đảm bảo hệ thống production vận hành trơn tru. Bắt đầu thôi!

Tổng quan về monitoring model AI#

Trong vòng đời của model AI, monitoring là việc quan sát hoạt động của các hệ thống đã triển khai sau khi model được đưa vào vận hành và xử lý request thực tế. Trong khi huấn luyện và validation cho biết model học máy (ML model) hoạt động ra sao trên các dataset đã chuẩn bị, monitoring tập trung vào cách endpoint đã triển khai vận hành trong môi trường production.

Một phần quan trọng của monitoring là theo dõi các chỉ số cấp hệ thống phản ánh độ tin cậy và khả năng phản hồi. Các chỉ số như độ trễ và thời gian hoạt động giúp đánh giá mức độ xử lý request đầu vào của hệ thống. Độ trễ đo thời gian cần để xử lý request và trả về phản hồi, còn thời gian hoạt động cho biết mức độ duy trì khả năng truy cập ổn định của endpoint.

Một khía cạnh quan trọng khác là khả năng quan sát (observability), giúp nhìn rõ cách các request được xử lý. Mỗi khi một đầu vào, chẳng hạn hình ảnh hoặc frame video, được gửi đến model đã triển khai, đầu vào đó sẽ được xử lý dưới dạng request suy luận.

Log ghi lại các request này cùng những thông tin như dấu thời gian, thời gian phản hồi và mã trạng thái. Các log này giúp dễ dàng truy vết request, debug sự cố và điều tra lỗi khi chúng xảy ra. Log đặc biệt hữu ích để xác định các mẫu như lỗi lặp lại, phản hồi chậm hoặc hành vi hệ thống bất thường.

Bằng cách kết hợp chỉ số và log, monitoring giúp người dùng hiểu hệ thống đang vận hành như thế nào trong môi trường production và nhanh chóng xử lý vấn đề khi phát sinh.

So sánh chỉ số hiệu năng của model và chỉ số hệ thống#

Trước khi đi sâu vào monitoring production, hãy cùng tìm hiểu sự khác biệt giữa chỉ số hiệu năng của model và chỉ số hệ thống.

Thông thường, monitoring model gắn với các chỉ số đánh giá, còn gọi là chỉ số model, chẳng hạn độ chính xác, precision, recall và mAP (độ chính xác trung bình). Các chỉ số này mô tả hành vi của model và đánh giá chất lượng dự đoán, thường liên quan đến dữ liệu production hoặc dữ liệu đầu vào. Chúng đặc biệt hữu ích để phát hiện các trường hợp ngoại lệ hoặc outlier trong dữ liệu mới.

Tuy nhiên, việc này khác với monitoring một hệ thống đã triển khai trong môi trường production. Trong bối cảnh này, monitoring tập trung vào cách hệ thống vận hành thay vì trực tiếp đánh giá dự đoán của model.

Thay vì các chỉ số model, monitoring triển khai dựa vào các tín hiệu cấp hệ thống như số lượng request, độ trễ, tỷ lệ lỗi và thời gian hoạt động. Các chỉ số này cho thấy endpoint xử lý dữ liệu đầu vào như thế nào, phản hồi nhất quán ra sao và vận hành thế nào trong môi trường production.

Vai trò của monitoring model trong các dự án thị giác máy tính#

Tiếp theo, hãy xem một ví dụ thực tế cho thấy vì sao cần có hệ thống monitoring khi triển khai thị giác máy tính.

Hãy xem xét một giải pháp thị giác sử dụng ước tính tư thế, một tác vụ thị giác máy tính dùng để nhận diện và phân tích chuyển động cơ thể người, nhằm giám sát việc tuân thủ an toàn của công nhân xây dựng. Khi mới triển khai model, hệ thống như vậy có thể hoạt động tốt trong điều kiện được kiểm soát, với tầm nhìn rõ ràng và các tình huống tiêu chuẩn.

Tuy nhiên, công trường thực tế có thêm nhiều yếu tố phức tạp. Số lượng request có thể thay đổi trong ngày, điều kiện mạng có thể không ổn định và nhiều camera hoặc endpoint có thể gửi dữ liệu cùng lúc. Nếu không được monitoring đúng cách, những yếu tố này có thể khiến phản hồi chậm hơn hoặc đôi khi xảy ra lỗi.

Hình 2. Sử dụng ước tính tư thế để giám sát công nhân tại công trường xây dựng (Nguồn)

Trong môi trường production như vậy, việc hiểu hệ thống vận hành ổn định đến mức nào là rất quan trọng. Monitoring cho biết endpoint có khả dụng hay không, tốc độ phản hồi request đầu vào ra sao và mức độ xử lý lưu lượng nhất quán theo thời gian.

Ví dụ, độ trễ tăng có thể cho thấy tải cao hơn hoặc tài nguyên bị giới hạn, trong khi tỷ lệ lỗi tăng có thể chỉ ra sự cố trong quá trình xử lý request hoặc độ ổn định của hệ thống. Log cung cấp thêm ngữ cảnh bằng cách cho thấy từng request được xử lý như thế nào và lỗi xảy ra ở đâu.

Bằng cách theo dõi các tín hiệu này, người đam mê AI và nhà khoa học dữ liệu có thể sớm phát hiện vấn đề, khắc phục sự cố hiệu quả hơn và đảm bảo hệ thống tiếp tục vận hành ổn định khi điều kiện thực tế thay đổi.

Sử dụng Ultralytics Platform để monitoring các model thị giác đã triển khai#

Trong nhiều quy trình deep learning, monitoring thường được thực hiện bằng các công cụ riêng biệt cho log, chỉ số và tình trạng hệ thống. Thiết lập rời rạc này có thể khiến việc nắm rõ cách các endpoint đã triển khai vận hành trong môi trường production trở nên khó khăn, đồng thời làm tăng độ phức tạp trong quản lý triển khai.

Ultralytics Platform đơn giản hóa việc này bằng cách tích hợp monitoring vào một môi trường thống nhất, bao quát toàn bộ quy trình thị giác máy tính, từ nhập và gán nhãn dữ liệu đến huấn luyện, triển khai và monitoring.

Với thiết lập tích hợp này, người dùng có thể theo dõi cách các endpoint đã triển khai xử lý lưu lượng thực tế mà không cần thiết lập hệ thống log bên ngoài hoặc dashboard bổ sung. Mọi thứ đều có sẵn tại một nơi, giúp dễ quan sát hành vi của hệ thống và duy trì triển khai ổn định theo thời gian.

Có thể truy cập các tính năng monitoring trực tiếp từ tab Deploy. Từ một dashboard duy nhất, người dùng có thể theo dõi các chỉ số chính, phân tích hoạt động ở cấp request và trực quan hóa xu hướng. Các biểu đồ trực quan tích hợp này giúp dễ dàng nắm được hiệu quả hoạt động của giải pháp mà không cần chuyển đổi giữa các công cụ.

Bằng cách kết hợp monitoring, triển khai và quản lý model trong quy trình tổng thể, nền tảng này giúp giảm độ phức tạp. Nhờ đó, việc tập trung quản lý triển khai, tối ưu hiệu năng hệ thống và duy trì độ tin cậy trở nên liền mạch hơn.

Các tính năng monitoring tích hợp của Ultralytics Platform#

Trong triển khai thực tế, monitoring đòi hỏi khả năng quan sát rõ ràng cách hệ thống vận hành khi điều kiện thay đổi theo thời gian. Việc này không chỉ dừng ở theo dõi một vài chỉ số mà còn bao gồm tìm hiểu cách endpoint đã triển khai hoạt động trên nhiều môi trường và quản lý hiệu quả nhiều lần triển khai.

Dựa trên phản hồi của cộng đồng AI thị giác về những thách thức phổ biến trong thị giác máy tính, Ultralytics Platform tích hợp một số khả năng giúp việc monitoring trở nên thiết thực và dễ mở rộng hơn.

Dưới đây là tổng quan về một số tính năng chính:

• Khả năng quan sát triển khai toàn cầu: Trang Deploy có bản đồ thế giới tương tác hiển thị các khu vực triển khai cùng chỉ báo trực quan cho endpoint đang hoạt động và đang được thiết lập, cho phép người dùng theo dõi phân bố địa lý và hoạt động theo khu vực.
• Chế độ xem dashboard linh hoạt: Dashboard triển khai cung cấp nhiều chế độ xem, bao gồm dạng thẻ, lưới gọn và dạng bảng với các cột có thể sắp xếp như tên, khu vực, trạng thái và số lượng request, hỗ trợ việc theo dõi và so sánh có hệ thống.
• Monitoring nhiều endpoint: Dashboard tổng hợp dữ liệu monitoring trên tất cả các lần triển khai bằng thẻ tổng quan và danh sách triển khai.
• Chính sách lưu giữ dữ liệu: Dữ liệu monitoring được lưu giữ trong một khoảng thời gian xác định; chỉ số khả dụng trong 30 ngày và log trong 7 ngày, hỗ trợ phân tích hiệu năng gần đây và quy trình debug.
• Hỗ trợ monitoring bên ngoài: Có thể monitoring endpoint triển khai bằng các công cụ bên ngoài như Datadog, New Relic và dịch vụ theo dõi thời gian hoạt động, hoặc truy cập endpoint API để thực hiện monitoring tùy chỉnh và kiểm tra tình trạng hệ thống.

Tiếp theo, chúng ta sẽ tìm hiểu chi tiết hơn một số tính năng này và xem cách sử dụng chúng để giám sát các endpoint đã triển khai trong môi trường production.

Cách theo dõi các chỉ số hiệu suất quan trọng bằng Ultralytics Platform#

Sau khi triển khai model, việc giám sát bắt đầu bằng cách theo dõi các chỉ số hệ thống quan trọng. Trong khi các chỉ số như độ chính xác và recall hữu ích trong quá trình phát triển, giám sát production tập trung vào các tín hiệu ở cấp hệ thống như thời gian phản hồi và tỷ lệ lỗi, qua đó cung cấp thông tin định lượng về mức độ xử lý lưu lượng truy cập thực tế đáng tin cậy của các endpoint.

Ultralytics Platform cung cấp dashboard tập trung, giúp hiển thị rõ hoạt động của endpoint và hành vi hệ thống. Cụ thể, dashboard Deployment có bốn chỉ số quan trọng cho biết cách các endpoint được sử dụng và phản hồi những request gửi đến.

Hãy cùng xem kỹ hơn các chỉ số này:

• Tổng số request: Tổng số request được gửi đến tất cả endpoint trong khoảng thời gian 24 giờ. Chỉ số này giúp xác định các mô hình sử dụng và nhu cầu tổng thể.
• Số deployment đang hoạt động: Số endpoint hiện đang chạy và xử lý request.
• Độ trễ P95: Thời gian phản hồi trong đó 95% request được hoàn tất. Chỉ số này phản ánh hiệu suất thực tế hơn vì có tính đến các phản hồi chậm hơn.
• Tỷ lệ lỗi: Tỷ lệ phần trăm request thất bại trên tổng số request. Chỉ số này giúp xác định vấn đề và có thể được dùng để phát hiện bất thường.

Nói đơn giản, các chỉ số này cung cấp cái nhìn rõ ràng về cách các endpoint đã triển khai vận hành trong môi trường production. Bằng cách phân tích mô hình sử dụng, các nhóm và cá nhân có thể hiểu cách lưu lượng được phân bổ, xác định thời điểm tải đạt đỉnh và đảm bảo hệ thống luôn phản hồi nhanh, đáng tin cậy khi mức sử dụng tăng lên.

Tìm hiểu hành vi triển khai model thông qua log#

Trong khi các chỉ số cung cấp cái nhìn tổng quan về hiệu suất hệ thống, log cho biết chi tiết hơn cách các endpoint đã triển khai xử lý từng request. Log ghi lại mỗi request được gửi đến endpoint cùng với phản hồi tương ứng.

Log hữu ích cho việc theo dõi sự cố, kiểm tra lỗi và tìm hiểu cách xử lý request. Trong Ultralytics Platform, bạn có thể chọn bất kỳ deployment nào để xem thông tin chi tiết, bao gồm cả log.

Hình 3. Ví dụ về log trong Ultralytics Platform (Nguồn)

Mỗi mục log trên nền tảng được hiển thị theo định dạng có cấu trúc, giúp dễ hiểu hơn những gì đã xảy ra trong từng request. Mỗi mục có mức độ nghiêm trọng, cho biết tầm quan trọng của sự kiện, cùng dấu thời gian ghi lại thời điểm sự kiện xảy ra.

Mục log cũng có thông báo mô tả sự kiện và các thông tin liên quan đến HTTP, chẳng hạn như mã trạng thái và độ trễ. Thông tin này giúp truy vết request, hỗ trợ khắc phục sự cố và debug hiệu quả hơn. Ngoài ra, log được nhóm theo mức độ nghiêm trọng để người dùng có thể ưu tiên các deployment cần được chú ý.

Phân tích tình trạng và độ tin cậy của endpoint trên Ultralytics Platform#

Hoạt động giám sát cũng bao gồm việc tìm hiểu tình trạng tổng thể của các endpoint đã triển khai, chẳng hạn như chúng có chạy đúng cách, phản hồi đúng hạn và xử lý request ổn định mà không phát sinh lỗi hay không. Ultralytics Platform hiển thị rõ trạng thái tình trạng của từng deployment, giúp dễ dàng xác minh endpoint có hoạt động như mong đợi hay không.

Nền tảng có các chỉ báo trực quan về tình trạng của từng deployment, được hiển thị trên từng thẻ deployment.

Ví dụ: chỉ báo màu xanh lá cho biết endpoint đang ở trạng thái tốt và phản hồi bình thường, còn chỉ báo màu đỏ báo hiệu sự cố hoặc thời gian ngừng hoạt động. Biểu tượng xoay cho biết hệ thống đang kiểm tra trạng thái deployment.

Theo dõi tình trạng endpoint theo thời gian giúp phát hiện sớm sự cố, duy trì hiệu suất ổn định và đảm bảo trải nghiệm đáng tin cậy cho các ứng dụng chạy trong môi trường production.

Mối liên hệ giữa dữ liệu giám sát và cải thiện hiệu suất#

Giám sát model không chỉ là theo dõi các chỉ số. Hoạt động này tạo ra vòng phản hồi hỗ trợ cải tiến liên tục theo thời gian. Khi endpoint xử lý lưu lượng truy cập thực tế, các mô hình bắt đầu xuất hiện trong chỉ số và log, qua đó có thể bộc lộ những vấn đề như độ trễ tăng, tỷ lệ lỗi cao hơn hoặc hành vi hệ thống thiếu nhất quán.

Giám sát làm nổi bật những khu vực cần được chú ý. Ví dụ, độ trễ liên tục ở mức cao có thể cho thấy cần phân bổ tài nguyên tốt hơn hoặc mở rộng quy mô, còn tỷ lệ lỗi tăng có thể là dấu hiệu của vấn đề trong xử lý request hoặc độ ổn định hệ thống.

Sau khi xác định được các vấn đề này, có thể thực hiện các bước để cải thiện độ tin cậy. Những bước này có thể bao gồm điều chỉnh hạ tầng, mở rộng quy mô tài nguyên hoặc khắc phục vấn đề trong quy trình xử lý request. Sau các thay đổi đó, có thể tiếp tục giám sát hệ thống để xác nhận hiệu suất đã được cải thiện.

Kết hợp giám sát với các cải tiến liên tục giúp người dùng duy trì hệ thống vững chắc khi mức sử dụng tăng và điều kiện thay đổi.

Tìm hiểu ví dụ thực tế: Giám sát quy trình xử lý hành lý trong ngành hàng không#

Để hiểu rõ hơn tác động của hoạt động giám sát trong một tình huống thực tế, hãy cùng tìm hiểu cách áp dụng hoạt động này vào tự động hóa các hoạt động mặt đất trong ngành hàng không.

Hãy xem xét một hệ thống thị giác máy tính được thiết kế để giám sát việc chất và dỡ hành lý trong quá trình phục vụ máy bay trên mặt đất. Trong hệ thống này, có thể dùng model phát hiện đối tượng như Ultralytics YOLO26 để phát hiện hành lý có rơi khỏi băng chuyền hoặc thiết bị xử lý hay không.

Trong quá trình thử nghiệm và triển khai ban đầu, hệ thống thời gian thực có thể hoạt động tốt, nhận diện hành lý chính xác và phản hồi nhanh.

Tuy nhiên, trong môi trường sân bay thực tế, các điều kiện khó dự đoán hơn nhiều. Ánh sáng thay đổi trong ngày, nhiều camera truyền dữ liệu cùng lúc và lượng request tăng đột biến vào những thời điểm cao điểm. Những yếu tố này có thể làm tăng độ trễ hoặc gây lỗi; nếu không theo dõi được hệ thống, các vấn đề như vậy rất dễ bị bỏ sót.

Đây là lúc hoạt động giám sát phát huy giá trị. Bằng cách theo dõi các chỉ số như lưu lượng request, độ trễ và tỷ lệ lỗi cùng với log chi tiết, các nhóm có thể nhanh chóng nhận ra khi endpoint hoạt động chậm hoặc gặp lỗi. Nếu độ trễ tăng vào giờ cao điểm, đó có thể là dấu hiệu cần mở rộng quy mô tài nguyên; còn nếu lỗi tăng đột ngột, nguyên nhân có thể liên quan đến một số camera cụ thể hoặc quy trình xử lý request. Hành động dựa trên các tín hiệu này giúp duy trì độ tin cậy của hệ thống, để quy trình xử lý hành lý tiếp tục được giám sát chính xác ngay cả khi điều kiện thay đổi.

Điểm chính cần ghi nhớ#

Giám sát giúp các model thị giác máy tính đã triển khai duy trì độ tin cậy sau khi rời khỏi môi trường phát triển có kiểm soát và bắt đầu xử lý lưu lượng truy cập thực tế. Bằng cách tập trung vào các tín hiệu cấp hệ thống như lưu lượng request, độ trễ, tỷ lệ lỗi và thời gian hoạt động, cùng với log chi tiết, hoạt động giám sát cung cấp khả năng quan sát cần thiết để phát hiện sớm sự cố và giúp hệ thống production vận hành trơn tru.

Được tích hợp trực tiếp vào quy trình triển khai, Ultralytics Platform giúp theo dõi tình trạng endpoint, kiểm tra hành vi của request và duy trì độ tin cậy của hệ thống dễ dàng hơn mà không cần phụ thuộc vào các công cụ riêng lẻ. Bằng cách tập hợp dữ liệu, huấn luyện, triển khai và giám sát tại một nơi, nền tảng giúp các nhóm chuyển từ thử nghiệm sang triển khai thực tế đáng tin cậy.

Tham gia cộng đồng đang phát triển của chúng tôi và khám phá repository GitHub để tìm hiểu thêm về AI thị giác. Để bắt đầu phát triển với AI thị giác ngay hôm nay, hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá cách AI trong sản xuất và AI trong chăm sóc sức khỏe đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.