Giám sát các mô hình thị giác máy tính đã triển khai trên Ultralytics Platform

Việc kiểm thử các model thị giác máy tính phân tích hình ảnh và video không phải lúc nào cũng giống với việc chạy chúng trong môi trường production. Trong quá trình phát triển, các model hoặc thuật toán như vậy được kiểm thử trên các tập dữ liệu sạch, đã được chuẩn bị kỹ lưỡng, nơi các điều kiện được kiểm soát và có thể dự đoán trước.

Khi đã triển khai, mọi thứ trở nên năng động hơn. Các model phải đối mặt với lưu lượng truy cập thực tế, nơi khối lượng yêu cầu có thể thay đổi, thời gian phản hồi có thể khác biệt và đôi khi xảy ra lỗi.

Ở giai đoạn này, trọng tâm chuyển sang việc liệu hệ thống có đang vận hành đáng tin cậy hay không, với các endpoint luôn khả dụng, phản hồi nhanh và ổn định trong các điều kiện thay đổi.

Đó là lý do tại sao việc giám sát là thiết yếu. Nó cung cấp cái nhìn rõ ràng về cách các endpoint đã triển khai hoạt động trong môi trường production thông qua các chỉ số như khối lượng yêu cầu, độ trễ, tỷ lệ lỗi và tình trạng sức khỏe tổng thể của hệ thống.

Để thực hiện việc này dễ dàng hơn, việc có sẵn các công cụ phù hợp cũng quan trọng không kém gì bản thân model. Gần đây, Ultralytics đã giới thiệu Ultralytics Platform, môi trường end-to-end mới của chúng tôi, tập hợp đầy đủ quy trình làm việc về thị giác máy tính, từ dữ liệu và huấn luyện đến triển khai và giám sát.

Hình 1. Bảng điều khiển triển khai của Ultralytics Platform với các tính năng giám sát (Nguồn)

Với tính năng giám sát được tích hợp trực tiếp vào quy trình làm việc này, người dùng có thể theo dõi sức khỏe endpoint, kiểm tra hành vi yêu cầu và duy trì các hệ thống đáng tin cậy mà không cần dựa vào các công cụ riêng lẻ. Trong bài viết này, chúng tôi sẽ khám phá cách sử dụng Ultralytics Platform để giám sát các endpoint model đã triển khai và giữ cho các hệ thống production vận hành trơn tru. Hãy bắt đầu thôi!

Link to this sectionTổng quan về giám sát model AI#

Trong vòng đời của một model AI, giám sát đề cập đến việc quan sát cách các hệ thống đã triển khai hoạt động khi model đã trực tuyến và phục vụ các yêu cầu thực tế. Trong khi quá trình huấn luyện và kiểm định cho thấy cách một model học máy (ML model) hoạt động trên các tập dữ liệu đã chuẩn bị, thì giám sát tập trung vào cách endpoint đã triển khai vận hành trong môi trường production.

Một phần quan trọng của giám sát là theo dõi các chỉ số cấp hệ thống phản ánh độ tin cậy và khả năng phản hồi. Các chỉ số như độ trễ và thời gian hoạt động (uptime) giúp chỉ ra hệ thống đang xử lý các yêu cầu đến tốt như thế nào. Độ trễ đo lường thời gian cần thiết để xử lý một yêu cầu và trả về phản hồi, trong khi uptime làm nổi bật mức độ nhất quán mà endpoint duy trì được trạng thái khả dụng.

Một khía cạnh then chốt khác là khả năng quan sát (observability), cung cấp tầm nhìn về cách các yêu cầu được xử lý. Mỗi khi một dữ liệu đầu vào, chẳng hạn như hình ảnh hoặc khung hình video, được gửi đến một model đã triển khai, nó sẽ được xử lý như một yêu cầu suy luận (inference request).

Các bản ghi (logs) ghi lại những yêu cầu này cùng với các chi tiết như dấu thời gian, thời gian phản hồi và mã trạng thái. Các bản ghi này giúp việc truy vết yêu cầu, gỡ lỗi và điều tra nguyên nhân khi xảy ra lỗi trở nên dễ dàng hơn. Chúng đặc biệt hữu ích để xác định các kiểu hình như lỗi lặp lại, phản hồi chậm hoặc hành vi hệ thống bất ngờ.

Bằng cách kết hợp các chỉ số và bản ghi, việc giám sát giúp người dùng hiểu rõ cách hệ thống của họ đang vận hành trong môi trường production và nhanh chóng phản ứng với các vấn đề khi chúng phát sinh.

Link to this sectionXem xét các chỉ số hiệu năng model so với các chỉ số hệ thống#

Trước khi đi sâu vào giám sát production, hãy cùng thảo luận về sự khác biệt giữa các chỉ số hiệu năng model và các chỉ số hệ thống.

Thông thường, giám sát model gắn liền với các chỉ số đánh giá, còn được gọi là chỉ số model, như độ chính xác (accuracy), precision, recall và mAP (mean average precision). Những chỉ số này được sử dụng để mô tả hành vi của model và đánh giá chất lượng của các dự đoán từ model, thường liên quan đến dữ liệu production hoặc dữ liệu đầu vào. Chúng có thể đặc biệt hữu ích để xác định các trường hợp ngoại lệ (edge cases) hoặc giá trị ngoại lai (outliers) trong dữ liệu mới.

Tuy nhiên, điều này khác với việc giám sát một hệ thống đã triển khai trong môi trường production. Trong ngữ cảnh này, việc giám sát tập trung vào cách hệ thống đang vận hành thay vì đánh giá trực tiếp các dự đoán của model.

Thay vì các chỉ số model, giám sát triển khai dựa vào các tín hiệu cấp hệ thống như khối lượng yêu cầu, độ trễ, tỷ lệ lỗi và thời gian hoạt động. Các chỉ số này cung cấp tầm nhìn về cách các endpoint xử lý dữ liệu đầu vào, mức độ nhất quán khi phản hồi và cách chúng vận hành trong môi trường production.

Link to this sectionVai trò của giám sát model trong các dự án thị giác máy tính#

Tiếp theo, hãy xem xét một ví dụ thực tế làm nổi bật nhu cầu về một hệ thống giám sát trong các triển khai thị giác máy tính.

Hãy xem xét một giải pháp thị giác sử dụng pose estimation, một tác vụ thị giác máy tính dùng để nhận diện và phân tích chuyển động cơ thể người, để giám sát công nhân xây dựng nhằm đảm bảo an toàn. Trong quá trình triển khai model ban đầu, hệ thống như vậy có thể hoạt động tốt trong các điều kiện kiểm soát với tầm nhìn rõ ràng và các kịch bản tiêu chuẩn.

Tuy nhiên, các công trường xây dựng thực tế mang đến nhiều sự phức tạp hơn. Khối lượng yêu cầu có thể thay đổi trong ngày, điều kiện mạng có thể không ổn định và nhiều camera hoặc endpoint có thể gửi dữ liệu cùng một lúc. Những yếu tố này có thể dẫn đến phản hồi chậm hơn hoặc lỗi phát sinh nếu hệ thống không được giám sát đúng cách.

Hình 2. Sử dụng pose estimation để giám sát công nhân tại công trường (Nguồn)

Trong một môi trường production như thế này, việc hiểu rõ hệ thống đang vận hành đáng tin cậy đến mức nào trở nên quan trọng. Giám sát cung cấp tầm nhìn về việc liệu các endpoint có khả dụng hay không, tốc độ phản hồi với các yêu cầu đến nhanh như thế nào và mức độ nhất quán trong việc xử lý lưu lượng theo thời gian.

Ví dụ, sự gia tăng độ trễ có thể chỉ ra tải cao hơn hoặc các ràng buộc về tài nguyên, trong khi tỷ lệ lỗi tăng có thể báo hiệu các vấn đề về xử lý yêu cầu hoặc độ ổn định của hệ thống. Các bản ghi bổ sung thêm ngữ cảnh bằng cách hiển thị cách các yêu cầu riêng lẻ được xử lý và nơi xảy ra lỗi.

Bằng cách theo dõi các tín hiệu này, những người đam mê AI và các nhà khoa học dữ liệu có thể xác định vấn đề sớm, khắc phục sự cố hiệu quả hơn và đảm bảo hệ thống tiếp tục vận hành đáng tin cậy khi các điều kiện thực tế thay đổi.

Link to this sectionSử dụng Ultralytics Platform để giám sát các model thị giác đã triển khai#

Trong nhiều quy trình làm việc deep learning, việc giám sát thường được xử lý bằng các công cụ riêng biệt cho việc ghi log, chỉ số và sức khỏe hệ thống. Thiết lập phân mảnh này có thể gây khó khăn trong việc có được cái nhìn rõ ràng về cách các endpoint đang vận hành trong môi trường production và làm tăng sự phức tạp trong việc quản lý triển khai.

Ultralytics Platform đơn giản hóa điều này bằng cách đưa việc giám sát vào một môi trường thống nhất bao gồm toàn bộ quy trình làm việc thị giác máy tính, từ thu nhận và gắn nhãn dữ liệu đến huấn luyện, triển khai và giám sát.

Với thiết lập tích hợp này, người dùng có thể theo dõi cách các endpoint đã triển khai xử lý lưu lượng thực tế mà không cần thiết lập các hệ thống ghi log bên ngoài hoặc các bảng điều khiển bổ sung. Mọi thứ đều có sẵn tại một nơi, giúp việc quan sát hành vi hệ thống và duy trì các triển khai đáng tin cậy theo thời gian trở nên dễ dàng hơn.

Các tính năng giám sát có thể được truy cập trực tiếp từ tab Deploy. Từ một bảng điều khiển duy nhất, người dùng có thể theo dõi các chỉ số chính, phân tích hành vi ở cấp độ yêu cầu và trực quan hóa xu hướng. Những hình ảnh trực quan tích hợp sẵn này giúp việc hiểu hiệu quả hoạt động của các giải pháp trở nên dễ dàng hơn mà không cần phải chuyển đổi giữa nhiều công cụ.

Bằng cách kết hợp giám sát, triển khai và quản lý model trong cùng một quy trình rộng lớn hơn, nền tảng giúp giảm bớt sự phức tạp. Điều này giúp việc tập trung vào quản lý triển khai, tối ưu hóa hiệu năng hệ thống và duy trì độ tin cậy trở nên liền mạch hơn.

Link to this sectionCác tính năng giám sát tích hợp sẵn của Ultralytics Platform#

Trong các triển khai thực tế, việc giám sát phụ thuộc vào việc có tầm nhìn rõ ràng về cách hệ thống đang vận hành khi các điều kiện thay đổi theo thời gian. Nó không chỉ dừng lại ở việc theo dõi một vài chỉ số mà còn liên quan đến việc hiểu cách các endpoint đã triển khai hoạt động trên các môi trường khác nhau và quản lý hiệu quả nhiều triển khai cùng lúc.

Được truyền cảm hứng từ phản hồi của cộng đồng vision AI về các thách thức phổ biến trong thị giác máy tính, Ultralytics Platform bao gồm một số khả năng giúp việc giám sát trở nên thiết thực và có khả năng mở rộng hơn.

Dưới đây là tổng quan về một số tính năng chính này:

• Tầm nhìn triển khai toàn cầu: Trang Deploy bao gồm bản đồ thế giới tương tác hiển thị các khu vực triển khai với các chỉ báo trực quan cho các endpoint đang hoạt động và đang trong quá trình xử lý, cho phép người dùng giám sát sự phân bổ địa lý và hoạt động theo khu vực.
• Chế độ xem bảng điều khiển linh hoạt: Bảng điều khiển triển khai cung cấp nhiều chế độ xem, bao gồm chế độ thẻ, lưới thu gọn và bảng với các cột có thể sắp xếp như tên, khu vực, trạng thái và yêu cầu, hỗ trợ việc giám sát và so sánh có cấu trúc.
• Giám sát nhiều endpoint: Bảng điều khiển tổng hợp dữ liệu giám sát trên tất cả các triển khai bằng cách sử dụng các thẻ tổng quan và danh sách triển khai.
• Chính sách lưu giữ dữ liệu: Dữ liệu giám sát được lưu giữ trong một khoảng thời gian xác định, với các chỉ số khả dụng trong 30 ngày và các bản ghi trong 7 ngày, hỗ trợ quy trình phân tích hiệu năng gần đây và gỡ lỗi.
• Hỗ trợ giám sát bên ngoài: Các endpoint triển khai có thể được giám sát bằng các công cụ bên ngoài như Datadog, New Relic và các dịch vụ giám sát thời gian hoạt động, hoặc truy cập thông qua các API endpoint để giám sát tùy chỉnh và kiểm tra sức khỏe hệ thống.

Tiếp theo, chúng ta sẽ đi qua chi tiết một số tính năng này và xem cách chúng có thể được sử dụng để giám sát các endpoint đã triển khai trong môi trường production.

Link to this sectionCách theo dõi các chỉ số hiệu năng chính bằng Ultralytics Platform#

Khi model đã được triển khai, việc giám sát bắt đầu bằng việc theo dõi các chỉ số hệ thống chính. Trong khi các chỉ số như accuracy và recall hữu ích trong giai đoạn phát triển, thì việc giám sát trong môi trường production tập trung vào các tín hiệu cấp hệ thống như thời gian phản hồi và tỷ lệ lỗi, cung cấp những hiểu biết có thể đo lường được về mức độ tin cậy của các endpoint khi xử lý lưu lượng thực tế.

Ultralytics Platform cung cấp một bảng điều khiển tập trung mang lại cái nhìn rõ ràng về hoạt động của endpoint và hành vi của hệ thống. Đặc biệt, bảng điều khiển Deployment bao gồm bốn chỉ số chính cho thấy cách các endpoint đang được sử dụng và cách chúng phản hồi với các yêu cầu đến.

Dưới đây là cái nhìn sâu hơn về các chỉ số này:

• Tổng số yêu cầu (Total requests): Tổng số yêu cầu được thực hiện trên tất cả các endpoint trong khoảng thời gian 24 giờ. Điều này giúp xác định các kiểu hình sử dụng và nhu cầu tổng thể.
• Triển khai đang hoạt động (Active deployments): Số lượng endpoint hiện đang chạy và phục vụ các yêu cầu.
• Độ trễ P95 (P95 latency): Thời gian phản hồi trong đó 95% yêu cầu được hoàn thành. Điều này mang lại cái nhìn thực tế hơn về hiệu năng bằng cách tính đến các phản hồi chậm hơn.
• Tỷ lệ lỗi (Error rate): Là phần trăm các yêu cầu thất bại trên tổng số yêu cầu. Chỉ số này giúp xác định các vấn đề và có thể được sử dụng để phát hiện những bất thường.

Nói một cách đơn giản, các chỉ số này cung cấp cái nhìn rõ ràng về cách các endpoint đã triển khai vận hành trong môi trường production. Bằng cách phân tích các kiểu hình sử dụng, các nhóm và cá nhân có thể hiểu được sự phân bổ lưu lượng, xác định các thời điểm tải đỉnh và đảm bảo hệ thống luôn phản hồi nhanh và đáng tin cậy khi nhu cầu sử dụng tăng lên.

Link to this sectionHiểu hành vi triển khai model thông qua các bản ghi#

Trong khi các chỉ số cung cấp cái nhìn cấp cao về hiệu năng hệ thống, thì các bản ghi (logs) cung cấp cái nhìn chi tiết hơn về cách các endpoint đã triển khai xử lý từng yêu cầu riêng lẻ. Các bản ghi lưu lại mỗi yêu cầu được gửi đến một endpoint cùng với phản hồi tương ứng.

Chúng hữu ích cho việc theo dõi các vấn đề, kiểm tra lỗi và hiểu cách các yêu cầu được xử lý. Trong Ultralytics Platform, bạn có thể chọn bất kỳ triển khai nào để xem chi tiết, bao gồm cả các bản ghi.

Hình 3. Ví dụ về các bản ghi trong Ultralytics Platform (Nguồn)

Một mục bản ghi trong nền tảng được hiển thị dưới định dạng có cấu trúc, giúp dễ hiểu hơn những gì đã xảy ra trong mỗi yêu cầu. Mỗi mục bao gồm mức độ nghiêm trọng (severity level), chỉ ra mức độ quan trọng của sự kiện, cùng với dấu thời gian hiển thị thời điểm xảy ra sự kiện.

Nó cũng chứa một thông điệp mô tả sự kiện và các chi tiết liên quan đến HTTP như mã trạng thái và độ trễ. Thông tin này giúp truy vết yêu cầu, hỗ trợ khắc phục sự cố và gỡ lỗi hiệu quả hơn. Hơn nữa, các bản ghi được nhóm theo mức độ nghiêm trọng, vì vậy người dùng có thể ưu tiên các triển khai cần được chú ý.

Link to this sectionPhân tích sức khỏe và độ tin cậy của endpoint trên Ultralytics Platform#

Giám sát cũng liên quan đến việc hiểu sức khỏe tổng thể của các endpoint đã triển khai, bao gồm việc liệu chúng có đang chạy đúng cách, phản hồi đúng hạn và xử lý yêu cầu nhất quán mà không có lỗi hay không. Ultralytics Platform cung cấp cái nhìn rõ ràng về trạng thái sức khỏe của từng triển khai, giúp việc xác minh rằng các endpoint đang vận hành như mong đợi trở nên đơn giản.

Nền tảng bao gồm các chỉ báo sức khỏe trực quan cho mỗi triển khai, được hiển thị trên các thẻ triển khai riêng lẻ.

Ví dụ, chỉ báo màu xanh lá cây cho thấy endpoint đang khỏe mạnh và phản hồi bình thường, trong khi chỉ báo màu đỏ báo hiệu các vấn đề hoặc thời gian ngừng hoạt động (downtime). Biểu tượng đang quay chỉ ra rằng hệ thống đang tích cực kiểm tra trạng thái của triển khai.

Bằng cách theo dõi sức khỏe của endpoint theo thời gian, có thể phát hiện sớm các vấn đề, duy trì hiệu năng nhất quán và đảm bảo trải nghiệm ổn định cho các ứng dụng đang chạy trong môi trường production.

Link to this sectionMối liên hệ giữa dữ liệu giám sát và cải thiện hiệu năng#

Giám sát model không chỉ là theo dõi các chỉ số. Nó tạo ra một vòng lặp phản hồi hỗ trợ việc cải tiến liên tục theo thời gian. Khi các endpoint xử lý lưu lượng thực tế, các kiểu hình bắt đầu xuất hiện trong các chỉ số và bản ghi, có thể tiết lộ các vấn đề như độ trễ tăng, tỷ lệ lỗi cao hơn hoặc hành vi hệ thống không nhất quán.

Giám sát làm nổi bật các khu vực cần được chú ý. Ví dụ, độ trễ cao liên tục có thể cho thấy cần phân bổ tài nguyên tốt hơn hoặc mở rộng quy mô, trong khi tỷ lệ lỗi tăng có thể chỉ ra các vấn đề về xử lý yêu cầu hoặc độ ổn định của hệ thống.

Sau khi các vấn đề này được xác định, các bước có thể được thực hiện để cải thiện độ tin cậy. Điều này có thể bao gồm việc điều chỉnh cơ sở hạ tầng, mở rộng tài nguyên hoặc sửa chữa các vấn đề trong cách yêu cầu được xử lý. Sau những thay đổi này, hệ thống có thể tiếp tục được giám sát để xác nhận rằng hiệu năng đã được cải thiện.

Bằng cách liên kết việc giám sát với các cải tiến liên tục, người dùng có thể duy trì các hệ thống mạnh mẽ khi nhu cầu sử dụng tăng lên và các điều kiện thay đổi.

Link to this sectionKhám phá một ví dụ thực tế: Giám sát xử lý hành lý trong ngành hàng không#

Để hiểu rõ hơn về tác động của việc giám sát trong một kịch bản thực tế, hãy cùng khám phá cách nó được áp dụng vào việc tự động hóa các hoạt động mặt đất hàng không.

Hãy xem xét một hệ thống thị giác được thiết kế để giám sát việc bốc xếp hành lý trong các hoạt động mặt đất tại sân bay. Trong thiết lập này, một model nhận diện đối tượng như Ultralytics YOLO26 có thể được sử dụng để phát hiện xem hành lý có bị rơi khỏi băng chuyền hoặc thiết bị xử lý hay không.

Trong quá trình kiểm thử và triển khai sớm, hệ thống thời gian thực có thể hoạt động tốt, xác định hành lý chính xác và phản hồi nhanh chóng.

Tuy nhiên, trong một môi trường sân bay thực tế, các điều kiện khó dự đoán hơn nhiều. Ánh sáng thay đổi trong suốt cả ngày, nhiều camera truyền dữ liệu cùng lúc và khối lượng yêu cầu tăng đột biến trong các giai đoạn bận rộn. Những yếu tố này có thể khiến độ trễ tăng cao hoặc các lỗi xuất hiện, và nếu không có tầm nhìn vào hệ thống, những vấn đề như vậy có thể dễ dàng bị bỏ qua.

Đây là lúc việc giám sát trở nên giá trị. Bằng cách theo dõi các chỉ số như khối lượng yêu cầu, độ trễ và tỷ lệ lỗi cùng với các bản ghi chi tiết, các nhóm có thể nhanh chóng nhìn thấy khi một endpoint đang chậm lại hoặc thất bại. Nếu độ trễ tăng cao trong giờ cao điểm, nó có thể báo hiệu cần mở rộng tài nguyên, trong khi sự gia tăng đột ngột của lỗi có thể chỉ ra các vấn đề với camera cụ thể hoặc việc xử lý yêu cầu. Hành động dựa trên các tín hiệu này giúp giữ cho hệ thống đáng tin cậy, để việc xử lý hành lý có thể tiếp tục được giám sát chính xác ngay cả khi các điều kiện thay đổi.

Link to this sectionCác điểm chính cần lưu ý#

Giám sát là yếu tố giúp các model thị giác máy tính đã triển khai luôn đáng tin cậy khi chúng rời khỏi các điều kiện kiểm soát của giai đoạn phát triển và bắt đầu xử lý lưu lượng thực tế. Bằng cách tập trung vào các tín hiệu cấp hệ thống như khối lượng yêu cầu, độ trễ, tỷ lệ lỗi và thời gian hoạt động, cùng với các bản ghi chi tiết, việc giám sát cung cấp tầm nhìn cần thiết để phát hiện sớm các vấn đề và giữ cho các hệ thống production vận hành trơn tru.

Với việc giám sát được tích hợp trực tiếp vào quy trình triển khai, Ultralytics Platform giúp việc theo dõi sức khỏe endpoint, kiểm tra hành vi yêu cầu và duy trì các hệ thống đáng tin cậy trở nên dễ dàng hơn mà không cần dựa vào các công cụ riêng lẻ. Bằng cách tập hợp dữ liệu, huấn luyện, triển khai và giám sát vào một nơi, nền tảng giúp các nhóm chuyển đổi từ thử nghiệm sang các triển khai thực tế đáng tin cậy.

Hãy tham gia cộng đồng đang phát triển của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về vision AI. Để xây dựng với vision AI ngay hôm nay, hãy xem qua các tùy chọn cấp phép của chúng tôi. Khám phá cách AI trong sản xuất và AI trong y tế đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.