Giám sát các model thị giác máy tính đã triển khai trên Ultralytics Platform

Việc kiểm thử các computer vision models phân tích hình ảnh và video không phải lúc nào cũng giống như chạy chúng trong môi trường production. Trong quá trình phát triển, các model hoặc thuật toán như vậy được kiểm thử trên các tập dữ liệu sạch, được chuẩn bị kỹ lưỡng, nơi các điều kiện được kiểm soát và có thể dự đoán trước.

Khi đã triển khai, mọi thứ trở nên năng động hơn. Các model được tiếp xúc với lưu lượng truy cập thực tế, nơi khối lượng yêu cầu có thể thay đổi, thời gian phản hồi có thể biến động và các lỗi ngẫu nhiên có thể xảy ra.

Ở giai đoạn này, trọng tâm chuyển sang việc liệu hệ thống có đang vận hành đáng tin cậy hay không, với các endpoint luôn khả dụng, phản hồi nhanh và ổn định trong các điều kiện thay đổi.

Đó là lý do tại sao việc giám sát là thiết yếu. Nó cung cấp cái nhìn rõ ràng về cách các endpoint đã triển khai hoạt động trong môi trường production thông qua các metric như lưu lượng yêu cầu, độ trễ, tỷ lệ lỗi và tình trạng tổng thể của hệ thống.

Để việc này trở nên dễ dàng hơn, việc có các công cụ phù hợp cũng quan trọng không kém gì bản thân model. Gần đây, Ultralytics đã giới thiệu Ultralytics Platform, môi trường end-to-end mới của chúng tôi giúp hợp nhất toàn bộ quy trình làm việc về thị giác máy tính, từ dữ liệu và huấn luyện đến triển khai và giám sát.

Hình 1. Bảng điều khiển triển khai của Ultralytics Platform với các tính năng giám sát (Nguồn)

Với việc giám sát được tích hợp trực tiếp vào quy trình làm việc này, người dùng có thể theo dõi tình trạng endpoint, kiểm tra hành vi yêu cầu và duy trì hệ thống đáng tin cậy mà không cần dựa vào các công cụ riêng biệt. Trong bài viết này, chúng tôi sẽ khám phá cách sử dụng Ultralytics Platform để monitor deployed model endpoint và giữ cho các hệ thống production vận hành trơn tru. Hãy cùng bắt đầu!

Link to this sectionTổng quan về giám sát AI model#

Trong vòng đời của một AI model, giám sát đề cập đến việc quan sát cách các hệ thống đã triển khai hoạt động khi model đã live và phục vụ các yêu cầu thực tế. Trong khi quá trình huấn luyện và xác thực cho thấy cách một machine learning model (ML model) hoạt động trên các tập dữ liệu đã chuẩn bị, thì việc giám sát tập trung vào cách endpoint đã triển khai vận hành trong môi trường production.

Một phần quan trọng của việc giám sát là theo dõi các metric ở cấp độ hệ thống phản ánh độ tin cậy và khả năng phản hồi. Các metric như độ trễ và thời gian hoạt động (uptime) giúp cho biết hệ thống đang xử lý các yêu cầu đến tốt như thế nào. Độ trễ đo lường thời gian cần thiết để xử lý một yêu cầu và trả về phản hồi, trong khi thời gian hoạt động làm nổi bật tính nhất quán của trạng thái khả dụng của endpoint.

Một khía cạnh then chốt khác là khả năng quan sát, cung cấp cái nhìn sâu sắc về cách các yêu cầu được xử lý. Mỗi khi một đầu vào, chẳng hạn như hình ảnh hoặc khung hình video, được gửi đến một model đã triển khai, nó được xử lý như một yêu cầu inference.

Logs ghi lại các yêu cầu này cùng với các chi tiết như dấu thời gian, thời gian phản hồi và mã trạng thái. Những log này giúp việc truy vết yêu cầu, gỡ lỗi và điều tra sự cố khi chúng xảy ra dễ dàng hơn. Chúng đặc biệt hữu ích để xác định các mẫu hình như lỗi lặp đi lặp lại, phản hồi chậm hoặc hành vi hệ thống bất thường.

Bằng cách kết hợp các metric và log, việc giám sát giúp người dùng hiểu cách hệ thống của họ đang vận hành trong môi trường production và nhanh chóng phản hồi các sự cố khi chúng phát sinh.

Link to this sectionXem xét về các metric hiệu suất của model so với các metric hệ thống#

Trước khi đi sâu vào giám sát production, hãy thảo luận về sự khác biệt giữa metric hiệu suất của model và metric hệ thống.

Thông thường, giám sát model gắn liền với các metric đánh giá, còn được gọi là metric của model, như accuracy, precision, recall và mAP (mean average precision). Các metric này được sử dụng để mô tả hành vi của model và đánh giá chất lượng của các dự đoán từ model, thường liên quan đến dữ liệu production hoặc dữ liệu đầu vào. Chúng đặc biệt hữu ích để xác định các trường hợp biên hoặc dữ liệu ngoại lai trong dữ liệu mới.

Tuy nhiên, điều này khác với việc giám sát một hệ thống đã triển khai trong môi trường production. Trong ngữ cảnh này, giám sát tập trung vào cách hệ thống đang chạy thay vì đánh giá trực tiếp các dự đoán của model.

Thay vì các metric của model, giám sát triển khai dựa trên các tín hiệu ở cấp độ hệ thống như lưu lượng yêu cầu, độ trễ, tỷ lệ lỗi và thời gian hoạt động. Các metric này cung cấp cái nhìn về cách các endpoint xử lý dữ liệu đầu vào, cách chúng phản hồi nhất quán ra sao và cách chúng vận hành trong môi trường production.

Link to this sectionVai trò của giám sát model trong các dự án thị giác máy tính#

Tiếp theo, hãy xem xét một ví dụ thực tế làm nổi bật nhu cầu về một hệ thống giám sát trong các triển khai thị giác máy tính.

Hãy cân nhắc một giải pháp thị giác sử dụng pose estimation, một tác vụ thị giác máy tính dùng để nhận dạng và phân tích các chuyển động cơ thể người, nhằm giám sát công nhân xây dựng để đảm bảo tuân thủ an toàn. Trong quá trình triển khai model ban đầu, một hệ thống như vậy có thể hoạt động tốt trong các điều kiện được kiểm soát với khả năng hiển thị rõ ràng và các kịch bản tiêu chuẩn.

Tuy nhiên, các công trường xây dựng thực tế mang lại nhiều sự phức tạp hơn. Lưu lượng yêu cầu có thể thay đổi trong suốt cả ngày, điều kiện mạng có thể không ổn định và nhiều camera hoặc endpoint có thể gửi dữ liệu cùng lúc. Những yếu tố này có thể dẫn đến phản hồi chậm hơn hoặc xảy ra lỗi nếu hệ thống không được giám sát đúng cách.

Hình 2. Pose estimation được sử dụng để giám sát công nhân tại công trường xây dựng (Nguồn)

Trong môi trường production như thế này, việc hiểu rõ hệ thống đang hoạt động đáng tin cậy như thế nào trở nên quan trọng. Giám sát cung cấp cái nhìn về việc liệu các endpoint có khả dụng hay không, chúng phản hồi các yêu cầu đến nhanh như thế nào và cách chúng xử lý lưu lượng truy cập nhất quán ra sao theo thời gian.

Ví dụ, độ trễ tăng có thể chỉ ra tải cao hơn hoặc các hạn chế về tài nguyên, trong khi tỷ lệ lỗi tăng có thể chỉ ra các vấn đề về xử lý yêu cầu hoặc độ ổn định của hệ thống. Logs bổ sung thêm bối cảnh bằng cách cho thấy cách các yêu cầu riêng lẻ được xử lý và nơi xảy ra lỗi.

Bằng cách theo dõi các tín hiệu này, những người đam mê AI và các nhà khoa học dữ liệu có thể xác định các vấn đề sớm, khắc phục sự cố hiệu quả hơn và đảm bảo rằng hệ thống của họ tiếp tục vận hành đáng tin cậy khi các điều kiện thực tế thay đổi.

Link to this sectionSử dụng Ultralytics Platform để giám sát các vision model đã triển khai#

Trong nhiều quy trình deep learning, việc giám sát thường được xử lý bằng các công cụ riêng biệt cho logging, metric và tình trạng hệ thống. Thiết lập phân mảnh này có thể gây khó khăn trong việc có được cái nhìn rõ ràng về cách các endpoint đang vận hành trong môi trường production và làm tăng sự phức tạp trong việc quản lý triển khai.

Ultralytics Platform đơn giản hóa điều này bằng cách đưa việc giám sát trực tiếp vào một môi trường hợp nhất bao trùm toàn bộ computer vision workflow, từ khâu nhập và gán nhãn dữ liệu đến huấn luyện, triển khai và giám sát.

Với thiết lập tích hợp này, người dùng có thể theo dõi cách các endpoint đã triển khai xử lý lưu lượng thực tế mà không cần thiết lập các hệ thống logging bên ngoài hoặc bảng điều khiển bổ sung. Mọi thứ đều có sẵn tại một nơi, giúp việc quan sát hành vi hệ thống và duy trì các triển khai đáng tin cậy theo thời gian trở nên dễ dàng hơn.

Các tính năng giám sát có thể được truy cập trực tiếp từ Deploy tab. Từ một bảng điều khiển duy nhất, người dùng có thể theo dõi các metric chính, phân tích hành vi ở cấp độ yêu cầu và trực quan hóa xu hướng. Những hình ảnh trực quan tích hợp sẵn này giúp việc hiểu cách các giải pháp đang hoạt động trở nên dễ dàng hơn mà không cần phải chuyển đổi giữa nhiều công cụ.

Bằng cách tập hợp việc giám sát, triển khai và quản lý model vào quy trình làm việc chung rộng lớn hơn, nền tảng giúp giảm bớt sự phức tạp. Điều này giúp việc tập trung vào quản lý triển khai, tối ưu hóa hiệu suất hệ thống và duy trì độ tin cậy trở nên liền mạch hơn.

Link to this sectionCác tính năng giám sát tích hợp sẵn của Ultralytics Platform#

Trong các triển khai thực tế, việc giám sát phụ thuộc vào việc có được tầm nhìn rõ ràng về cách hệ thống đang chạy khi các điều kiện thay đổi theo thời gian. Nó vượt xa việc theo dõi một vài metric và bao gồm cả việc hiểu cách các endpoint đã triển khai hoạt động trên các môi trường khác nhau và quản lý nhiều triển khai một cách hiệu quả.

Lấy cảm hứng từ phản hồi của cộng đồng vision AI về các thách thức phổ biến trong thị giác máy tính, Ultralytics Platform bao gồm một số khả năng giúp việc giám sát trở nên thực tế và có khả năng mở rộng hơn.

Dưới đây là tổng quan về một số tính năng chính này:

• Tầm nhìn triển khai toàn cầu: Trang Deploy bao gồm một bản đồ thế giới tương tác hiển thị các khu vực triển khai với các chỉ báo trực quan cho các endpoint đang hoạt động và đang trong quá trình thực thi, cho phép người dùng giám sát sự phân bổ địa lý và hoạt động theo khu vực.
• Chế độ xem bảng điều khiển linh hoạt: Bảng điều khiển triển khai cung cấp nhiều chế độ xem, bao gồm chế độ xem dạng thẻ, lưới nhỏ gọn và bảng với các cột có thể sắp xếp như tên, khu vực, trạng thái và yêu cầu, hỗ trợ việc giám sát và so sánh có cấu trúc.
• Giám sát nhiều endpoint: Bảng điều khiển tổng hợp dữ liệu giám sát trên tất cả các triển khai bằng cách sử dụng các thẻ tổng quan và danh sách triển khai.
• Chính sách lưu giữ dữ liệu: Dữ liệu giám sát được lưu giữ trong một khoảng thời gian xác định, với các metric có sẵn trong 30 ngày và log trong 7 ngày, hỗ trợ các quy trình phân tích hiệu suất gần đây và gỡ lỗi.
• Hỗ trợ giám sát bên ngoài: Các endpoint triển khai có thể được giám sát bằng các công cụ bên ngoài như Datadog, New Relic và các dịch vụ giám sát thời gian hoạt động, hoặc truy cập thông qua các API endpoint để tùy chỉnh việc giám sát và kiểm tra tình trạng hệ thống.

Tiếp theo, chúng ta sẽ xem xét chi tiết hơn một số tính năng này và tìm hiểu cách chúng có thể được sử dụng để giám sát các endpoint đã triển khai trong production.

Link to this sectionCách theo dõi các metric hiệu suất chính bằng Ultralytics Platform#

Khi một model được triển khai, việc giám sát bắt đầu bằng việc theo dõi các metric hệ thống quan trọng. Mặc dù các metric như accuracy và recall hữu ích trong quá trình phát triển, việc giám sát production tập trung vào các tín hiệu ở cấp độ hệ thống như thời gian phản hồi và tỷ lệ lỗi, cung cấp những thông tin có thể đo lường được về mức độ tin cậy của các endpoint trong việc xử lý lưu lượng thực tế.

Ultralytics Platform cung cấp một bảng điều khiển tập trung mang lại cái nhìn rõ ràng về hoạt động của endpoint và hành vi của hệ thống. Đặc biệt, bảng điều khiển Deployment bao gồm bốn metric chính cho thấy cách các endpoint đang được sử dụng và cách chúng phản hồi các yêu cầu đến.

Dưới đây là cái nhìn chi tiết hơn về các metric này:

• Tổng số yêu cầu: Tổng số yêu cầu được thực hiện trên tất cả các endpoint trong khoảng thời gian 24 giờ. Điều này giúp xác định các mẫu hình sử dụng và nhu cầu tổng thể.
• Các triển khai đang hoạt động: Số lượng endpoint hiện đang chạy và phục vụ các yêu cầu.
• Độ trễ P95: Thời gian phản hồi trong đó 95% các yêu cầu được hoàn thành. Điều này cung cấp cái nhìn thực tế hơn về hiệu suất bằng cách tính toán các phản hồi chậm hơn.
• Tỷ lệ lỗi: Đây là tỷ lệ phần trăm các yêu cầu bị lỗi trên tổng số các yêu cầu. Metric này giúp xác định các vấn đề và có thể được sử dụng để phát hiện các điểm bất thường.

Nói một cách đơn giản, các metric này cung cấp cái nhìn rõ ràng về cách các endpoint đã triển khai hoạt động trong môi trường production. Bằng cách phân tích các mẫu hình sử dụng, các nhóm và cá nhân có thể hiểu sự phân bổ lưu lượng, xác định các giai đoạn tải cao điểm và đảm bảo rằng hệ thống vẫn phản hồi nhanh và đáng tin cậy khi mức độ sử dụng tăng lên.

Link to this sectionHiểu hành vi triển khai model thông qua logs#

Trong khi các metric cung cấp cái nhìn ở cấp độ cao về hiệu suất hệ thống, logs mang lại cái nhìn chi tiết hơn về cách các endpoint đã triển khai xử lý từng yêu cầu riêng lẻ. Logs ghi lại mỗi yêu cầu được gửi đến một endpoint cùng với phản hồi tương ứng.

Chúng rất hữu ích để theo dõi các sự cố, kiểm tra lỗi và hiểu cách các yêu cầu được xử lý. Trong Ultralytics Platform, bạn có thể chọn bất kỳ bản triển khai nào để xem chi tiết, bao gồm cả logs.

Hình 3. Ví dụ về logs trong Ultralytics Platform (Nguồn)

Một mục log trong nền tảng được hiển thị dưới định dạng có cấu trúc, giúp việc hiểu những gì đã xảy ra trong mỗi yêu cầu dễ dàng hơn. Mỗi mục bao gồm mức độ nghiêm trọng, cho biết tầm quan trọng của sự kiện, cùng với dấu thời gian cho thấy thời điểm nó xảy ra.

Nó cũng chứa một thông điệp mô tả sự kiện và các chi tiết liên quan đến HTTP như mã trạng thái và độ trễ. Thông tin này giúp truy vết các yêu cầu, hỗ trợ khắc phục sự cố và gỡ lỗi hiệu quả hơn. Hơn nữa, logs được nhóm theo mức độ nghiêm trọng, vì vậy người dùng có thể ưu tiên các triển khai cần chú ý.

Link to this sectionPhân tích tình trạng và độ tin cậy của endpoint trên Ultralytics Platform#

Giám sát cũng bao gồm việc hiểu tình trạng tổng thể của các endpoint đã triển khai, bao gồm việc liệu chúng có đang chạy đúng cách, phản hồi đúng hạn và xử lý các yêu cầu nhất quán mà không gặp lỗi hay không. Ultralytics Platform cung cấp cái nhìn rõ ràng về trạng thái tình trạng của mỗi bản triển khai, giúp việc xác minh các endpoint đang hoạt động như mong đợi trở nên đơn giản.

Nền tảng bao gồm các chỉ báo tình trạng trực quan cho mỗi bản triển khai, được hiển thị trên các thẻ triển khai riêng lẻ.

Ví dụ, một chỉ báo màu xanh lục cho thấy endpoint đang khỏe mạnh và phản hồi bình thường, trong khi một chỉ báo màu đỏ báo hiệu sự cố hoặc thời gian ngừng hoạt động. Một biểu tượng đang xoay cho thấy hệ thống đang tích cực kiểm tra trạng thái của bản triển khai.

Bằng cách theo dõi tình trạng endpoint theo thời gian, việc phát hiện sớm các sự cố, duy trì hiệu suất nhất quán và đảm bảo trải nghiệm ổn định cho các ứng dụng chạy trong môi trường production trở nên khả thi.

Link to this sectionMối liên hệ giữa dữ liệu giám sát và cải thiện hiệu suất#

Giám sát model không chỉ là theo dõi các metric. Nó tạo ra một vòng lặp phản hồi hỗ trợ cải tiến liên tục theo thời gian. Khi các endpoint xử lý lưu lượng thực tế, các mẫu hình bắt đầu xuất hiện trong các metric và logs, có thể tiết lộ các sự cố như độ trễ tăng, tỷ lệ lỗi cao hơn hoặc hành vi hệ thống không nhất quán.

Giám sát làm nổi bật các khu vực cần chú ý. Ví dụ, độ trễ cao liên tục có thể cho thấy nhu cầu về phân bổ tài nguyên hoặc khả năng mở rộng tốt hơn, trong khi tỷ lệ lỗi tăng có thể chỉ ra các vấn đề về xử lý yêu cầu hoặc độ ổn định của hệ thống.

Khi các vấn đề này được xác định, các bước có thể được thực hiện để cải thiện độ tin cậy. Điều này có thể bao gồm việc điều chỉnh cơ sở hạ tầng, mở rộng tài nguyên hoặc sửa lỗi trong cách xử lý các yêu cầu. Sau những thay đổi này, hệ thống có thể tiếp tục được giám sát để xác nhận rằng hiệu suất đã được cải thiện.

Bằng cách liên kết việc giám sát với các cải tiến liên tục, người dùng có thể duy trì các hệ thống mạnh mẽ khi mức độ sử dụng tăng lên và các điều kiện thay đổi.

Link to this sectionKhám phá một ví dụ thực tế: Giám sát xử lý hành lý trong ngành hàng không#

Để hiểu rõ hơn về tác động của việc giám sát trong một kịch bản thực tế, hãy cùng khám phá cách nó áp dụng cho việc tự động hóa các aviation ground operations.

Hãy xem xét một hệ thống thị giác được thiết kế để giám sát việc bốc xếp hành lý trong các hoạt động mặt đất của máy bay. Trong thiết lập này, một model phát hiện đối tượng như Ultralytics YOLO26 có thể được sử dụng để phát hiện xem hành lý có bị rơi khỏi băng chuyền hoặc thiết bị xử lý hay không.

Trong quá trình thử nghiệm và triển khai sớm, hệ thống thời gian thực có thể hoạt động tốt, nhận dạng hành lý chính xác và phản hồi nhanh chóng.

Tuy nhiên, trong môi trường sân bay thực tế, các điều kiện ít có thể dự đoán hơn nhiều. Ánh sáng thay đổi trong suốt cả ngày, nhiều camera truyền dữ liệu cùng lúc và khối lượng yêu cầu tăng vọt trong thời gian cao điểm. Những yếu tố này có thể làm tăng độ trễ hoặc xuất hiện lỗi, và nếu không có sự giám sát hệ thống, những vấn đề như vậy có thể dễ dàng bị bỏ qua.

Đây là lúc việc giám sát trở nên có giá trị. Bằng cách theo dõi các metric như lưu lượng yêu cầu, độ trễ và tỷ lệ lỗi cùng với các log chi tiết, các nhóm có thể nhanh chóng thấy được thời điểm một endpoint đang chậm lại hoặc gặp lỗi. Nếu độ trễ tăng trong giờ cao điểm, nó có thể báo hiệu nhu cầu mở rộng tài nguyên, trong khi lỗi tăng đột ngột có thể chỉ ra các vấn đề với camera cụ thể hoặc việc xử lý yêu cầu. Việc hành động dựa trên các tín hiệu này giúp giữ cho hệ thống luôn đáng tin cậy, để việc xử lý hành lý có thể tiếp tục được giám sát chính xác ngay cả khi các điều kiện thay đổi.

Link to this sectionCác điểm chính cần lưu ý#

Giám sát là yếu tố giữ cho các model thị giác máy tính đã triển khai luôn đáng tin cậy sau khi chúng rời khỏi các điều kiện kiểm soát của quá trình phát triển và bắt đầu xử lý lưu lượng thực tế. Bằng cách tập trung vào các tín hiệu ở cấp độ hệ thống như lưu lượng yêu cầu, độ trễ, tỷ lệ lỗi và thời gian hoạt động, cùng với các log chi tiết, việc giám sát cung cấp tầm nhìn cần thiết để phát hiện các sự cố sớm và giữ cho các hệ thống production vận hành trơn tru.

Với việc giám sát được tích hợp trực tiếp vào quy trình triển khai, Ultralytics Platform giúp việc theo dõi tình trạng endpoint, kiểm tra hành vi yêu cầu và duy trì hệ thống đáng tin cậy trở nên dễ dàng hơn mà không cần dựa vào các công cụ riêng biệt. Bằng cách hợp nhất dữ liệu, huấn luyện, triển khai và giám sát tại một nơi, nền tảng giúp các nhóm chuyển từ thử nghiệm sang các triển khai thực tế đáng tin cậy.

Hãy tham gia cộng đồng đang phát triển của chúng tôi và khám phá GitHub repository của chúng tôi để tìm hiểu thêm về vision AI. Để bắt đầu xây dựng với vision AI ngay hôm nay, hãy xem các tùy chọn cấp phép của chúng tôi. Khám phá cách AI trong sản xuất và AI trong chăm sóc sức khỏe đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.