Giám sát Ultralytics Platform: Duy trì hoạt động triển khai AI thị giác ổn định
Giám sát model AI thị giác đã triển khai bằng Ultralytics Platform. Theo dõi tình trạng endpoint, độ trễ, lỗi, log và thống kê dự đoán trực tiếp.
Triển khai model thị giác máy tính là một cột mốc quan trọng, nhưng thành công trong production còn phụ thuộc vào những gì diễn ra sau đó. Khi lưu lượng tăng và điều kiện thực tế thay đổi, các nhóm cần biết liệu endpoint có tiếp tục phản hồi nhanh, đáng tin cậy và hữu ích hay không.
Giám sát trong Ultralytics Platform giúp các nhóm theo dõi model Ultralytics YOLO đã triển khai ngay trong cùng môi trường dùng để quản lý dữ liệu, huấn luyện và triển khai. Theo dõi tình trạng vận hành, kiểm tra xu hướng dự đoán, khắc phục sự cố và chuyển các ví dụ hữu ích trong production thành dữ liệu để cải thiện model trong tương lai.
Giám sát model AI thị giác là gì?#
Giám sát model AI thị giác giúp các nhóm hiểu cách endpoint đã triển khai và các dự đoán của endpoint hoạt động trong production.
Ultralytics Platform giải đáp hai câu hỏi quan trọng:
- Endpoint có hoạt động ổn định không? Theo dõi request, độ trễ P95, tỷ lệ lỗi, trạng thái tình trạng và log.
- Model đang nhìn thấy và dự đoán điều gì? Kiểm tra các dự đoán mẫu và số liệu thống kê như số lượng lớp, độ tin cậy, thời gian suy luận và vị trí dự đoán nếu được hỗ trợ.
Kết hợp lại, những thông tin chuyên sâu này cung cấp bức tranh rõ ràng hơn so với chỉ theo dõi tình trạng endpoint. Endpoint vẫn có thể trực tuyến trong khi mẫu lưu lượng, thời gian phản hồi hoặc phân phối dự đoán thay đổi. Tính năng giám sát giúp việc điều tra các tín hiệu đó dễ dàng hơn.
Nắm bắt nhanh tình trạng triển khai#
Trang Deploy đóng vai trò là dashboard giám sát tập trung cho các endpoint của bạn. Các thẻ tổng quan tóm tắt request HTTP, lượt triển khai đang hoạt động, tỷ lệ lỗi và độ trễ P95 trong 24 giờ trước đó.
Với các metric này, nhóm có thể:
- Nắm bắt nhu cầu: Xem lưu lượng truy cập endpoint đang tăng, giảm hay thay đổi bất thường.
- Xác định vấn đề về hiệu năng: Dùng độ trễ P95 để điều tra các phản hồi chậm có thể ảnh hưởng đến ứng dụng.
- Phát hiện lỗi: Nhận biết tỷ lệ lỗi HTTP tăng cao và dùng log triển khai để chẩn đoán nguyên nhân.
- Kiểm tra khả năng sẵn sàng: Xác nhận từng endpoint có hoạt động tốt và phản hồi hay không.
- So sánh các lượt triển khai: Xem endpoint ở dạng thẻ, dạng thu gọn hoặc bảng có thể sắp xếp.
Thẻ tỷ lệ lỗi được làm nổi bật khi tỷ lệ vượt quá 5%, giúp các vấn đề vận hành dễ được chú ý mà nhóm không cần kiểm tra từng endpoint.
Khắc phục sự cố nhanh hơn với kiểm tra tình trạng và log#
Khi endpoint gặp sự cố, các nhóm cần nhiều hơn một metric tổng quan. Mỗi lượt triển khai ở trạng thái sẵn sàng đều có chỉ báo tình trạng và quyền truy cập vào log gần đây.
Tính năng kiểm tra tình trạng cho biết endpoint có phản hồi hay không và báo cáo độ trễ phản hồi. Tính năng này cũng có thể giúp làm nóng endpoint đã thu nhỏ về 0 trước khi gửi lưu lượng production.
Log cung cấp thêm ngữ cảnh qua dấu thời gian, mức độ nghiêm trọng, thông báo và chi tiết HTTP. Nhờ đó, các nhóm có thể điều tra request thất bại, phản hồi bất ngờ hoặc thay đổi hiệu năng mà không cần chuyển ngay sang giao diện log riêng.
Bằng cách kết nối metric, kiểm tra tình trạng và log với từng lượt triển khai, Ultralytics Platform tạo lộ trình trực tiếp hơn từ lúc phát hiện sự cố đến khi hiểu rõ sự cố.
Kiểm tra hành vi dự đoán trực tiếp#
Các endpoint chuyên dụng trả phí theo thời gian hoạt động, chạy runtime hỗ trợ giám sát, cung cấp thêm tab Monitoring với các ví dụ tạm thời và số liệu thống kê dự đoán.
Thư viện ví dụ tạm thời hiển thị một mẫu luân phiên các ảnh đã xử lý cùng phần chồng lớp dự đoán. Các nhóm có thể dùng những ví dụ này để kiểm tra nhanh những gì model đang nhìn thấy, xem xét đầu ra và xác định các đầu vào cần được xem xét thêm.
Số liệu thống kê dự đoán hiện có tùy thuộc vào tác vụ của model và có thể bao gồm:
- Ảnh và dự đoán đã xử lý theo thời gian
- Thời gian suy luận trung bình của model
- Các lớp được dự đoán thường xuyên
- Số dự đoán trên mỗi ảnh
- Độ tin cậy của dự đoán và xu hướng độ tin cậy
- Kích thước dự đoán
- Heatmap không gian về vị trí dự đoán
Các tín hiệu này có thể cho thấy những thay đổi cần điều tra, chẳng hạn như độ tin cậy giảm, phân phối lớp thay đổi bất ngờ hoặc dự đoán xuất hiện ở những vùng bất thường trong ảnh.
Độ tin cậy thể hiện mức độ chắc chắn của model, không phải độ chính xác. Khi đánh giá độ chính xác của model, các nhóm nên kiểm tra ví dụ và đối chiếu dự đoán với nhãn đã được xem xét.
Biến ví dụ trong production thành dữ liệu huấn luyện tốt hơn#
Giá trị của tính năng giám sát tăng lên khi thông tin thu được trong production có thể hỗ trợ chu kỳ phát triển tiếp theo.
Nếu một ví dụ cho thấy điều kiện khó, đối tượng bất thường hoặc khoảng trống tiềm ẩn trong phạm vi dữ liệu, thành viên workspace có quyền phù hợp có thể lưu trực tiếp ví dụ đó vào dataset tương thích. Sau đó, ảnh và dự đoán của ảnh sẽ đi qua quy trình nhập dataset tiêu chuẩn, nơi có thể xem xét nhãn trước khi dùng dữ liệu để huấn luyện.
Điều này tạo ra một vòng lặp cải tiến liền mạch:
- Huấn luyện model Ultralytics YOLO bằng dataset của bạn.
- Triển khai model lên endpoint chuyên dụng.
- Giám sát tình trạng endpoint và hành vi dự đoán.
- Kiểm tra các ví dụ hữu ích hoặc có vấn đề trong production.
- Lưu và xem xét các ví dụ đã chọn trong dataset.
- Huấn luyện lại và triển khai lại bằng dữ liệu phản ánh các điều kiện thực tế.
Thay vì để các quan sát trong production bị cô lập ở một hệ thống khác, các nhóm có thể kết nối chúng với dataset và model đã được quản lý trong Ultralytics Platform.
Được xây dựng để cung cấp khả năng quan sát vận hành mà không làm tăng độ phức tạp#
Quy trình thị giác máy tính trong production thường sử dụng các hệ thống riêng biệt cho triển khai, metric, log, kiểm tra model và quản lý dữ liệu. Việc chuyển qua lại giữa các hệ thống đó có thể làm chậm quá trình điều tra và khiến việc kết nối hành vi model với những cải tiến trong tương lai trở nên khó khăn hơn.
Ultralytics Platform hợp nhất các giai đoạn này. Các nhóm có thể chuyển từ huấn luyện sang triển khai, xem xét tình trạng endpoint, kiểm tra các dự đoán được lấy mẫu và lưu ví dụ hữu ích mà không phải dựng lại ngữ cảnh trên nhiều công cụ.
Ví dụ, một nhóm sản xuất có thể kiểm tra xem dự đoán lỗi có xuất hiện ở những vùng dự kiến trong ảnh hay không. Một nhóm logistics có thể xem xét những thay đổi về các lớp thường được phát hiện khi điều kiện vận hành thay đổi. Một nhóm bán lẻ có thể điều tra tình trạng độ trễ tăng và xác định xem cần chú ý đến cấu hình endpoint hay kích thước ảnh đầu vào.
Trong mỗi trường hợp, tính năng giám sát giúp các nhóm chuyển từ nhận định “có gì đó đã thay đổi” sang bước tiếp theo có cơ sở hơn.
Dữ liệu giám sát và điều kiện sử dụng#
Có thể truy cập tính năng giám sát vận hành, bao gồm request, độ trễ, lỗi, kiểm tra tình trạng và log, từ giao diện triển khai.
Để sử dụng số liệu thống kê dự đoán trực tiếp và ví dụ tạm thời, cần có endpoint chuyên dụng trả phí ở trạng thái sẵn sàng với runtime hỗ trợ giám sát. Có thể cần cập nhật các endpoint cũ trước khi tab Monitoring khả dụng.
Ví dụ dự đoán và số liệu thống kê được lưu trong bộ nhớ của instance phục vụ. Dữ liệu có thể bị xóa khi endpoint dừng, khởi động lại, triển khai lại, thay đổi tài nguyên hoặc thay model. Hãy lưu mọi ví dụ muốn giữ lại vào dataset trước khi thay đổi endpoint.
Bắt đầu giám sát các model đã triển khai#
Tính năng Monitoring của Ultralytics Platform cung cấp cho các nhóm khả năng quan sát cần thiết để quản lý AI thị giác sau khi triển khai. Bằng cách tập hợp metric endpoint, log, kiểm tra tình trạng, thông tin chuyên sâu về dự đoán và phản hồi từ dataset trong một quy trình, tính năng này giúp các nhóm xác định vấn đề nhanh hơn và xây dựng lộ trình rõ ràng hơn hướng tới hệ thống production đáng tin cậy.
Đăng nhập vào Ultralytics Platform, mở Deploy và chọn endpoint ở trạng thái sẵn sàng để xem xét tình trạng và hiệu năng của endpoint. Tìm hiểu khả năng cung cấp tính năng, số liệu thống kê dự đoán và chi tiết lưu giữ dữ liệu trong tài liệu Monitoring.
