Giám sát trên Ultralytics Platform: Giữ các hệ thống triển khai vision AI luôn ổn định

Việc triển khai một mô hình thị giác máy tính là một mốc quan trọng, nhưng sự thành công trong môi trường sản xuất phụ thuộc vào những gì diễn ra sau đó. Khi lưu lượng truy cập tăng lên và các điều kiện thực tế thay đổi, các đội ngũ cần biết liệu các endpoint có tiếp tục phản hồi tốt, đáng tin cậy và hữu ích hay không.

Giám sát trong Nền tảng Ultralytics cung cấp cho các đội ngũ khả năng quan sát các mô hình Ultralytics YOLO đã triển khai ngay từ cùng một môi trường được sử dụng để quản lý dữ liệu, huấn luyện và triển khai. Theo dõi tình trạng hoạt động, kiểm tra xu hướng dự đoán, xử lý sự cố và chuyển các ví dụ sản xuất hữu ích thành dữ liệu để cải thiện mô hình trong tương lai.

Giám sát mô hình AI thị giác là gì?#

Giám sát mô hình AI thị giác giúp các đội ngũ hiểu cách các endpoint đã triển khai và các dự đoán của các endpoint đó hoạt động trong môi trường sản xuất.

Nền tảng Ultralytics giải quyết hai câu hỏi quan trọng:

• Endpoint có đang hoạt động đáng tin cậy không? Theo dõi các yêu cầu, độ trễ P95, tỷ lệ lỗi, trạng thái sức khỏe và nhật ký.
• Mô hình đang nhìn thấy và dự đoán những gì? Kiểm tra các dự đoán mẫu và các thống kê như số lượng lớp, độ tin cậy, thời gian suy luận và vị trí dự đoán ở những nơi được hỗ trợ.

Cùng với nhau, các thông tin chi tiết này cung cấp bức tranh rõ ràng hơn so với việc chỉ dựa vào tính khả dụng của endpoint. Một endpoint có thể vẫn trực tuyến trong khi các mẫu lưu lượng truy cập, thời gian phản hồi hoặc phân phối dự đoán thay đổi. Tính năng giám sát giúp việc điều tra các tín hiệu đó trở nên dễ dàng hơn.

Hiểu rõ tình trạng triển khai trong nháy mắt#

Trang Triển khai đóng vai trò là bảng điều khiển giám sát trung tâm cho các endpoint của bạn. Các thẻ tổng quan tóm tắt các yêu cầu HTTP, các triển khai đang hoạt động, tỷ lệ lỗi và độ trễ P95 trong 24 giờ qua.

Với các số liệu này, các đội ngũ có thể:

• Hiểu nhu cầu: Xem liệu lưu lượng truy cập endpoint đang tăng, giảm hay thay đổi bất ngờ.
• Xác định sự cố hiệu suất: Sử dụng độ trễ P95 để điều tra các phản hồi chậm có thể ảnh hưởng đến ứng dụng.
• Phát hiện lỗi: Phát hiện tỷ lệ lỗi HTTP tăng cao và sử dụng nhật ký triển khai để chẩn đoán nguyên nhân.
• Kiểm tra tính khả dụng: Xác nhận xem các endpoint riêng lẻ có đang hoạt động tốt và phản hồi hay không.
• So sánh các triển khai: Xem lại các endpoint thông qua chế độ xem dạng thẻ, dạng gọn hoặc dạng bảng có thể sắp xếp.

Thẻ tỷ lệ lỗi được làm nổi bật khi tỷ lệ vượt quá 5%, giúp các vấn đề vận hành nổi bật lên mà không yêu cầu các đội ngũ phải kiểm tra từng endpoint một cách riêng lẻ.

Xử lý sự cố nhanh hơn với các bước kiểm tra sức khỏe và nhật ký#

Khi một endpoint gặp sự cố, các đội ngũ cần nhiều hơn là một số liệu cấp cao. Mỗi triển khai sẵn sàng đều bao gồm một chỉ báo sức khỏe và quyền truy cập vào các nhật ký gần đây.

Các bước kiểm tra sức khỏe cho biết endpoint có đang phản hồi hay không và báo cáo độ trễ phản hồi của endpoint đó. Các bước kiểm tra sức khỏe cũng có thể giúp khởi động một endpoint đã thu nhỏ về số không trước khi lưu lượng truy cập sản xuất được gửi đến.

Nhật ký cung cấp bối cảnh bổ sung thông qua dấu thời gian, mức độ nghiêm trọng, thông báo và thông tin chi tiết về HTTP. Điều này giúp các đội ngũ điều tra các yêu cầu không thành công, các phản hồi bất ngờ hoặc các thay đổi về hiệu suất mà không cần chuyển đổi ngay sang một giao diện ghi nhật ký riêng biệt.

Bằng cách kết nối các số liệu, kiểm tra sức khỏe và nhật ký với mỗi triển khai, Nền tảng Ultralytics tạo ra một con đường trực tiếp hơn từ việc xác định sự cố đến việc hiểu rõ sự cố đó.

Kiểm tra hành vi dự đoán trực tiếp#

Các endpoint chuyên dụng trả phí, tính phí theo thời gian hoạt động chạy một runtime có khả năng giám sát cung cấp thêm tab Giám sát với các ví dụ tạm thời và thống kê dự đoán.

Thư viện ví dụ tạm thời hiển thị một mẫu luân phiên các hình ảnh đã xử lý kèm theo các lớp phủ dự đoán. Các đội ngũ có thể sử dụng các ví dụ này để kiểm tra nhanh những gì mô hình đang nhìn thấy, kiểm tra các đầu ra của mô hình và xác định các đầu vào xứng đáng được xem xét thêm.

Các thống kê dự đoán có sẵn phụ thuộc vào tác vụ mô hình và có thể bao gồm:

• Hình ảnh đã xử lý và các dự đoán theo thời gian
• Thời gian suy luận mô hình trung bình
• Các lớp được dự đoán thường xuyên
• Số lượng dự đoán trên mỗi hình ảnh
• Độ tin cậy dự đoán và xu hướng độ tin cậy
• Kích thước dự đoán
• Bản đồ nhiệt không gian của các vị trí dự đoán

Các tín hiệu này có thể tiết lộ những thay đổi đáng chú ý, chẳng hạn như độ tin cậy giảm, sự thay đổi bất ngờ trong phân phối lớp hoặc các dự đoán xuất hiện ở các phần bất thường của hình ảnh.

Độ tin cậy chỉ mức độ chắc chắn của mô hình, không phải độ chính xác. Các đội ngũ nên kiểm tra các ví dụ và so sánh các dự đoán với các nhãn đã xem xét khi đánh giá độ chính xác của mô hình.

Biến các ví dụ sản xuất thành dữ liệu huấn luyện tốt hơn#

Tính năng giám sát trở nên có giá trị hơn khi các thông tin chi tiết từ môi trường sản xuất có thể cung cấp thông tin cho chu kỳ phát triển tiếp theo.

Nếu một ví dụ tiết lộ một điều kiện khó khăn, đối tượng bất thường hoặc khoảng trống phạm vi phủ sóng tiềm năng, các thành viên không gian làm việc có quyền thích hợp có thể lưu ví dụ đó trực tiếp vào một tập dữ liệu tương thích. Hình ảnh và các dự đoán của hình ảnh đó sau đó sẽ đi qua quy trình tiếp nhận tập dữ liệu chuẩn, nơi các nhãn có thể được xem xét trước khi dữ liệu được sử dụng để huấn luyện.

Điều này tạo ra một vòng lặp cải tiến được kết nối:

1. Huấn luyện một mô hình Ultralytics YOLO bằng tập dữ liệu của bạn.
2. Triển khai mô hình đó lên một endpoint chuyên dụng.
3. Giám sát tình trạng endpoint và hành vi dự đoán.
4. Kiểm tra các ví dụ sản xuất hữu ích hoặc có vấn đề.
5. Lưu và xem xét các ví dụ đã chọn trong một tập dữ liệu.
6. Huấn luyện lại và triển khai lại bằng dữ liệu dựa trên các điều kiện thực tế.

Thay vì để các quan sát trong môi trường sản xuất cô lập trong một hệ thống khác, các đội ngũ có thể kết nối các quan sát đó với các tập dữ liệu và mô hình đã được quản lý trong Nền tảng Ultralytics.

Được xây dựng để đảm bảo khả năng quan sát vận hành mà không làm tăng độ phức tạp#

Các quy trình thị giác máy tính trong môi trường sản xuất thường liên quan đến các hệ thống riêng biệt cho việc triển khai, số liệu, nhật ký, kiểm tra mô hình và quản lý dữ liệu. Việc di chuyển giữa các hệ thống đó có thể làm chậm quá trình điều tra và khiến việc kết nối hành vi mô hình với các cải tiến trong tương lai trở nên khó khăn hơn.

Nền tảng Ultralytics hợp nhất các giai đoạn này lại với nhau. Các đội ngũ có thể chuyển từ huấn luyện sang triển khai, xem xét tình trạng endpoint, kiểm tra các dự đoán được lấy mẫu và lưu các ví dụ hữu ích mà không cần thiết lập lại bối cảnh trên nhiều công cụ.

Ví dụ, một đội ngũ sản xuất có thể kiểm tra xem các dự đoán lỗi có đang xuất hiện ở các khu vực dự kiến của hình ảnh hay không. Một đội ngũ logistics có thể xem xét những thay đổi trong các lớp được phát hiện thường xuyên khi các điều kiện vận hành phát triển. Một đội ngũ bán lẻ có thể điều tra việc tăng độ trễ và xác định xem cấu hình endpoint hay kích thước hình ảnh đầu vào cần được chú ý.

Trong mỗi trường hợp, tính năng giám sát giúp các đội ngũ chuyển từ việc “có gì đó đã thay đổi” sang một bước đi tiếp theo có cơ sở hơn.

Dữ liệu giám sát và tính đủ điều kiện#

Tính năng giám sát vận hành, bao gồm các yêu cầu, độ trễ, lỗi, kiểm tra sức khỏe và nhật ký, có sẵn từ trải nghiệm triển khai.

Thống kê dự đoán trực tiếp và các ví dụ tạm thời yêu cầu một endpoint chuyên dụng sẵn sàng, trả phí với một runtime có khả năng giám sát. Các endpoint cũ có thể cần được cập nhật trước khi tab Giám sát khả dụng.

Các ví dụ dự đoán và thống kê được giữ trong bộ nhớ của thể hiện phục vụ. Các ví dụ và thống kê này có thể bị xóa khi một endpoint dừng, khởi động lại, triển khai lại, thay đổi tài nguyên hoặc thay thế mô hình của endpoint. Hãy lưu bất kỳ ví dụ nào bạn muốn giữ lại vào một tập dữ liệu trước khi thay đổi endpoint.

Bắt đầu giám sát các mô hình đã triển khai của bạn#

Giám sát Nền tảng Ultralytics cung cấp cho các đội ngũ khả năng hiển thị cần thiết để quản lý AI thị giác vượt ra ngoài việc triển khai. Bằng cách đưa các số liệu endpoint, nhật ký, kiểm tra sức khỏe, thông tin chi tiết về dự đoán và phản hồi tập dữ liệu vào một quy trình làm việc duy nhất, tính năng này giúp các đội ngũ xác định sự cố nhanh hơn và xây dựng con đường rõ ràng hơn hướng tới các hệ thống sản xuất đáng tin cậy.

Đăng nhập vào Nền tảng Ultralytics, mở Triển khai và chọn một endpoint sẵn sàng để xem xét tình trạng và hiệu suất của endpoint đó. Khám phá tính khả dụng của tính năng, thống kê dự đoán và chi tiết lưu giữ dữ liệu trong tài liệu giám sát.