Khả năng quan sát

Khả năng quan sát (Observability) là việc thiết kế và trang bị các hệ thống để cung cấp dữ liệu có độ trung thực cao về trạng thái bên trong của chúng, cho phép các nhóm khám phá, gỡ lỗi và hiểu hành vi của chúng một cách hiệu quả. Trong bối cảnh Trí tuệ nhân tạo (AI) và Học máy (ML), nó vượt ra ngoài việc giám sát đơn giản để cho phép hiểu sâu sắc về các mô hình phức tạp và quy trình dữ liệu. Thay vì chỉ theo dõi các chỉ số hiệu suất (performance metrics) được xác định trước, một hệ thống có khả năng quan sát cung cấp dữ liệu phong phú, có thể khám phá, cho phép bạn đặt câu hỏi mới và chẩn đoán các vấn đề chưa biết sau khi triển khai mô hình (model deployment).

So sánh khả năng quan sát với giám sát

Mặc dù thường được sử dụng cùng nhau, khả năng quan sát (observability) và giám sát mô hình (model monitoring) là những khái niệm riêng biệt.

• Giám sát là quá trình thu thập và phân tích dữ liệu để theo dõi các chế độ lỗi đã biết. Bạn thiết lập cảnh báo cho các ngưỡng cụ thể, được xác định trước, chẳng hạn như tỷ lệ lỗi vượt quá 5% hoặc độ trễ suy luận vượt quá 200ms. Nó cho bạn biết nếu có điều gì đó không ổn.
• Khả năng quan sát là một thuộc tính của hệ thống cho phép bạn hiểu tại sao một điều gì đó sai, ngay cả khi bạn chưa từng thấy vấn đề đó trước đây. Nó sử dụng nhật ký chi tiết, số liệu và dấu vết để cho phép phân tích thăm dò và xác định nguyên nhân gốc rễ. Một hệ thống có khả năng quan sát là một hệ thống bạn có thể gỡ lỗi mà không cần phải xuất bản mã mới để thu thập thêm thông tin. Khả năng này rất quan trọng để quản lý tính chất khó lường của các hệ thống AI trong sản xuất.

Ba trụ cột của khả năng quan sát (Observability)

Khả năng quan sát thường được xây dựng trên ba loại dữ liệu đo từ xa cốt lõi:

1. Nhật ký (Logs): Đây là các bản ghi sự kiện có dấu thời gian, không thể thay đổi. Trong các hệ thống ML, nhật ký có thể ghi lại các yêu cầu dự đoán riêng lẻ, lỗi xác thực dữ liệu hoặc thay đổi cấu hình hệ thống. Mặc dù ghi nhật ký truyền thống có thể là văn bản đơn giản, nhưng ghi nhật ký có cấu trúc (ví dụ: ở định dạng JSON) giúp nhật ký dễ dàng truy vấn và phân tích ở quy mô lớn hơn nhiều.
2. Các metrics: Đây là các biểu diễn số của dữ liệu được đo theo thời gian. Các metrics chính trong hệ thống ML bao gồm độ chính xác của mô hình, thông lượng dự đoán, mức sử dụng CPU/GPU và mức sử dụng bộ nhớ. Cơ sở dữ liệu chuỗi thời gian như Prometheus thường được sử dụng để lưu trữ và truy vấn dữ liệu này.
3. Dấu vết (Traces): Dấu vết cung cấp một cái nhìn chi tiết về một yêu cầu hoặc giao dịch duy nhất khi nó di chuyển qua tất cả các thành phần của một hệ thống. Trong một quy trình thị giác máy tính, một dấu vết có thể theo dõi một hình ảnh duy nhất từ quá trình thu thập và tiền xử lý đến suy luận mô hình và hậu xử lý, hiển thị thời gian dành cho mỗi bước. Điều này vô cùng quý giá để xác định các nút thắt cổ chai và lỗi trong các hệ thống phân tán.

Tại sao khả năng quan sát (Observability) lại rất quan trọng đối với các hệ thống AI?

Các mô hình học sâu (Deep learning) có thể rất phức tạp và khó hiểu, gây khó khăn cho việc nắm bắt hành vi của chúng trong thế giới thực. Khả năng quan sát (Observability) là rất cần thiết để:

• Gỡ lỗi và khắc phục sự cố: Khi một mô hình như Ultralytics YOLO11 đưa ra dự đoán không chính xác, các công cụ giám sát có thể giúp theo dõi dữ liệu đầu vào và các kích hoạt mô hình để hiểu nguyên nhân.
• Phát hiện Drift: Các mô hình AI có thể xuống cấp theo thời gian do data drift (khi phân phối dữ liệu sản xuất thay đổi so với dữ liệu huấn luyện) hoặc concept drift. Khả năng quan sát giúp phát hiện những thay đổi này bằng cách giám sát phân phối dữ liệu và hiệu suất mô hình.
• Đảm bảo sự tin cậy và công bằng: Trong các ứng dụng nhạy cảm như AI trong lĩnh vực chăm sóc sức khỏe, khả năng quan sát hỗ trợ AI có thể giải thích (XAI) và Tính minh bạch trong AI bằng cách cung cấp một dấu vết kiểm toán rõ ràng về các quyết định của mô hình. Điều này rất quan trọng để tuân thủ các quy định và xây dựng lòng tin với các bên liên quan.
• Tối ưu hóa hiệu suất: Bằng cách theo dõi mức sử dụng tài nguyên và độ trễ, các nhóm có thể tối ưu hóa hiệu quả mô hình và giảm chi phí vận hành, đây là mục tiêu chính của MLOps.

Các Ứng dụng Thực tế

1. Xe tự hành: Một xe tự hành sử dụng mô hình nhận thức để phát hiện đối tượng theo thời gian thực. Công cụ quan sát (observability tooling) theo dõi một khung hình camera thông qua toàn bộ hệ thống, từ cảm biến đến quyết định. Nếu xe không phát hiện được người đi bộ vào lúc nhá nhem tối, các kỹ sư có thể sử dụng các dấu vết (traces) để xem liệu độ trễ trong bước tiền xử lý hình ảnh có phải là nguyên nhân hay không. Họ cũng có thể phân tích các số liệu về độ tin cậy phát hiện (detection confidence scores) trong các thời điểm khác nhau trong ngày để xác định các vấn đề mang tính hệ thống.
2. Quản lý hàng tồn kho bán lẻ: Một hệ thống bán lẻ thông minh sử dụng camera để theo dõi hàng tồn kho trên kệ. Một nền tảng quan sát theo dõi số lượng sản phẩm được phát hiện trên mỗi kệ, tần suất các lệnh gọi API và độ trễ của các dự đoán. Nếu hệ thống báo cáo mức tồn kho không chính xác cho một sản phẩm cụ thể, các nhà phát triển có thể lọc các dấu vết cho SKU của sản phẩm đó, kiểm tra hình ảnh và điểm dự đoán đã ghi và xác định xem ánh sáng kém hoặc bao bì bất thường có gây ra sự cố hay không. Điều này cho phép chẩn đoán nhanh chóng và đào tạo lại với tăng cường dữ liệu tốt hơn.

Công cụ và Nền tảng

Việc triển khai observability thường liên quan đến các công cụ và nền tảng chuyên dụng. Các giải pháp mã nguồn mở như Grafana (trực quan hóa), Loki (nhật ký) và Jaeger (theo dõi) rất phổ biến. OpenTelemetry cung cấp một tiêu chuẩn trung lập về nhà cung cấp cho việc đo lường. Các nền tảng thương mại như Datadog, New Relic và Dynatrace cung cấp các giải pháp tích hợp. Các nền tảng MLOps như MLflow, Weights & Biases và ClearML thường bao gồm các tính năng để theo dõi các thử nghiệm và giám sát các mô hình. Ultralytics HUB tạo điều kiện thuận lợi cho việc quản lý các lần chạy đào tạo và các mô hình đã triển khai, tích hợp với các công cụ như TensorBoard để trực quan hóa các số liệu, đây là một khía cạnh quan trọng của observability trong giai đoạn đào tạo mô hình.