Suy luận thời gian thực

Suy luận thời gian thực là quá trình sử dụng mô hình học máy (ML) đã được đào tạo để đưa ra dự đoán trên dữ liệu mới, trực tiếp với độ trễ tối thiểu. Trong bối cảnh AI và thị giác máy tính (CV) , điều này có nghĩa là hệ thống có thể xử lý thông tin - tương tự như luồng video - và tạo ra kết quả gần như ngay lập tức. Mục tiêu là giảm độ trễ suy luận xuống đủ thấp để kết quả có thể hữu ích ngay lập tức cho việc ra quyết định. Khả năng này rất quan trọng đối với các ứng dụng đòi hỏi tính chính xác cao về thời gian, giúp chuyển đổi cách các ngành công nghiệp từ ô tô đến y tế tận dụng AI.

Suy luận thời gian thực so với suy luận hàng loạt

Điều quan trọng là phải phân biệt suy luận theo thời gian thực với suy luận theo lô. Sự khác biệt chính nằm ở cách dữ liệu được xử lý.

• Suy luận thời gian thực: Xử lý dữ liệu khi nó được tạo hoặc nhận, thường là một đầu vào hoặc một luồng nhỏ tại một thời điểm. Ưu tiên hàng đầu là giảm thiểu độ trễ ( latency ) giữa đầu vào và đầu ra. Điều này rất cần thiết cho các hệ thống tương tác và nhạy cảm với thời gian.
• Suy luận hàng loạt: Bao gồm việc thu thập dữ liệu trong một khoảng thời gian và xử lý tất cả cùng một lúc trong một lô lớn. Phương pháp này ưu tiên tối đa hóa thông lượng (lượng dữ liệu được xử lý theo thời gian) hơn là giảm thiểu độ trễ. Xử lý hàng loạt phù hợp cho các tác vụ không khẩn cấp như tạo báo cáo hàng ngày hoặc phân tích định kỳ các tập dữ liệu lớn.

Mặc dù cả hai đều sử dụng mô hình được đào tạo để đưa ra dự đoán, nhưng trường hợp sử dụng của chúng về cơ bản khác nhau dựa trên tính cấp bách của kết quả.

Ứng dụng trong thế giới thực

Khả năng đưa ra quyết định tức thời cho phép tạo ra nhiều ứng dụng mạnh mẽ trên nhiều lĩnh vực khác nhau.

1. Hệ thống tự hành: Trong xe tự lái , suy luận thời gian thực là một vấn đề an toàn. Các mô hình phải thực hiện phát hiện vật thể để xác định người đi bộ, phương tiện khác và biển báo đường bộ trong vài mili giây để điều hướng an toàn và tránh va chạm. Tương tự, máy bay không người lái và robot dựa vào nó để điều hướng và tương tác với môi trường xung quanh.
2. Sản xuất Thông minh: Trên dây chuyền sản xuất, camera được trang bị AI có thể thực hiện kiểm soát chất lượng theo thời gian thực. Một mô hình như Ultralytics YOLO11 có thể phát hiện lỗi trong các sản phẩm đang di chuyển trên băng chuyền, cho phép loại bỏ ngay lập tức. Đây là một thành phần cốt lõi của AI hiện đại trong sản xuất .
3. Chăm sóc sức khỏe tương tác: Trong quá trình phẫu thuật, mô hình có thể phân tích video trực tiếp từ camera để cung cấp hướng dẫn theo thời gian thực cho bác sĩ phẫu thuật. Trong chẩn đoán, phân tích hình ảnh y tế theo thời gian thực có thể giúp bác sĩ xác định các bất thường nhanh hơn trong quá trình quét trực tiếp.
4. Giám sát thông minh: Hệ thống an ninh hiện đại sử dụng suy luận thời gian thực để phân tích nguồn cấp dữ liệu video và xác định các mối đe dọa tiềm ẩn, chẳng hạn như xâm nhập trái phép hoặc các gói hàng bị bỏ rơi, kích hoạt cảnh báo ngay lập tức. Điều này vượt ra ngoài việc ghi hình đơn thuần để trở thành giám sát chủ động, thông minh .

Đạt được hiệu suất thời gian thực

Việc tạo ra các mô hình chạy đủ nhanh cho các ứng dụng tính toán thời gian thực thường đòi hỏi phải tối ưu hóa đáng kể:

• Tối ưu hóa mô hình: Các kỹ thuật như lượng tử hóa mô hình (giảm độ chính xác của trọng số mô hình) và cắt tỉa mô hình (loại bỏ các phần thừa của mô hình) giúp giảm tải tính toán và sử dụng bộ nhớ.
• Tăng tốc phần cứng: Sử dụng phần cứng chuyên dụng như GPU , TPU (Bộ xử lý Tensor) hoặc bộ tăng tốc AI chuyên dụng trên các thiết bị biên (ví dụ: NVIDIA Jetson , Google Coral Edge TPU ) có thể tăng tốc đáng kể tốc độ tính toán. Bản thân điện toán biên rất quan trọng để xử lý dữ liệu cục bộ với độ trễ tối thiểu.
• Công cụ suy luận hiệu quả: Các thư viện phần mềm và thời gian chạy như TensorRT , OpenVINO , ONNX Runtime và các khung như PyTorch hoặc TensorFlow cung cấp các đường dẫn thực thi được tối ưu hóa cho các mô hình đã được đào tạo. Công cụ suy luận được thiết kế riêng để chạy các mô hình hiệu quả cho mục đích dự đoán.

Các mô hình như Ultralytics YOLO được thiết kế chú trọng đến hiệu quả và độ chính xác , rất phù hợp cho các tác vụ phát hiện đối tượng theo thời gian thực. Các nền tảng như Ultralytics HUB cung cấp các công cụ để đào tạo, tối ưu hóa (ví dụ: xuất sang định dạng ONNX hoặc TensorRT) và triển khai các mô hình, tạo điều kiện thuận lợi cho việc triển khai các giải pháp suy luận theo thời gian thực trên nhiều tùy chọn triển khai khác nhau.