Suy luận thời gian thực

Hiểu về suy luận thời gian thực

Trên thực tế, suy luận thời gian thực có nghĩa là triển khai một mô hình ML, chẳng hạn như mô hình YOLO Ultralytics cho thị giác máy tính (CV) , do đó, nó có thể phân tích các dữ liệu đầu vào riêng lẻ (như khung hình video hoặc số liệu cảm biến) và tạo ra đầu ra với độ trễ tối thiểu. Chỉ số hiệu suất chính là độ trễ suy luận , thời gian từ khi nhận đầu vào đến khi tạo ra dự đoán . Để đạt được độ trễ thấp thường liên quan đến một số chiến lược, bao gồm tối ưu hóa chính mô hình và tận dụng phần cứng và phần mềm chuyên dụng.

Suy luận thời gian thực so với suy luận hàng loạt

Sự khác biệt chính nằm ở cách xử lý dữ liệu và các yêu cầu về độ trễ liên quan:

• Suy luận thời gian thực: Xử lý dữ liệu từng điểm khi dữ liệu đến, tập trung vào việc giảm thiểu độ trễ cho mỗi dự đoán. Thiết yếu cho các hệ thống hoặc ứng dụng tương tác cần phản hồi ngay lập tức. Hãy nghĩ đến việc phát hiện chướng ngại vật cho một chiếc xe tự lái.
• Suy luận theo lô: Xử lý dữ liệu theo khối hoặc lô lớn, thường được lên lịch định kỳ. Được tối ưu hóa cho thông lượng (xử lý khối lượng dữ liệu lớn một cách hiệu quả) thay vì độ trễ. Phù hợp cho các tác vụ như tạo báo cáo hàng ngày hoặc phân tích các tập dữ liệu lớn ngoại tuyến. Google Cloud cung cấp thông tin chi tiết về dự đoán lô .

Ứng dụng của suy luận thời gian thực

Suy luận thời gian thực hỗ trợ nhiều ứng dụng Trí tuệ nhân tạo (AI) hiện đại, nơi mà việc ra quyết định tức thời là rất quan trọng:

• Hệ thống tự động: Trong AI dành cho xe tự lái và rô-bốt , suy luận thời gian thực rất quan trọng để điều hướng môi trường, phát hiện chướng ngại vật ( phát hiện vật thể ) và đưa ra quyết định lái xe trong tích tắc.
• An ninh và giám sát: Hệ thống an ninh sử dụng suy luận thời gian thực để phát hiện xâm nhập, xác định hoạt động đáng ngờ hoặc theo dõi đám đông ngay lập tức.
• Chăm sóc sức khỏe: Cho phép phân tích hình ảnh y tế ngay lập tức trong quá trình thực hiện thủ thuật hoặc chẩn đoán có thể cải thiện đáng kể kết quả điều trị cho bệnh nhân và độ chính xác của chẩn đoán .
• Sản xuất: Kiểm soát chất lượng theo thời gian thực trong sản xuất cho phép phát hiện ngay các lỗi trên dây chuyền sản xuất, giảm lãng phí và nâng cao hiệu quả.
• Ứng dụng tương tác: Trợ lý ảo, dịch ngôn ngữ theo thời gian thực và hệ thống đề xuất nội dung dựa vào suy luận độ trễ thấp để mang lại trải nghiệm liền mạch cho người dùng.

Đạt được hiệu suất thời gian thực

Việc tạo ra các mô hình chạy đủ nhanh cho các ứng dụng thời gian thực thường đòi hỏi phải tối ưu hóa đáng kể:

• Tối ưu hóa mô hình: Các kỹ thuật như lượng tử hóa mô hình (giảm độ chính xác của trọng số mô hình) và cắt tỉa mô hình (loại bỏ các phần thừa của mô hình) giúp giảm tải tính toán và sử dụng bộ nhớ.
• Tăng tốc phần cứng: Sử dụng phần cứng chuyên dụng như GPU , TPU (Bộ xử lý Tensor ) hoặc bộ tăng tốc AI chuyên dụng trên các thiết bị biên (ví dụ: NVIDIA Jetson , Google Coral Edge TPU ) có thể tăng tốc đáng kể các phép tính. Bản thân điện toán biên rất quan trọng để xử lý dữ liệu cục bộ với độ trễ tối thiểu.
• Công cụ suy luận hiệu quả: Các thư viện phần mềm và thời gian chạy như TensorRT , OpenVINO , ONNX Runtime và các khung như PyTorch hoặc TensorFlow cung cấp các đường dẫn thực thi được tối ưu hóa cho các mô hình đã được đào tạo. Công cụ suy luận được thiết kế riêng để chạy các mô hình hiệu quả cho mục đích dự đoán.

Các mô hình như Ultralytics YOLO11 được thiết kế với mục tiêu hướng đến hiệu quả và độ chính xác , khiến chúng phù hợp với các tác vụ phát hiện đối tượng theo thời gian thực. Các nền tảng như Ultralytics HUB cung cấp các công cụ để đào tạo, tối ưu hóa (ví dụ: xuất sang ONNX hoặc TensorRT định dạng) và triển khai các mô hình, tạo điều kiện thuận lợi cho việc triển khai các giải pháp suy luận thời gian thực trên nhiều tùy chọn triển khai khác nhau.