Real-time Inference

Real-time inference (Suy luận thời gian thực) đề cập đến quá trình mà một model machine learning (ML) đã được huấn luyện chấp nhận dữ liệu đầu vào trực tiếp và tạo ra các dự đoán gần như tức thì. Khác với xử lý ngoại tuyến (offline processing), nơi dữ liệu được thu thập và phân tích hàng loạt vào một thời điểm sau đó, suy luận thời gian thực diễn ra ngay lập tức, cho phép các hệ thống phản ứng lại môi trường của chúng với tốc độ và sự linh hoạt cao. Khả năng này là cốt lõi của các ứng dụng Artificial Intelligence (AI) hiện đại, cho phép các thiết bị nhận thức, diễn giải và hành động dựa trên dữ liệu chỉ trong vòng mili-giây.

Tầm quan trọng của độ trễ thấp#

Chỉ số chính để đánh giá hiệu suất thời gian thực là inference latency. Chỉ số này đo lường khoảng thời gian trễ giữa thời điểm dữ liệu được đưa vào model—chẳng hạn như một khung hình từ camera video—và thời điểm model tạo ra kết quả đầu ra, chẳng hạn như bounding box hoặc nhãn phân loại. Để một ứng dụng được coi là "thời gian thực," độ trễ phải đủ thấp để khớp với tốc độ của luồng dữ liệu đầu vào.

Ví dụ, trong các tác vụ video understanding chạy ở tốc độ 30 khung hình trên giây (FPS), hệ thống có ngân sách thời gian nghiêm ngặt khoảng 33 mili-giây để xử lý từng khung hình. Nếu quá trình suy luận mất nhiều thời gian hơn, hệ thống sẽ tạo ra độ trễ, có thể dẫn đến việc rớt khung hình hoặc phản hồi chậm trễ. Việc đạt được điều này thường đòi hỏi tăng tốc phần cứng sử dụng GPUs hoặc các thiết bị Edge AI chuyên dụng như NVIDIA Jetson.

Suy luận thời gian thực so với suy luận hàng loạt#

Sẽ rất hữu ích khi phân biệt các quy trình làm việc thời gian thực với batch processing. Mặc dù cả hai đều liên quan đến việc tạo ra các dự đoán, nhưng mục tiêu và kiến trúc của chúng có sự khác biệt đáng kể:

• Real-time Inference: Ưu tiên độ trễ thấp. Nó xử lý các điểm dữ liệu đơn lẻ (hoặc các batch rất nhỏ) ngay khi chúng đến. Điều này rất cần thiết cho các ứng dụng tương tác như autonomous vehicles, nơi ô tô phải phát hiện ngay lập tức người đi bộ để phanh kịp thời.
• Batch Inference: Ưu tiên thông lượng cao. Nó thu thập một lượng lớn dữ liệu và xử lý tất cả cùng một lúc. Điều này phù hợp cho các tác vụ không khẩn cấp, chẳng hạn như tạo báo cáo kiểm kê hàng đêm hoặc phân tích các xu hướng big data lịch sử.

Các ứng dụng trong thực tế#

Khả năng đưa ra quyết định trong tích tắc đã chuyển đổi nhiều ngành công nghiệp bằng cách cho phép tự động hóa trong các môi trường năng động.

• Sản xuất thông minh (Smart Manufacturing): Trong AI in manufacturing, các camera đặt phía trên băng chuyền sử dụng suy luận thời gian thực để thực hiện kiểm soát chất lượng tự động. Một model object detection có thể ngay lập tức nhận diện các lỗi hoặc vật thể lạ trong các sản phẩm di chuyển ở tốc độ cao. Nếu phát hiện thấy điểm bất thường, hệ thống sẽ kích hoạt một cánh tay robot để loại bỏ sản phẩm đó ngay lập tức, đảm bảo chỉ những hàng hóa chất lượng cao mới đến được khâu đóng gói.
• Giám sát và Bảo mật (Surveillance and Security): Các hệ thống an ninh hiện đại dựa vào computer vision để giám sát các vành đai. Thay vì chỉ ghi lại cảnh quay, các camera này chạy person detection hoặc face recognition thời gian thực để cảnh báo cho nhân viên an ninh về quyền truy cập trái phép ngay tại thời điểm nó xảy ra.
• Robot (Robotics): Trong lĩnh vực AI in robotics, các robot sử dụng pose estimation để điều hướng các không gian vật lý phức tạp. Một robot trong nhà kho phải liên tục suy luận vị trí của các chướng ngại vật và công nhân con người để lên kế hoạch cho đường đi một cách an toàn và hiệu quả.

Tối ưu hóa và triển khai#

Việc triển khai các model cho các ứng dụng thời gian thực thường đòi hỏi quá trình tối ưu hóa để đảm bảo chúng chạy hiệu quả trên phần cứng mục tiêu. Các kỹ thuật như model quantization làm giảm độ chính xác của trọng số model (ví dụ: từ float32 xuống int8) để giảm mức sử dụng bộ nhớ và tăng tốc độ suy luận với tác động tối thiểu đến accuracy.

Các lập trình viên có thể tận dụng Ultralytics Platform để hợp lý hóa quá trình này. Nền tảng này đơn giản hóa việc huấn luyện và cho phép người dùng xuất các model sang các định dạng được tối ưu hóa như TensorRT cho GPU NVIDIA, OpenVINO cho CPU Intel, hoặc TFLite cho việc triển khai trên thiết bị di động.

Ví dụ về mã#

Đoạn mã Python sau đây minh họa cách chạy suy luận thời gian thực trên nguồn cấp dữ liệu webcam bằng cách sử dụng thư viện ultralytics. Nó sử dụng model YOLO26 Nano, được thiết kế chuyên biệt cho hiệu suất tốc độ cao trên các thiết bị biên.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")