Real-time Inference

Suy luận thời gian thực đề cập đến quy trình trong đó một mô hình học máy (ML) đã được huấn luyện tiếp nhận dữ liệu đầu vào trực tiếp và tạo ra các dự đoán gần như tức thì. Không giống như xử lý ngoại tuyến, nơi dữ liệu được thu thập và phân tích hàng loạt sau đó, suy luận thời gian thực diễn ra ngay lập tức, cho phép các hệ thống phản ứng với môi trường của chúng một cách nhanh chóng và linh hoạt. Khả năng này là nhịp đập của các ứng dụng Trí tuệ nhân tạo (AI) hiện đại, cho phép các thiết bị nhận biết, diễn giải và hành động dựa trên dữ liệu trong vòng vài mili giây.

Link to this sectionTầm quan trọng của độ trễ thấp#

Chỉ số chính để đánh giá hiệu suất thời gian thực là độ trễ suy luận. Chỉ số này đo lường độ trễ thời gian từ thời điểm dữ liệu được nhập vào mô hình—chẳng hạn như một khung hình từ camera video—đến thời điểm mô hình tạo ra đầu ra, ví dụ như BBox hoặc nhãn phân loại. Để một ứng dụng được coi là "thời gian thực," độ trễ phải đủ thấp để khớp với tốc độ của luồng dữ liệu đầu vào.

Ví dụ, trong các tác vụ hiểu video chạy ở tốc độ 30 khung hình mỗi giây (FPS), hệ thống có ngân sách thời gian nghiêm ngặt khoảng 33 mili giây để xử lý mỗi khung hình. Nếu quá trình suy luận mất nhiều thời gian hơn, hệ thống sẽ gây ra độ trễ, có khả năng dẫn đến mất khung hình hoặc phản hồi chậm trễ. Để đạt được điều này thường đòi hỏi tăng tốc phần cứng sử dụng GPU hoặc các thiết bị Edge AI chuyên dụng như NVIDIA Jetson.

Link to this sectionSuy luận thời gian thực so với suy luận hàng loạt#

Việc phân biệt các quy trình làm việc thời gian thực với xử lý hàng loạt là rất hữu ích. Mặc dù cả hai đều liên quan đến việc tạo dự đoán, mục tiêu và kiến trúc của chúng khác nhau đáng kể:

• Suy luận thời gian thực: Ưu tiên độ trễ thấp. Nó xử lý các điểm dữ liệu đơn lẻ (hoặc các lô rất nhỏ) ngay khi chúng đến. Điều này rất cần thiết cho các ứng dụng tương tác như phương tiện tự hành, nơi ô tô phải phát hiện người đi bộ ngay lập tức để phanh kịp thời.
• Suy luận hàng loạt: Ưu tiên thông lượng cao. Nó thu thập một khối lượng lớn dữ liệu và xử lý tất cả cùng một lúc. Điều này phù hợp với các tác vụ không khẩn cấp, chẳng hạn như tạo báo cáo hàng tồn kho hàng đêm hoặc phân tích các xu hướng dữ liệu lớn lịch sử.

Link to this sectionCác ứng dụng trong thực tế#

Khả năng đưa ra quyết định trong tích tắc đã chuyển đổi nhiều ngành công nghiệp bằng cách cho phép tự động hóa trong các môi trường năng động.

• Sản xuất thông minh: Trong AI trong sản xuất, các camera đặt trên băng chuyền sử dụng suy luận thời gian thực để thực hiện kiểm soát chất lượng tự động. Một mô hình phát hiện đối tượng có thể xác định ngay lập tức các lỗi hoặc vật thể lạ trong các sản phẩm đang di chuyển ở tốc độ cao. Nếu phát hiện thấy bất thường, hệ thống sẽ kích hoạt một cánh tay robot để loại bỏ sản phẩm ngay lập tức, đảm bảo chỉ những sản phẩm chất lượng cao mới đến khâu đóng gói.
• Giám sát và bảo mật: Các hệ thống bảo mật hiện đại dựa vào thị giác máy tính để giám sát các vành đai. Thay vì chỉ ghi lại cảnh quay, các camera này chạy phát hiện người hoặc nhận diện khuôn mặt thời gian thực để cảnh báo nhân viên an ninh về hành vi xâm nhập trái phép ngay khi nó xảy ra.
• Robot: Trong lĩnh vực AI trong robot, robot sử dụng ước tính tư thế để điều hướng các không gian vật lý phức tạp. Một robot trong kho hàng phải liên tục suy luận vị trí của các chướng ngại vật và công nhân để lập kế hoạch đường đi một cách an toàn và hiệu quả.

Link to this sectionTối ưu hóa và triển khai#

Việc triển khai các mô hình cho các ứng dụng thời gian thực thường đòi hỏi tối ưu hóa để đảm bảo chúng chạy hiệu quả trên phần cứng mục tiêu. Các kỹ thuật như lượng tử hóa mô hình làm giảm độ chính xác của trọng số mô hình (ví dụ: từ float32 sang int8) để giảm mức sử dụng bộ nhớ và tăng tốc độ suy luận với tác động tối thiểu đến độ chính xác.

Các nhà phát triển có thể sử dụng Nền tảng Ultralytics để hợp lý hóa quy trình này. Nền tảng này đơn giản hóa việc huấn luyện và cho phép người dùng xuất mô hình sang các định dạng được tối ưu hóa như TensorRT cho GPU NVIDIA, OpenVINO cho CPU Intel, hoặc TFLite để triển khai trên thiết bị di động.

Link to this sectionVí dụ về mã#

Đoạn mã Python sau đây minh họa cách chạy suy luận thời gian thực trên nguồn cấp dữ liệu webcam bằng thư viện ultralytics. Nó sử dụng mô hình Nano YOLO26, được thiết kế đặc biệt cho hiệu suất tốc độ cao trên các thiết bị biên.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")