Inference Latency

Độ trễ suy luận (inference latency) đại diện cho khoảng thời gian trễ giữa việc một model machine learning (ML) nhận đầu vào—chẳng hạn như hình ảnh hoặc câu lệnh văn bản—và việc tạo ra đầu ra hoặc dự đoán tương ứng. Trong bối cảnh trí tuệ nhân tạo (AI), chỉ số này thường được đo bằng mili giây (ms) và đóng vai trò là thước đo quan trọng về khả năng phản hồi của hệ thống. Đối với các lập trình viên đang xây dựng các ứng dụng thị giác máy tính (computer vision), việc hiểu và giảm thiểu độ trễ là điều cần thiết để tạo ra trải nghiệm người dùng tương tác mượt mà, đặc biệt là khi triển khai model trên các môi trường hạn chế tài nguyên như điện thoại di động hoặc thiết bị nhúng.

Link to this sectionTại sao độ trễ suy luận lại quan trọng#

Tầm quan trọng của độ trễ suy luận phụ thuộc rất lớn vào trường hợp sử dụng cụ thể. Mặc dù độ trễ vài giây có thể chấp nhận được đối với tác vụ xử lý hàng loạt (batch processing) như phân tích báo cáo máy chủ hàng đêm, nhưng nó thường không thể chấp nhận được đối với các ứng dụng tương tác. Độ trễ thấp là nền tảng của suy luận thời gian thực (real-time inference), nơi các hệ thống phải xử lý dữ liệu và phản ứng tức thì.

Giảm độ trễ đảm bảo rằng các AI agents có thể tương tác tự nhiên với con người và các hệ thống tự động vận hành một cách an toàn. Độ trễ cao có thể dẫn đến giao diện bị "giật lag", tỷ lệ người dùng quay lại thấp, hoặc trong các kịch bản an toàn trọng yếu, dẫn đến các lỗi vận hành nguy hiểm. Các kỹ sư thường phải cân bằng sự đánh đổi giữa độ phức tạp của model—thứ có thể cải thiện độ chính xác (accuracy)—và tốc độ thực thi.

Link to this sectionCác yếu tố ảnh hưởng đến độ trễ#

Một số thành phần kỹ thuật góp phần tạo nên tổng thời gian cần thiết cho một lượt suy luận:

• Cấu trúc Model: Thiết kế của neural network (NN) là yếu tố chính. Các model sâu với nhiều tầng thường yêu cầu tính toán nhiều hơn các model nông. Các cấu trúc hiện đại như YOLO26 được tối ưu hóa đặc biệt để mang lại độ chính xác cao với mức chi phí tính toán tối thiểu.
• Khả năng phần cứng: Việc lựa chọn bộ xử lý ảnh hưởng sâu sắc đến tốc độ. Trong khi CPU có tính linh hoạt, thì các phần cứng chuyên dụng như GPU (Graphics Processing Unit) hoặc TPU (Tensor Processing Unit) được thiết kế để song song hóa các phép tính ma trận vốn là trọng tâm của deep learning, giúp giảm đáng kể độ trễ.
• Kích thước đầu vào: Việc xử lý các khung hình video 4K độ phân giải cao tốn nhiều thời gian hơn so với xử lý hình ảnh 640p tiêu chuẩn. Các lập trình viên thường thay đổi kích thước đầu vào trong quá trình tiền xử lý dữ liệu (data preprocessing) để tìm điểm cân bằng giữa tốc độ và khả năng phát hiện các chi tiết nhỏ.
• Kỹ thuật tối ưu hóa: Các phương pháp như lượng tử hóa model (model quantization) (chuyển đổi trọng số sang độ chính xác thấp hơn) và cắt tỉa model (model pruning) (loại bỏ các kết nối không cần thiết) là những cách hiệu quả để tăng tốc độ thực thi. Các công cụ như NVIDIA TensorRT có thể tối ưu hóa model hơn nữa cho các phần cứng cụ thể.

Link to this sectionCác ứng dụng trong thực tế#

Tác động của độ trễ suy luận được thể hiện rõ nhất qua các ví dụ thực tế nơi tốc độ là yếu tố không thể thương lượng.

1. Lái xe tự động: Trong lĩnh vực AI trong ô tô, xe tự lái phải liên tục quét môi trường xung quanh để tìm người đi bộ, các phương tiện khác và tín hiệu giao thông. Nếu hệ thống phát hiện đối tượng (object detection) có độ trễ cao, xe có thể không phanh kịp thời khi xuất hiện vật cản. Chỉ cần một độ trễ 100 mili giây ở tốc độ đường cao tốc có thể dẫn đến khoảng cách di chuyển vài mét, khiến độ trễ thấp trở thành yêu cầu an toàn quan trọng.

2. Giao dịch tần suất cao: Các tổ chức tài chính sử dụng mô hình dự đoán (predictive modeling) để phân tích xu hướng thị trường và thực hiện giao dịch. Các thuật toán này phải xử lý lượng lớn dữ liệu và đưa ra quyết định trong vài micro giây. Trong lĩnh vực này, độ trễ thấp hơn chuyển đổi trực tiếp thành lợi thế cạnh tranh, cho phép các công ty tận dụng các cơ hội thị trường chớp nhoáng trước khi đối thủ có thể phản ứng.

Link to this sectionĐo lường độ trễ với Python#

Bạn có thể dễ dàng đo tốc độ suy luận của các model Ultralytics bằng chế độ benchmark. Điều này giúp lựa chọn kích thước model phù hợp với các hạn chế phần cứng cụ thể của bạn.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Link to this sectionĐộ trễ suy luận so với thông lượng (Throughput)#

Điều quan trọng là phải phân biệt độ trễ với thông lượng, vì đây là những khái niệm liên quan nhưng khác biệt trong triển khai model (model deployment).

• Độ trễ suy luận đo lường thời gian cho một dự đoán duy nhất (ví dụ: "Mất 20ms để xử lý hình ảnh này"). Đây là chỉ số chính cho các ứng dụng thời gian thực, đơn người dùng.
• Thông lượng đo lường khối lượng dự đoán theo thời gian (ví dụ: "Hệ thống xử lý được 500 hình ảnh mỗi giây"). Thông lượng cao thường đạt được bằng cách tăng batch size, giúp xử lý nhiều đầu vào đồng thời. Tuy nhiên, việc gộp batch thực sự có thể tăng độ trễ cho các mục riêng lẻ đang chờ trong hàng đợi.

Tối ưu hóa cho cái này thường phải trả giá bằng cái kia. Ví dụ, các ứng dụng Edge AI thường ưu tiên độ trễ để đảm bảo phản hồi tức thì, trong khi các tác vụ khai thác dữ liệu (data mining) trên đám mây có thể ưu tiên thông lượng để xử lý các bộ dữ liệu khổng lồ một cách hiệu quả.

Link to this sectionChiến lược tối ưu hóa#

Các lập trình viên sử dụng nhiều chiến lược khác nhau để giảm thiểu độ trễ. Xuất model (exporting models) sang các định dạng tối ưu như ONNX hoặc OpenVINO có thể mang lại sự cải thiện tốc độ đáng kể trên các CPU tiêu chuẩn. Đối với triển khai di động, việc chuyển đổi model sang TFLite hoặc CoreML đảm bảo chúng chạy hiệu quả trên các thiết bị iOS và Android. Hơn nữa, việc sử dụng các cấu trúc nhẹ như MobileNet hoặc YOLO26 mới nhất của Ultralytics đảm bảo rằng model nền tảng hiệu quả theo thiết kế. Người dùng cũng có thể tận dụng Ultralytics Platform để triển khai các model sang những định dạng tối ưu này một cách liền mạch mà không cần cấu hình thủ công phức tạp.