Inference Latency

Độ trễ suy luận biểu thị khoảng thời gian trễ giữa lúc một model học máy (ML) nhận đầu vào—chẳng hạn như hình ảnh hoặc prompt văn bản—và lúc tạo ra đầu ra hoặc dự đoán tương ứng. Trong bối cảnh trí tuệ nhân tạo (AI), chỉ số này thường được đo bằng mili giây (ms) và là chỉ báo quan trọng về khả năng phản hồi của hệ thống. Đối với các developer xây dựng ứng dụng thị giác máy tính, việc hiểu và giảm thiểu độ trễ là yếu tố thiết yếu để tạo ra trải nghiệm người dùng mượt mà, tương tác tốt, đặc biệt khi triển khai model trên các môi trường hạn chế tài nguyên như điện thoại di động hoặc thiết bị nhúng.

Vì sao độ trễ suy luận quan trọng#

Mức độ quan trọng của độ trễ suy luận phụ thuộc rất nhiều vào trường hợp sử dụng cụ thể. Mặc dù độ trễ vài giây có thể chấp nhận được đối với một tác vụ xử lý theo lô như phân tích báo cáo máy chủ hằng đêm, độ trễ này thường không thể chấp nhận trong các ứng dụng tương tác. Độ trễ thấp là nền tảng của suy luận thời gian thực, trong đó hệ thống phải xử lý dữ liệu và phản hồi ngay lập tức.

Giảm độ trễ giúp AI agents tương tác tự nhiên với con người và giúp các hệ thống tự động vận hành an toàn. Độ trễ cao có thể dẫn đến giao diện bị "lag", tỷ lệ giữ chân người dùng thấp hoặc, trong các tình huống quan trọng về an toàn, gây ra lỗi vận hành nguy hiểm. Các kỹ sư thường phải cân bằng sự đánh đổi giữa độ phức tạp của model—yếu tố có thể cải thiện độ chính xác—và tốc độ thực thi.

Các yếu tố ảnh hưởng đến độ trễ#

Một số thành phần kỹ thuật góp phần vào tổng thời gian cần thiết cho một lượt suy luận đơn lẻ:

• Kiến trúc model: Thiết kế của mạng nơ-ron (NN) là một yếu tố chính. Các model sâu với nhiều lớp thường yêu cầu nhiều phép tính hơn so với các model nông hơn. Những kiến trúc hiện đại như YOLO26 được tối ưu hóa đặc biệt để mang lại độ chính xác cao với chi phí tính toán tối thiểu.
• Năng lực phần cứng: Việc lựa chọn bộ xử lý ảnh hưởng sâu sắc đến tốc độ. Mặc dù CPU có tính linh hoạt, phần cứng chuyên dụng như GPU (bộ xử lý đồ họa) hoặc TPU (bộ xử lý tensor) được thiết kế để song song hóa các phép toán ma trận cốt lõi của deep learning, qua đó giảm đáng kể độ trễ.
• Kích thước đầu vào: Việc xử lý các khung hình video 4K độ phân giải cao mất nhiều thời gian hơn so với xử lý hình ảnh 640p tiêu chuẩn. Các developer thường thay đổi kích thước đầu vào trong quá trình tiền xử lý dữ liệu để tìm điểm cân bằng giữa tốc độ và khả năng phát hiện các chi tiết nhỏ.
• Kỹ thuật tối ưu hóa: Các phương pháp như lượng tử hóa model (chuyển đổi trọng số sang độ chính xác thấp hơn) và tỉa model (loại bỏ các kết nối không cần thiết) là những cách hiệu quả để tăng tốc thực thi. Các công cụ như NVIDIA TensorRT có thể tiếp tục tối ưu hóa model cho phần cứng cụ thể.

Các ứng dụng trong thực tế#

Tác động của độ trễ suy luận được minh họa rõ nhất qua các ví dụ thực tế, trong đó tốc độ là yếu tố bắt buộc.

1. Lái xe tự động: Trong lĩnh vực AI trong ngành ô tô, một xe tự lái phải liên tục quét môi trường xung quanh để phát hiện người đi bộ, các phương tiện khác và tín hiệu giao thông. Nếu hệ thống phát hiện đối tượng có độ trễ cao, xe có thể không phanh kịp thời khi xuất hiện chướng ngại vật. Chỉ 100 mili giây trễ ở tốc độ cao tốc cũng có thể khiến xe di chuyển thêm vài mét, khiến độ trễ thấp trở thành yêu cầu an toàn quan trọng.

2. Giao dịch tần suất cao: Các tổ chức tài chính sử dụng mô hình dự đoán để phân tích xu hướng thị trường và thực hiện giao dịch. Những thuật toán này phải xử lý khối lượng dữ liệu khổng lồ và đưa ra quyết định trong vài micro giây. Trong lĩnh vực này, độ trễ thấp hơn trực tiếp mang lại lợi thế cạnh tranh, cho phép các công ty tận dụng những cơ hội thị trường nhanh chóng trước khi đối thủ có thể phản ứng.

Đo độ trễ bằng Python#

Bạn có thể dễ dàng đo tốc độ suy luận của các model Ultralytics bằng chế độ benchmark. Điều này giúp lựa chọn kích thước model phù hợp với các giới hạn phần cứng cụ thể của bạn.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Độ trễ suy luận so với thông lượng#

Điều quan trọng là phải phân biệt độ trễ với thông lượng, vì đây là hai khái niệm có liên quan nhưng khác biệt trong triển khai model.

• Độ trễ suy luận đo thời gian cần thiết cho một dự đoán đơn lẻ (ví dụ: "Mất 20ms để xử lý hình ảnh này"). Đây là chỉ số then chốt đối với các ứng dụng thời gian thực, đơn người dùng.
• Thông lượng đo khối lượng dự đoán theo thời gian (ví dụ: "Hệ thống đã xử lý 500 hình ảnh mỗi giây"). Thông lượng cao thường đạt được bằng cách tăng batch size, qua đó xử lý đồng thời nhiều đầu vào. Tuy nhiên, việc gom batch thực tế có thể làm tăng độ trễ đối với từng mục riêng lẻ đang chờ trong hàng đợi.

Tối ưu hóa một yếu tố thường phải đánh đổi bằng yếu tố còn lại. Chẳng hạn, các ứng dụng Edge AI thường ưu tiên độ trễ để đảm bảo phản hồi tức thì, trong khi các tác vụ khai phá dữ liệu trên cloud có thể ưu tiên thông lượng để xử lý các tập dữ liệu khổng lồ một cách hiệu quả.

Các chiến lược tối ưu hóa#

Các developer áp dụng nhiều chiến lược khác nhau để giảm thiểu độ trễ. Xuất model sang các định dạng được tối ưu hóa như ONNX hoặc OpenVINO có thể mang lại cải thiện đáng kể về tốc độ trên các CPU tiêu chuẩn. Đối với việc triển khai trên thiết bị di động, chuyển đổi model sang TFLite hoặc CoreML giúp model chạy hiệu quả trên các thiết bị iOS và Android. Ngoài ra, việc sử dụng các kiến trúc nhẹ như MobileNet hoặc YOLO26 mới nhất của Ultralytics đảm bảo model nền tảng vốn đã hiệu quả ngay từ thiết kế. Người dùng cũng có thể tận dụng Nền tảng Ultralytics để triển khai liền mạch các model sang những định dạng được tối ưu hóa này mà không cần cấu hình thủ công phức tạp.