Inference Engine

Inference engine là phần mềm thực thi mạng nơ-ron đã huấn luyện để tạo dự đoán trên dữ liệu mới. Engine nhận model được export từ framework huấn luyện, thường dưới dạng đồ thị tính toán như tệp ONNX, tối ưu đồ thị đó cho một bộ xử lý cụ thể, rồi chạy với độ trễ suy luận và mức sử dụng bộ nhớ thấp nhất có thể. Có engine cho mọi loại phần cứng, từ GPU trung tâm dữ liệu đến điện thoại và vi điều khiển; trong triển khai model, engine là thành phần tính toán mọi dự đoán.

Inference engine tăng tốc model như thế nào#

Model đã triển khai không bao giờ cập nhật weight, vì vậy engine có thể loại bỏ mọi thứ chỉ cần cho huấn luyện, chẳng hạn các activation được lưu để lan truyền ngược, và tự do viết lại đồ thị. Engine tính trước mọi phần chỉ phụ thuộc vào hằng số, hợp nhất các chuỗi layer như convolution, normalization và activation thành kernel đơn để kết quả trung gian nằm trong bộ nhớ on-chip tốc độ cao, đồng thời lập kế hoạch bộ nhớ để tái sử dụng buffer. Engine có thể giảm độ chính xác số xuống FP16 hoặc INT8 thông qua lượng tử hóa model, đồng thời đo phạm vi activation trên dữ liệu mẫu khi dùng INT8. Sau đó, các engine như TensorRT đo thời gian chạy một số kernel ứng viên cho từng layer ngay trên thiết bị thực tế và giữ lại kernel nhanh nhất, vì vậy kết quả phụ thuộc vào phần cứng đó:

Gộp batch normalization vào convolution đứng trước là một trong những phép viết lại phổ biến nhất. Khi suy luận, normalization chỉ nhân tỷ lệ và cộng độ lệch cố định cho từng channel, nên có thể gộp các giá trị này vào weight và bias của convolution. PyTorch cung cấp phép biến đổi tương tự dưới tên fuse_conv_bn_eval:

import torch
from torch.nn.utils.fusion import fuse_conv_bn_eval

torch.manual_seed(0)

# A trained convolution followed by batch normalization (random statistics here)
conv = torch.nn.Conv2d(16, 32, kernel_size=3, padding=1).eval()
bn = torch.nn.BatchNorm2d(32).eval()
bn.running_mean.uniform_(-1, 1)
bn.running_var.uniform_(0.5, 2.0)

# Fold the normalization's scale and shift into the convolution's weights and bias
fused = fuse_conv_bn_eval(conv, bn)

# One layer now replaces two and produces the same output
x = torch.randn(1, 16, 64, 64)
with torch.inference_mode():
    diff = (bn(conv(x)) - fused(x)).abs().max().item()
print(f"Max difference after fusing: {diff:.1e}")

Kết quả in ra chênh lệch tối đa 2.1e-06, do sai số làm tròn dấu phẩy động: layer đã hợp nhất tính cùng một hàm như hai layer ban đầu, nhưng chỉ cần một lượt duyệt bộ nhớ thay vì hai.

Các inference engine phổ biến#

• TensorRT: Engine của NVIDIA dành cho GPU trung tâm dữ liệu và module Jetson. Engine được tạo cho một model GPU và phiên bản TensorRT cụ thể, vì vậy cần tạo lại khi một trong hai thay đổi.
• OpenVINO: Bộ công cụ của Intel dành cho CPU, GPU tích hợp và GPU rời, cùng NPU.
• ONNX Runtime: Engine đa nền tảng của Microsoft dành cho model ONNX, chuyển công việc cho các backend phần cứng gọi là execution provider, bao gồm CUDA, TensorRT, OpenVINO và Core ML.
• LiteRT: Runtime của Google, trước đây là TensorFlow Lite, dành cho Android, Linux nhúng và vi điều khiển, với delegate cho GPU di động và NPU.
• Core ML: Framework trên thiết bị của Apple, phân bổ công việc giữa CPU, GPU và Neural Engine.
• vLLM: Engine mã nguồn mở dành cho model ngôn ngữ lớn, bổ sung lập lịch yêu cầu và bộ nhớ phân trang cho attention cache để phục vụ nhiều người dùng cùng lúc.

Ultralytics YOLO API chọn engine dựa trên tệp được tải, vì vậy cùng một lời gọi predict có thể chạy checkpoint .pt trong PyTorch, tệp .onnx trong ONNX Runtime, tệp .engine trong TensorRT, hoặc thư mục OpenVINO trong OpenVINO. Export Ultralytics YOLO26 sang OpenVINO rồi tải kết quả sẽ chuyển engine mà không cần thay đổi code khác:

from ultralytics import YOLO

# Export model PyTorch sang định dạng của OpenVINO
model = YOLO("yolo26n.pt")
path = model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

# Tải thư mục đã export để chạy dự đoán qua engine OpenVINO
ov_model = YOLO(path)
results = ov_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_openvino.jpg")

Inference engine và các thuật ngữ liên quan#

• PyTorch và các framework huấn luyện khác: Giữ đồ thị linh hoạt và ghi lại các phép toán phục vụ tính gradient để thiết kế và huấn luyện model. Các framework này cũng chạy suy luận, nhưng có thêm overhead so với engine được xây dựng cho một thiết bị cụ thể.
• ONNX: Định dạng tệp mô tả đồ thị và weight của model. ONNX Runtime và TensorRT là các engine có thể đọc định dạng này.
• Phục vụ model: Đóng gói một hoặc nhiều engine thành dịch vụ mạng có API, batching request và quản lý phiên bản, như NVIDIA Dynamo-Triton (trước đây là Triton Inference Server) thực hiện với model TensorRT, ONNX Runtime và PyTorch.
• Inference engine của hệ chuyên gia: Nghĩa cũ của thuật ngữ này bắt nguồn từ AI dựa trên luật, trong đó inference engine áp dụng các luật if-then lên knowledge base bằng suy diễn tiến hoặc suy diễn lùi.