TensorRT

TensorRT là một bộ công cụ phát triển phần mềm (SDK) suy luận học sâu hiệu suất cao do NVIDIA phát triển. Nó được thiết kế để tối ưu hóa các mô hình mạng nơ-ron cho việc triển khai, mang lại độ trễ suy luận thấp và thông lượng cao cho các ứng dụng học sâu. Bằng cách hoạt động như một trình biên dịch tối ưu hóa, TensorRT lấy các mạng đã được huấn luyện từ các framework phổ biến như PyTorch và TensorFlow rồi tái cấu trúc chúng để thực thi hiệu quả trên các GPU của NVIDIA. Khả năng này rất quan trọng để chạy các mô hình AI phức tạp trong môi trường sản xuất, nơi tốc độ và hiệu suất là yếu tố tối quan trọng.

Cách TensorRT tối ưu hóa mô hình#

Chức năng cốt lõi của TensorRT là chuyển đổi một mạng thần kinh đã được huấn luyện thành một "công cụ" (engine) được tối ưu hóa, điều chỉnh đặc biệt cho phần cứng mục tiêu. Nó đạt được điều này thông qua một số kỹ thuật tiên tiến:

• Hợp nhất lớp (Layer Fusion): Trình tối ưu hóa kết hợp nhiều lớp của một mạng nơ-ron thành một kernel duy nhất, giúp giảm chi phí truy cập bộ nhớ và cải thiện tốc độ thực thi.
• Hiệu chỉnh độ chính xác (Precision Calibration): TensorRT hỗ trợ các chế độ giảm độ chính xác, chẳng hạn như độ chính xác hỗn hợp (FP16) và lượng tử hóa số nguyên (INT8). Bằng cách giảm số lượng bit dùng để biểu diễn các con số—thường với mức tổn thất độ chính xác tối thiểu—các nhà phát triển có thể tăng tốc đáng kể các phép tính toán học và giảm mức sử dụng bộ nhớ. Đây là một dạng lượng tử hóa mô hình.
• Tự động tinh chỉnh Kernel (Kernel Auto-Tuning): Phần mềm tự động chọn các lớp dữ liệu và thuật toán tốt nhất cho kiến trúc GPU cụ thể đang sử dụng, đảm bảo tận dụng tối đa khả năng xử lý song song của phần cứng thông qua CUDA.

Các ứng dụng trong thực tế#

Nhờ khả năng xử lý lượng dữ liệu khổng lồ với độ trễ tối thiểu, TensorRT được áp dụng rộng rãi trong các ngành công nghiệp phụ thuộc vào thị giác máy tính và các tác vụ AI phức tạp đòi hỏi tính thời gian nghiêm ngặt.

1. Hệ thống tự hành (Autonomous Systems): Trong lĩnh vực AI trong ngành ô tô, xe tự lái phải xử lý nguồn dữ liệu video từ nhiều camera để phát hiện người đi bộ, biển báo và vật cản ngay lập tức. Sử dụng TensorRT, các mô hình nhận thức như mạng phát hiện đối tượng có thể phân tích các khung hình trong vài mili-giây, cho phép hệ thống điều khiển của xe đưa ra các quyết định mang tính sống còn về an toàn mà không có độ trễ.

2. Tự động hóa công nghiệp (Industrial Automation): Các nhà máy hiện đại ứng dụng AI trong sản xuất cho việc kiểm tra quang học tự động. Các camera tốc độ cao chụp ảnh sản phẩm trên dây chuyền lắp ráp, và các mô hình được tối ưu hóa bằng TensorRT sẽ xác định lỗi hoặc bất thường theo thời gian thực. Điều này đảm bảo rằng quy trình kiểm soát chất lượng bắt kịp với môi trường sản xuất tốc độ cao, thường được triển khai trên các thiết bị AI biên như nền tảng NVIDIA Jetson ngay tại xưởng sản xuất.

Sử dụng TensorRT với Ultralytics YOLO#

Việc tích hợp TensorRT vào quy trình làm việc của bạn trở nên đơn giản với các công cụ AI hiện đại. Gói ultralytics cung cấp một phương thức liền mạch để chuyển đổi các mô hình PyTorch tiêu chuẩn thành các engine TensorRT. Điều này cho phép người dùng tận dụng kiến trúc tối tân của Ultralytics YOLO26 cùng với khả năng tăng tốc phần cứng của GPU NVIDIA. Đối với các nhóm muốn quản lý tập dữ liệu và các pipeline huấn luyện trước khi xuất file, Ultralytics Platform cung cấp một môi trường toàn diện để chuẩn bị các mô hình cho quá trình triển khai hiệu suất cao như vậy.

Ví dụ sau đây minh họa cách xuất model Ultralytics YOLO26 ra một file engine TensorRT (.engine) và sử dụng nó cho real-time inference:

from ultralytics import YOLO

# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")

# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")

# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")

TensorRT so với ONNX so với các Framework huấn luyện#

Điều quan trọng là phải phân biệt TensorRT với các thuật ngữ khác thường nghe thấy trong bối cảnh triển khai mô hình:

• So với PyTorch/TensorFlow: Các framework như PyTorch chủ yếu được thiết kế để huấn luyện mô hình và nghiên cứu, mang lại sự linh hoạt và dễ dàng gỡ lỗi. TensorRT là một công cụ suy luận được thiết kế chỉ để thực thi các mô hình đã được huấn luyện nhanh nhất có thể. Nó không được sử dụng để huấn luyện.
• So với ONNX: Định dạng ONNX (Open Neural Network Exchange) đóng vai trò là cầu nối trung gian giữa các framework. Mặc dù ONNX cung cấp khả năng tương tác (ví dụ: di chuyển một mô hình từ PyTorch sang nền tảng khác), TensorRT lại tập trung vào việc tối ưu hóa dành riêng cho phần cứng. Thường thì một mô hình được chuyển đổi sang ONNX trước, sau đó mới được phân tích bởi TensorRT để tạo ra engine cuối cùng.

Đối với các nhà phát triển hướng tới việc tối đa hóa hiệu suất cho tác nhân AI hoặc hệ thống thị giác của họ, việc hiểu rõ quá trình chuyển đổi từ framework huấn luyện sang một runtime được tối ưu hóa như TensorRT là một bước quan trọng trong MLOps chuyên nghiệp.