TensorRT

TensorRT là một bộ công cụ phát triển phần mềm (SDK) suy luận deep learning hiệu năng cao do NVIDIA phát triển. Nó được thiết kế để tối ưu hóa các mô hình mạng thần kinh cho việc triển khai, mang lại độ trễ suy luận thấp và thông lượng cao cho các ứng dụng deep learning. Đóng vai trò như một trình biên dịch tối ưu hóa, TensorRT lấy các mạng đã được huấn luyện từ các framework phổ biến như PyTorch và TensorFlow rồi tái cấu trúc chúng để thực thi hiệu quả trên các GPU NVIDIA. Khả năng này rất quan trọng để vận hành các mô hình AI phức tạp trong môi trường production, nơi tốc độ và hiệu quả được đặt lên hàng đầu.

Link to this sectionCách TensorRT tối ưu hóa mô hình#

Chức năng cốt lõi của TensorRT là chuyển đổi một mạng thần kinh đã được huấn luyện thành một "công cụ" (engine) được tối ưu hóa, điều chỉnh đặc biệt cho phần cứng mục tiêu. Nó đạt được điều này thông qua một số kỹ thuật tiên tiến:

• Hợp nhất lớp (Layer Fusion): Trình tối ưu hóa kết hợp nhiều lớp của một mạng thần kinh thành một kernel duy nhất, giúp giảm chi phí truy cập bộ nhớ và cải thiện tốc độ thực thi.
• Hiệu chỉnh độ chính xác (Precision Calibration): TensorRT hỗ trợ các chế độ giảm độ chính xác, chẳng hạn như độ chính xác hỗn hợp (FP16) và định lượng số nguyên (INT8). Bằng cách giảm số lượng bit được sử dụng để biểu diễn các con số—thường với mức mất mát độ chính xác tối thiểu—các nhà phát triển có thể tăng tốc đáng kể các phép toán và giảm mức sử dụng bộ nhớ. Đây là một dạng của định lượng mô hình.
• Tự động điều chỉnh Kernel (Kernel Auto-Tuning): Phần mềm tự động chọn các lớp dữ liệu và thuật toán tốt nhất cho kiến trúc GPU cụ thể đang được sử dụng, đảm bảo tối đa hóa khả năng xử lý song song của phần cứng thông qua CUDA.

Link to this sectionCác ứng dụng trong thực tế#

Nhờ khả năng xử lý lượng dữ liệu khổng lồ với độ trễ tối thiểu, TensorRT được áp dụng rộng rãi trong các ngành công nghiệp dựa vào thị giác máy tính và các tác vụ AI phức tạp nơi yếu tố thời gian là tối quan trọng.

1. Hệ thống tự hành: Trong lĩnh vực AI trong ô tô, xe tự lái phải xử lý các luồng video từ nhiều camera để phát hiện người đi bộ, biển báo và chướng ngại vật ngay lập tức. Sử dụng TensorRT, các mô hình nhận thức như mạng phát hiện đối tượng có thể phân tích các khung hình trong vài mili giây, cho phép hệ thống điều khiển của phương tiện đưa ra các quyết định an toàn quan trọng mà không bị lag.

2. Tự động hóa công nghiệp: Các nhà máy hiện đại sử dụng AI trong sản xuất để kiểm tra quang học tự động. Các camera tốc độ cao ghi lại hình ảnh sản phẩm trên dây chuyền lắp ráp, và các mô hình được tối ưu hóa bởi TensorRT sẽ xác định các lỗi hoặc bất thường trong thời gian thực. Điều này đảm bảo kiểm soát chất lượng theo kịp với môi trường sản xuất tốc độ cao, thường được triển khai trên các thiết bị AI biên như nền tảng NVIDIA Jetson trực tiếp trên sàn nhà máy.

Link to this sectionSử dụng TensorRT với Ultralytics YOLO#

Việc tích hợp TensorRT vào quy trình làm việc của bạn rất đơn giản với các công cụ AI hiện đại. Gói ultralytics cung cấp một phương thức liền mạch để chuyển đổi các mô hình PyTorch tiêu chuẩn thành các engine TensorRT. Điều này cho phép người dùng tận dụng kiến trúc tiên tiến của Ultralytics YOLO26 với khả năng tăng tốc phần cứng của GPU NVIDIA. Đối với các nhóm muốn quản lý tập dữ liệu và quy trình huấn luyện trước khi xuất, Nền tảng Ultralytics cung cấp một môi trường toàn diện để chuẩn bị mô hình cho việc triển khai hiệu năng cao như vậy.

Ví dụ sau đây minh họa cách xuất mô hình YOLO26 sang tệp engine TensorRT (.engine) và sử dụng nó cho suy luận thời gian thực:

from ultralytics import YOLO

# Load the latest stable YOLO26 model (nano size)
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format (creates 'yolo26n.engine')
# This step optimizes the computational graph for your specific GPU
model.export(format="engine")

# Load the optimized TensorRT engine for high-speed inference
trt_model = YOLO("yolo26n.engine")

# Run inference on an image source
results = trt_model("https://ultralytics.com/images/bus.jpg")

Link to this sectionTensorRT so với ONNX so với các Framework huấn luyện#

Điều quan trọng là phải phân biệt TensorRT với các thuật ngữ khác thường được nghe thấy trong bối cảnh triển khai mô hình:

• So với PyTorch/TensorFlow: Các framework như PyTorch chủ yếu được thiết kế để huấn luyện mô hình và nghiên cứu, mang lại sự linh hoạt và dễ dàng gỡ lỗi. TensorRT là một công cụ suy luận được thiết kế chỉ để thực thi các mô hình đã được huấn luyện nhanh nhất có thể. Nó không được sử dụng để huấn luyện.
• So với ONNX: Định dạng ONNX (Open Neural Network Exchange) đóng vai trò như một cầu nối trung gian giữa các framework. Trong khi ONNX cung cấp khả năng tương tác (ví dụ: chuyển mô hình từ PyTorch sang một nền tảng khác), TensorRT tập trung vào việc tối ưu hóa cho phần cứng cụ thể. Thông thường, một mô hình được chuyển đổi sang ONNX trước, sau đó được phân tích bởi TensorRT để tạo ra engine cuối cùng.

Đối với các nhà phát triển muốn tối đa hóa hiệu suất của tác nhân AI hoặc các hệ thống thị giác của mình, việc hiểu rõ quá trình chuyển đổi từ framework huấn luyện sang một runtime được tối ưu hóa như TensorRT là một bước quan trọng trong MLOps chuyên nghiệp.