ONNX (Open Neural Network Exchange)

ONNX (Trao đổi Mạng Nơ-ron Mở) là một định dạng mã nguồn mở được thiết kế để biểu diễn các model machine learning, cho phép khả năng tương tác giữa nhiều framework và công cụ AI khác nhau. ONNX hoạt động như một trình biên dịch phổ quát cho deep learning, cho phép developer xây dựng model trong một framework—chẳng hạn như PyTorch, TensorFlow hoặc Scikit-learn—rồi triển khai liền mạch trong một môi trường khác được tối ưu hóa cho inference. Bằng cách định nghĩa một tập operator chung và một định dạng file tiêu chuẩn, ONNX loại bỏ nhu cầu sử dụng các script chuyển đổi phức tạp, tùy chỉnh vốn trước đây cần thiết để chuyển model từ nghiên cứu sang production. Tính linh hoạt này rất quan trọng đối với các workflow AI hiện đại, trong đó quá trình training có thể diễn ra trên các GPU cloud mạnh, còn mục tiêu triển khai là nhiều loại phần cứng khác nhau như thiết bị edge, điện thoại di động hoặc trình duyệt web.

Vai trò của ONNX trong AI hiện đại#

Trong bối cảnh trí tuệ nhân tạo không ngừng phát triển, các researcher và engineer thường sử dụng những công cụ khác nhau cho từng giai đoạn của vòng đời phát triển. Một data scientist có thể ưu tiên tính linh hoạt của PyTorch cho việc thử nghiệm và training, trong khi production engineer cần hiệu năng được tối ưu hóa của TensorRT hoặc OpenVINO cho deployment. Nếu không có một định dạng trao đổi tiêu chuẩn, việc di chuyển model giữa các hệ sinh thái này sẽ khó khăn và dễ phát sinh lỗi.

ONNX thu hẹp khoảng cách này bằng cách cung cấp một định nghĩa dùng chung cho computation graph. Khi một model được export sang ONNX, model sẽ được tuần tự hóa thành một định dạng ghi lại cấu trúc mạng (các layer, kết nối) và các tham số (weight, bias) theo cách không phụ thuộc vào framework. Điều này cho phép các inference engine được tinh chỉnh riêng cho hardware acceleration—chẳng hạn như ONNX Runtime—thực thi model hiệu quả trên nhiều nền tảng, bao gồm Linux, Windows, macOS, Android và iOS.

Các lợi ích chính khi sử dụng ONNX#

Việc áp dụng định dạng Trao đổi Mạng Nơ-ron Mở mang lại một số lợi thế chiến lược cho các dự án AI:

• Khả năng tương tác giữa các framework: Developer có thể chuyển đổi giữa các framework mà không bị khóa vào một hệ sinh thái duy nhất. Bạn có thể training một model bằng Ultralytics Python API thân thiện với người dùng, rồi export model để sử dụng trong ứng dụng C++ hoặc môi trường JavaScript dựa trên web.
• Tối ưu hóa phần cứng: Nhiều nhà sản xuất phần cứng cung cấp các execution provider chuyên biệt có thể giao tiếp với ONNX. Điều này có nghĩa là một file .onnx duy nhất có thể được tăng tốc trên GPU NVIDIA, CPU Intel hoặc NPU di động (bộ xử lý thần kinh) bằng các công cụ như OpenVINO hoặc CoreML.
• Inference nhanh hơn: ONNX Runtime áp dụng các phương pháp tối ưu hóa graph—chẳng hạn như hợp nhất node và rút gọn hằng số—có thể giảm đáng kể độ trễ inference. Điều này thiết yếu đối với các ứng dụng real-time như xe tự hành hoặc dây chuyền sản xuất tốc độ cao.
• Đơn giản hóa deployment: Thay vì duy trì các pipeline deployment riêng cho từng framework training, các team engineering có thể thống nhất sử dụng ONNX làm định dạng phân phối, qua đó tinh gọn các quy trình ModelOps.

Các ứng dụng trong thực tế#

Tính linh hoạt của ONNX khiến nó trở thành một thành phần phổ biến trong nhiều ngành. Dưới đây là hai ví dụ cụ thể về ứng dụng của ONNX:

1. AI edge trên thiết bị di động#

Hãy xem xét một ứng dụng di động được thiết kế để giám sát sức khỏe cây trồng theo thời gian thực. Model có thể được training trên một server cloud mạnh bằng một dataset lớn gồm các hình ảnh cây trồng. Tuy nhiên, ứng dụng cần chạy offline trên smartphone của nông dân. Bằng cách export model đã training sang ONNX, developer có thể tích hợp model vào ứng dụng di động bằng ONNX Runtime Mobile. Điều này cho phép processor của điện thoại thực hiện phát hiện đối tượng cục bộ, nhanh chóng xác định sâu bệnh mà không cần kết nối internet.

2. Inference web đa nền tảng#

Trong thương mại điện tử, một tính năng "virtual try-on" có thể sử dụng ước tính pose để phủ trang phục lên luồng hình ảnh webcam của người dùng. Model này có thể được training bằng Python, nhưng môi trường triển khai mục tiêu là trình duyệt web. Với ONNX, model có thể được chuyển đổi và chạy trực tiếp trong trình duyệt của người dùng thông qua ONNX Runtime Web. Cách này tận dụng năng lực của thiết bị phía client (WebGL hoặc WebAssembly) để thực hiện các tác vụ thị giác máy tính, đảm bảo trải nghiệm mượt mà và bảo vệ quyền riêng tư vì dữ liệu video không bao giờ rời khỏi máy tính của người dùng.

So sánh với các thuật ngữ liên quan#

Việc phân biệt ONNX với các định dạng model và công cụ khác là rất hữu ích:

• so với TensorRT: Trong khi ONNX là một định dạng trao đổi, TensorRT là một inference engine và công cụ tối ưu hóa dành riêng cho GPU NVIDIA. Một workflow phổ biến là export model sang ONNX trước, sau đó phân tích file ONNX đó bằng TensorRT để đạt throughput tối đa trên phần cứng NVIDIA.
• so với TensorFlow SavedModel: SavedModel là định dạng tuần tự hóa gốc của TensorFlow. Mặc dù mạnh mẽ trong hệ sinh thái Google, định dạng này có khả năng tương thích phổ quát kém hơn ONNX. Thường có các công cụ để chuyển đổi SavedModel sang ONNX nhằm có được khả năng hỗ trợ nền tảng rộng hơn.
• so với CoreML: CoreML là framework machine learning trên thiết bị của Apple. Mặc dù khác biệt, các model thường được chuyển đổi từ PyTorch sang ONNX, rồi từ ONNX sang CoreML (hoặc chuyển đổi trực tiếp) để chạy hiệu quả trên iPhone và iPad.

Export sang ONNX bằng Ultralytics#

Hệ sinh thái Ultralytics đơn giản hóa quy trình chuyển đổi các model tiên tiến như YOLO26 sang định dạng ONNX. Chức năng export được tích hợp trực tiếp vào library, tự động xử lý việc duyệt graph phức tạp và ánh xạ operator.

Ví dụ sau minh họa cách export một model Ultralytics YOLO26 đã được pre-train sang định dạng ONNX để deployment:

from ultralytics import YOLO

# Load the YOLO26n model (Nano version recommended for edge deployment)
model = YOLO("yolo26n.pt")

# Export the model to ONNX format
# The 'dynamic' argument enables variable input sizes
path = model.export(format="onnx", dynamic=True)

print(f"Model exported successfully to: {path}")

Sau khi export, file .onnx này có thể được sử dụng trong Ultralytics Platform để quản lý hoặc được triển khai trực tiếp lên các thiết bị edge bằng ONNX Runtime, giúp computer vision hiệu năng cao có thể được sử dụng trong hầu hết mọi môi trường.