Cách export model Ultralytics YOLO bằng Ultralytics Platform

Tháng trước, chúng tôi đã ra mắt Ultralytics Platform, một workspace hợp nhất được thiết kế để đơn giản hóa toàn bộ quy trình computer vision. Nền tảng này tập hợp các khả năng AI thị giác quan trọng, bao gồm quản lý dataset, gán nhãn, training model, testing, deployment và monitoring, vào một giao diện duy nhất, tinh gọn.

Hình 1. Tổng quan về Ultralytics Platform (Nguồn)

Là một phần của quy trình end-to-end này, deployment đóng vai trò quan trọng trong việc đưa model từ giai đoạn thử nghiệm vào sử dụng thực tế. Trước đây, chúng tôi đã tìm hiểu các tùy chọn deployment khác nhau có trên nền tảng, bao gồm inference dùng chung thông qua API, endpoint riêng cho các deployment production có khả năng mở rộng và xuất model để chạy trên edge device hoặc hạ tầng bên ngoài.

Bây giờ, hãy cùng xem xét kỹ hơn về việc export model và cách thức này hỗ trợ deployment trên nhiều môi trường khác nhau. Không giống inference và endpoint riêng, vốn thực thi model trong hạ tầng do Ultralytics Platform quản lý, export model cho phép triển khai và chạy model trong các môi trường bên ngoài như edge device, ứng dụng di động và hạ tầng tùy chỉnh.

Trước khi có thể chạy trong các môi trường này, model cần được chuyển đổi sang các format được runtime đích hỗ trợ. Mỗi thiết lập deployment có các yêu cầu riêng, từ format nhẹ dành cho thiết bị di động và edge device đến format hiệu năng cao dành cho hệ thống cloud và GPU.

Theo cách truyền thống, quy trình này có thể tốn nhiều thời gian vì cần đến script, dependency và nhiều công cụ. Với Ultralytics Platform, việc export trở nên đơn giản hơn nhiều. Model có thể được chuyển đổi và tối ưu chỉ với vài cú nhấp chuột mà không cần thiết lập bổ sung.

Trong bài viết này, chúng ta sẽ tìm hiểu export model là gì, các format được Ultralytics Platform hỗ trợ và cách chọn format phù hợp cho trường hợp sử dụng của bạn. Hãy bắt đầu!

Tổng quan về việc export model#

Export model bao gồm việc chuyển đổi một model đã pre-trained hoặc được training tùy chỉnh sang format có thể sử dụng bên ngoài framework ban đầu. Model Ultralytics YOLO được xây dựng bằng PyTorch và lưu ở format gốc, hoạt động hiệu quả cho training, evaluation và experimentation trong hệ sinh thái PyTorch.

Tuy nhiên, môi trường deployment thường có runtime và yêu cầu phần cứng khác nhau. Vì vậy, format được sử dụng trong quá trình training không phải lúc nào cũng phù hợp cho deployment.

Ví dụ, một ứng dụng di động có thể yêu cầu format nhẹ được tối ưu để tiêu thụ ít điện năng, trong khi ứng dụng chạy trên trình duyệt cần format hoạt động hiệu quả trong môi trường web.

Các edge device như camera và hệ thống nhúng được hưởng lợi từ những model nhỏ gọn và nhanh, trong khi hệ thống cloud được thiết kế cho inference hiệu năng cao. Để hỗ trợ các tình huống khác nhau này, model cần được export sang các format tương thích.

Vì sao tùy chọn export model ngày càng quan trọng#

Ngày nay, model computer vision đang được triển khai gần hơn với nơi dữ liệu được tạo ra, đặc biệt là trên edge device. Smartphone chạy các ứng dụng thị giác theo thời gian thực, camera CCTV thực hiện monitoring trên thiết bị và các hệ thống tự hành phụ thuộc vào việc ra quyết định tức thời.

Tuy nhiên, deployment trong các môi trường này đi kèm với nhiều thách thức riêng. Edge device có năng lực tính toán hạn chế, yêu cầu nghiêm ngặt về độ trễ và các giới hạn về bộ nhớ cũng như mức tiêu thụ năng lượng. Một model hoạt động tốt trong quá trình training với tài nguyên đầy đủ có thể không chạy hiệu quả trong những điều kiện hạn chế này.

Export model sang format phù hợp có thể giúp giải quyết các thách thức này. Bằng cách chuyển đổi model đúng cách, model có thể được tối ưu về tốc độ, giảm kích thước và tương thích với phần cứng cụ thể.

Đồng thời, export cũng mang lại tính linh hoạt. Cùng một model có thể được điều chỉnh cho các môi trường deployment khác nhau bằng cách chuyển đổi sang nhiều format dựa trên các yêu cầu cụ thể.

Hình 2. Một số format export có trong Ultralytics Platform (Nguồn)

Ví dụ, format model NCNN được tối ưu cho thiết bị di động và edge device với mức sử dụng tài nguyên thấp. Trong khi đó, format OpenVINO được thiết kế cho phần cứng Intel và mang lại hiệu năng tốt hơn trên bộ xử lý trung tâm (CPUs), bộ xử lý đồ họa (GPUs) và bộ xử lý thần kinh (NPUs).

Trong hầu hết trường hợp, để đạt được mức độ linh hoạt này, người dùng phải xử lý việc chuyển đổi thủ công, dependency và nhiều công cụ, khiến quy trình trở nên phức tạp và tốn thời gian. Ultralytics Platform tinh gọn quy trình này bằng cách giúp việc export model dễ tiếp cận và dễ quản lý hơn.

Cách Ultralytics Platform đơn giản hóa việc export model#

Thông thường, export model được xem là một bước riêng biệt và phức tạp trong workflow computer vision. Ultralytics Platform thay đổi điều này bằng cách tích hợp tùy chọn export model trực tiếp vào một workspace duy nhất, bao quát mọi khâu từ training đến deployment.

Một trong những ưu điểm chính của nền tảng là trải nghiệm export không cần code. Bạn không cần viết script, quản lý environment hoặc sử dụng command dành riêng cho từng framework. Model có thể được export chỉ với vài cú nhấp chuột thông qua một giao diện trực quan.

Hình 3. Ví dụ về việc export model từ Ultralytics Platform (Nguồn)

Phía sau giao diện, nền tảng sẽ xử lý các tác vụ phức tạp. Những công việc thường yêu cầu nhiều công cụ và thiết lập thủ công được tinh gọn thành một quy trình duy nhất. Bạn không phải cài đặt dependency bổ sung hay xử lý các vấn đề tương thích, nhờ đó dễ dàng chuyển từ model đã training sang một solution sẵn sàng cho production hơn nhiều.

Các format export model được Ultralytics Platform hỗ trợ#

Ultralytics Platform hỗ trợ 17 format export, giúp dễ dàng chuẩn bị model cho nhiều môi trường deployment khác nhau mà không làm tăng độ phức tạp.

Dưới đây là tổng quan về một số format export thường được sử dụng:

• Đa nền tảng và khả năng interoperability: ONNX và TorchScript được sử dụng rộng rãi để chạy model trên nhiều framework và môi trường khác nhau. ONNX đóng vai trò cầu nối giữa các hệ sinh thái, giúp di chuyển model giữa các công cụ dễ dàng hơn, trong khi TorchScript cho phép chạy model PyTorch trong production mà không yêu cầu Python runtime.
• Inference hiệu năng cao trên GPU: TensorRT được thiết kế cho GPU NVIDIA và tập trung tối ưu model để đạt độ trễ thấp và throughput cao. TensorRT hỗ trợ các kỹ thuật như giảm precision và fusion layer để tăng tốc inference, khiến đây trở thành lựa chọn phù hợp cho các ứng dụng thời gian thực và quy mô production.
• Deployment trên thiết bị di động và edge: CoreML, LiteRT (TensorFlow Lite) và NCNN được tối ưu cho các thiết bị có năng lực tính toán và bộ nhớ hạn chế. Những format này giảm kích thước model và cải thiện hiệu suất, giúp smartphone, hệ thống nhúng và phần cứng edge hoạt động mượt mà. CoreML thường được sử dụng trong hệ sinh thái Apple, còn LiteRT phổ biến trên Android.
• Thực thi được tối ưu cho phần cứng: OpenVINO được thiết kế cho phần cứng Intel, bao gồm CPU, GPU và VPU, đồng thời giúp cải thiện tốc độ và hiệu quả inference trên các thiết bị này. Những format dành riêng cho phần cứng như vậy rất hữu ích khi bạn cần khai thác hiệu năng tốt nhất từ một hệ thống cụ thể.
• Runtime dành riêng cho framework và runtime chuyên biệt: Các format như PaddlePaddle và ExecuTorch hỗ trợ những hệ sinh thái và nhu cầu deployment cụ thể, bao gồm chạy model hiệu quả trên edge device hoặc tích hợp với các stack deep learning nhất định.

Cách export model bằng Ultralytics Platform#

Export model trên Ultralytics Platform là một quy trình đơn giản, thực hiện qua UI. Toàn bộ workflow được xử lý thông qua giao diện mà không cần script hay công cụ command line.

Dưới đây là cách bạn có thể export model bằng nền tảng:

• Đăng nhập và chọn model: Truy cập project của bạn và mở model đã training mà bạn muốn export.
• Mở tab Export: Trong dashboard của model, nhấp vào tab Export để xem các tùy chọn export hiện có.
• Chọn format export: Chọn format như ONNX, TensorRT hoặc CoreML dựa trên nhu cầu deployment của bạn.
• Cấu hình cài đặt export (tùy chọn): Điều chỉnh các tham số như kích thước ảnh, precision hoặc batch size để tối ưu hiệu năng.
• Bắt đầu quy trình export: Nhấp vào “Start Export” để bắt đầu. Nền tảng sẽ tự động xử lý việc chuyển đổi.
• Download model đã export: Khi quá trình export hoàn tất, bạn có thể download model và sử dụng model trong pipeline deployment.

Hình 4. Xem cách cấu hình cài đặt export trong Ultralytics Platform

Chọn format export phù hợp#

Khi tìm hiểu các format export khác nhau được Ultralytics Platform hỗ trợ, bạn có thể băn khoăn không biết nên chọn format nào. Câu trả lời thực sự phụ thuộc vào nơi và cách bạn dự định sử dụng model.

Dưới đây là một số yếu tố cần cân nhắc:

• Yêu cầu về độ trễ: Đối với các ứng dụng thời gian thực như phân tích video hoặc hệ thống tự hành, độ trễ thấp là yếu tố then chốt. Các format được tối ưu cho inference hiệu năng cao, chẳng hạn như TensorRT, thường phù hợp hơn.
• Giới hạn phần cứng: Các thiết bị có bộ nhớ và năng lực xử lý hạn chế, chẳng hạn như điện thoại di động hoặc hệ thống nhúng, yêu cầu các format nhẹ như LiteRT hoặc NCNN.
• Kích thước model và mức tiêu thụ năng lượng: Khi làm việc với edge device, kích thước model và mức tiêu thụ năng lượng trở nên rất quan trọng. Model nhỏ hơn và được tối ưu tốt giúp duy trì hiệu năng ổn định mà không tiêu tốn quá nhiều tài nguyên.
• Môi trường deployment: Nếu model cần chạy trên nhiều nền tảng khác nhau, các format như ONNX mang lại tính linh hoạt. Đối với các trường hợp sử dụng dành riêng cho nền tảng, chẳng hạn như ứng dụng iOS, CoreML thường là lựa chọn phù hợp hơn.

Không có format nào phù hợp với mọi trường hợp. Lựa chọn thực sự phụ thuộc vào việc cân bằng giữa hiệu năng, khả năng tương thích và các giới hạn của môi trường đích. Ultralytics Platform giúp việc này dễ dàng hơn bằng cách cho phép bạn thử và so sánh các format khác nhau mà không cần thêm công sức.

Những điểm chính#

Export là một bước thiết yếu để đưa model vào sử dụng thực tế trên nhiều môi trường khác nhau. Với Ultralytics Platform, quy trình này trở nên đơn giản hơn nhiều, cho phép bạn chuyển đổi và tối ưu model mà không cần thiết lập bổ sung hay xử lý sự phức tạp. Bằng cách chọn format phù hợp với trường hợp sử dụng, bạn có thể đảm bảo model chạy hiệu quả ở bất cứ nơi nào được triển khai.

Tham gia cộng đồng đang phát triển của chúng tôi và xem repository GitHub để tìm hiểu thêm về computer vision. Khám phá các trang giải pháp của chúng tôi để biết thêm về những ứng dụng như AI trong robotics và computer vision trong logistics. Tìm hiểu các tùy chọn cấp phép và bắt đầu xây dựng với vision AI!