Cách xuất model Ultralytics YOLO bằng Ultralytics Platform

Tháng trước, chúng tôi ra mắt Ultralytics Platform, một không gian làm việc hợp nhất được thiết kế để đơn giản hóa toàn bộ quy trình computer vision. Nền tảng này tập hợp các khả năng AI thị giác cốt lõi, bao gồm quản lý dataset, gán nhãn, huấn luyện model, kiểm thử, triển khai và giám sát, trong một giao diện tinh gọn duy nhất.

Hình 1. Giao diện tổng quan của Ultralytics Platform (Nguồn)

Trong quy trình đầu cuối này, triển khai đóng vai trò quan trọng trong việc đưa model từ giai đoạn thử nghiệm vào sử dụng thực tế. Trước đây, chúng tôi đã tìm hiểu các tùy chọn triển khai khác nhau có trên nền tảng, bao gồm inference dùng chung thông qua API, endpoint chuyên dụng cho triển khai production có khả năng mở rộng và xuất model để chạy trên thiết bị biên hoặc hạ tầng bên ngoài.

Bây giờ, hãy cùng tìm hiểu kỹ hơn về xuất model và cách thức này hỗ trợ triển khai trong nhiều môi trường khác nhau. Không giống như inference dùng chung và endpoint chuyên dụng, vốn thực thi model trong hạ tầng do Ultralytics Platform quản lý, xuất model cho phép triển khai và chạy model trong các môi trường bên ngoài như thiết bị biên, ứng dụng di động và hạ tầng tùy chỉnh.

Trước khi chạy model trong các môi trường này, cần chuyển đổi model sang những định dạng được runtime mục tiêu hỗ trợ. Mỗi cấu hình triển khai có yêu cầu riêng, từ định dạng gọn nhẹ cho thiết bị di động và thiết bị biên đến định dạng hiệu năng cao cho hệ thống đám mây và GPU.

Theo cách truyền thống, quá trình này có thể tốn nhiều thời gian do cần đến script, dependency và nhiều công cụ. Với Ultralytics Platform, việc xuất model đơn giản hơn nhiều. Có thể chuyển đổi và tối ưu hóa model chỉ bằng vài cú nhấp chuột mà không cần thiết lập bổ sung.

Trong bài viết này, chúng ta sẽ tìm hiểu xuất model là gì, các định dạng được Ultralytics Platform hỗ trợ và cách chọn định dạng phù hợp cho trường hợp sử dụng của bạn. Bắt đầu nào!

Tổng quan về xuất model#

Xuất model là quá trình chuyển đổi model đã được huấn luyện trước hoặc huấn luyện tùy chỉnh sang định dạng có thể sử dụng bên ngoài framework ban đầu. Model Ultralytics YOLO được xây dựng bằng PyTorch và lưu ở định dạng gốc, phù hợp cho huấn luyện, đánh giá và thử nghiệm trong hệ sinh thái PyTorch.

Tuy nhiên, môi trường triển khai thường có runtime và yêu cầu phần cứng khác nhau. Vì vậy, định dạng được sử dụng trong quá trình huấn luyện không phải lúc nào cũng phù hợp để triển khai.

Ví dụ, ứng dụng di động có thể cần định dạng gọn nhẹ được tối ưu cho mức tiêu thụ điện năng thấp, trong khi ứng dụng chạy trên trình duyệt cần định dạng hoạt động hiệu quả trong môi trường web.

Thiết bị biên như camera và hệ thống nhúng được hưởng lợi từ model nhỏ gọn, tốc độ cao, trong khi hệ thống đám mây được thiết kế cho inference hiệu năng cao. Để đáp ứng các tình huống khác nhau này, cần xuất model sang những định dạng tương thích.

Vì sao khả năng xuất model ngày càng quan trọng#

Ngày nay, model computer vision đang được triển khai gần hơn với nơi tạo ra dữ liệu, đặc biệt là trên thiết bị biên. Điện thoại thông minh chạy các ứng dụng thị giác thời gian thực, camera CCTV thực hiện giám sát ngay trên thiết bị và các hệ thống tự hành dựa vào khả năng ra quyết định tức thời.

Tuy nhiên, triển khai trong những môi trường này cũng đi kèm nhiều thách thức. Thiết bị biên có năng lực tính toán hạn chế, yêu cầu độ trễ nghiêm ngặt và các giới hạn về bộ nhớ cũng như mức tiêu thụ năng lượng. Model hoạt động tốt khi huấn luyện với đủ tài nguyên có thể không chạy hiệu quả trong những điều kiện bị giới hạn này.

Xuất model sang định dạng phù hợp có thể giúp giải quyết những thách thức này. Bằng cách chuyển đổi model thích hợp, có thể tối ưu tốc độ, giảm kích thước và đảm bảo tương thích với phần cứng cụ thể.

Đồng thời, xuất model mang lại tính linh hoạt. Có thể điều chỉnh cùng một model cho các môi trường triển khai khác nhau bằng cách chuyển đổi sang nhiều định dạng dựa trên các yêu cầu cụ thể.

Hình 2. Một số định dạng xuất có trong Ultralytics Platform (Nguồn)

Ví dụ, định dạng model NCNN được tối ưu cho thiết bị di động và thiết bị biên với mức sử dụng tài nguyên thấp. Trong khi đó, định dạng OpenVINO được thiết kế riêng cho phần cứng Intel và mang lại hiệu năng tốt hơn trên bộ xử lý trung tâm (CPU), bộ xử lý đồ họa (GPU) và bộ xử lý thần kinh (NPU).

Trong hầu hết trường hợp, để đạt được mức độ linh hoạt này, người dùng phải tự chuyển đổi, xử lý dependency và sử dụng nhiều công cụ, khiến quy trình tốn thời gian và phức tạp. Ultralytics Platform tinh giản quy trình này bằng cách giúp việc xuất model dễ tiếp cận và dễ quản lý hơn.

Ultralytics Platform đơn giản hóa việc xuất model như thế nào#

Thông thường, xuất model được xem là một bước riêng biệt và phức tạp trong quy trình computer vision. Ultralytics Platform thay đổi điều này bằng cách tích hợp tùy chọn xuất model trực tiếp vào một không gian làm việc duy nhất, bao quát mọi công đoạn từ huấn luyện đến triển khai.

Một trong những ưu điểm chính là trải nghiệm xuất model không cần viết mã. Bạn không cần viết script, quản lý môi trường hay sử dụng lệnh dành riêng cho framework. Có thể xuất model chỉ bằng vài cú nhấp chuột thông qua giao diện trực quan.

Hình 3. Ví dụ xuất model từ Ultralytics Platform (Nguồn)

Ở phía sau, nền tảng xử lý các công đoạn phức tạp. Những tác vụ thường cần nhiều công cụ và thiết lập thủ công được tinh giản thành một quy trình duy nhất. Bạn không cần cài thêm dependency hay xử lý vấn đề tương thích, nhờ đó việc chuyển từ model đã huấn luyện sang giải pháp sẵn sàng cho production trở nên dễ dàng hơn nhiều.

Các định dạng xuất model được Ultralytics Platform hỗ trợ#

Ultralytics Platform hỗ trợ 21 định dạng xuất, giúp dễ dàng chuẩn bị model cho nhiều môi trường triển khai mà không làm tăng độ phức tạp.

Dưới đây là tổng quan về một số định dạng xuất thường dùng:

• Khả năng tương thích đa nền tảng và tương tác: ONNX và TorchScript được sử dụng rộng rãi để chạy model trên nhiều framework và môi trường khác nhau. ONNX đóng vai trò cầu nối giữa các hệ sinh thái, giúp chuyển model giữa các công cụ dễ dàng hơn, trong khi TorchScript cho phép chạy model PyTorch trong môi trường production mà không cần runtime Python.
• Inference hiệu năng cao trên GPU: TensorRT được thiết kế cho GPU NVIDIA và tập trung tối ưu model nhằm đạt độ trễ thấp, thông lượng cao. TensorRT hỗ trợ các kỹ thuật như giảm độ chính xác và hợp nhất layer để tăng tốc inference, là lựa chọn phù hợp cho ứng dụng thời gian thực và quy mô production.
• Triển khai trên thiết bị di động và thiết bị biên: CoreML, LiteRT (TensorFlow Lite) và NCNN được tối ưu cho thiết bị có năng lực tính toán và bộ nhớ hạn chế. Các định dạng này giảm kích thước model và cải thiện hiệu quả, giúp hoạt động ổn định trên điện thoại thông minh, hệ thống nhúng và phần cứng biên. CoreML thường được sử dụng trong hệ sinh thái Apple, còn LiteRT phổ biến trên Android.
• Thực thi tối ưu theo phần cứng: OpenVINO được thiết kế riêng cho phần cứng Intel, bao gồm CPU, GPU và VPU, đồng thời giúp cải thiện tốc độ và hiệu quả inference trên các thiết bị đó. Những định dạng dành riêng cho phần cứng như vậy rất hữu ích khi bạn cần khai thác hiệu năng tốt nhất từ một hệ thống cụ thể.
• Runtime chuyên biệt theo framework: Các định dạng như PaddlePaddle và ExecuTorch hỗ trợ những hệ sinh thái và nhu cầu triển khai cụ thể, bao gồm chạy model hiệu quả trên thiết bị biên hoặc tích hợp với các stack deep learning nhất định.

Cách xuất model bằng Ultralytics Platform#

Xuất model trên Ultralytics Platform là một quy trình đơn giản, thực hiện qua giao diện người dùng. Toàn bộ quy trình được xử lý thông qua giao diện, không cần script hay công cụ dòng lệnh.

Sau đây là các bước xuất model bằng nền tảng:

• Đăng nhập và chọn model: Mở project của bạn và chọn model đã huấn luyện mà bạn muốn xuất.
• Chuyển đến tab Export: Trong dashboard của model, nhấp vào tab Export để xem các tùy chọn xuất hiện có.
• Chọn định dạng xuất: Chọn định dạng như ONNX, TensorRT hoặc CoreML tùy theo nhu cầu triển khai.
• Cấu hình thiết lập xuất (không bắt buộc): Điều chỉnh các tham số như kích thước ảnh, độ chính xác hoặc batch size để tối ưu hiệu năng.
• Bắt đầu quá trình xuất: Nhấp vào “Start Export” để bắt đầu. Nền tảng sẽ tự động xử lý việc chuyển đổi.
• Tải model đã xuất xuống: Sau khi xuất xong, bạn có thể tải model xuống và sử dụng trong pipeline triển khai.

Hình 4. Giao diện cấu hình thiết lập xuất trong Ultralytics Platform

Chọn định dạng xuất phù hợp#

Khi tìm hiểu các định dạng xuất mà Ultralytics Platform hỗ trợ, bạn có thể băn khoăn nên chọn định dạng nào. Câu trả lời thực sự phụ thuộc vào nơi và cách bạn dự định sử dụng model.

Dưới đây là một số yếu tố cần cân nhắc:

• Yêu cầu về độ trễ: Đối với các ứng dụng thời gian thực như phân tích video hoặc hệ thống tự hành, độ trễ thấp là yếu tố then chốt. Các định dạng được tối ưu cho inference hiệu năng cao, chẳng hạn như TensorRT, thường phù hợp hơn.
• Giới hạn phần cứng: Các thiết bị có bộ nhớ và năng lực xử lý hạn chế, chẳng hạn như điện thoại di động hoặc hệ thống nhúng, cần những định dạng gọn nhẹ như LiteRT hoặc NCNN.
• Kích thước model và mức tiêu thụ điện năng: Khi làm việc với thiết bị biên, kích thước model và mức tiêu thụ điện năng trở nên quan trọng. Model nhỏ hơn, được tối ưu tốt, giúp đảm bảo hiệu năng ổn định mà không tiêu tốn quá nhiều tài nguyên.
• Môi trường triển khai: Nếu model cần chạy trên nhiều nền tảng khác nhau, các định dạng như ONNX mang lại sự linh hoạt. Với trường hợp sử dụng riêng cho một nền tảng, chẳng hạn ứng dụng iOS, CoreML thường là lựa chọn tốt hơn.

Không có định dạng nào phù hợp với mọi trường hợp. Việc lựa chọn phụ thuộc vào sự cân bằng giữa hiệu năng, khả năng tương thích và giới hạn của môi trường mục tiêu. Ultralytics Platform giúp quá trình này dễ dàng hơn bằng cách cho phép bạn thử nghiệm và so sánh các định dạng khác nhau mà không tốn thêm công sức.

Điểm chính cần ghi nhớ#

Xuất model là bước thiết yếu để chuẩn bị model cho việc sử dụng thực tế trong nhiều môi trường khác nhau. Với Ultralytics Platform, quy trình này trở nên đơn giản hơn nhiều, cho phép bạn chuyển đổi và tối ưu hóa model mà không cần thiết lập bổ sung hay xử lý phức tạp. Bằng cách chọn định dạng phù hợp với trường hợp sử dụng, bạn có thể đảm bảo model chạy hiệu quả ở bất cứ nơi nào được triển khai.

Tham gia cộng đồng đang phát triển của chúng tôi và xem kho GitHub để tìm hiểu thêm về computer vision. Khám phá các trang giải pháp của chúng tôi để biết thêm về những ứng dụng như AI trong robot học và computer vision trong logistics. Tìm hiểu các tùy chọn cấp phép và bắt đầu xây dựng với AI thị giác!