Triển khai các model Ultralytics YOLO bằng tích hợp ExecuTorch
Khám phá cách export các model Ultralytics YOLO như Ultralytics YOLO11 sang format ExecuTorch để triển khai hiệu quả, native với PyTorch trên các thiết bị edge và mobile.
Một số ứng dụng thị giác máy tính, như kiểm tra chất lượng tự động, drone tự hành hoặc hệ thống an ninh thông minh, hoạt động tốt nhất khi các model Ultralytics YOLO, chẳng hạn Ultralytics YOLO11, chạy gần cảm biến chụp ảnh. Nói cách khác, các model này cần xử lý dữ liệu trực tiếp tại nơi dữ liệu được tạo ra, trên camera, drone hoặc hệ thống nhúng, thay vì gửi dữ liệu lên cloud.
Phương pháp này, được gọi là AI biên, cho phép model thực hiện suy luận trực tiếp trên thiết bị nơi dữ liệu được thu thập. Bằng cách xử lý thông tin cục bộ thay vì phụ thuộc vào máy chủ từ xa, hệ thống có thể đạt độ trễ thấp hơn, tăng cường quyền riêng tư dữ liệu và độ tin cậy cao hơn, ngay cả trong môi trường có kết nối Internet hạn chế hoặc không có kết nối Internet.
Ví dụ, một camera sản xuất kiểm tra hàng nghìn sản phẩm mỗi phút hoặc một drone điều hướng trong môi trường phức tạp không thể chấp nhận độ trễ do xử lý trên cloud gây ra. Chạy Ultralytics YOLO11 trực tiếp trên thiết bị cho phép suy luận tức thời ngay trên thiết bị.
Để chạy các model Ultralytics YOLO trên edge dễ dàng và hiệu quả hơn, tích hợp ExecuTorch mới được Ultralytics hỗ trợ cung cấp một phương thức tinh gọn để export và triển khai model trực tiếp lên thiết bị di động và thiết bị nhúng. ExecuTorch là một phần của hệ sinh thái PyTorch Edge và cung cấp giải pháp đầu-cuối để chạy model AI trực tiếp trên phần cứng di động và edge, bao gồm điện thoại, thiết bị đeo, bo mạch nhúng và vi điều khiển.
Tích hợp này giúp dễ dàng đưa một model Ultralytics YOLO, chẳng hạn YOLO11, từ quá trình huấn luyện đến triển khai trên thiết bị edge. Bằng cách kết hợp khả năng thị giác của YOLO11 với runtime nhẹ và pipeline export PyTorch của ExecuTorch, người dùng có thể triển khai các model chạy hiệu quả trên phần cứng edge, đồng thời duy trì độ chính xác và hiệu năng của suy luận dựa trên PyTorch.
Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về cách tích hợp ExecuTorch hoạt động, lý do tích hợp này phù hợp với các ứng dụng AI biên và cách bắt đầu triển khai các model Ultralytics YOLO với ExecuTorch. Hãy bắt đầu!
ExecuTorch là gì?#
Thông thường, khi huấn luyện một model trong PyTorch, model sẽ chạy trên các máy chủ mạnh hoặc Bộ xử lý đồ họa (GPUs) trên cloud. Tuy nhiên, để triển khai cùng model đó lên một thiết bị di động hoặc thiết bị nhúng, chẳng hạn smartphone, drone hoặc vi điều khiển, cần có một giải pháp chuyên biệt có thể xử lý các hạn chế về năng lực tính toán, bộ nhớ và kết nối.
Đó chính là điều ExecuTorch mang lại. ExecuTorch là một giải pháp đầu-cuối được phát triển như một phần của hệ sinh thái PyTorch Edge, cho phép suy luận hiệu quả ngay trên thiết bị trên các nền tảng di động, nhúng và edge. Giải pháp này mở rộng khả năng của PyTorch vượt ra ngoài cloud, cho phép model AI chạy trực tiếp trên thiết bị cục bộ.
Đưa suy luận PyTorch lên edge#
Về cốt lõi, ExecuTorch cung cấp một runtime C++ nhẹ, cho phép model PyTorch thực thi trực tiếp trên thiết bị. ExecuTorch sử dụng định dạng model PyTorch ExecuTorch (.pte), một định dạng export được tối ưu để tải nhanh hơn, có footprint bộ nhớ nhỏ hơn và khả chuyển tốt hơn.
Giải pháp này hỗ trợ XNNPACK làm backend mặc định để suy luận bằng Bộ xử lý trung tâm (CPU) hiệu quả, đồng thời mở rộng khả năng tương thích trên nhiều backend phần cứng, bao gồm CoreML, Metal, Vulkan, Qualcomm, MediaTek, Arm EthosU, OpenVINO và các backend khác.
Các backend này cho phép tăng tốc được tối ưu trên thiết bị di động, thiết bị nhúng và thiết bị edge chuyên dụng. ExecuTorch cũng tích hợp với pipeline export PyTorch, hỗ trợ các tính năng nâng cao như lượng tử hóa và xử lý shape động để cải thiện hiệu năng và khả năng thích ứng trên các môi trường triển khai khác nhau.
Lượng tử hóa làm giảm kích thước model và tăng tốc độ suy luận bằng cách chuyển đổi các giá trị độ chính xác cao, chẳng hạn số thực 32-bit, thành các giá trị độ chính xác thấp hơn; trong khi xử lý shape động được sử dụng để cho phép model xử lý hiệu quả các kích thước đầu vào thay đổi. Cả hai tính năng đều rất quan trọng khi chạy model AI trên các thiết bị edge có tài nguyên hạn chế.
Hình 1. Tổng quan về cách ExecuTorch hoạt động (Nguồn)
Lớp thống nhất cho phần cứng edge#
Ngoài runtime, ExecuTorch còn hoạt động như một lớp trừu tượng thống nhất cho nhiều backend phần cứng. Nói đơn giản, nó trừu tượng hóa các chi tiết đặc thù của phần cứng và quản lý cách model tương tác với các bộ xử lý khác nhau, bao gồm CPU, GPU và Bộ xử lý thần kinh (NPUs).
Sau khi model được export, ExecuTorch có thể được cấu hình để nhắm đến backend phù hợp nhất với một thiết bị cụ thể. Developer có thể triển khai model hiệu quả trên nhiều phần cứng khác nhau mà không cần viết code tùy chỉnh cho từng thiết bị hoặc duy trì các quy trình chuyển đổi riêng biệt.
Nhờ thiết kế dạng mô-đun, khả chuyển và tích hợp PyTorch liền mạch, ExecuTorch là một lựa chọn hiệu quả để triển khai các model thị giác máy tính như Ultralytics YOLO11 lên hệ thống di động và nhúng. Giải pháp này thu hẹp khoảng cách giữa huấn luyện model và triển khai trong thực tế, giúp AI biên nhanh hơn, hiệu quả hơn và dễ triển khai hơn.
Các tính năng chính của ExecuTorch#
Trước khi tìm hiểu cách export các model Ultralytics YOLO sang định dạng ExecuTorch, hãy cùng khám phá những yếu tố khiến ExecuTorch trở thành một lựa chọn đáng tin cậy để triển khai AI trên edge.
Dưới đây là một số tính năng chính của ExecuTorch:
- Hỗ trợ lượng tử hóa: ExecuTorch hỗ trợ lượng tử hóa model, một kỹ thuật chuyển đổi các giá trị độ chính xác cao thành các giá trị độ chính xác thấp hơn để giảm kích thước model và tăng tốc suy luận. Nhờ đó, model chạy nhanh hơn và sử dụng ít bộ nhớ hơn trên thiết bị edge, đồng thời vẫn duy trì mức độ chính xác gần như tương đương.
- Sử dụng bộ nhớ hiệu quả: Một trong những ưu điểm lớn nhất của ExecuTorch là cách giải pháp này xử lý bộ nhớ. Thay vì phụ thuộc vào cấp phát bộ nhớ động, vốn có thể gây thêm độ trễ và mức tiêu thụ điện, ExecuTorch sử dụng lập kế hoạch bộ nhớ Ahead-of-Time (AOT). Trong quá trình export, giải pháp này phân tích đồ thị model và tính toán trước lượng bộ nhớ cần thiết cho từng phép toán. Điều này cho phép runtime thực thi model bằng kế hoạch bộ nhớ tĩnh, bảo đảm hiệu năng có thể dự đoán và ngăn tình trạng chậm hoặc crash trên các thiết bị có RAM hoặc năng lực xử lý hạn chế.
- Metadata model tích hợp sẵn: Khi export bằng tích hợp được Ultralytics hỗ trợ, mỗi model bao gồm một file YAML chứa các metadata quan trọng như kích thước ảnh đầu vào, tên class và tham số cấu hình. File bổ sung này đơn giản hóa việc tích hợp model vào nhiều ứng dụng và bảo đảm hành vi nhất quán trên các nền tảng edge khác nhau.
Cách export các model Ultralytics YOLO sang định dạng ExecuTorch#
Sau khi đã hiểu rõ hơn về những gì ExecuTorch cung cấp, hãy cùng tìm hiểu từng bước cách export các model Ultralytics YOLO sang định dạng ExecuTorch.
Bước 1: Cài đặt package Python Ultralytics#
Để bắt đầu, bạn cần cài đặt gói Python Ultralytics bằng pip, một trình cài đặt package. Bạn có thể thực hiện việc này bằng cách chạy “pip install ultralytics” trong terminal hoặc command prompt.
Nếu đang làm việc trong môi trường Jupyter Notebook hoặc Google Colab, chỉ cần thêm dấu chấm than trước command, như "!pip install ultralytics". Sau khi cài đặt, package Ultralytics cung cấp tất cả công cụ cần thiết để huấn luyện, kiểm thử và export các model thị giác máy tính, bao gồm Ultralytics YOLO11.
Nếu gặp vấn đề trong quá trình cài đặt hoặc export model, tài liệu Ultralytics chính thức và hướng dẫn Các vấn đề thường gặp có các bước khắc phục sự cố chi tiết cùng các best practice giúp bạn nhanh chóng thiết lập và vận hành ổn định.
Bước 2: Xuất Ultralytics YOLO11#
Sau khi cài đặt package Ultralytics, bạn có thể load một biến thể của model YOLO11 và export model đó sang định dạng ExecuTorch. Ví dụ, bạn có thể sử dụng một model đã được huấn luyện trước như “yolo11n.pt” và export model bằng cách gọi hàm export với format được đặt là “executorch”.
Thao tác này tạo một thư mục có tên “yolo11n_executorch_model”, bao gồm file model đã tối ưu (.pte) và một file metadata YAML riêng chứa các thông tin quan trọng như kích thước ảnh và tên class.
Đây là code để export model:
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
model.export(format="executorch")Bước 3: Chạy suy luận sau khi export model#
Sau khi export, model đã sẵn sàng được triển khai trên thiết bị edge và di động bằng runtime ExecuTorch. File model .pte đã export có thể được load vào ứng dụng để chạy suy luận theo thời gian thực ngay trên thiết bị mà không cần kết nối cloud.
Ví dụ, đoạn code dưới đây cho thấy cách load model đã export và chạy suy luận. Suy luận đơn giản là việc sử dụng model đã huấn luyện để đưa ra dự đoán trên dữ liệu mới. Trong ví dụ này, model được kiểm thử trên ảnh một chiếc xe buýt lấy từ URL công khai.
executorch_model = YOLO("yolo11n_executorch_model")
results = executorch_model.predict("https://ultralytics.com/images/bus.jpg", save=True)Sau khi chạy code, bạn sẽ thấy ảnh đầu ra có các đối tượng được phát hiện được lưu trong thư mục “runs/detect/predict”.
Hình 2. Phát hiện đối tượng bằng model Ultralytics YOLO11 đã export ở định dạng ExecuTorch.
Lợi ích của việc sử dụng tích hợp ExecuTorch#
Khi khám phá các tùy chọn export khác nhau được Ultralytics hỗ trợ, bạn có thể thắc mắc điều gì khiến tích hợp ExecuTorch trở nên độc đáo. Điểm khác biệt chính nằm ở khả năng kết hợp hiệu năng, tính đơn giản và tính linh hoạt, giúp dễ dàng triển khai các model AI mạnh mẽ trực tiếp trên thiết bị di động và edge.
Dưới đây là một số ưu điểm chính khi sử dụng tích hợp ExecuTorch:
- Tùy chọn triển khai linh hoạt: Model ExecuTorch có thể được triển khai trên ứng dụng di động, hệ thống nhúng, thiết bị IoT (Internet vạn vật) và phần cứng AI biên chuyên dụng. Tính linh hoạt này cho phép developer xây dựng các giải pháp AI có khả năng mở rộng và hoạt động nhất quán trên nhiều nền tảng, môi trường khác nhau.
- Hiệu năng được chứng minh qua benchmark: Các thử nghiệm trên những thiết bị như Raspberry Pi 5 cho thấy các model Ultralytics YOLO11 được export sang định dạng ExecuTorch chạy nhanh hơn khoảng 2 lần so với các model tương ứng dựa trên PyTorch, với độ chính xác gần như giống nhau.
- API tích hợp linh hoạt: ExecuTorch cung cấp API C++, Kotlin và Objective-C cho iOS, Android và Linux nhúng, cho phép developer tích hợp trực tiếp các model YOLO vào ứng dụng native.
- Hỗ trợ tăng tốc phần cứng: ExecuTorch hỗ trợ nhiều backend tăng tốc phần cứng, bao gồm Vulkan và Metal cho GPU di động, cùng khả năng tích hợp tùy chọn với OpenCL và các API đặc thù của nhà cung cấp khác. Giải pháp này cũng có thể tận dụng các bộ tăng tốc chuyên dụng như NPU và DSP để đạt mức tăng tốc đáng kể so với suy luận chỉ sử dụng CPU.
Các ứng dụng thực tế của Ultralytics YOLO11 và export ExecuTorch#
Gần đây, Ultralytics được ghi nhận trong một câu chuyện thành công của PyTorch ExecuTorch, nêu bật sự hỗ trợ sớm của chúng tôi đối với suy luận ngay trên thiết bị và những đóng góp liên tục cho hệ sinh thái PyTorch. Sự ghi nhận này phản ánh mục tiêu chung là giúp AI hiệu năng cao dễ tiếp cận hơn trên các nền tảng di động và edge.
Từ cloud đến edge: ExecuTorch và Ultralytics YOLO11 đưa AI thị giác vào thực tế như thế nào#
Trong thực tế, điều này thể hiện qua các giải pháp AI thị giác chạy hiệu quả trên mọi thiết bị, từ smartphone đến hệ thống nhúng. Chẳng hạn, trong sản xuất, thiết bị edge đóng vai trò quan trọng trong việc giám sát dây chuyền và phát hiện lỗi theo thời gian thực.
Hình 3. Ví dụ sử dụng Ultralytics YOLO11 để phân tích dây chuyền lắp ráp trong sản xuất. (Nguồn)
Thay vì gửi hình ảnh hoặc dữ liệu cảm biến lên cloud để xử lý, vốn có thể gây độ trễ và phụ thuộc vào kết nối Internet, tích hợp ExecuTorch cho phép các model Ultralytics YOLO11 chạy trực tiếp trên phần cứng cục bộ. Điều này có nghĩa là nhà máy có thể phát hiện vấn đề chất lượng ngay lập tức, giảm thời gian ngừng hoạt động và bảo vệ quyền riêng tư dữ liệu, đồng thời vận hành với tài nguyên tính toán hạn chế.
Dưới đây là một số ví dụ khác về cách có thể áp dụng tích hợp ExecuTorch và các model Ultralytics YOLO:
- Đô thị thông minh: Bằng cách chạy cục bộ các model Ultralytics YOLO11 với ExecuTorch, thành phố có thể đưa ra quyết định nhanh hơn dựa trên dữ liệu, từ phát hiện ùn tắc giao thông đến xác định mối nguy, qua đó cải thiện khả năng di chuyển và an toàn tổng thể.
- Bán lẻ và kho vận: Với suy luận ngay trên thiết bị, nhà bán lẻ có thể tự động hóa việc giám sát kệ hàng, theo dõi hàng tồn kho và kiểm tra kiện hàng nhanh chóng, an toàn mà không phụ thuộc vào kết nối cloud.
- Robot và drone: Các model Ultralytics YOLO11 được tối ưu cho edge cho phép robot và drone nhận diện đối tượng, điều hướng môi trường và đưa ra quyết định theo thời gian thực ngay cả khi không có quyền truy cập Internet.
Hình 4. Phát hiện và đếm xe trong giao thông bằng YOLO11 (Nguồn)
Những điểm chính#
Export các model Ultralytics YOLO sang định dạng ExecuTorch giúp dễ dàng triển khai model thị giác máy tính trên nhiều thiết bị, bao gồm smartphone, tablet và các hệ thống nhúng như Raspberry Pi. Điều này cho phép chạy suy luận được tối ưu ngay trên thiết bị mà không phụ thuộc vào kết nối cloud, qua đó cải thiện tốc độ, quyền riêng tư và độ tin cậy.
Bên cạnh ExecuTorch, Ultralytics hỗ trợ nhiều tích hợp khác nhau, bao gồm TensorRT, OpenVINO, CoreML và nhiều công nghệ khác, mang lại cho developer sự linh hoạt khi chạy model trên nhiều nền tảng. Khi việc ứng dụng AI thị giác ngày càng phát triển, các tích hợp này giúp đơn giản hóa quá trình triển khai các hệ thống thông minh được xây dựng để hoạt động hiệu quả trong điều kiện thực tế.
Bạn quan tâm đến AI? Hãy xem repository GitHub của chúng tôi, tham gia cộng đồng và khám phá các tùy chọn cấp phép để bắt đầu dự án AI thị giác của bạn. Tìm hiểu thêm về các đổi mới như AI trong bán lẻ và thị giác máy tính trong logistics trên các trang giải pháp của chúng tôi.
