Triển khai Ultralytics YOLO11 trên Rockchip để đạt Edge AI hiệu quả

Một thuật ngữ phổ biến gần đây trong cộng đồng AI là edge AI, đặc biệt là khi nhắc đến computer vision. Khi các ứng dụng dựa trên AI phát triển, nhu cầu chạy model một cách hiệu quả trên các thiết bị nhúng có nguồn năng lượng và tài nguyên tính toán hạn chế ngày càng trở nên cấp thiết hơn.

Ví dụ, drone sử dụng vision AI để điều hướng thời gian thực, camera thông minh phát hiện đối tượng tức thì, và các hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không cần dựa vào điện toán đám mây. Những ứng dụng này đòi hỏi việc xử lý AI nhanh, hiệu quả trực tiếp trên các thiết bị biên để đảm bảo hiệu suất thời gian thực và độ trễ thấp. Tuy nhiên, việc chạy các model AI trên các thiết bị biên không phải lúc nào cũng dễ dàng. Các model AI thường đòi hỏi nhiều năng lượng và bộ nhớ hơn mức mà nhiều thiết bị biên có thể đáp ứng.

RKNN Toolkit của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các model deep learning cho các thiết bị sử dụng chip Rockchip. Nó sử dụng các Neural Processing Units (NPU) chuyên dụng để tăng tốc suy luận (inference), giảm độ trễ và tiêu thụ năng lượng so với xử lý bằng CPU hoặc GPU.

Cộng đồng Vision AI đã rất mong đợi được chạy Ultralytics YOLO11 trên các thiết bị sử dụng chip Rockchip, và chúng tôi đã lắng nghe các bạn. Chúng tôi đã bổ sung tính năng hỗ trợ exporting YOLO11 to RKNN định dạng model. Trong bài viết này, chúng ta sẽ cùng khám phá cách thức hoạt động của việc export sang RKNN và lý do tại sao việc deploy YOLO11 trên các thiết bị chạy bằng Rockchip lại là một bước ngoặt lớn.

Rockchip và RKNN Toolkit là gì?#

Rockchip là một công ty chuyên thiết kế system-on-chip (SoC) - các bộ vi xử lý nhỏ gọn nhưng mạnh mẽ vận hành nhiều thiết bị nhúng. Các con chip này kết hợp CPU, GPU và NPU (Neural Processing Unit) để xử lý mọi thứ từ các tác vụ tính toán chung cho đến các ứng dụng vision AI dựa trên object detection và xử lý hình ảnh.

Rockchip SoC được sử dụng trong nhiều loại thiết bị khác nhau, bao gồm máy tính đơn bo (SBC), bo mạch phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi đều chế tạo các thiết bị chạy bằng Rockchip SoC. Các bo mạch này rất phổ biến cho edge AI và các ứng dụng computer vision nhờ sự cân bằng giữa hiệu suất, hiệu quả năng lượng và giá cả phải chăng.

Fig 1. Một ví dụ về thiết bị chạy bằng Rockchip.

Để giúp các model AI chạy hiệu quả trên các thiết bị này, Rockchip cung cấp RKNN (Rockchip Neural Network) Toolkit. Nó cho phép các nhà phát triển chuyển đổi và tối ưu hóa các model deep learning để sử dụng các Neural Processing Unit (NPU) của Rockchip.

Các model RKNN được tối ưu hóa cho suy luận độ trễ thấp và sử dụng năng lượng hiệu quả. Bằng cách chuyển đổi các model sang RKNN, nhà phát triển có thể đạt được tốc độ xử lý nhanh hơn, giảm tiêu thụ điện năng và cải thiện hiệu suất trên các thiết bị sử dụng Rockchip.

Các model RKNN được tối ưu hóa#

Hãy cùng xem xét kỹ hơn cách các model RKNN cải thiện hiệu suất AI trên các thiết bị hỗ trợ Rockchip.

Khác với CPU và GPU đảm nhận nhiều loại tác vụ tính toán đa dạng, NPU của Rockchip được thiết kế chuyên biệt cho deep learning. Bằng cách chuyển đổi các model AI sang định dạng RKNN, các developer có thể chạy inference trực tiếp trên NPU. Điều này giúp cho các model RKNN đặc biệt hữu ích đối với các computer vision tasks thời gian thực, nơi mà quá trình xử lý nhanh chóng và hiệu quả đóng vai trò cốt lõi.

NPU nhanh và hiệu quả hơn CPU và GPU trong các tác vụ AI vì chúng được xây dựng để xử lý các phép tính neural network song song. Trong khi CPU xử lý các tác vụ theo từng bước và GPU phân bổ khối lượng công việc trên nhiều nhân, thì NPU được tối ưu hóa để thực hiện các phép tính đặc thù của AI hiệu quả hơn.

Kết quả là, các model RKNN chạy nhanh hơn và tiêu thụ ít điện năng hơn, khiến chúng trở nên lý tưởng cho các thiết bị dùng pin, camera thông minh, tự động hóa công nghiệp và các ứng dụng edge AI khác đòi hỏi khả năng ra quyết định thời gian thực.

Tổng quan về các mô hình Ultralytics YOLO#

Ultralytics YOLO (You Only Look Once) models được thiết kế cho các tác vụ computer vision thời gian thực như object detection, instance segmentation và image classification. Chúng nổi tiếng về tốc độ, độ chính xác và hiệu suất, đồng thời được ứng dụng rộng rãi trong các lĩnh vực như nông nghiệp, sản xuất, y tế và hệ thống tự động.

Các model này đã cải tiến đáng kể theo thời gian. Chẳng hạn, Ultralytics YOLOv5 giúp việc thực hiện object detection trở nên dễ sử dụng hơn với PyTorch. Sau đó, Ultralytics YOLOv8 bổ sung các tính năng mới như ước lượng tư thế (pose estimation) và phân loại hình ảnh (image classification). Hiện tại, YOLO11 tiến xa hơn nữa bằng cách nâng cao độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m đem lại hiệu suất tốt hơn trên bộ dữ liệu COCO nhưng lại dùng ít hơn 22% tham số so với YOLOv8m, giúp model này vừa chính xác vừa hiệu quả hơn.

Hình 2. Phát hiện đối tượng sử dụng Ultralytics YOLO11.

Ultralytics YOLO models cũng hỗ trợ exporting sang nhiều định dạng khác nhau, cho phép deploy linh hoạt trên các nền tảng khác nhau. Các định dạng này bao gồm ONNX, TensorRT, CoreML và OpenVINO, mang lại cho developer sự chủ động tối ưu hóa hiệu suất dựa trên phần cứng mục tiêu của họ.

Với việc hỗ trợ bổ sung xuất YOLO11 sang định dạng model RKNN, YOLO11 hiện có thể tận dụng NPU của Rockchip. Model nhỏ nhất, YOLO11n ở định dạng RKNN, đạt thời gian suy luận ấn tượng 99,5ms mỗi hình ảnh, cho phép xử lý thời gian thực ngay cả trên các thiết bị nhúng.

Xuất model Ultralytics YOLO11 của bạn sang định dạng RKNN#

Hiện tại, các model phát hiện đối tượng Ultralytics YOLO11 có thể được export sang định dạng RKNN. Ngoài ra, hãy chú ý đón xem — chúng tôi đang phát triển hỗ trợ cho các tác vụ computer vision khác và lượng tử hóa INT8 trong các bản cập nhật sắp tới.

Việc xuất Ultralytics YOLO11 sang định dạng RKNN là một quy trình đơn giản. Bạn có thể tải mô hình YOLO11 huấn luyện tùy chỉnh của mình, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi sang định dạng RKNN chỉ với vài dòng mã. Định dạng RKNN tương thích với nhiều SoC Rockchip khác nhau, bao gồm RK3588, RK3566 và RK3576, đảm bảo khả năng hỗ trợ phần cứng rộng rãi.

Hình 3. Xuất Ultralytics YOLO11 sang định dạng model RKNN.

Triển khai Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip#

Sau khi xuất, model RKNN có thể được triển khai trên các thiết bị dựa trên Rockchip. Để triển khai model, bạn chỉ cần tải file RKNN đã xuất lên thiết bị Rockchip của mình và chạy suy luận - quá trình sử dụng model AI đã được đào tạo để phân tích hình ảnh hoặc video mới và phát hiện đối tượng trong thời gian thực. Chỉ với vài dòng code, bạn có thể bắt đầu xác định đối tượng từ hình ảnh hoặc luồng video.

Hình 4. Chạy suy luận sử dụng model RKNN đã xuất.

Các ứng dụng edge AI của Ultralytics YOLO11 và Rockchip#

Để có cái nhìn rõ hơn về nơi Ultralytics YOLO11 có thể được deploy trên các thiết bị hỗ trợ Rockchip trong thế giới thực, hãy cùng điểm qua một số ứng dụng edge AI chính.

Các bộ xử lý Rockchip được sử dụng rộng rãi trong máy tính bảng chạy Android, bo mạch phát triển và hệ thống AI công nghiệp. Với sự hỗ trợ cho Android, Linux và Python, bạn có thể dễ dàng xây dựng và triển khai các giải pháp dựa trên vision AI cho nhiều ngành công nghiệp.

Máy tính bảng siêu bền tích hợp Ultralytics YOLO11#

Một ứng dụng phổ biến liên quan đến việc chạy Ultralytics YOLO11 trên các thiết bị chạy bằng Rockchip là máy tính bảng siêu bền. Đây là những máy tính bảng bền bỉ, hiệu suất cao được thiết kế cho các môi trường khắc nghiệt như kho hàng, công trường xây dựng và môi trường công nghiệp. Các máy tính bảng này có thể tận dụng tính năng phát hiện đối tượng để cải thiện hiệu quả và an toàn.

Ví dụ, trong warehouse logistics, nhân viên có thể sử dụng máy tính bảng chạy bằng Rockchip tích hợp YOLO11 để tự động quét và phát hiện hàng tồn kho, giúp giảm thiểu sai sót của con người và đẩy nhanh thời gian xử lý. Tương tự, tại các công trường xây dựng, các máy tính bảng này có thể được sử dụng để phát hiện xem công nhân có đang mặc trang thiết bị an toàn bắt buộc hay không, chẳng hạn như mũ bảo hiểm và áo phản quang, giúp các công ty tuân thủ quy định và phòng ngừa tai nạn.

Fig 5. Phát hiện thiết bị bảo hộ sử dụng Ultralytics YOLO11.

AI công nghiệp cho kiểm soát chất lượng#

Liên quan đến sản xuất và tự động hóa, các bo mạch công nghiệp chạy chip Rockchip có thể đóng vai trò lớn trong kiểm soát chất lượng và giám sát quy trình. Một bo mạch công nghiệp là một module tính toán nhỏ gọn, hiệu năng cao được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Các bo mạch này thường bao gồm bộ vi xử lý, bộ nhớ, các cổng I/O và các tùy chọn kết nối có thể tích hợp với cảm biến, camera và máy móc tự động.

Việc chạy các mô hình Ultralytics YOLO11 trên các bo mạch này giúp phân tích các dây chuyền sản xuất trong thời gian thực, phát hiện sự cố ngay lập tức và nâng cao hiệu quả. Ví dụ, trong ngành sản xuất ô tô, hệ thống AI sử dụng phần cứng Rockchip và YOLO11 có thể phát hiện các vết trầy xước, các bộ phận lệch vị trí hoặc lỗi sơn khi ô tô di chuyển trên dây chuyền lắp ráp. Bằng cách xác định các lỗi này trong thời gian thực, các nhà sản xuất có thể giảm thiểu lãng phí, hạ thấp chi phí sản xuất và đảm bảo tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.

Lợi ích của việc chạy Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip#

Các thiết bị dựa trên Rockchip mang lại sự cân bằng tốt giữa hiệu suất, chi phí và hiệu quả, khiến chúng trở thành lựa chọn tuyệt vời để deploy Ultralytics YOLO11 trong các ứng dụng edge AI.

Dưới đây là một số ưu điểm của việc chạy Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip:

• AI performance được cải thiện: Các thiết bị hỗ trợ Rockchip xử lý AI inference hiệu quả hơn so với các bo mạch dựa trên CPU như Raspberry Pi, mang lại khả năng object detection nhanh hơn và độ trễ thấp hơn.
• Giải pháp tối ưu chi phí: Nếu bạn đang thử nghiệm AI và cần một tùy chọn thân thiện với ngân sách nhưng vẫn mang lại hiệu suất mạnh mẽ, Rockchip là một lựa chọn tuyệt vời. Nó cung cấp một cách tiếp cận phải chăng để chạy Ultralytics YOLO11 mà không làm giảm tốc độ hoặc hiệu quả.
• Tiết kiệm năng lượng: Chạy các model computer vision trên các thiết bị chạy chip Rockchip tiêu thụ ít điện năng hơn so với GPU, làm cho nó trở nên lý tưởng cho các thiết bị dùng pin và các ứng dụng AI nhúng.

Các điểm chính cần lưu ý#

Ultralytics YOLO11 có thể chạy hiệu quả trên các thiết bị dùng chip Rockchip bằng cách tận dụng tăng tốc phần cứng và định dạng RKNN. Điều này giúp giảm thời gian suy luận và cải thiện hiệu suất, làm cho nó lý tưởng cho các tác vụ computer vision thời gian thực và các ứng dụng edge AI.

RKNN Toolkit cung cấp các công cụ tối ưu hóa quan trọng như lượng tử hóa và fine-tuning, đảm bảo các model Ultralytics YOLO11 hoạt động tốt trên các nền tảng Rockchip. Tối ưu hóa các model để xử lý hiệu quả trên thiết bị sẽ là điều cốt lõi khi việc áp dụng edge AI phát triển. Với các công cụ và phần cứng phù hợp, các developer có thể mở ra những khả năng mới cho các giải pháp computer vision trong nhiều ngành công nghiệp khác nhau.

Hãy tham gia our community và khám phá GitHub repository của chúng tôi để tìm hiểu thêm về AI. Xem cách mà computer vision in agriculture và AI in healthcare đang thúc đẩy sự đổi mới bằng cách truy cập các trang giải pháp của chúng tôi. Ngoài ra, hãy xem các licensing options của chúng tôi để bắt đầu xây dựng các giải pháp vision AI của bạn ngay hôm nay!