Triển khai Ultralytics YOLO11 trên Rockchip để vận hành edge AI hiệu quả

Một từ khóa đang được cộng đồng AI quan tâm gần đây là edge AI, đặc biệt là trong lĩnh vực computer vision. Khi các ứng dụng dựa trên AI phát triển, nhu cầu chạy model hiệu quả trên các thiết bị nhúng có công suất và tài nguyên tính toán hạn chế ngày càng tăng.

Ví dụ, drone sử dụng vision AI để điều hướng theo thời gian thực, camera thông minh phát hiện vật thể tức thì, còn hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không phụ thuộc vào điện toán đám mây. Các ứng dụng này cần xử lý AI nhanh và hiệu quả ngay trên thiết bị biên để đảm bảo hiệu suất thời gian thực và độ trễ thấp. Tuy nhiên, việc chạy model AI trên thiết bị biên không phải lúc nào cũng dễ dàng. Model AI thường cần nhiều công suất và bộ nhớ hơn khả năng đáp ứng của nhiều thiết bị biên.

RKNN Toolkit của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các model deep learning cho thiết bị sử dụng chip Rockchip. Công cụ này sử dụng các bộ xử lý thần kinh chuyên dụng (NPU) để tăng tốc suy luận, giảm độ trễ và mức tiêu thụ điện năng so với xử lý bằng CPU hoặc GPU.

Cộng đồng Vision AI đã mong muốn chạy Ultralytics YOLO11 trên các thiết bị dùng Rockchip, và chúng tôi đã lắng nghe. Chúng tôi đã bổ sung hỗ trợ xuất YOLO11 sang định dạng model RKNN. Trong bài viết này, chúng ta sẽ tìm hiểu cách xuất sang RKNN hoạt động và lý do việc triển khai YOLO11 trên thiết bị dùng Rockchip rất hữu ích cho Edge AI.

Rockchip và RKNN Toolkit là gì?#

Rockchip là một công ty thiết kế các hệ thống trên chip (SoCs) — bộ xử lý nhỏ gọn nhưng mạnh mẽ, vận hành nhiều thiết bị nhúng. Các chip này kết hợp CPU, GPU và Bộ xử lý thần kinh (NPU) để xử lý mọi tác vụ, từ tính toán tổng quát đến các ứng dụng vision AI dựa vào phát hiện đối tượng và xử lý hình ảnh.

SoC của Rockchip được sử dụng trong nhiều loại thiết bị, bao gồm máy tính bo mạch đơn (SBCs), bo mạch phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi chế tạo thiết bị sử dụng SoC của Rockchip. Các bo mạch này phổ biến trong ứng dụng edge AI và computer vision nhờ khả năng cân bằng giữa hiệu năng, hiệu quả sử dụng năng lượng và chi phí hợp lý.

Hình 1. Ví dụ về một thiết bị sử dụng Rockchip.

Để giúp model AI chạy hiệu quả trên các thiết bị này, Rockchip cung cấp RKNN (Rockchip Neural Network) Toolkit. Toolkit này cho phép nhà phát triển chuyển đổi và tối ưu hóa model deep learning để sử dụng Bộ xử lý thần kinh (NPUs) của Rockchip.

Model RKNN được tối ưu hóa để suy luận có độ trễ thấp và sử dụng năng lượng hiệu quả. Bằng cách chuyển đổi model sang RKNN, nhà phát triển có thể đạt tốc độ xử lý nhanh hơn, giảm mức tiêu thụ điện năng và cải thiện hiệu quả trên thiết bị sử dụng Rockchip.

Model RKNN được tối ưu hóa#

Hãy cùng tìm hiểu kỹ hơn cách model RKNN cải thiện hiệu năng AI trên thiết bị hỗ trợ Rockchip.

Khác với CPU và GPU, vốn xử lý nhiều loại tác vụ tính toán, NPU của Rockchip được thiết kế chuyên biệt cho deep learning. Bằng cách chuyển đổi model AI sang định dạng RKNN, nhà phát triển có thể chạy suy luận trực tiếp trên NPU. Điều này khiến model RKNN đặc biệt hữu ích cho các tác vụ computer vision thời gian thực, vốn đòi hỏi xử lý nhanh và hiệu quả.

NPU nhanh và hiệu quả hơn CPU và GPU đối với các tác vụ AI vì được xây dựng để xử lý song song các phép tính của mạng nơ-ron. CPU xử lý từng tác vụ theo thứ tự, còn GPU phân bổ khối lượng công việc trên nhiều lõi; trong khi đó, NPU được tối ưu hóa để thực hiện các phép tính chuyên biệt cho AI hiệu quả hơn.

Nhờ vậy, model RKNN chạy nhanh hơn và tiêu thụ ít điện năng hơn, lý tưởng cho thiết bị dùng pin, camera thông minh, tự động hóa công nghiệp và các ứng dụng edge AI khác cần đưa ra quyết định theo thời gian thực.

Tổng quan về các model Ultralytics YOLO#

Các model Ultralytics YOLO (You Only Look Once) được thiết kế cho các tác vụ computer vision thời gian thực như phát hiện đối tượng, phân đoạn đối tượng theo instance và phân loại hình ảnh. Các model này nổi tiếng nhờ tốc độ, độ chính xác và hiệu quả, đồng thời được sử dụng rộng rãi trong các ngành như nông nghiệp, sản xuất, chăm sóc sức khỏe và hệ thống tự hành.

Các model này đã được cải thiện đáng kể theo thời gian. Chẳng hạn, Ultralytics YOLOv5 giúp việc sử dụng phát hiện đối tượng với PyTorch trở nên dễ dàng hơn. Sau đó, Ultralytics YOLOv8 bổ sung các tác vụ mới như ước tính tư thế, đồng thời kết hợp phát hiện, phân đoạn, phân loại và ước tính tư thế trong cùng một framework. Giờ đây, YOLO11 tiến xa hơn bằng cách tăng độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m đạt kết quả tốt hơn trên bộ dữ liệu COCO dù sử dụng ít hơn 22% tham số so với YOLOv8m, nhờ đó vừa chính xác hơn vừa hiệu quả hơn.

Hình 2. Phát hiện đối tượng bằng Ultralytics YOLO11.

Các model Ultralytics YOLO cũng hỗ trợ xuất sang nhiều định dạng, cho phép triển khai linh hoạt trên các nền tảng khác nhau. Các định dạng này bao gồm ONNX, TensorRT, CoreML và OpenVINO, giúp nhà phát triển tự do tối ưu hóa hiệu năng theo phần cứng mục tiêu.

Với việc bổ sung hỗ trợ xuất YOLO11 sang định dạng model RKNN, YOLO11 giờ đây có thể tận dụng các NPU của Rockchip. Model nhỏ nhất, YOLO11n ở định dạng RKNN, đạt thời gian suy luận 99,5 ms mỗi ảnh, cho phép xử lý theo thời gian thực ngay cả trên các thiết bị nhúng.

Xuất model Ultralytics YOLO11 sang định dạng RKNN#

Tại thời điểm viết bài, các model phát hiện đối tượng Ultralytics YOLO11 có thể được xuất sang định dạng RKNN. Kể từ đó, khả năng xuất RKNN đã được mở rộng sang tất cả tác vụ Ultralytics và lượng tử hóa INT8 (quantize=8), như mô tả trong hướng dẫn tích hợp RKNN được liên kết ở trên.

Xuất Ultralytics YOLO11 sang định dạng RKNN là một quy trình đơn giản. Bạn có thể tải model YOLO11 được huấn luyện tùy chỉnh, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi model sang định dạng RKNN bằng vài dòng code. Định dạng RKNN tương thích với nhiều SoC của Rockchip, bao gồm RK3588, RK3566 và RK3576, đảm bảo hỗ trợ phần cứng rộng rãi.

Hình 3. Xuất Ultralytics YOLO11 sang định dạng model RKNN.

Triển khai Ultralytics YOLO11 trên thiết bị dùng Rockchip#

Sau khi xuất, có thể triển khai model RKNN trên thiết bị dùng Rockchip. Để triển khai model, bạn chỉ cần tải file RKNN đã xuất lên thiết bị Rockchip và chạy suy luận — tức là sử dụng model AI đã huấn luyện để phân tích hình ảnh hoặc video mới và phát hiện đối tượng theo thời gian thực. Chỉ với vài dòng code, bạn có thể bắt đầu nhận diện đối tượng trong hình ảnh hoặc luồng video.

Hình 4. Chạy suy luận bằng model RKNN đã xuất.

Các ứng dụng edge AI của Ultralytics YOLO11 và Rockchip#

Để hình dung rõ hơn các ứng dụng thực tế của Ultralytics YOLO11 trên thiết bị hỗ trợ Rockchip, hãy cùng điểm qua một số ứng dụng edge AI tiêu biểu.

Bộ xử lý Rockchip được sử dụng rộng rãi trong máy tính bảng chạy Android, bo mạch phát triển và hệ thống AI công nghiệp. Với khả năng hỗ trợ Android, Linux và Python, bạn có thể dễ dàng xây dựng và triển khai các giải pháp ứng dụng vision AI cho nhiều ngành khác nhau.

Máy tính bảng bền chắc tích hợp Ultralytics YOLO11#

Một ứng dụng phổ biến của Ultralytics YOLO11 trên thiết bị dùng Rockchip là máy tính bảng bền chắc. Đây là những máy tính bảng bền bỉ, hiệu năng cao, được thiết kế cho môi trường khắc nghiệt như kho hàng, công trường xây dựng và cơ sở công nghiệp. Các máy tính bảng này có thể tận dụng khả năng phát hiện đối tượng để nâng cao hiệu quả và an toàn.

Ví dụ, trong logistics kho hàng, nhân viên có thể dùng máy tính bảng sử dụng Rockchip cùng YOLO11 để tự động quét và phát hiện hàng tồn kho, giảm sai sót của con người và rút ngắn thời gian xử lý. Tương tự, tại công trường xây dựng, các máy tính bảng này có thể phát hiện xem nhân viên có đang mặc trang bị bảo hộ bắt buộc như mũ bảo hộ và áo phản quang hay không, giúp công ty thực thi quy định và ngăn ngừa tai nạn.

Hình 5. Phát hiện trang bị bảo hộ bằng Ultralytics YOLO11.

AI công nghiệp phục vụ kiểm soát chất lượng#

Trong lĩnh vực sản xuất và tự động hóa, bo mạch công nghiệp sử dụng Rockchip có thể đóng vai trò quan trọng trong kiểm soát chất lượng và giám sát quy trình. Bo mạch công nghiệp là module máy tính nhỏ gọn, hiệu năng cao, được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Các bo mạch này thường có bộ xử lý, bộ nhớ, giao diện I/O và tùy chọn kết nối, có thể tích hợp với cảm biến, camera và máy móc tự động.

Chạy model Ultralytics YOLO11 trên các bo mạch này giúp phân tích dây chuyền sản xuất theo thời gian thực, phát hiện vấn đề tức thì và cải thiện hiệu quả. Chẳng hạn, trong sản xuất ô tô, hệ thống AI sử dụng phần cứng Rockchip và YOLO11 có thể phát hiện vết xước, bộ phận lắp lệch hoặc lỗi sơn khi xe di chuyển trên dây chuyền lắp ráp. Bằng cách nhận diện các lỗi này theo thời gian thực, nhà sản xuất có thể giảm lãng phí, hạ chi phí sản xuất và đảm bảo tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.

Lợi ích khi chạy Ultralytics YOLO11 trên thiết bị dùng Rockchip#

Thiết bị dùng Rockchip cân bằng tốt giữa hiệu năng, chi phí và hiệu quả, nên là lựa chọn phù hợp để triển khai Ultralytics YOLO11 trong các ứng dụng edge AI.

Sau đây là một số lợi thế khi chạy Ultralytics YOLO11 trên thiết bị dùng Rockchip:

• Cải thiện hiệu năng AI: Thiết bị hỗ trợ Rockchip xử lý suy luận AI hiệu quả hơn các bo mạch dựa trên CPU như Raspberry Pi, mang lại khả năng phát hiện đối tượng nhanh hơn và độ trễ thấp hơn.
• Giải pháp tiết kiệm chi phí: Nếu bạn đang thử nghiệm AI và cần một lựa chọn hợp túi tiền nhưng vẫn có hiệu năng mạnh mẽ, Rockchip là lựa chọn phù hợp. Rockchip cung cấp giải pháp tiết kiệm để chạy Ultralytics YOLO11 mà không ảnh hưởng đến tốc độ hay hiệu quả.
• Hiệu quả năng lượng: Chạy model computer vision trên thiết bị dùng Rockchip tiêu thụ ít điện năng hơn GPU, nên lý tưởng cho thiết bị chạy bằng pin và ứng dụng AI nhúng.

Điểm chính cần ghi nhớ#

Ultralytics YOLO11 có thể chạy hiệu quả trên thiết bị dùng Rockchip nhờ tận dụng khả năng tăng tốc phần cứng và định dạng RKNN. Điều này rút ngắn thời gian suy luận và cải thiện hiệu năng, khiến YOLO11 trở nên lý tưởng cho các tác vụ computer vision thời gian thực và ứng dụng edge AI.

RKNN Toolkit cung cấp các công cụ tối ưu hóa thiết yếu như lượng tử hóa, giúp model Ultralytics YOLO11 hoạt động hiệu quả trên nền tảng Rockchip. Khi mức độ ứng dụng AI biên tăng lên, việc tối ưu hóa model để xử lý hiệu quả ngay trên thiết bị sẽ trở nên thiết yếu. Với công cụ và phần cứng phù hợp, nhà phát triển có thể khai phá những khả năng mới cho các giải pháp thị giác máy tính trong nhiều ngành.

Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về AI. Truy cập các trang giải pháp của chúng tôi để xem computer vision trong nông nghiệp và AI trong chăm sóc sức khỏe đang thúc đẩy đổi mới như thế nào. Ngoài ra, hãy xem các tùy chọn cấp phép để bắt đầu xây dựng giải pháp vision AI ngay hôm nay!