Triển khai Ultralytics YOLO11 trên Rockchip để đạt Edge AI hiệu quả

Một từ khóa gần đây trong cộng đồng AI là edge AI, đặc biệt là khi nhắc đến computer vision. Khi các ứng dụng dựa trên AI phát triển, nhu cầu chạy các model một cách hiệu quả trên các thiết bị nhúng với năng lượng và tài nguyên tính toán hạn chế ngày càng tăng.

Ví dụ, drone sử dụng vision AI để điều hướng thời gian thực, camera thông minh phát hiện đối tượng tức thì, và các hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không cần dựa vào điện toán đám mây. Những ứng dụng này đòi hỏi việc xử lý AI nhanh, hiệu quả trực tiếp trên các thiết bị biên để đảm bảo hiệu suất thời gian thực và độ trễ thấp. Tuy nhiên, việc chạy các model AI trên các thiết bị biên không phải lúc nào cũng dễ dàng. Các model AI thường đòi hỏi nhiều năng lượng và bộ nhớ hơn mức mà nhiều thiết bị biên có thể đáp ứng.

RKNN Toolkit của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các model deep learning cho các thiết bị sử dụng chip Rockchip. Nó sử dụng các Neural Processing Units (NPU) chuyên dụng để tăng tốc suy luận (inference), giảm độ trễ và tiêu thụ năng lượng so với xử lý bằng CPU hoặc GPU.

Cộng đồng Vision AI đã rất mong chờ được chạy Ultralytics YOLO11 trên các thiết bị dùng chip Rockchip, và chúng tôi đã lắng nghe các bạn. Chúng tôi đã thêm hỗ trợ xuất YOLO11 sang định dạng model RKNN. Trong bài viết này, chúng ta sẽ khám phá cách thức hoạt động của việc xuất sang RKNN và lý do tại sao việc triển khai YOLO11 trên các thiết bị sử dụng Rockchip lại mang tính đột phá.

Link to this sectionRockchip và RKNN Toolkit là gì?#

Rockchip là một công ty thiết kế các system-on-chip (SoC) - những bộ vi xử lý nhỏ nhưng mạnh mẽ vận hành nhiều thiết bị nhúng. Các chip này kết hợp CPU, GPU và Neural Processing Unit (NPU) để xử lý mọi thứ từ các tác vụ tính toán chung đến các ứng dụng vision AI dựa trên object detection và xử lý hình ảnh.

SoC của Rockchip được sử dụng trong nhiều loại thiết bị, bao gồm các single-board computer (SBC), bo mạch phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas, và Banana Pi đã chế tạo các thiết bị sử dụng SoC Rockchip. Những bo mạch này rất phổ biến cho edge AI và các ứng dụng computer vision vì chúng mang lại sự cân bằng giữa hiệu suất, hiệu quả năng lượng và giá cả phải chăng.

Fig 1. Một ví dụ về thiết bị sử dụng Rockchip.

Để giúp các model AI chạy hiệu quả trên các thiết bị này, Rockchip cung cấp RKNN (Rockchip Neural Network) Toolkit. Nó cho phép các nhà phát triển chuyển đổi và tối ưu hóa các model deep learning để sử dụng các Neural Processing Unit (NPU) của Rockchip.

Các model RKNN được tối ưu hóa cho suy luận độ trễ thấp và sử dụng năng lượng hiệu quả. Bằng cách chuyển đổi các model sang RKNN, nhà phát triển có thể đạt được tốc độ xử lý nhanh hơn, giảm tiêu thụ điện năng và cải thiện hiệu suất trên các thiết bị sử dụng Rockchip.

Link to this sectionCác model RKNN được tối ưu hóa#

Hãy cùng xem xét kỹ hơn cách các model RKNN cải thiện hiệu suất AI trên các thiết bị hỗ trợ Rockchip.

Không giống như CPU và GPU xử lý nhiều tác vụ tính toán đa dạng, NPU của Rockchip được thiết kế dành riêng cho deep learning. Bằng cách chuyển đổi các model AI sang định dạng RKNN, nhà phát triển có thể chạy suy luận trực tiếp trên NPU. Điều này làm cho các model RKNN trở nên đặc biệt hữu ích cho các tác vụ computer vision thời gian thực, nơi cần có sự xử lý nhanh chóng và hiệu quả.

NPU nhanh và hiệu quả hơn CPU và GPU trong các tác vụ AI vì chúng được xây dựng để xử lý các phép tính neural network song song. Trong khi CPU xử lý các tác vụ theo từng bước và GPU phân bổ khối lượng công việc trên nhiều nhân, thì NPU được tối ưu hóa để thực hiện các phép tính đặc thù của AI hiệu quả hơn.

Kết quả là, các model RKNN chạy nhanh hơn và tiêu thụ ít điện năng hơn, khiến chúng trở nên lý tưởng cho các thiết bị dùng pin, camera thông minh, tự động hóa công nghiệp và các ứng dụng edge AI khác đòi hỏi khả năng ra quyết định thời gian thực.

Link to this sectionTổng quan về các mô hình Ultralytics YOLO#

Các model Ultralytics YOLO (You Only Look Once) được thiết kế cho các tác vụ computer vision thời gian thực như object detection, instance segmentation và image classification. Chúng nổi tiếng về tốc độ, độ chính xác và hiệu quả, được sử dụng rộng rãi trong các ngành như nông nghiệp, sản xuất, chăm sóc sức khỏe và các hệ thống tự hành.

Các model này đã cải thiện đáng kể theo thời gian. Ví dụ, Ultralytics YOLOv5 giúp việc object detection trở nên dễ sử dụng hơn với PyTorch. Sau đó, Ultralytics YOLOv8 đã bổ sung các tính năng mới như pose estimation và image classification. Hiện nay, YOLO11 tiến xa hơn bằng cách tăng độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m hoạt động tốt hơn trên tập dữ liệu COCO trong khi sử dụng ít hơn 22% tham số so với YOLOv8m, làm cho nó vừa chính xác vừa hiệu quả hơn.

Hình 2. Phát hiện đối tượng sử dụng YOLO11.

Các model Ultralytics YOLO cũng hỗ trợ xuất sang nhiều định dạng, cho phép triển khai linh hoạt trên các nền tảng khác nhau. Các định dạng này bao gồm ONNX, TensorRT, CoreML và OpenVINO, giúp nhà phát triển tự do tối ưu hóa hiệu suất dựa trên phần cứng mục tiêu của họ.

Với việc hỗ trợ bổ sung xuất YOLO11 sang định dạng model RKNN, YOLO11 hiện có thể tận dụng NPU của Rockchip. Model nhỏ nhất, YOLO11n ở định dạng RKNN, đạt thời gian suy luận ấn tượng 99,5ms mỗi hình ảnh, cho phép xử lý thời gian thực ngay cả trên các thiết bị nhúng.

Link to this sectionXuất model YOLO11 của bạn sang định dạng RKNN#

Hiện tại, các model object detection YOLO11 có thể được xuất sang định dạng RKNN. Hãy đón chờ - chúng tôi đang nỗ lực thêm hỗ trợ cho các tác vụ computer vision khác và lượng tử hóa INT8 trong các bản cập nhật tương lai.

Xuất YOLO11 sang định dạng RKNN là một quy trình đơn giản. Bạn có thể tải model YOLO11 được đào tạo tùy chỉnh, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi nó sang định dạng RKNN với vài dòng code. Định dạng RKNN tương thích với nhiều SoC Rockchip, bao gồm RK3588, RK3566 và RK3576, đảm bảo hỗ trợ phần cứng rộng rãi.

Hình 3. Xuất YOLO11 sang định dạng model RKNN.

Link to this sectionTriển khai YOLO11 trên các thiết bị dùng chip Rockchip#

Sau khi xuất, model RKNN có thể được triển khai trên các thiết bị dựa trên Rockchip. Để triển khai model, bạn chỉ cần tải file RKNN đã xuất lên thiết bị Rockchip của mình và chạy suy luận - quá trình sử dụng model AI đã được đào tạo để phân tích hình ảnh hoặc video mới và phát hiện đối tượng trong thời gian thực. Chỉ với vài dòng code, bạn có thể bắt đầu xác định đối tượng từ hình ảnh hoặc luồng video.

Hình 4. Chạy suy luận sử dụng model RKNN đã xuất.

Link to this sectionCác ứng dụng edge AI của YOLO11 và Rockchip#

Để hiểu rõ hơn về nơi YOLO11 có thể được triển khai trên các thiết bị hỗ trợ Rockchip trong thế giới thực, hãy cùng xem qua một số ứng dụng edge AI quan trọng.

Các bộ xử lý Rockchip được sử dụng rộng rãi trong máy tính bảng chạy Android, bo mạch phát triển và hệ thống AI công nghiệp. Với sự hỗ trợ cho Android, Linux và Python, bạn có thể dễ dàng xây dựng và triển khai các giải pháp dựa trên vision AI cho nhiều ngành công nghiệp.

Link to this sectionMáy tính bảng siêu bền tích hợp YOLO11#

Một ứng dụng phổ biến liên quan đến việc chạy YOLO11 trên các thiết bị dùng chip Rockchip là máy tính bảng siêu bền. Đây là những máy tính bảng bền bỉ, hiệu năng cao được thiết kế cho các môi trường khắc nghiệt như kho bãi, công trường xây dựng và các cơ sở công nghiệp. Những máy tính bảng này có thể tận dụng object detection để cải thiện hiệu suất và độ an toàn.

Ví dụ, trong logistics kho bãi, nhân viên có thể sử dụng máy tính bảng hỗ trợ Rockchip với YOLO11 để tự động quét và phát hiện hàng tồn kho, giảm thiểu lỗi của con người và tăng tốc độ xử lý. Tương tự, tại các công trường xây dựng, những máy tính bảng này có thể được sử dụng để phát hiện xem công nhân có đang đeo các thiết bị bảo hộ bắt buộc như mũ bảo hiểm và áo phản quang hay không, giúp các công ty thực thi quy định và ngăn ngừa tai nạn.

Hình 5. Phát hiện thiết bị bảo hộ sử dụng YOLO11.

Link to this sectionAI công nghiệp cho kiểm soát chất lượng#

Liên quan đến sản xuất và tự động hóa, các bo mạch công nghiệp chạy chip Rockchip có thể đóng vai trò lớn trong kiểm soát chất lượng và giám sát quy trình. Một bo mạch công nghiệp là một module tính toán nhỏ gọn, hiệu năng cao được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Các bo mạch này thường bao gồm bộ vi xử lý, bộ nhớ, các cổng I/O và các tùy chọn kết nối có thể tích hợp với cảm biến, camera và máy móc tự động.

Chạy các model YOLO11 trên các bo mạch này giúp phân tích các dây chuyền sản xuất trong thời gian thực, phát hiện sự cố ngay lập tức và cải thiện hiệu suất. Ví dụ, trong sản xuất ô tô, một hệ thống AI sử dụng phần cứng Rockchip và YOLO11 có thể phát hiện các vết trầy xước, các bộ phận bị lệch, hoặc lỗi sơn khi xe di chuyển dọc theo dây chuyền lắp ráp. Bằng cách xác định các lỗi này trong thời gian thực, các nhà sản xuất có thể giảm thiểu lãng phí, giảm chi phí sản xuất và đảm bảo các tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.

Link to this sectionLợi ích khi chạy YOLO11 trên các thiết bị dùng chip Rockchip#

Các thiết bị dùng chip Rockchip mang lại sự cân bằng tốt giữa hiệu suất, chi phí và hiệu quả, khiến chúng trở thành lựa chọn tuyệt vời để triển khai YOLO11 trong các ứng dụng edge AI.

Dưới đây là một vài ưu điểm của việc chạy YOLO11 trên các thiết bị dùng chip Rockchip:

• Cải thiện hiệu suất AI: Các thiết bị hỗ trợ Rockchip xử lý suy luận AI hiệu quả hơn so với các bo mạch dựa trên CPU như Raspberry Pi, mang lại khả năng phát hiện đối tượng nhanh hơn và độ trễ thấp hơn.
• Giải pháp tiết kiệm chi phí: Nếu bạn đang thử nghiệm với AI và cần một tùy chọn thân thiện với ngân sách mà vẫn mang lại hiệu suất mạnh mẽ, Rockchip là một lựa chọn tuyệt vời. Nó cung cấp một cách hiệu quả về chi phí để chạy YOLO11 mà không làm giảm tốc độ hoặc hiệu quả.
• Tiết kiệm năng lượng: Chạy các model computer vision trên các thiết bị chạy chip Rockchip tiêu thụ ít điện năng hơn so với GPU, làm cho nó trở nên lý tưởng cho các thiết bị dùng pin và các ứng dụng AI nhúng.

Link to this sectionCác điểm chính cần lưu ý#

Ultralytics YOLO11 có thể chạy hiệu quả trên các thiết bị dùng chip Rockchip bằng cách tận dụng tăng tốc phần cứng và định dạng RKNN. Điều này giúp giảm thời gian suy luận và cải thiện hiệu suất, làm cho nó lý tưởng cho các tác vụ computer vision thời gian thực và các ứng dụng edge AI.

RKNN Toolkit cung cấp các công cụ tối ưu hóa quan trọng như lượng tử hóa và tinh chỉnh, đảm bảo các model YOLO11 hoạt động tốt trên các nền tảng Rockchip. Việc tối ưu hóa các model để xử lý hiệu quả trên thiết bị sẽ trở nên thiết yếu khi việc áp dụng edge AI phát triển. Với các công cụ và phần cứng phù hợp, nhà phát triển có thể mở ra những khả năng mới cho các giải pháp computer vision trong nhiều ngành công nghiệp khác nhau.

Tham gia cộng đồng của chúng tôi và khám phá GitHub repository để tìm hiểu thêm về AI. Xem cách computer vision trong nông nghiệp và AI trong chăm sóc sức khỏe đang thúc đẩy đổi mới bằng cách truy cập các trang giải pháp của chúng tôi. Ngoài ra, hãy kiểm tra các tùy chọn cấp phép của chúng tôi để bắt đầu xây dựng các giải pháp vision AI của bạn ngay hôm nay!