Triển khai Ultralytics YOLO11 trên Rockchip cho AI biên hiệu quả

Một thuật ngữ đang được nhắc đến nhiều gần đây trong cộng đồng AI là AI biên, đặc biệt khi nói đến thị giác máy tính. Khi các ứng dụng được hỗ trợ bởi AI ngày càng phát triển, nhu cầu chạy model hiệu quả trên các thiết bị nhúng có công suất và tài nguyên tính toán hạn chế cũng tăng lên.

Ví dụ, drone sử dụng AI thị giác để điều hướng theo thời gian thực, camera thông minh phát hiện vật thể ngay lập tức, còn các hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không phụ thuộc vào điện toán đám mây. Những ứng dụng này yêu cầu xử lý AI nhanh và hiệu quả trực tiếp trên các thiết bị biên để bảo đảm hiệu suất theo thời gian thực và độ trễ thấp. Tuy nhiên, việc chạy các model AI trên thiết bị biên không phải lúc nào cũng dễ dàng. Các model AI thường yêu cầu nhiều điện năng và bộ nhớ hơn khả năng đáp ứng của nhiều thiết bị biên.

RKNN Toolkit của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các model deep learning cho các thiết bị sử dụng Rockchip. Toolkit sử dụng các Bộ xử lý thần kinh (NPUs) chuyên dụng để tăng tốc quá trình suy luận, giảm độ trễ và mức tiêu thụ điện năng so với xử lý bằng CPU hoặc GPU.

Cộng đồng AI thị giác rất mong muốn chạy Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip, và chúng tôi đã lắng nghe bạn. Chúng tôi đã bổ sung hỗ trợ xuất YOLO11 sang định dạng model RKNN. Trong bài viết này, chúng ta sẽ tìm hiểu cách thức xuất sang RKNN hoạt động và lý do việc triển khai YOLO11 trên các thiết bị sử dụng Rockchip là một bước đột phá.

Rockchip và RKNN Toolkit là gì?#

Rockchip là một công ty thiết kế các hệ thống trên chip (SoCs) — những bộ xử lý nhỏ gọn nhưng mạnh mẽ, vận hành nhiều thiết bị nhúng. Các chip này kết hợp CPU, GPU và Bộ xử lý thần kinh (NPU) để xử lý mọi thứ, từ các tác vụ điện toán thông thường đến các ứng dụng AI thị giác dựa trên phát hiện vật thể và xử lý ảnh.

SoC Rockchip được sử dụng trong nhiều loại thiết bị, bao gồm máy tính bo mạch đơn (SBCs), bo mạch phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi xây dựng các thiết bị sử dụng SoC Rockchip. Những bo mạch này phổ biến trong các ứng dụng AI biên và thị giác máy tính vì mang lại sự cân bằng giữa hiệu năng, hiệu quả năng lượng và chi phí.

Hình 1. Một ví dụ về thiết bị sử dụng Rockchip.

Để giúp các model AI chạy hiệu quả trên những thiết bị này, Rockchip cung cấp RKNN (Mạng nơ-ron Rockchip) Toolkit. Toolkit cho phép nhà phát triển chuyển đổi và tối ưu hóa các model deep learning để sử dụng Bộ xử lý thần kinh (NPUs) của Rockchip.

Các model RKNN được tối ưu hóa cho suy luận có độ trễ thấp và mức sử dụng điện năng hiệu quả. Bằng cách chuyển đổi model sang RKNN, nhà phát triển có thể đạt tốc độ xử lý nhanh hơn, giảm mức tiêu thụ điện năng và cải thiện hiệu suất trên các thiết bị sử dụng Rockchip.

Các model RKNN được tối ưu hóa#

Hãy cùng xem xét kỹ hơn cách các model RKNN cải thiện hiệu suất AI trên những thiết bị hỗ trợ Rockchip.

Không giống CPU và GPU, vốn xử lý nhiều loại tác vụ điện toán, NPU của Rockchip được thiết kế chuyên biệt cho deep learning. Bằng cách chuyển đổi các model AI sang định dạng RKNN, nhà phát triển có thể chạy suy luận trực tiếp trên NPU. Điều này khiến các model RKNN đặc biệt hữu ích cho các tác vụ thị giác máy tính theo thời gian thực, trong đó xử lý nhanh và hiệu quả là yếu tố thiết yếu.

NPU nhanh và hiệu quả hơn CPU và GPU đối với các tác vụ AI vì chúng được xây dựng để xử lý song song các phép tính mạng nơ-ron. Trong khi CPU xử lý từng tác vụ theo từng bước và GPU phân phối khối lượng công việc trên nhiều lõi, NPU được tối ưu hóa để thực hiện các phép tính chuyên biệt cho AI hiệu quả hơn.

Nhờ đó, các model RKNN chạy nhanh hơn và sử dụng ít điện năng hơn, trở nên lý tưởng cho các thiết bị chạy bằng pin, camera thông minh, hệ thống tự động hóa công nghiệp và các ứng dụng AI biên khác yêu cầu ra quyết định theo thời gian thực.

Tổng quan về các model Ultralytics YOLO#

Các model Ultralytics YOLO được thiết kế cho các tác vụ thị giác máy tính theo thời gian thực như phát hiện vật thể, phân đoạn đối tượng và phân loại ảnh. Chúng nổi tiếng nhờ tốc độ, độ chính xác và hiệu quả, đồng thời được sử dụng rộng rãi trong các ngành như nông nghiệp, sản xuất, y tế và hệ thống tự hành.

Những model này đã được cải thiện đáng kể theo thời gian. Chẳng hạn, Ultralytics YOLOv5 giúp việc sử dụng phát hiện vật thể với PyTorch trở nên dễ dàng hơn. Sau đó, Ultralytics YOLOv8 bổ sung các tính năng mới như ước tính tư thế và phân loại ảnh. Giờ đây, YOLO11 tiến xa hơn bằng cách tăng độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m hoạt động tốt hơn trên tập dữ liệu COCO trong khi sử dụng ít hơn 22% số tham số so với YOLOv8m, nhờ đó vừa chính xác hơn vừa hiệu quả hơn.

Hình 2. Phát hiện vật thể bằng Ultralytics YOLO11.

Các model Ultralytics YOLO cũng hỗ trợ xuất sang nhiều định dạng, cho phép triển khai linh hoạt trên các nền tảng khác nhau. Những định dạng này bao gồm ONNX, TensorRT, CoreML và OpenVINO, giúp nhà phát triển tự do tối ưu hiệu suất dựa trên phần cứng mục tiêu.

Với việc bổ sung hỗ trợ xuất YOLO11 sang định dạng model RKNN, YOLO11 giờ đây có thể tận dụng NPU của Rockchip. Model nhỏ nhất, YOLO11n ở định dạng RKNN, đạt thời gian suy luận ấn tượng là 99,5 ms cho mỗi ảnh, cho phép xử lý theo thời gian thực ngay cả trên các thiết bị nhúng.

Xuất model Ultralytics YOLO11 sang định dạng RKNN#

Hiện tại, các model Ultralytics YOLO11 cho tác vụ phát hiện vật thể có thể được xuất sang định dạng RKNN. Ngoài ra, hãy đón chờ các cập nhật tiếp theo — chúng tôi đang làm việc để bổ sung hỗ trợ cho các tác vụ thị giác máy tính khác và lượng tử hóa INT8 trong tương lai.

Xuất Ultralytics YOLO11 sang định dạng RKNN là một quy trình đơn giản. Bạn có thể tải model YOLO11 được huấn luyện tùy chỉnh, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi model sang định dạng RKNN chỉ với vài dòng code. Định dạng RKNN tương thích với nhiều SoC Rockchip, bao gồm RK3588, RK3566 và RK3576, bảo đảm khả năng hỗ trợ phần cứng rộng rãi.

Hình 3. Xuất Ultralytics YOLO11 sang định dạng model RKNN.

Triển khai Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip#

Sau khi được xuất, model RKNN có thể được triển khai trên các thiết bị dựa trên Rockchip. Để triển khai model, bạn chỉ cần tải file RKNN đã xuất lên thiết bị Rockchip và chạy suy luận — tức quy trình sử dụng model AI đã huấn luyện để phân tích ảnh hoặc video mới và phát hiện vật thể theo thời gian thực. Chỉ với vài dòng code, bạn có thể bắt đầu nhận diện vật thể từ ảnh hoặc các luồng video.

Hình 4. Chạy suy luận bằng model RKNN đã xuất.

Các ứng dụng AI biên của Ultralytics YOLO11 và Rockchip#

Để hình dung rõ hơn những nơi Ultralytics YOLO11 có thể được triển khai trên các thiết bị hỗ trợ Rockchip trong thực tế, hãy cùng điểm qua một số ứng dụng AI biên tiêu biểu.

Bộ xử lý Rockchip được sử dụng rộng rãi trong máy tính bảng chạy Android, bo mạch phát triển và các hệ thống AI công nghiệp. Với hỗ trợ cho Android, Linux và Python, bạn có thể dễ dàng xây dựng và triển khai các giải pháp được hỗ trợ bởi AI thị giác cho nhiều ngành khác nhau.

Máy tính bảng bền chắc tích hợp Ultralytics YOLO11#

Một ứng dụng phổ biến của việc chạy Ultralytics YOLO11 trên các thiết bị sử dụng Rockchip là máy tính bảng bền chắc. Đây là những máy tính bảng bền bỉ, hiệu năng cao, được thiết kế cho các môi trường khắc nghiệt như kho hàng, công trường xây dựng và cơ sở công nghiệp. Những máy tính bảng này có thể tận dụng khả năng phát hiện vật thể để nâng cao hiệu quả và an toàn.

Ví dụ, trong hoạt động logistics kho hàng, nhân viên có thể sử dụng máy tính bảng dùng Rockchip cùng YOLO11 để tự động quét và phát hiện hàng tồn kho, giảm lỗi do con người và rút ngắn thời gian xử lý. Tương tự, tại công trường xây dựng, những máy tính bảng này có thể được dùng để phát hiện liệu công nhân có đang mặc trang bị an toàn bắt buộc như mũ bảo hộ và áo phản quang hay không, giúp doanh nghiệp thực thi quy định và ngăn ngừa tai nạn.

Hình 5. Phát hiện trang bị an toàn bằng Ultralytics YOLO11.

AI công nghiệp cho kiểm soát chất lượng#

Trong lĩnh vực sản xuất và tự động hóa, các bo mạch công nghiệp sử dụng Rockchip có thể đóng vai trò quan trọng trong kiểm soát chất lượng và giám sát quy trình. Bo mạch công nghiệp là một module điện toán nhỏ gọn, hiệu năng cao, được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Những bo mạch này thường bao gồm bộ xử lý, bộ nhớ, các giao diện I/O và các tùy chọn kết nối có thể tích hợp với cảm biến, camera và máy móc tự động.

Chạy các model Ultralytics YOLO11 trên những bo mạch này cho phép phân tích dây chuyền sản xuất theo thời gian thực, phát hiện vấn đề ngay lập tức và cải thiện hiệu quả. Chẳng hạn, trong sản xuất ô tô, một hệ thống AI sử dụng phần cứng Rockchip và YOLO11 có thể phát hiện vết xước, linh kiện lệch vị trí hoặc lỗi sơn khi xe di chuyển trên dây chuyền lắp ráp. Bằng cách xác định các lỗi này theo thời gian thực, nhà sản xuất có thể giảm lãng phí, hạ chi phí sản xuất và bảo đảm tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.

Lợi ích của việc chạy Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip#

Các thiết bị dựa trên Rockchip mang lại sự cân bằng tốt giữa hiệu năng, chi phí và hiệu quả, khiến chúng trở thành lựa chọn tuyệt vời để triển khai Ultralytics YOLO11 trong các ứng dụng AI biên.

Dưới đây là một số ưu điểm của việc chạy Ultralytics YOLO11 trên các thiết bị dựa trên Rockchip:

• Hiệu suất AI được cải thiện: Các thiết bị hỗ trợ Rockchip xử lý suy luận AI hiệu quả hơn những bo mạch dựa trên CPU như Raspberry Pi, mang lại tốc độ phát hiện vật thể nhanh hơn và độ trễ thấp hơn.
• Giải pháp tiết kiệm chi phí: Nếu bạn đang thử nghiệm AI và cần một lựa chọn phù hợp ngân sách nhưng vẫn mang lại hiệu năng mạnh mẽ, Rockchip là một lựa chọn tuyệt vời. Rockchip cung cấp phương thức tiết kiệm chi phí để chạy Ultralytics YOLO11 mà không ảnh hưởng đến tốc độ hoặc hiệu quả.
• Hiệu quả năng lượng: Chạy các model thị giác máy tính trên thiết bị sử dụng Rockchip tiêu thụ ít điện năng hơn GPU, khiến đây trở thành lựa chọn lý tưởng cho các thiết bị chạy bằng pin và ứng dụng AI nhúng.

Những điểm chính#

Ultralytics YOLO11 có thể chạy hiệu quả trên các thiết bị dựa trên Rockchip nhờ tận dụng khả năng tăng tốc phần cứng và định dạng RKNN. Điều này làm giảm thời gian suy luận và cải thiện hiệu suất, khiến YOLO11 trở nên lý tưởng cho các tác vụ thị giác máy tính theo thời gian thực và ứng dụng AI biên.

RKNN Toolkit cung cấp các công cụ tối ưu hóa quan trọng như lượng tử hóa và tinh chỉnh, bảo đảm các model Ultralytics YOLO11 hoạt động tốt trên nền tảng Rockchip. Tối ưu hóa model để xử lý hiệu quả trên thiết bị sẽ trở nên thiết yếu khi việc áp dụng AI biên ngày càng mở rộng. Với công cụ và phần cứng phù hợp, nhà phát triển có thể khai phá những khả năng mới cho các giải pháp thị giác máy tính trong nhiều ngành khác nhau.

Tham gia cộng đồng của chúng tôi và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về AI. Tìm hiểu cách thị giác máy tính trong nông nghiệp và AI trong y tế đang thúc đẩy đổi mới bằng cách truy cập các trang giải pháp của chúng tôi. Ngoài ra, hãy xem các tùy chọn cấp phép để bắt đầu xây dựng các giải pháp AI thị giác của bạn ngay hôm nay!