12 tháng 2, 2025
Tìm hiểu cách triển khai Ultralytics YOLO11 trên Rockchip bằng RKNN Toolkit để có Edge AI hiệu quả, tăng tốc AI và phát hiện đối tượng theo thời gian thực.
Một từ thông dụng gần đây trong cộng đồng AI là edge AI, đặc biệt là khi nói đến thị giác máy tính. Khi các ứng dụng dựa trên AI phát triển, nhu cầu chạy các mô hình hiệu quả trên các thiết bị nhúng với nguồn điện và tài nguyên tính toán hạn chế ngày càng tăng.
Ví dụ: máy bay không người lái sử dụng Vision AI để điều hướng thời gian thực, camera thông minh phát hiện đối tượng ngay lập tức và hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không cần dựa vào điện toán đám mây. Các ứng dụng này yêu cầu xử lý AI nhanh chóng, hiệu quả trực tiếp trên các thiết bị biên để đảm bảo hiệu suất thời gian thực và độ trễ thấp. Tuy nhiên, việc chạy các mô hình AI trên các thiết bị biên không phải lúc nào cũng dễ dàng. Các mô hình AI thường yêu cầu nhiều năng lượng và bộ nhớ hơn so với khả năng xử lý của nhiều thiết bị biên.
RKNN Toolkit của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các mô hình học sâu cho các thiết bị dùng chip Rockchip. Nó sử dụng các Neural Processing Units (NPU) chuyên dụng để tăng tốc suy luận, giảm độ trễ và mức tiêu thụ điện năng so với xử lý bằng CPU hoặc GPU.
Cộng đồng Vision AI rất mong muốn chạy Ultralytics YOLO11 trên các thiết bị nền tảng Rockchip và chúng tôi đã lắng nghe bạn. Chúng tôi đã thêm hỗ trợ cho việc xuất YOLO11 sang định dạng mô hình RKNN. Trong bài viết này, chúng ta sẽ khám phá cách xuất sang RKNN hoạt động và tại sao việc triển khai YOLO11 trên các thiết bị chạy Rockchip lại là một yếu tố thay đổi cuộc chơi.
Rockchip là một công ty thiết kế system-on-chips (SoC) - bộ xử lý nhỏ nhưng mạnh mẽ, chạy nhiều thiết bị nhúng. Các chip này kết hợp CPU, GPU và Bộ xử lý thần kinh (NPU) để xử lý mọi thứ, từ các tác vụ điện toán chung đến các ứng dụng Vision AI dựa trên phát hiện đối tượng và xử lý hình ảnh.
SoC Rockchip được sử dụng trong nhiều loại thiết bị, bao gồm máy tính đơn (SBC), bảng mạch phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi đều xây dựng thiết bị sử dụng SoC Rockchip. Các bảng mạch này phổ biến cho các ứng dụng AI biên và thị giác máy tính vì chúng mang lại sự cân bằng giữa hiệu suất, hiệu quả năng lượng và giá cả phải chăng.
Để giúp các mô hình AI chạy hiệu quả trên các thiết bị này, Rockchip cung cấp RKNN (Rockchip Neural Network) Toolkit. Toolkit này cho phép các nhà phát triển chuyển đổi và tối ưu hóa các mô hình deep learning để sử dụng Neural Processing Units (NPU) của Rockchip.
Các mô hình RKNN được tối ưu hóa cho suy luận độ trễ thấp và sử dụng năng lượng hiệu quả. Bằng cách chuyển đổi các mô hình sang RKNN, các nhà phát triển có thể đạt được tốc độ xử lý nhanh hơn, giảm mức tiêu thụ điện năng và cải thiện hiệu quả trên các thiết bị chạy Rockchip.
Hãy xem xét kỹ hơn cách các mô hình RKNN cải thiện hiệu suất AI trên các thiết bị hỗ trợ Rockchip.
Không giống như CPU và GPU, xử lý một loạt các tác vụ tính toán, NPU của Rockchip được thiết kế đặc biệt cho deep learning. Bằng cách chuyển đổi các mô hình AI thành định dạng RKNN, các nhà phát triển có thể chạy suy luận trực tiếp trên NPU. Điều này làm cho các mô hình RKNN đặc biệt hữu ích cho các tác vụ thị giác máy tính thời gian thực, nơi xử lý nhanh chóng và hiệu quả là rất cần thiết.
NPU nhanh hơn và hiệu quả hơn CPU và GPU cho các tác vụ AI vì chúng được xây dựng để xử lý các tính toán mạng nơ-ron song song. Trong khi CPU xử lý các tác vụ từng bước một và GPU phân phối khối lượng công việc trên nhiều lõi, thì NPU được tối ưu hóa để thực hiện các phép tính dành riêng cho AI hiệu quả hơn.
Do đó, các mô hình RKNN chạy nhanh hơn và sử dụng ít điện năng hơn, khiến chúng trở nên lý tưởng cho các thiết bị chạy bằng pin, camera thông minh, tự động hóa công nghiệp và các ứng dụng edge AI khác đòi hỏi khả năng ra quyết định theo thời gian thực.
Các mô hình Ultralytics YOLO (You Only Look Once) được thiết kế cho các tác vụ thị giác máy tính thời gian thực như phát hiện đối tượng, phân đoạn thể hiện và phân loại hình ảnh. Chúng được biết đến với tốc độ, độ chính xác và hiệu quả, và được sử dụng rộng rãi trong các ngành công nghiệp như nông nghiệp, sản xuất, chăm sóc sức khỏe và các hệ thống tự động.
Các mô hình này đã được cải thiện đáng kể theo thời gian. Ví dụ: Ultralytics YOLOv5 giúp việc phát hiện đối tượng trở nên dễ sử dụng hơn với PyTorch. Sau đó, Ultralytics YOLOv8 đã thêm các tính năng mới như ước tính tư thế và phân loại hình ảnh. Giờ đây, YOLO11 tiến xa hơn bằng cách tăng độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m hoạt động tốt hơn trên bộ dữ liệu COCO trong khi sử dụng ít hơn 22% tham số so với YOLOv8m, giúp nó chính xác hơn và hiệu quả hơn.
Các mô hình Ultralytics YOLO cũng hỗ trợ xuất sang nhiều định dạng, cho phép triển khai linh hoạt trên các nền tảng khác nhau. Các định dạng này bao gồm ONNX, TensorRT, CoreML và OpenVINO, giúp các nhà phát triển tự do tối ưu hóa hiệu suất dựa trên phần cứng mục tiêu của họ.
Với việc hỗ trợ thêm xuất YOLO11 sang định dạng mô hình RKNN, YOLO11 hiện có thể tận dụng lợi thế của NPU Rockchip. Mô hình nhỏ nhất, YOLO11n ở định dạng RKNN, đạt được thời gian suy luận ấn tượng là 99,5ms trên mỗi ảnh, cho phép xử lý theo thời gian thực ngay cả trên các thiết bị nhúng.
Hiện tại, các mô hình phát hiện đối tượng YOLO11 có thể được xuất sang định dạng RKNN. Ngoài ra, hãy theo dõi - chúng tôi đang nỗ lực bổ sung hỗ trợ cho các tác vụ thị giác máy tính khác và lượng tử hóa INT8 trong các bản cập nhật trong tương lai.
Xuất YOLO11 sang định dạng RKNN là một quy trình đơn giản. Bạn có thể tải mô hình YOLO11 đã huấn luyện tùy chỉnh của mình, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi nó sang định dạng RKNN chỉ với một vài dòng code. Định dạng RKNN tương thích với nhiều SoC Rockchip khác nhau, bao gồm RK3588, RK3566 và RK3576, đảm bảo hỗ trợ phần cứng rộng rãi.
Sau khi xuất, mô hình RKNN có thể được triển khai trên các thiết bị nền tảng Rockchip. Để triển khai mô hình, bạn chỉ cần tải tệp RKNN đã xuất lên thiết bị Rockchip và chạy suy luận - quy trình sử dụng mô hình AI đã huấn luyện để phân tích hình ảnh hoặc video mới và phát hiện các đối tượng trong thời gian thực. Chỉ với một vài dòng code, bạn có thể bắt đầu xác định các đối tượng từ hình ảnh hoặc luồng video.
Để hiểu rõ hơn về nơi YOLO11 có thể được triển khai trên các thiết bị hỗ trợ Rockchip trong thế giới thực, hãy xem qua một số ứng dụng AI biên quan trọng.
Bộ xử lý Rockchip được sử dụng rộng rãi trong máy tính bảng dựa trên Android, bảng mạch phát triển và hệ thống AI công nghiệp. Với sự hỗ trợ cho Android, Linux và Python, bạn có thể dễ dàng xây dựng và triển khai các giải pháp dựa trên Vision AI cho nhiều ngành công nghiệp khác nhau.
Một ứng dụng phổ biến liên quan đến việc chạy YOLO11 trên các thiết bị chạy Rockchip là máy tính bảng chắc chắn. Chúng là những máy tính bảng bền bỉ, hiệu năng cao được thiết kế cho các môi trường khắc nghiệt như nhà kho, công trường xây dựng và môi trường công nghiệp. Các máy tính bảng này có thể tận dụng khả năng phát hiện đối tượng để cải thiện hiệu quả và an toàn.
Ví dụ: trong logistics kho bãi, công nhân có thể sử dụng máy tính bảng chạy Rockchip với YOLO11 để tự động quét và phát hiện hàng tồn kho, giảm thiểu lỗi do con người và tăng tốc thời gian xử lý. Tương tự, tại các công trường xây dựng, những máy tính bảng này có thể được sử dụng để phát hiện xem công nhân có đang mặc đồ bảo hộ cần thiết hay không, như mũ bảo hiểm và áo vest, giúp các công ty thực thi các quy định và ngăn ngừa tai nạn.
Đối với sản xuất và tự động hóa, các bảng công nghiệp do Rockchip cung cấp có thể đóng một vai trò lớn trong kiểm soát chất lượng và giám sát quy trình. Bảng công nghiệp là một mô-đun điện toán nhỏ gọn, hiệu suất cao được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Các bảng này thường bao gồm bộ xử lý, bộ nhớ, giao diện I/O và các tùy chọn kết nối có thể tích hợp với cảm biến, máy ảnh và máy móc tự động.
Việc chạy các mô hình YOLO11 trên các bảng mạch này giúp có thể phân tích các dây chuyền sản xuất trong thời gian thực, phát hiện các sự cố ngay lập tức và cải thiện hiệu quả. Ví dụ: trong sản xuất ô tô, một hệ thống AI sử dụng phần cứng Rockchip và YOLO11 có thể phát hiện các vết xước, các bộ phận bị lệch hoặc các khuyết tật sơn khi ô tô di chuyển xuống dây chuyền lắp ráp. Bằng cách xác định các khuyết tật này trong thời gian thực, các nhà sản xuất có thể giảm lãng phí, giảm chi phí sản xuất và đảm bảo các tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.
Các thiết bị dựa trên Rockchip mang lại sự cân bằng tốt giữa hiệu suất, chi phí và hiệu quả, khiến chúng trở thành một lựa chọn tuyệt vời để triển khai YOLO11 trong các ứng dụng AI biên.
Dưới đây là một vài ưu điểm của việc chạy YOLO11 trên các thiết bị dựa trên Rockchip:
Ultralytics YOLO11 có thể chạy hiệu quả trên các thiết bị dựa trên Rockchip bằng cách tận dụng khả năng tăng tốc phần cứng và định dạng RKNN. Điều này làm giảm thời gian suy luận và cải thiện hiệu suất, khiến nó trở nên lý tưởng cho các tác vụ thị giác máy tính thời gian thực và các ứng dụng AI biên.
RKNN Toolkit cung cấp các công cụ tối ưu hóa chính như lượng tử hóa và tinh chỉnh, đảm bảo các mô hình YOLO11 hoạt động tốt trên các nền tảng Rockchip. Tối ưu hóa các mô hình để xử lý hiệu quả trên thiết bị sẽ rất cần thiết khi việc áp dụng AI biên ngày càng tăng. Với các công cụ và phần cứng phù hợp, các nhà phát triển có thể mở ra những khả năng mới cho các giải pháp thị giác máy tính trong các ngành công nghiệp khác nhau.
Hãy tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Xem cách thị giác máy tính trong nông nghiệp và AI trong chăm sóc sức khỏe đang thúc đẩy sự đổi mới bằng cách truy cập các trang giải pháp của chúng tôi. Ngoài ra, hãy xem các tùy chọn cấp phép của chúng tôi để bắt đầu xây dựng các giải pháp Vision AI của bạn ngay hôm nay!
.webp)