Triển khai Ultralytics YOLO11 trên Rockchip cho AI biên hiệu quả

Một từ thông dụng gần đây trong cộng đồng AI là edge AI, đặc biệt là khi nói đến thị giác máy tính. Khi các ứng dụng dựa trên AI phát triển, nhu cầu chạy các mô hình hiệu quả trên các thiết bị nhúng với nguồn điện và tài nguyên tính toán hạn chế ngày càng tăng. 

Ví dụ, máy bay không người lái sử dụng Vision AI để điều hướng thời gian thực, camera thông minh detect Các đối tượng ngay lập tức và hệ thống tự động hóa công nghiệp thực hiện kiểm soát chất lượng mà không cần dựa vào điện toán đám mây. Các ứng dụng này yêu cầu xử lý AI nhanh chóng, hiệu quả trực tiếp trên các thiết bị biên để đảm bảo hiệu suất thời gian thực và độ trễ thấp. Tuy nhiên, việc chạy các mô hình AI trên các thiết bị biên không phải lúc nào cũng dễ dàng. Các mô hình AI thường đòi hỏi nhiều năng lượng và bộ nhớ hơn khả năng xử lý của nhiều thiết bị biên.

Bộ công cụ RKNN của Rockchip giúp giải quyết vấn đề này bằng cách tối ưu hóa các mô hình học sâu cho các thiết bị chạy bằng Rockchip. Bộ công cụ này sử dụng các Đơn vị Xử lý NPU chuyên dụng để tăng tốc độ suy luận, giảm độ trễ và mức tiêu thụ điện năng so với các công nghệ khác. CPU hoặc GPU xử lý. 

Cộng đồng Vision AI rất mong muốn chạy Ultralytics YOLO11 trên các thiết bị chạy Rockchip, và chúng tôi đã lắng nghe ý kiến của bạn. Chúng tôi đã bổ sung hỗ trợ xuất YOLO11 sang định dạng mô hình RKNN . Trong bài viết này, chúng ta sẽ tìm hiểu cách thức hoạt động của việc xuất sang RKNN và lý do tại sao nên triển khai. YOLO11 trên các thiết bị chạy bằng Rockchip là một bước đột phá.

Rockchip và RKNN Toolkit là gì?

Rockchip là một công ty thiết kế hệ thống trên chip (SoC) - bộ vi xử lý nhỏ nhưng mạnh mẽ, chạy được nhiều thiết bị nhúng. Những con chip này kết hợp một CPU , GPU và một Bộ xử lý thần kinh (NPU) để xử lý mọi thứ, từ các tác vụ tính toán chung đến các ứng dụng AI thị giác dựa trên phát hiện đối tượng và xử lý hình ảnh.

SoC Rockchip được sử dụng trong nhiều loại thiết bị, bao gồm máy tính đơn (SBC), bảng mạch phát triển, hệ thống AI công nghiệp và camera thông minh. Nhiều nhà sản xuất phần cứng nổi tiếng như Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas và Banana Pi đều xây dựng thiết bị sử dụng SoC Rockchip. Các bảng mạch này phổ biến cho các ứng dụng AI biên và thị giác máy tính vì chúng mang lại sự cân bằng giữa hiệu suất, hiệu quả năng lượng và giá cả phải chăng.

‍

Để giúp các mô hình AI chạy hiệu quả trên các thiết bị này, Rockchip cung cấp RKNN (Rockchip Neural Network) Toolkit. Toolkit này cho phép các nhà phát triển chuyển đổi và tối ưu hóa các mô hình deep learning để sử dụng Neural Processing Units (NPU) của Rockchip. 

Các mô hình RKNN được tối ưu hóa cho suy luận độ trễ thấp và sử dụng năng lượng hiệu quả. Bằng cách chuyển đổi các mô hình sang RKNN, các nhà phát triển có thể đạt được tốc độ xử lý nhanh hơn, giảm mức tiêu thụ điện năng và cải thiện hiệu quả trên các thiết bị chạy Rockchip.

Các mô hình RKNN được tối ưu hóa

Hãy xem xét kỹ hơn cách các mô hình RKNN cải thiện hiệu suất AI trên các thiết bị hỗ trợ Rockchip. 

Không giống như CPU và GPU, xử lý một loạt các tác vụ tính toán, NPU của Rockchip được thiết kế đặc biệt cho deep learning. Bằng cách chuyển đổi các mô hình AI thành định dạng RKNN, các nhà phát triển có thể chạy suy luận trực tiếp trên NPU. Điều này làm cho các mô hình RKNN đặc biệt hữu ích cho các tác vụ thị giác máy tính thời gian thực, nơi xử lý nhanh chóng và hiệu quả là rất cần thiết.

NPU nhanh hơn và hiệu quả hơn CPU và GPU cho các tác vụ AI vì chúng được xây dựng để xử lý các tính toán mạng nơ-ron song song. Trong khi CPU xử lý các tác vụ từng bước một và GPU phân phối khối lượng công việc trên nhiều lõi, thì NPU được tối ưu hóa để thực hiện các phép tính dành riêng cho AI hiệu quả hơn. 

Do đó, các mô hình RKNN chạy nhanh hơn và sử dụng ít điện năng hơn, khiến chúng trở nên lý tưởng cho các thiết bị chạy bằng pin, camera thông minh, tự động hóa công nghiệp và các ứng dụng edge AI khác đòi hỏi khả năng ra quyết định theo thời gian thực.

Tổng quan về Ultralytics YOLO các mô hình

Các mô hình YOLO (You Only Look Once - Bạn chỉ nhìn một lần) Ultralytics được thiết kế cho các tác vụ thị giác máy tính thời gian thực như phát hiện đối tượng, phân đoạn thực thể và phân loại hình ảnh. Chúng nổi tiếng với tốc độ, độ chính xác và hiệu quả, và được sử dụng rộng rãi trong các ngành công nghiệp như nông nghiệp, sản xuất, chăm sóc sức khỏe và hệ thống tự động. 

Những mô hình này đã được cải thiện đáng kể theo thời gian. Ví dụ, Ultralytics YOLOv5 giúp phát hiện đối tượng dễ sử dụng hơn với PyTorch . Sau đó, Ultralytics YOLOv8 đã bổ sung các tính năng mới như ước tính tư thế và phân loại hình ảnh. YOLO11 đưa mọi thứ tiến xa hơn bằng cách tăng độ chính xác trong khi sử dụng ít tài nguyên hơn. Trên thực tế, YOLO11m hoạt động tốt hơn trên COCO tập dữ liệu trong khi sử dụng ít hơn 22% tham số so với YOLOv8m , khiến nó chính xác hơn và hiệu quả hơn.

‍

Ultralytics YOLO Các mô hình cũng hỗ trợ xuất sang nhiều định dạng, cho phép triển khai linh hoạt trên nhiều nền tảng khác nhau. Các định dạng này bao gồm ONNX , TensorRT , CoreML , Và OpenVINO , mang đến cho các nhà phát triển sự tự do tối ưu hóa hiệu suất dựa trên phần cứng mục tiêu của họ.

Với sự hỗ trợ bổ sung cho việc xuất khẩu YOLO11 theo định dạng mô hình RKNN, YOLO11 Giờ đây, bạn có thể tận dụng lợi thế của NPU Rockchip. Mô hình nhỏ nhất, YOLO11n ở định dạng RKNN, đạt thời gian suy luận ấn tượng 99,5ms mỗi hình ảnh, cho phép xử lý theo thời gian thực ngay cả trên các thiết bị nhúng.

Xuất khẩu của bạn YOLO11 mô hình sang định dạng RKNN

Hiện nay, YOLO11 Các mô hình phát hiện đối tượng có thể được xuất sang định dạng RKNN. Ngoài ra, hãy theo dõi - chúng tôi đang nỗ lực bổ sung hỗ trợ cho các tác vụ thị giác máy tính khác và lượng tử hóa INT8 trong các bản cập nhật trong tương lai. 

Xuất khẩu YOLO11 sang định dạng RKNN là một quá trình đơn giản. Bạn có thể tải YOLO11 Mô hình, chỉ định nền tảng Rockchip mục tiêu và chuyển đổi nó sang định dạng RKNN chỉ bằng vài dòng mã. Định dạng RKNN tương thích với nhiều SoC Rockchip, bao gồm RK3588, RK3566 và RK3576, đảm bảo hỗ trợ phần cứng rộng rãi.

‍

Triển khai YOLO11 trên các thiết bị sử dụng Rockchip

Sau khi xuất, mô hình RKNN có thể được triển khai trên các thiết bị chạy Rockchip. Để triển khai mô hình, bạn chỉ cần tải tệp RKNN đã xuất lên thiết bị Rockchip và chạy suy luận - quá trình sử dụng mô hình AI đã được đào tạo để phân tích hình ảnh hoặc video mới và detect đối tượng theo thời gian thực. Chỉ với vài dòng mã, bạn có thể bắt đầu nhận dạng đối tượng từ hình ảnh hoặc luồng video.

‍

Ứng dụng AI biên của YOLO11 và Rockchip

Để có được một ý tưởng tốt hơn về nơi YOLO11 có thể được triển khai trên các thiết bị hỗ trợ Rockchip trong thế giới thực, chúng ta hãy cùng tìm hiểu một số ứng dụng AI quan trọng.

Bộ xử lý Rockchip được sử dụng rộng rãi trong Android - dựa trên máy tính bảng, bảng phát triển và hệ thống AI công nghiệp. Với sự hỗ trợ cho Android , Linux và Python , bạn có thể dễ dàng xây dựng và triển khai các giải pháp dựa trên Vision AI cho nhiều ngành công nghiệp khác nhau.

Máy tính bảng chắc chắn được tích hợp với YOLO11

Một ứng dụng phổ biến liên quan đến việc chạy YOLO11 trên các thiết bị chạy bằng Rockchip là máy tính bảng bền bỉ. Đây là những máy tính bảng bền bỉ, hiệu suất cao, được thiết kế cho các môi trường khắc nghiệt như nhà kho, công trường xây dựng và công nghiệp. Những máy tính bảng này có thể tận dụng tính năng phát hiện vật thể để cải thiện hiệu quả và độ an toàn.

Ví dụ, trong hậu cần kho bãi , công nhân có thể sử dụng máy tính bảng chạy bằng Rockchip với YOLO11 để tự động quét và detect kiểm kê, giảm thiểu sai sót của con người và tăng tốc thời gian xử lý. Tương tự, tại các công trường xây dựng, những máy tính bảng này có thể được sử dụng để detect nếu người lao động mặc đồ bảo hộ lao động bắt buộc, như mũ bảo hiểm và áo vest, sẽ giúp các công ty thực thi các quy định và ngăn ngừa tai nạn.

‍

AI công nghiệp cho Kiểm soát Chất lượng 

Đối với sản xuất và tự động hóa, các bảng công nghiệp do Rockchip cung cấp có thể đóng một vai trò lớn trong kiểm soát chất lượng và giám sát quy trình. Bảng công nghiệp là một mô-đun điện toán nhỏ gọn, hiệu suất cao được thiết kế cho các hệ thống nhúng trong môi trường công nghiệp. Các bảng này thường bao gồm bộ xử lý, bộ nhớ, giao diện I/O và các tùy chọn kết nối có thể tích hợp với cảm biến, máy ảnh và máy móc tự động.

Đang chạy YOLO11 Các mô hình trên những bo mạch này cho phép phân tích dây chuyền sản xuất theo thời gian thực, phát hiện vấn đề ngay lập tức và cải thiện hiệu quả. Ví dụ, trong sản xuất ô tô, một hệ thống AI sử dụng phần cứng Rockchip và YOLO11 Có thể detect Các vết trầy xước, chi tiết không đồng bộ hoặc lỗi sơn khi xe di chuyển trên dây chuyền lắp ráp. Bằng cách xác định những lỗi này theo thời gian thực, nhà sản xuất có thể giảm thiểu lãng phí, giảm chi phí sản xuất và đảm bảo tiêu chuẩn chất lượng cao hơn trước khi xe đến tay khách hàng.

Lợi ích của việc chạy bộ YOLO11 trên các thiết bị sử dụng Rockchip

Các thiết bị dựa trên Rockchip cung cấp sự cân bằng tốt giữa hiệu suất, chi phí và hiệu quả, khiến chúng trở thành lựa chọn tuyệt vời để triển khai YOLO11 trong các ứng dụng AI biên.

Dưới đây là một số lợi ích của việc chạy bộ YOLO11 trên các thiết bị sử dụng Rockchip:

• Hiệu suất AI được cải thiện : Các thiết bị hỗ trợ Rockchip xử lý suy luận AI hiệu quả hơn CPU -board dựa trên Raspberry Pi, cung cấp khả năng phát hiện đối tượng nhanh hơn và độ trễ thấp hơn.
  ‍
• Giải pháp tiết kiệm chi phí: Nếu bạn đang thử nghiệm AI và cần một giải pháp tiết kiệm chi phí mà vẫn mang lại hiệu suất mạnh mẽ, Rockchip là một lựa chọn tuyệt vời. Nó cung cấp một giải pháp tiết kiệm chi phí để vận hành YOLO11 mà không ảnh hưởng đến tốc độ hoặc hiệu quả.
  ‍
• Hiệu quả năng lượng: Chạy các mô hình thị giác máy tính trên các thiết bị do Rockchip cung cấp tiêu thụ ít điện năng hơn so với GPU, khiến nó trở nên lý tưởng cho các thiết bị chạy bằng pin và các ứng dụng AI nhúng.

Những điều cần nhớ

Ultralytics YOLO11 có thể chạy hiệu quả trên các thiết bị chạy Rockchip bằng cách tận dụng khả năng tăng tốc phần cứng và định dạng RKNN. Điều này giúp giảm thời gian suy luận và cải thiện hiệu suất, lý tưởng cho các tác vụ thị giác máy tính thời gian thực và các ứng dụng AI biên.

Bộ công cụ RKNN cung cấp các công cụ tối ưu hóa quan trọng như lượng tử hóa và tinh chỉnh, đảm bảo YOLO11 Các mô hình hoạt động tốt trên nền tảng Rockchip. Việc tối ưu hóa các mô hình để xử lý hiệu quả trên thiết bị sẽ rất quan trọng khi việc áp dụng AI biên ngày càng tăng. Với các công cụ và phần cứng phù hợp, các nhà phát triển có thể khai phá những tiềm năng mới cho các giải pháp thị giác máy tính trong nhiều ngành công nghiệp khác nhau. 

Hãy tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về AI. Xem cách thị giác máy tính trong nông nghiệp và AI trong chăm sóc sức khỏe đang thúc đẩy sự đổi mới bằng cách truy cập các trang giải pháp của chúng tôi. Ngoài ra, hãy xem các tùy chọn cấp phép của chúng tôi để bắt đầu xây dựng các giải pháp Vision AI của bạn ngay hôm nay!