Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super: nhanh và hiệu quả

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super, ra mắt ngày 17 tháng 12 năm 2024, là một siêu máy tính AI tạo sinh nhỏ gọn nhưng mạnh mẽ, được thiết kế để đưa các khả năng tiên tiến đến điện toán biên. Bộ công cụ NVIDIA Jetson Orin Nano Super hỗ trợ xử lý theo thời gian thực và loại bỏ nhu cầu điện toán đám mây. NVIDIA Jetson Orin Nano Super cho phép các nhà phát triển xây dựng các hệ thống thông minh với chi phí hợp lý, hoạt động hiệu quả trong môi trường cục bộ.

Khi kết hợp với các model Ultralytics YOLO như Ultralytics YOLO11, Jetson Orin Nano Super có thể xử lý nhiều ứng dụng AI thị giác trên edge. Đặc biệt, YOLO11 là model thị giác máy tính nổi tiếng về tốc độ và độ chính xác trong các tác vụ như phát hiện đối tượng, theo dõi đối tượng và phân đoạn instance.

Kết hợp khả năng của Ultralytics YOLO11 với GPU (bộ xử lý đồ họa) mạnh mẽ của bộ kit và khả năng hỗ trợ các framework như PyTorch, ONNX và NVIDIA TensorRT sẽ cho phép triển khai hiệu năng cao. Sự kết hợp này cung cấp cho nhà phát triển giải pháp hiệu quả để tạo ứng dụng AI, từ phát hiện đối tượng trong robot đến theo dõi đối tượng theo thời gian thực trong không gian thông minh và hệ thống bán lẻ.

Trong bài viết này, chúng ta sẽ tìm hiểu bộ NVIDIA Jetson Orin Nano Super Developer Kit, cách bộ kit hoạt động với Ultralytics YOLO11 cho AI edge, các benchmark hiệu năng, ứng dụng thực tế và cách bộ kit có thể hỗ trợ nhà phát triển xây dựng dự án AI thị giác. Bắt đầu thôi!

NVIDIA Jetson Orin Nano Super Developer Kit là gì?#

NVIDIA Jetson Orin Nano Super Developer Kit là một máy tính nhỏ gọn nhưng mạnh mẽ, tái định nghĩa AI tạo sinh cho các thiết bị edge cỡ nhỏ. Bộ kit cung cấp hiệu năng AI lên đến 67 TOPS (nghìn tỷ phép tính mỗi giây), phù hợp với nhà phát triển, sinh viên và người đam mê công nghệ đang thực hiện các dự án AI tiên tiến.

Dưới đây là một số tính năng chính:

• Hiệu năng GPU: Thiết bị sử dụng GPU dựa trên kiến trúc NVIDIA Ampere, gồm 1,024 lõi CUDA và 32 lõi Tensor. Lõi CUDA xử lý nhiều tác vụ đồng thời, tăng tốc các phép tính phức tạp, trong khi lõi Tensor được chuyên dụng cho các tác vụ AI như deep learning.
• CPU mạnh mẽ: Thiết bị trang bị bộ xử lý Arm Cortex-A78AE 6 lõi, được thiết kế để cân bằng giữa tốc độ và hiệu quả. Thiết bị có thể xử lý mượt mà nhiều tác vụ đồng thời mà vẫn duy trì mức tiêu thụ năng lượng thấp. Điều này rất quan trọng với các hệ thống chạy cục bộ, không có nguồn điện công suất lớn.
• Bộ nhớ hiệu quả: Bộ kit đi kèm 8GB bộ nhớ LPDDR5 (bộ nhớ tốc độ dữ liệu kép công suất thấp thế hệ 5). LPDDR5 là một loại RAM (bộ nhớ truy cập ngẫu nhiên) được tối ưu về tốc độ và hiệu quả năng lượng, cho phép thiết bị xử lý các bộ dữ liệu lớn và tác vụ theo thời gian thực mà không tiêu thụ quá nhiều điện năng.
• Các tùy chọn kết nối: Thiết bị có các cổng USB 3.2 để truyền dữ liệu nhanh, cổng Gigabit Ethernet để kết nối mạng ổn định và các giao tiếp camera để tích hợp cảm biến hoặc camera.
• Công cụ phát triển AI: Jetson Orin Nano Super hoạt động với NVIDIA JetPack SDK, cung cấp các công cụ như CUDA để tăng tốc tính toán và TensorRT để tối ưu model AI. Những công cụ này giúp nhà phát triển xây dựng và triển khai ứng dụng AI nhanh chóng, hiệu quả hơn.

Benchmark hiệu năng: Jetson Orin Nano Super so với Orin NX 16GB#

Nếu đã quen thuộc với các sản phẩm của NVIDIA, có thể bạn sẽ thắc mắc phiên bản mới này so với NVIDIA Jetson Orin NX 16GB hiện có (không có chế độ Super) như thế nào. Jetson Orin NX có năng lực tổng thể cao hơn, nhưng Jetson Orin Nano Super Developer Kit mang lại hiệu năng ấn tượng với chi phí chỉ bằng một phần nhỏ.

Hình 2. Tổng quan về hệ sinh thái NVIDIA Jetson Orin.

Dưới đây là tổng quan nhanh:

• Hiệu năng AI: Jetson Orin Nano Super cung cấp tối đa 67 TOPS, phù hợp với hầu hết tác vụ AI edge, trong khi Jetson Orin NX cung cấp tối đa 100 TOPS cho các ứng dụng đòi hỏi cao hơn.
• Bộ nhớ: Jetson Orin Nano Super có 8GB LPDDR5, đủ cho các tác vụ theo thời gian thực, còn Orin NX tăng gấp đôi dung lượng lên 16GB để xử lý khối lượng công việc lớn hơn.
• Hiệu quả năng lượng: Jetson Orin Nano Super tiết kiệm năng lượng hơn và có thể cấu hình trong khoảng 7W đến 25W, so với mức tiêu thụ điện cao hơn của Jetson Orin NX.
• GPU: Cả hai đều sử dụng chung kiến trúc NVIDIA Ampere với 1,024 lõi CUDA và 32 lõi Tensor, mang lại hiệu năng GPU mạnh mẽ.

Ultralytics YOLO11 với Jetson Orin Nano Super: Đưa AI thị giác đến edge#

Giờ đây khi đã hiểu rõ hơn về Jetson Orin Nano Super, hãy cùng xem YOLO11 có thể đưa các năng lực AI thị giác đến edge như thế nào. Các model Ultralytics YOLO, bao gồm YOLO11, có nhiều mode linh hoạt như train, predict và export, phù hợp với nhiều quy trình AI khác nhau.

Ví dụ, ở chế độ huấn luyện, các model Ultralytics YOLO có thể được tinh chỉnh và huấn luyện trên bộ dữ liệu tùy chỉnh cho các ứng dụng cụ thể, chẳng hạn như phát hiện đối tượng đặc thù hoặc tối ưu cho môi trường cụ thể. Tương tự, chế độ dự đoán được thiết kế cho suy luận, cho phép thực hiện các tác vụ thị giác máy tính theo thời gian thực. Cuối cùng, chế độ export có thể được dùng để chuyển đổi model sang các định dạng được tối ưu cho triển khai.

Hình 3. Các model Ultralytics YOLO hỗ trợ nhiều tính năng và mode.

Ultralytics YOLO11 ở chế độ export hỗ trợ nhiều tùy chọn triển khai model, bao gồm:

• NVIDIA TensorRT: Định dạng này được tối ưu cho GPU NVIDIA, mang lại khả năng suy luận hiệu năng cao và độ trễ thấp trên Jetson Orin Nano Super.
• ONNX (Trao đổi mạng nơ-ron mở): Định dạng này đảm bảo khả năng tương thích trên nhiều nền tảng, linh hoạt với các hệ sinh thái phần cứng và phần mềm khác nhau.
• TorchScript: Định dạng này phù hợp với các ứng dụng dựa trên PyTorch, giúp tích hợp liền mạch vào quy trình làm việc PyTorch.
• TFLite (TensorFlow Lite): Định dạng được thiết kế cho triển khai AI gọn nhẹ, rất phù hợp với hệ thống di động và hệ thống nhúng.

Với các định dạng triển khai này, nhà phát triển có thể tận dụng tối đa phần cứng Jetson Orin Nano Super để chạy Ultralytics YOLO11 cho các ứng dụng theo thời gian thực như không gian thông minh, robot và tự động hóa bán lẻ.

Benchmark Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Tiếp theo, để hiểu rõ hơn tốc độ chạy của Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super, hãy cùng tìm hiểu hiệu năng và benchmark ấn tượng của thiết bị với các định dạng export tăng tốc bằng GPU như PyTorch, ONNX và TensorRT. Các thử nghiệm cho thấy Jetson Orin Nano Super đạt thời gian suy luận với các model YOLO11 tương đương, đôi khi còn vượt qua Jetson Orin NX 16GB hiện có (không có chế độ Super).

Hình 4. Benchmark Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super.

Điều khiến sản phẩm này ấn tượng hơn nữa là mức giá phải chăng của Jetson Orin Nano Super. Với hiệu năng như vậy nhưng giá chưa bằng một nửa Jetson Orin NX 16GB, thiết bị mang lại giá trị vượt trội cho nhà phát triển xây dựng các ứng dụng Ultralytics YOLO11 hiệu năng cao. Sự kết hợp giữa chi phí và hiệu năng khiến Jetson Orin Nano Super trở thành lựa chọn tuyệt vời cho các tác vụ AI thị giác theo thời gian thực trên edge.

Hình 5. Benchmark Ultralytics YOLO11 trên Jetson Orin NX 16GB.

Trải nghiệm thực tế Ultralytics YOLO11 và NVIDIA Jetson Orin Nano Super#

Nếu bạn hào hứng muốn bắt đầu triển khai Ultralytics YOLO11 trên Jetson Orin Nano Super, thì quy trình này rất đơn giản. Sau khi flash thiết bị bằng NVIDIA JetPack SDK, bạn có thể dùng image Docker dựng sẵn để thiết lập nhanh hoặc tự cài đặt các gói cần thiết.

Với những ai muốn tích hợp nhanh và liền mạch hơn, container Docker JetPack 6 được cập nhật là giải pháp lý tưởng. Container Docker là môi trường gọn nhẹ, có thể di chuyển, bao gồm tất cả công cụ và dependency cần thiết để chạy phần mềm cụ thể.

Container Ultralytics được tối ưu cho JetPack 6.1, cài sẵn CUDA 12.6, TensorRT 10.3 và các công cụ thiết yếu như PyTorch và TorchVision, tất cả đều được điều chỉnh cho kiến trúc ARM64 của Jetson. Sử dụng container này giúp nhà phát triển tiết kiệm thời gian thiết lập và tập trung xây dựng, tối ưu hóa các ứng dụng AI thị giác với YOLO11.

Ứng dụng Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Nếu đang tìm cảm hứng cho dự án AI tiếp theo, xung quanh chúng ta có rất nhiều tiềm năng cho các ứng dụng thị giác máy tính trên edge.

Trong đời sống hằng ngày, AI edge đang tái định hình không gian thông minh bằng cách cho phép hệ thống phát hiện và theo dõi đối tượng theo thời gian thực mà không cần xử lý trên đám mây. Dù là giám sát giao thông ở thành phố đông đúc hay phát hiện hoạt động bất thường tại nơi công cộng, AI thị giác edge đều đang tăng cường an ninh và hiệu quả.

Các nhà bán lẻ cũng đang ứng dụng AI edge và thị giác máy tính. Từ kiểm kê hàng hóa tự động đến ngăn ngừa trộm cắp, các model như Ultralytics YOLO11 giúp doanh nghiệp triển khai giải pháp theo thời gian thực trực tiếp tại cửa hàng.

Tương tự, trong lĩnh vực AI trong chăm sóc sức khỏe, giám sát trên edge đảm bảo an toàn cho bệnh nhân, phát hiện bất thường và duy trì tuân thủ mà không gặp độ trễ do phụ thuộc vào đám mây. Với các công cụ như Jetson Orin Nano Super và Ultralytics YOLO11, tương lai của AI thị giác đang hiện hữu ngay trên edge, nơi công nghệ này cần thiết nhất.

Điểm chính cần ghi nhớ#

Triển khai các model Ultralytics YOLO như YOLO11 trên NVIDIA Jetson Orin Nano Super Developer Kit mang đến giải pháp đáng tin cậy và hiệu quả cho các ứng dụng AI edge. Với hiệu năng GPU mạnh mẽ, khả năng hỗ trợ liền mạch PyTorch, ONNX và TensorRT cùng các benchmark ấn tượng, bộ kit này rất phù hợp cho các tác vụ thị giác máy tính theo thời gian thực như phát hiện và theo dõi đối tượng.

Những đổi mới và hoạt động hợp tác trong các công nghệ tiên tiến như AI thị giác và tăng tốc phần cứng đang thay đổi cách chúng ta làm việc, trao quyền cho nhà phát triển xây dựng các giải pháp có khả năng mở rộng, hiệu năng cao trên edge. Khi AI ngày càng phát triển, các công cụ như Ultralytics YOLO11 và Jetson Orin Nano Super giúp việc hiện thực hóa các giải pháp thông minh theo thời gian thực trở nên dễ dàng hơn bao giờ hết.

Bạn quan tâm đến AI? Truy cập repository GitHub để khám phá các đóng góp của chúng tôi và kết nối với cộng đồng của chúng tôi. Tìm hiểu cách chúng tôi ứng dụng AI để tạo tác động trong các ngành như nông nghiệp và chăm sóc sức khỏe.