Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super: nhanh và hiệu quả

Bộ NVIDIA Jetson Orin Nano Super Developer Kit NVIDIA Jetson, ra mắt ngày 17 tháng 12 năm 2024, là một siêu máy tính AI tạo sinh nhỏ gọn nhưng mạnh mẽ, được thiết kế để đưa các năng lực tiên tiến đến điện toán biên. Bộ kit này cho phép xử lý theo thời gian thực và giảm nhu cầu điện toán đám mây. NVIDIA Jetson Orin Nano Super giúp nhà phát triển xây dựng các hệ thống thông minh có chi phí hợp lý, hoạt động hiệu quả trong môi trường cục bộ.

Khi kết hợp với các model Ultralytics YOLO như Ultralytics YOLO11, Jetson Orin Nano Super có thể xử lý nhiều ứng dụng AI thị giác trên edge. Đặc biệt, YOLO11 là model thị giác máy tính nổi tiếng về tốc độ và độ chính xác trong các tác vụ như phát hiện đối tượng, theo dõi đối tượng và phân đoạn instance.

Kết hợp khả năng của Ultralytics YOLO11 với GPU (bộ xử lý đồ họa) mạnh mẽ của bộ kit và khả năng hỗ trợ các framework như PyTorch, ONNX và NVIDIA TensorRT sẽ cho phép triển khai hiệu năng cao. Sự kết hợp này cung cấp cho nhà phát triển giải pháp hiệu quả để tạo ứng dụng AI, từ phát hiện đối tượng trong robot đến theo dõi đối tượng theo thời gian thực trong không gian thông minh và hệ thống bán lẻ.

Trong bài viết này, chúng ta sẽ tìm hiểu NVIDIA Jetson Orin Nano Super Developer Kit, cách thiết bị này hoạt động với Ultralytics YOLO11 cho AI biên, các kết quả benchmark hiệu năng, ứng dụng thực tế và cách thiết bị có thể giúp nhà phát triển xây dựng dự án AI thị giác.

NVIDIA Jetson Orin Nano Super Developer Kit là gì?#

NVIDIA Jetson Orin Nano Super Developer Kit là một máy tính nhỏ gọn nhưng mạnh mẽ, đưa AI tạo sinh đến các thiết bị biên cỡ nhỏ. Thiết bị cung cấp hiệu năng AI lên đến 67 TOPS (nghìn tỷ phép tính mỗi giây), rất phù hợp với các nhà phát triển, sinh viên và người đam mê đang thực hiện những dự án AI tiên tiến.

Dưới đây là một số tính năng chính:

• Hiệu năng GPU: Thiết bị sử dụng GPU dựa trên kiến trúc NVIDIA Ampere, gồm 1,024 lõi CUDA và 32 lõi Tensor. Lõi CUDA xử lý nhiều tác vụ đồng thời, tăng tốc các phép tính phức tạp, trong khi lõi Tensor được chuyên dụng cho các tác vụ AI như deep learning.
• CPU mạnh mẽ: Thiết bị trang bị bộ xử lý Arm Cortex-A78AE 6 lõi, được thiết kế để cân bằng giữa tốc độ và hiệu quả. Thiết bị có thể xử lý mượt mà nhiều tác vụ đồng thời mà vẫn duy trì mức tiêu thụ năng lượng thấp. Điều này rất quan trọng với các hệ thống chạy cục bộ, không có nguồn điện công suất lớn.
• Bộ nhớ hiệu quả: Bộ kit đi kèm 8GB bộ nhớ LPDDR5 (bộ nhớ tốc độ dữ liệu kép công suất thấp thế hệ 5). LPDDR5 là một loại RAM (bộ nhớ truy cập ngẫu nhiên) được tối ưu về tốc độ và hiệu quả năng lượng, cho phép thiết bị xử lý các bộ dữ liệu lớn và tác vụ theo thời gian thực mà không tiêu thụ quá nhiều điện năng.
• Các tùy chọn kết nối: Thiết bị có các cổng USB 3.2 để truyền dữ liệu nhanh, cổng Gigabit Ethernet để kết nối mạng ổn định và các giao tiếp camera để tích hợp cảm biến hoặc camera.
• Công cụ phát triển AI: Jetson Orin Nano Super hoạt động với NVIDIA JetPack SDK, cung cấp các công cụ như CUDA để tăng tốc tính toán và TensorRT để tối ưu model AI. Những công cụ này giúp nhà phát triển xây dựng và triển khai ứng dụng AI nhanh chóng, hiệu quả hơn.

Benchmark hiệu năng: Jetson Orin Nano Super so với Orin NX 16GB#

Nếu đã quen thuộc với các sản phẩm của NVIDIA, có thể bạn sẽ thắc mắc phiên bản mới này so với NVIDIA Jetson Orin NX 16GB hiện có (không có chế độ Super) như thế nào. Jetson Orin NX có năng lực tổng thể cao hơn, nhưng Jetson Orin Nano Super Developer Kit mang lại hiệu năng ấn tượng với chi phí chỉ bằng một phần nhỏ.

Hình 2. Tổng quan về hệ sinh thái NVIDIA Jetson Orin.

Dưới đây là tổng quan nhanh:

• Hiệu năng AI: Jetson Orin Nano Super cung cấp tối đa 67 TOPS, phù hợp với hầu hết tác vụ AI edge, trong khi Jetson Orin NX cung cấp tối đa 100 TOPS cho các ứng dụng đòi hỏi cao hơn.
• Bộ nhớ: Jetson Orin Nano Super có 8GB LPDDR5, đủ cho các tác vụ theo thời gian thực, còn Orin NX tăng gấp đôi dung lượng lên 16GB để xử lý khối lượng công việc lớn hơn.
• Hiệu quả năng lượng: Jetson Orin Nano Super tiết kiệm năng lượng hơn và có thể cấu hình trong khoảng 7W đến 25W, so với mức tiêu thụ điện cao hơn của Jetson Orin NX.
• GPU: Cả hai đều sử dụng chung kiến trúc NVIDIA Ampere với 1,024 lõi CUDA và 32 lõi Tensor, mang lại hiệu năng GPU mạnh mẽ.

Ultralytics YOLO11 với Jetson Orin Nano Super: Đưa AI thị giác đến edge#

Giờ đây khi đã hiểu rõ hơn về Jetson Orin Nano Super, hãy cùng xem YOLO11 có thể đưa các năng lực AI thị giác đến edge như thế nào. Các model Ultralytics YOLO, bao gồm YOLO11, có nhiều mode linh hoạt như train, predict và export, phù hợp với nhiều quy trình AI khác nhau.

Ví dụ: trong chế độ huấn luyện, các model Ultralytics YOLO có thể được tinh chỉnh và huấn luyện trên dataset tùy chỉnh cho các ứng dụng cụ thể, chẳng hạn như phát hiện vật thể đặc thù hoặc tối ưu hóa cho môi trường nhất định. Tương tự, chế độ dự đoán được thiết kế cho suy luận, cho phép thực hiện tác vụ thị giác máy tính theo thời gian thực. Cuối cùng, có thể dùng chế độ xuất để chuyển đổi model sang các định dạng được tối ưu hóa cho triển khai.

Hình 3. Các model Ultralytics YOLO hỗ trợ nhiều tính năng và mode.

Ultralytics YOLO11 ở chế độ export hỗ trợ nhiều tùy chọn triển khai model, bao gồm:

• NVIDIA TensorRT: Định dạng này được tối ưu hóa cho GPU NVIDIA, mang lại khả năng suy luận hiệu năng cao, độ trễ thấp trên Jetson Orin Nano Super.
• ONNX (Trao đổi mạng nơ-ron mở): Định dạng này tương thích với nhiều nền tảng, linh hoạt trên các hệ sinh thái phần cứng và phần mềm khác nhau.
• TorchScript: Định dạng này lý tưởng cho các ứng dụng dựa trên PyTorch, giúp tích hợp dễ dàng vào quy trình làm việc PyTorch.
• TFLite (TensorFlow Lite): Định dạng được thiết kế cho các ứng dụng AI gọn nhẹ, rất phù hợp với hệ thống di động và hệ thống nhúng.

Với các định dạng triển khai này, nhà phát triển có thể tận dụng tối đa phần cứng Jetson Orin Nano Super để chạy Ultralytics YOLO11 cho các ứng dụng theo thời gian thực như không gian thông minh, robot và tự động hóa bán lẻ.

Benchmark Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Tiếp theo, để hiểu rõ hơn tốc độ chạy của Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super, hãy xem kết quả benchmark với các định dạng tận dụng GPU như PyTorch, ONNX và TensorRT. Các thử nghiệm này cho thấy thời gian suy luận của model YOLO11 trên Jetson Orin Nano Super tương đương, đôi khi còn nhanh hơn, so với Jetson Orin NX 16GB hiện có (không bật chế độ Super).

Hình 4. Benchmark Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super.

Điều khiến kết quả này ấn tượng hơn nữa là mức giá phải chăng của Jetson Orin Nano Super. Với hiệu năng này nhưng giá thấp hơn một nửa so với Jetson Orin NX 16GB, thiết bị mang lại giá trị lớn cho các nhà phát triển xây dựng ứng dụng Ultralytics YOLO11 hiệu năng cao. Sự kết hợp giữa chi phí và hiệu năng khiến Jetson Orin Nano Super trở thành lựa chọn tuyệt vời cho các tác vụ AI thị giác thời gian thực ở biên.

Hình 5. Benchmark Ultralytics YOLO11 trên Jetson Orin NX 16GB.

Trải nghiệm thực tế Ultralytics YOLO11 và NVIDIA Jetson Orin Nano Super#

Nếu bạn hào hứng muốn bắt đầu triển khai Ultralytics YOLO11 trên Jetson Orin Nano Super, quy trình này rất đơn giản. Sau khi flash thiết bị bằng NVIDIA JetPack SDK, bạn có thể dùng image Docker dựng sẵn để thiết lập nhanh hoặc cài đặt các package cần thiết theo cách thủ công.

Để thiết lập nhanh nhất, container Docker JetPack 6 đã cập nhật là lựa chọn đơn giản nhất. Container Docker là một môi trường gọn nhẹ, có thể di chuyển, bao gồm mọi công cụ và dependency cần thiết để chạy phần mềm cụ thể.

Container Ultralytics được tối ưu cho JetPack 6.1, cài sẵn CUDA 12.6, TensorRT 10.3 và các công cụ thiết yếu như PyTorch và TorchVision, tất cả đều được điều chỉnh cho kiến trúc ARM64 của Jetson. Sử dụng container này giúp nhà phát triển tiết kiệm thời gian thiết lập và tập trung xây dựng, tối ưu hóa các ứng dụng AI thị giác với YOLO11.

Ứng dụng Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Nếu đang tìm cảm hứng cho dự án AI tiếp theo, xung quanh chúng ta có rất nhiều tiềm năng cho các ứng dụng thị giác máy tính trên edge.

Trong đời sống hằng ngày, AI biên đang thay đổi các không gian thông minh bằng cách cho phép hệ thống phát hiện và theo dõi vật thể theo thời gian thực mà không cần dựa vào xử lý trên đám mây. Dù là giám sát giao thông trong thành phố nhộn nhịp hay nhận diện hoạt động bất thường ở nơi công cộng, AI thị giác biên đều giúp tăng cường an ninh và hiệu quả.

Các nhà bán lẻ cũng đang ứng dụng AI edge và thị giác máy tính. Từ kiểm kê hàng hóa tự động đến ngăn ngừa trộm cắp, các model như Ultralytics YOLO11 giúp doanh nghiệp triển khai giải pháp theo thời gian thực trực tiếp tại cửa hàng.

Tương tự, trong lĩnh vực AI trong chăm sóc sức khỏe, hoạt động giám sát trên thiết bị biên giúp bảo vệ an toàn bệnh nhân, phát hiện bất thường và hỗ trợ tuân thủ mà không gặp độ trễ do phụ thuộc vào đám mây. Với các công cụ như Jetson Orin Nano Super và Ultralytics YOLO11, tương lai của AI thị giác đang được định hình ngay tại biên, nơi công nghệ này cần thiết nhất.

Điểm chính cần ghi nhớ#

Triển khai các model Ultralytics YOLO như YOLO11 trên NVIDIA Jetson Orin Nano Super Developer Kit mang lại giải pháp đáng tin cậy và hiệu quả cho các ứng dụng AI biên. Với hiệu năng GPU mạnh mẽ, hỗ trợ nguyên bản PyTorch, ONNX và TensorRT, cùng kết quả benchmark ấn tượng, thiết bị này rất phù hợp với các tác vụ thị giác máy tính thời gian thực như phát hiện và theo dõi vật thể.

Những tiến bộ trong AI thị giác và tăng tốc phần cứng đang thay đổi cách chúng ta làm việc, giúp nhà phát triển xây dựng các giải pháp có khả năng mở rộng, hiệu năng cao ở biên. Khi AI ngày càng tiến bộ, các công cụ như Ultralytics YOLO11 và Jetson Orin Nano Super đang giúp việc xây dựng giải pháp thông minh theo thời gian thực trở nên dễ dàng hơn bao giờ hết.

Bạn quan tâm đến AI? Truy cập repository GitHub để khám phá các đóng góp của chúng tôi và kết nối với cộng đồng của chúng tôi. Tìm hiểu cách chúng tôi ứng dụng AI để tạo tác động trong các ngành như nông nghiệp và chăm sóc sức khỏe.