Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super: nhanh chóng và hiệu quả

NVIDIA Jetson Orin Nano Super Developer Kit, ra mắt vào ngày 17 tháng 12 năm 2024, là một siêu máy tính AI tạo sinh nhỏ gọn nhưng mạnh mẽ, được thiết kế để mang các khả năng tiên tiến vào edge computing. Thiết bị này hỗ trợ xử lý thời gian thực và loại bỏ nhu cầu sử dụng điện toán đám mây. NVIDIA Jetson Orin Nano Super cho phép các nhà phát triển xây dựng các hệ thống thông minh với chi phí phải chăng, hoạt động hiệu quả trong môi trường cục bộ.

Khi kết hợp với Ultralytics YOLO models như Ultralytics YOLO11, Jetson Orin Nano Super có thể xử lý hàng loạt các ứng dụng AI thị giác máy tính tại biên. Đặc biệt, YOLO11 là một model thị giác máy tính nổi tiếng về tốc độ và độ chính xác trong các tác vụ như object detection, object tracking và instance segmentation.

Việc kết hợp khả năng của YOLO11 với GPU (Graphics Processing Unit) mạnh mẽ của bộ kit này và sự hỗ trợ cho các frameworks như PyTorch, ONNX, và NVIDIA TensorRT cho phép triển khai đạt hiệu suất cao. Sự kết hợp này cung cấp cho nhà phát triển một giải pháp hiệu quả để tạo các ứng dụng AI, từ object detection trong lĩnh vực robot đến real-time object tracking trong các không gian thông minh và hệ thống bán lẻ.

Trong bài viết này, chúng ta sẽ xem xét NVIDIA Jetson Orin Nano Super Developer Kit, cách nó hoạt động với Ultralytics YOLO11 cho edge AI, các benchmark hiệu suất, các ứng dụng thực tế và cách nó có thể giúp nhà phát triển xây dựng các dự án AI thị giác máy tính. Hãy cùng bắt đầu!

Link to this sectionNVIDIA Jetson Orin Nano Super Developer Kit là gì?#

NVIDIA Jetson Orin Nano Super Developer Kit là một máy tính nhỏ gọn nhưng mạnh mẽ, định nghĩa lại AI tạo sinh cho các thiết bị biên nhỏ. Nó mang lại hiệu suất AI lên tới 67 TOPS (nghìn tỷ phép tính mỗi giây), khiến nó trở nên lý tưởng cho các nhà phát triển, sinh viên và những người đam mê công nghệ đang thực hiện các dự án AI tiên tiến.

Dưới đây là một số tính năng chính của thiết bị:

• Hiệu suất GPU: Thiết bị được xây dựng trên kiến trúc NVIDIA Ampere GPU, bao gồm 1.024 CUDA cores và 32 Tensor Cores. CUDA cores xử lý nhiều tác vụ đồng thời, tăng tốc các phép tính phức tạp, trong khi Tensor Cores được chuyên dụng cho các tác vụ AI như deep learning.
• CPU mạnh mẽ: Thiết bị sở hữu bộ vi xử lý Arm Cortex-A78AE 6 nhân, được thiết kế để cân bằng giữa tốc độ và hiệu quả. Thiết bị có thể xử lý nhiều tác vụ một cách mượt mà trong khi vẫn duy trì mức tiêu thụ năng lượng thấp. Điều này rất quan trọng đối với các hệ thống chạy cục bộ mà không có quyền truy cập vào các nguồn điện lớn.
• Bộ nhớ hiệu quả: Bộ kit đi kèm với 8GB bộ nhớ LPDDR5 (Low Power Double Data Rate 5). LPDDR5 là một loại RAM (Random Access Memory) được tối ưu hóa cho tốc độ và hiệu quả năng lượng, cho phép thiết bị xử lý các datasets lớn và thực hiện xử lý thời gian thực mà không tiêu tốn quá nhiều điện năng.
• Tùy chọn kết nối: Thiết bị bao gồm các cổng USB 3.2 cho tốc độ truyền dữ liệu nhanh, một cổng Gigabit Ethernet cho kết nối mạng ổn định và các giao diện camera để tích hợp cảm biến hoặc cameras.
• Công cụ phát triển AI: Jetson Orin Nano Super hoạt động với NVIDIA JetPack SDK, cung cấp các công cụ như CUDA để tính toán nhanh hơn và TensorRT để tối ưu hóa các model AI. Những công cụ này giúp các nhà phát triển xây dựng và triển khai các ứng dụng AI một cách nhanh chóng và hiệu quả hơn.

Link to this sectionBenchmark hiệu suất: Jetson Orin Nano Super so với Orin NX 16GB#

Nếu bạn đã quen thuộc với các sản phẩm của NVIDIA, bạn có thể tự hỏi phiên bản mới này so sánh như thế nào với NVIDIA Jetson Orin NX 16GB hiện có (không ở chế độ super). Mặc dù Jetson Orin NX cung cấp khả năng tổng thể cao hơn, nhưng Jetson Orin Nano Super Developer Kit mang lại hiệu suất ấn tượng với mức giá chỉ bằng một phần nhỏ.

Hình 2. Cái nhìn tổng quan về hệ sinh thái NVIDIA Jetson Orin.

Dưới đây là bảng tổng quan nhanh:

• Hiệu suất AI: Jetson Orin Nano Super đạt tới 67 TOPS, rất phù hợp cho hầu hết các tác vụ edge AI, trong khi Jetson Orin NX cung cấp tới 100 TOPS cho các ứng dụng đòi hỏi cao hơn.
• Bộ nhớ: Jetson Orin Nano Super bao gồm 8GB LPDDR5, đủ cho các tác vụ thời gian thực, trong khi Orin NX nhân đôi lên 16GB cho các khối lượng công việc lớn hơn.
• Hiệu quả năng lượng: Jetson Orin Nano Super tiết kiệm năng lượng hơn và có thể cấu hình từ 7W đến 25W, so với nhu cầu điện năng cao hơn của Jetson Orin NX.
• GPU: Cả hai đều chia sẻ kiến trúc NVIDIA Ampere với 1.024 CUDA cores và 32 Tensor Cores để đạt hiệu suất GPU mạnh mẽ.

Link to this sectionYOLO11 với Jetson Orin Nano Super: Đưa AI thị giác máy tính đến biên#

Bây giờ chúng ta đã hiểu rõ hơn về Jetson Orin Nano Super, hãy cùng xem cách YOLO11 có thể can thiệp để mang các khả năng AI thị giác máy tính đến biên. Các model Ultralytics YOLO, bao gồm YOLO11, đi kèm với các chế độ linh hoạt như train, predict, và export, giúp chúng thích ứng với nhiều workflow AI khác nhau.

Ví dụ, ở chế độ train, các model Ultralytics YOLO có thể được tinh chỉnh và huấn luyện trên các datasets tùy chỉnh cho các ứng dụng cụ thể, chẳng hạn như phát hiện các vật thể độc đáo hoặc tối ưu hóa cho các môi trường đặc thù. Tương tự, chế độ predict được thiết kế cho suy luận, cho phép thực hiện các computer vision tasks thời gian thực. Cuối cùng, chế độ export có thể được sử dụng để chuyển đổi các model sang các định dạng được tối ưu hóa cho việc triển khai.

Hình 3. Các model Ultralytics YOLO hỗ trợ nhiều tính năng và chế độ khác nhau.

YOLO11 ở chế độ export hỗ trợ nhiều tùy chọn triển khai model, bao gồm:

• NVIDIA TensorRT: Định dạng này được tối ưu hóa cho các GPU NVIDIA, cung cấp khả năng suy luận hiệu suất cao và độ trễ thấp trên Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Đảm bảo tính tương thích trên nhiều nền tảng, giúp nó linh hoạt cho các hệ sinh thái phần cứng và phần mềm khác nhau.
• TorchScript: Định dạng này là lý tưởng cho các ứng dụng dựa trên PyTorch, hỗ trợ tích hợp liền mạch vào các workflow của PyTorch.
• TFLite (TensorFlow Lite): Một định dạng được thiết kế cho các triển khai AI nhẹ, rất phù hợp cho các thiết bị di động và nhúng.

Sử dụng các định dạng triển khai này, các nhà phát triển có thể tận dụng tối đa phần cứng của Jetson Orin Nano Super để chạy YOLO11 cho các ứng dụng thời gian thực như không gian thông minh, robot và tự động hóa bán lẻ.

Link to this sectionBenchmarking YOLO11 trên NVIDIA Jetson Orin Nano Super#

Tiếp theo, để hiểu rõ hơn về tốc độ chạy của YOLO11 trên NVIDIA Jetson Orin Nano Super, hãy cùng khám phá hiệu suất ấn tượng và các benchmark của nó bằng cách sử dụng các định dạng export tăng tốc GPU như PyTorch, ONNX và TensorRT. Các thử nghiệm này cho thấy Jetson Orin Nano Super đạt được thời gian suy luận với các model YOLO11 tương đương - và đôi khi vượt qua - Jetson Orin NX 16GB hiện có (không ở chế độ super).

Hình 4. Benchmarking YOLO11 trên NVIDIA Jetson Orin Nano Super.

Điều khiến kết quả này trở nên đáng kinh ngạc hơn nữa chính là khả năng chi trả của Jetson Orin Nano Super. Mang lại hiệu suất như vậy với mức giá chưa bằng một nửa Jetson Orin NX 16GB, nó cung cấp giá trị đặc biệt cho các nhà phát triển xây dựng các ứng dụng YOLO11 hiệu suất cao. Sự kết hợp giữa chi phí và hiệu suất này khiến Jetson Orin Nano Super trở thành một lựa chọn tuyệt vời cho các tác vụ AI thị giác máy tính thời gian thực tại biên.

Hình 5. Benchmarking YOLO11 trên Jetson Orin NX 16GB.

Link to this sectionTrải nghiệm thực tế với YOLO11 và NVIDIA Jetson Orin Nano Super#

Nếu bạn đang hào hứng với việc bắt đầu triển khai YOLO11 trên Jetson Orin Nano Super, thì có một tin tốt là quy trình này rất đơn giản. Sau khi flash thiết bị của bạn với NVIDIA JetPack SDK, bạn có thể sử dụng Docker image có sẵn để thiết lập nhanh hoặc cài đặt thủ công các gói cần thiết.

Đối với những người đang tìm kiếm một sự tích hợp nhanh hơn và liền mạch hơn, container Docker JetPack 6 cập nhật là giải pháp lý tưởng. Docker container là một môi trường nhẹ, di động bao gồm tất cả các công cụ và phụ thuộc cần thiết để chạy các phần mềm cụ thể.

Container của Ultralytics, được tối ưu hóa cho JetPack 6.1, đi kèm với CUDA 12.6, TensorRT 10.3 và các công cụ cần thiết như PyTorch và TorchVision được tải sẵn, tất cả đều được thiết kế riêng cho kiến trúc ARM64 của Jetson. Bằng cách sử dụng container này, các nhà phát triển có thể tiết kiệm thời gian thiết lập và tập trung vào việc xây dựng và tối ưu hóa các vision AI applications của họ với YOLO11.

Link to this sectionCác ứng dụng của YOLO11 trên NVIDIA Jetson Orin Nano Super#

Đối với những người đang tìm kiếm cảm hứng cho dự án AI tiếp theo của mình, tiềm năng cho các ứng dụng thị giác máy tính tại biên luôn hiện hữu xung quanh chúng ta.

Trong cuộc sống hàng ngày, edge AI đang định nghĩa lại các không gian thông minh bằng cách cho phép các hệ thống phát hiện và theo dõi vật thể trong thời gian thực mà không cần dựa vào xử lý đám mây. Dù là giám sát giao thông trong một thành phố nhộn nhịp hay xác định các hoạt động bất thường ở nơi công cộng, edge vision AI đang nâng cao tính bảo mật và hiệu quả.

Các nhà bán lẻ cũng đang tận dụng edge AI và thị giác máy tính. Từ kiểm kê hàng hóa tự động đến phòng chống trộm cắp, các model như YOLO11 giúp các doanh nghiệp có thể triển khai các giải pháp thời gian thực ngay tại cửa hàng.

Tương tự, khi nói đến AI trong chăm sóc sức khỏe, việc giám sát tại biên đảm bảo an toàn cho bệnh nhân, phát hiện các điểm bất thường và duy trì tuân thủ - tất cả mà không bị chậm trễ do sự phụ thuộc vào đám mây. Với các công cụ như Jetson Orin Nano Super và YOLO11, tương lai của vision AI đang mở ra ngay tại biên, nơi nó cần thiết nhất.

Link to this sectionCác điểm chính cần lưu ý#

Việc triển khai các model Ultralytics YOLO như YOLO11 trên NVIDIA Jetson Orin Nano Super Developer Kit mang đến một giải pháp đáng tin cậy và hiệu quả cho các ứng dụng edge AI. Với hiệu suất GPU mạnh mẽ, khả năng hỗ trợ liền mạch cho PyTorch, ONNX và TensorRT cùng các benchmark ấn tượng, nó rất phù hợp cho các tác vụ thị giác máy tính thời gian thực như object detection và tracking.

Những đổi mới và hợp tác trong các công nghệ tiên tiến như vision AI và tăng tốc phần cứng đang thay đổi cách chúng ta làm việc, giúp các nhà phát triển xây dựng các giải pháp có thể mở rộng và hiệu suất cao tại biên. Khi AI phát triển, các công cụ như YOLO11 và Jetson Orin Nano Super đang giúp việc hiện thực hóa các giải pháp thông minh thời gian thực trở nên dễ dàng hơn bao giờ hết.

Bạn tò mò về AI? Hãy truy cập GitHub repository của chúng tôi để khám phá các đóng góp của chúng tôi và tham gia cùng cộng đồng của chúng tôi. Hãy xem cách chúng tôi sử dụng AI để tạo tác động trong các ngành như nông nghiệp và chăm sóc sức khỏe.