Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super: nhanh chóng và hiệu quả

NVIDIA Jetson Orin Nano Super Developer Kit, ra mắt vào ngày 17 tháng 12 năm 2024, là một siêu máy tính AI tạo sinh nhỏ gọn nhưng mạnh mẽ được thiết kế để mang lại các tính năng tiên tiến cho edge computing. Thiết bị này hỗ trợ xử lý thời gian thực và loại bỏ nhu cầu sử dụng điện toán đám mây. NVIDIA Jetson Orin Nano Super cho phép các nhà phát triển xây dựng các hệ thống thông minh giá cả phải chăng hoạt động hiệu quả trong các môi trường cục bộ.

Khi kết hợp với Ultralytics YOLO models như Ultralytics YOLO11, Jetson Orin Nano Super có thể xử lý một loạt các ứng dụng AI thị giác ở biên. Cụ thể, YOLO11 là một model thị giác máy tính nổi tiếng về tốc độ và độ chính xác trong các tác vụ như object detection, theo dõi đối tượng và phân đoạn cá thể.

Kết hợp năng lực của Ultralytics YOLO11 với GPU (Graphics Processing Unit) mạnh mẽ của kit và khả năng hỗ trợ các frameworks như PyTorch, ONNX và NVIDIA TensorRT cho phép triển khai hiệu suất cao. Sự kết hợp này cung cấp cho các lập trình viên một giải pháp hiệu quả để tạo các ứng dụng AI, từ phát hiện đối tượng trong robot đến theo dõi đối tượng thời gian thực trong không gian thông minh và hệ thống bán lẻ.

Trong bài viết này, chúng ta sẽ tìm hiểu về NVIDIA Jetson Orin Nano Super Developer Kit, cách thiết bị hoạt động với Ultralytics YOLO11 cho edge AI, các benchmark hiệu năng, ứng dụng thực tế và cách thiết bị có thể giúp các nhà phát triển xây dựng các dự án AI thị giác. Hãy bắt đầu ngay!

NVIDIA Jetson Orin Nano Super Developer Kit là gì?#

NVIDIA Jetson Orin Nano Super Developer Kit là một máy tính nhỏ gọn nhưng mạnh mẽ, định nghĩa lại AI tạo sinh cho các thiết bị biên nhỏ. Nó mang lại hiệu suất AI lên tới 67 TOPS (nghìn tỷ phép tính mỗi giây), khiến nó trở nên lý tưởng cho các nhà phát triển, sinh viên và những người đam mê công nghệ đang thực hiện các dự án AI tiên tiến.

Dưới đây là một số tính năng chính của thiết bị:

• Hiệu suất GPU: Thiết bị được xây dựng trên kiến trúc NVIDIA Ampere GPU, bao gồm 1.024 CUDA cores và 32 Tensor Cores. CUDA cores xử lý nhiều tác vụ đồng thời, tăng tốc các phép tính phức tạp, trong khi Tensor Cores được chuyên dụng cho các tác vụ AI như deep learning.
• CPU mạnh mẽ: Thiết bị sở hữu bộ vi xử lý Arm Cortex-A78AE 6 nhân, được thiết kế để cân bằng giữa tốc độ và hiệu quả. Thiết bị có thể xử lý nhiều tác vụ một cách mượt mà trong khi vẫn duy trì mức tiêu thụ năng lượng thấp. Điều này rất quan trọng đối với các hệ thống chạy cục bộ mà không có quyền truy cập vào các nguồn điện lớn.
• Bộ nhớ hiệu quả: Bộ công cụ đi kèm với bộ nhớ LPDDR5 (Low Power Double Data Rate 5) 8GB. LPDDR5 là một loại RAM (Random Access Memory) được tối ưu hóa cho tốc độ và hiệu suất năng lượng, cho phép thiết bị xử lý các datasets lớn và xử lý thời gian thực mà không tiêu thụ quá nhiều điện năng.
• Tùy chọn kết nối: Thiết bị bao gồm các cổng USB 3.2 để truyền dữ liệu nhanh chóng, cổng Gigabit Ethernet để kết nối mạng mạnh mẽ và các giao diện camera để tích hợp cảm biến hoặc cameras.
• Công cụ phát triển AI: Jetson Orin Nano Super hoạt động với NVIDIA JetPack SDK, cung cấp các công cụ như CUDA để tính toán nhanh hơn và TensorRT để tối ưu hóa các AI model. Các công cụ này giúp các nhà phát triển xây dựng và triển khai các ứng dụng AI một cách nhanh chóng và hiệu quả hơn.

Benchmark hiệu suất: Jetson Orin Nano Super so với Orin NX 16GB#

Nếu bạn đã quen thuộc với các sản phẩm của NVIDIA, bạn có thể tự hỏi phiên bản mới này so sánh như thế nào với NVIDIA Jetson Orin NX 16GB hiện có (không ở chế độ super). Mặc dù Jetson Orin NX cung cấp khả năng tổng thể cao hơn, nhưng Jetson Orin Nano Super Developer Kit mang lại hiệu suất ấn tượng với mức giá chỉ bằng một phần nhỏ.

Fig 2. Tổng quan về hệ sinh thái NVIDIA Jetson Orin.

Dưới đây là bảng tổng quan nhanh:

• Hiệu suất AI: Jetson Orin Nano Super đạt tới 67 TOPS, rất phù hợp cho hầu hết các tác vụ edge AI, trong khi Jetson Orin NX cung cấp tới 100 TOPS cho các ứng dụng đòi hỏi cao hơn.
• Bộ nhớ: Jetson Orin Nano Super bao gồm 8GB LPDDR5, đủ cho các tác vụ thời gian thực, trong khi Orin NX nhân đôi lên 16GB cho các khối lượng công việc lớn hơn.
• Hiệu quả năng lượng: Jetson Orin Nano Super tiết kiệm năng lượng hơn và có thể cấu hình từ 7W đến 25W, so với nhu cầu điện năng cao hơn của Jetson Orin NX.
• GPU: Cả hai đều chia sẻ kiến trúc NVIDIA Ampere với 1.024 CUDA cores và 32 Tensor Cores để đạt hiệu suất GPU mạnh mẽ.

Ultralytics YOLO11 với Jetson Orin Nano Super: Mang vision AI lên thiết bị biên#

Bây giờ chúng ta đã hiểu rõ hơn về Jetson Orin Nano Super, hãy cùng xem cách YOLO11 có thể can thiệp để mang các khả năng AI thị giác máy tính đến biên. Các model Ultralytics YOLO, bao gồm YOLO11, đi kèm với các chế độ linh hoạt như train, predict, và export, giúp chúng thích ứng với nhiều workflow AI khác nhau.

Ví dụ, trong chế độ huấn luyện (training mode), các Ultralytics YOLO models có thể được tinh chỉnh và huấn luyện trên các dataset tùy chỉnh cho các ứng dụng cụ thể, chẳng hạn như phát hiện các đối tượng độc đáo hoặc tối ưu hóa cho các môi trường cụ thể. Tương tự, chế độ dự đoán (prediction mode) được thiết kế cho việc suy luận (inference), hỗ trợ các computer vision tasks thời gian thực. Cuối cùng, chế độ xuất (export mode) có thể được sử dụng để chuyển đổi các model sang các định dạng được tối ưu hóa để triển khai.

Fig 3. Ultralytics YOLO models hỗ trợ nhiều tính năng và chế độ khác nhau.

Ultralytics YOLO11 ở chế độ export hỗ trợ nhiều tùy chọn triển khai model, bao gồm:

• NVIDIA TensorRT: Định dạng này được tối ưu hóa cho các GPU NVIDIA, cung cấp khả năng suy luận hiệu suất cao và độ trễ thấp trên Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Đảm bảo tính tương thích trên nhiều nền tảng, giúp nó linh hoạt cho các hệ sinh thái phần cứng và phần mềm khác nhau.
• TorchScript: Định dạng này là lý tưởng cho các ứng dụng dựa trên PyTorch, giúp tích hợp mượt mà vào các luồng công việc PyTorch.
• TFLite (TensorFlow Lite): Định dạng được thiết kế cho các lượt triển khai AI gọn nhẹ, hoàn hảo cho các hệ thống di động và nhúng.

Sử dụng các định dạng triển khai này, các lập trình viên có thể tận dụng tối đa phần cứng của Jetson Orin Nano Super để chạy Ultralytics YOLO11 cho các ứng dụng thời gian thực như không gian thông minh, robot và tự động hóa bán lẻ.

Đánh giá hiệu năng Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Tiếp theo, để hiểu rõ hơn về tốc độ chạy của Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super, hãy cùng khám phá hiệu năng và các benchmark ấn tượng của nó bằng cách sử dụng các định dạng xuất tăng tốc GPU như PyTorch, ONNX và TensorRT. Các thử nghiệm này cho thấy Jetson Orin Nano Super đạt thời gian suy luận với các model YOLO11 tương đương — và đôi khi vượt trội — so với Jetson Orin NX 16GB hiện tại (ở chế độ không siêu tốc).

Fig 4. Đánh giá hiệu năng Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super.

Điều làm cho thiết bị này càng trở nên đáng chú ý hơn nữa là giá cả phải chăng của Jetson Orin Nano Super. Mang lại hiệu suất như vậy với mức giá chưa bằng một nửa so với Jetson Orin NX 16GB, thiết bị cung cấp giá trị đặc biệt cho các lập trình viên xây dựng các ứng dụng Ultralytics YOLO11 hiệu suất cao. Sự kết hợp giữa chi phí và hiệu suất này biến Jetson Orin Nano Super thành một lựa chọn tuyệt vời cho các tác vụ vision AI thời gian thực tại edge.

Fig 5. Đánh giá hiệu năng Ultralytics YOLO11 trên Jetson Orin NX 16GB.

Trải nghiệm thực tế với Ultralytics YOLO11 và NVIDIA Jetson Orin Nano Super#

Nếu bạn hào hứng với việc getting started triển khai Ultralytics YOLO11 trên Jetson Orin Nano Super, thì có một tin vui - đó là một quá trình đơn giản. Sau khi flash thiết bị của bạn bằng NVIDIA JetPack SDK, bạn có thể sử dụng Docker image có sẵn để thiết lập nhanh hoặc cài đặt thủ công các package cần thiết.

Đối với những người đang tìm kiếm một sự tích hợp nhanh hơn và liền mạch hơn, container Docker JetPack 6 cập nhật là giải pháp lý tưởng. Docker container là một môi trường nhẹ, di động bao gồm tất cả các công cụ và phụ thuộc cần thiết để chạy các phần mềm cụ thể.

Container của Ultralytics, được tối ưu hóa cho JetPack 6.1, được tích hợp sẵn CUDA 12.6, TensorRT 10.3 và các công cụ thiết yếu như PyTorch và TorchVision, tất cả đều được tùy chỉnh cho kiến trúc ARM64 của Jetson. Bằng cách sử dụng container này, các nhà phát triển có thể tiết kiệm thời gian thiết lập và tập trung vào việc xây dựng và tối ưu hóa các vision AI applications của họ với YOLO11.

Các ứng dụng của Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Đối với những người đang tìm kiếm cảm hứng cho dự án AI tiếp theo của mình, tiềm năng cho các ứng dụng thị giác máy tính tại biên luôn hiện hữu xung quanh chúng ta.

Trong cuộc sống hàng ngày, edge AI đang định nghĩa lại các không gian thông minh bằng cách cho phép các hệ thống phát hiện và theo dõi vật thể trong thời gian thực mà không cần dựa vào xử lý đám mây. Dù là giám sát giao thông trong một thành phố nhộn nhịp hay xác định các hoạt động bất thường ở nơi công cộng, edge vision AI đang nâng cao tính bảo mật và hiệu quả.

Các nhà bán lẻ cũng đang tận dụng edge AI và computer vision. Từ việc kiểm tra kho hàng tự động đến theft prevention, các model như Ultralytics YOLO11 giúp các doanh nghiệp triển khai các giải pháp thời gian thực trực tiếp tại cửa hàng.

Tương tự, khi nói đến AI in healthcare, việc giám sát dựa trên edge đảm bảo sự an toàn cho bệnh nhân, phát hiện các bất thường và duy trì sự tuân thủ - tất cả đều không có độ trễ do phụ thuộc vào đám mây. Với các công cụ như Jetson Orin Nano Super và Ultralytics YOLO11, tương lai của vision AI đang diễn ra ngay tại edge, nơi nó cần thiết nhất.

Các điểm chính cần lưu ý#

Việc triển khai các model Ultralytics YOLO như YOLO11 trên NVIDIA Jetson Orin Nano Super Developer Kit mang đến một giải pháp đáng tin cậy và hiệu quả cho các ứng dụng edge AI. Với hiệu suất GPU mạnh mẽ, khả năng hỗ trợ liền mạch cho PyTorch, ONNX và TensorRT cùng các benchmark ấn tượng, nó rất phù hợp cho các tác vụ thị giác máy tính thời gian thực như object detection và tracking.

Những đổi mới và hợp tác trong các công nghệ tiên tiến như vision AI và gia tốc phần cứng đang thay đổi cách chúng ta làm việc, trao quyền cho các lập trình viên xây dựng các giải pháp có khả năng mở rộng và hiệu suất cao tại edge. Khi AI tiến步, các công cụ như Ultralytics YOLO11 và Jetson Orin Nano Super đang giúp việc hiện thực hóa các giải pháp thông minh, thời gian thực trở nên dễ dàng hơn bao giờ hết.

Bạn tò mò về AI? Hãy truy cập GitHub repository của chúng tôi để khám phá các đóng góp của chúng tôi và tương tác với our community. Xem cách chúng tôi đang sử dụng AI để tạo ra tác động trong các ngành như nông nghiệp và chăm sóc sức khỏe.