Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super: nhanh và hiệu quả

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super, ra mắt ngày 17 tháng 12 năm 2024, là một siêu máy tính AI tạo sinh nhỏ gọn nhưng mạnh mẽ, được thiết kế để mang các khả năng nâng cao đến điện toán biên. Thiết bị hỗ trợ xử lý theo thời gian thực và loại bỏ nhu cầu sử dụng điện toán đám mây. NVIDIA Jetson Orin Nano Super cho phép các nhà phát triển xây dựng những hệ thống thông minh với chi phí hợp lý, hoạt động hiệu quả trong môi trường cục bộ.

Khi kết hợp với các model Ultralytics YOLO như Ultralytics YOLO11, Jetson Orin Nano Super có thể xử lý nhiều ứng dụng AI thị giác trên thiết bị biên. Cụ thể, YOLO11 là một model thị giác máy tính nổi tiếng về tốc độ và độ chính xác trong các tác vụ như phát hiện đối tượng, theo dõi đối tượng và phân đoạn instance.

Việc kết hợp các khả năng của Ultralytics YOLO11 với GPU (Bộ xử lý đồ họa) mạnh mẽ của bộ công cụ và khả năng hỗ trợ các framework như PyTorch, ONNX và NVIDIA TensorRT cho phép triển khai hiệu năng cao. Sự kết hợp này cung cấp cho các nhà phát triển một giải pháp hiệu quả để tạo các ứng dụng AI, từ phát hiện đối tượng trong robot đến theo dõi đối tượng theo thời gian thực trong không gian thông minh và hệ thống bán lẻ.

Trong bài viết này, chúng ta sẽ tìm hiểu về Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super, cách thiết bị hoạt động cùng Ultralytics YOLO11 cho AI biên, các benchmark hiệu năng, ứng dụng thực tế và cách thiết bị có thể hỗ trợ các nhà phát triển xây dựng dự án AI thị giác. Hãy bắt đầu!

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super là gì?#

Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super là một máy tính nhỏ gọn nhưng mạnh mẽ, định hình lại AI tạo sinh cho các thiết bị biên nhỏ. Thiết bị cung cấp hiệu năng AI lên đến 67 TOPS (nghìn tỷ phép tính mỗi giây), phù hợp cho các nhà phát triển, sinh viên và người yêu thích công nghệ thực hiện những dự án AI nâng cao.

Dưới đây là một số tính năng chính của thiết bị:

• Hiệu năng GPU: Thiết bị được xây dựng trên GPU sử dụng kiến trúc NVIDIA Ampere, bao gồm 1.024 lõi CUDA và 32 Tensor Core. Các lõi CUDA xử lý đồng thời nhiều tác vụ, tăng tốc các phép tính phức tạp, trong khi Tensor Core được tối ưu riêng cho những tác vụ AI như deep learning.
• CPU mạnh mẽ: Thiết bị được trang bị bộ xử lý 6 lõi Arm Cortex-A78AE, được thiết kế để cân bằng giữa tốc độ và hiệu quả. Thiết bị có thể xử lý mượt mà nhiều tác vụ đồng thời trong khi vẫn duy trì mức tiêu thụ năng lượng thấp. Điều này rất quan trọng đối với các hệ thống hoạt động cục bộ mà không có nguồn điện công suất lớn.
• Bộ nhớ hiệu quả: Bộ công cụ đi kèm 8GB bộ nhớ LPDDR5 (Tốc độ dữ liệu kép công suất thấp 5). LPDDR5 là một loại RAM (Bộ nhớ truy cập ngẫu nhiên) được tối ưu về tốc độ và hiệu quả năng lượng, cho phép thiết bị xử lý các dataset lớn và xử lý theo thời gian thực mà không tiêu thụ quá nhiều điện năng.
• Tùy chọn kết nối: Thiết bị có các cổng USB 3.2 để truyền dữ liệu nhanh, một cổng Gigabit Ethernet cho kết nối mạng ổn định và các giao diện camera để tích hợp cảm biến hoặc camera.
• Công cụ phát triển AI: Jetson Orin Nano Super hoạt động với NVIDIA JetPack SDK, cung cấp các công cụ như CUDA để tính toán nhanh hơn và TensorRT để tối ưu hóa các model AI. Những công cụ này giúp các nhà phát triển dễ dàng xây dựng và triển khai ứng dụng AI nhanh chóng, hiệu quả hơn.

Benchmark hiệu năng: Jetson Orin Nano Super so với Orin NX 16GB#

Nếu bạn quen thuộc với các sản phẩm của NVIDIA, có thể bạn sẽ thắc mắc phiên bản mới này so sánh như thế nào với NVIDIA Jetson Orin NX 16GB hiện có (không có chế độ Super). Mặc dù Jetson Orin NX cung cấp khả năng tổng thể cao hơn, Bộ công cụ dành cho nhà phát triển Jetson Orin Nano Super vẫn mang lại hiệu năng ấn tượng với chi phí chỉ bằng một phần nhỏ.

Hình 2. Tổng quan về hệ sinh thái NVIDIA Jetson Orin.

Dưới đây là tổng quan nhanh:

• Hiệu năng AI: Jetson Orin Nano Super cung cấp tối đa 67 TOPS, đáp ứng tốt hầu hết tác vụ AI biên, trong khi Jetson Orin NX cung cấp tối đa 100 TOPS cho các ứng dụng đòi hỏi cao hơn.
• Bộ nhớ: Jetson Orin Nano Super có 8GB LPDDR5, đủ cho các tác vụ theo thời gian thực, trong khi Orin NX tăng gấp đôi lên 16GB để xử lý các workload lớn hơn.
• Hiệu quả năng lượng: Jetson Orin Nano Super tiết kiệm năng lượng hơn và có thể cấu hình trong khoảng từ 7W đến 25W, so với nhu cầu công suất cao hơn của Jetson Orin NX.
• GPU: Cả hai đều sử dụng kiến trúc NVIDIA Ampere với 1.024 lõi CUDA và 32 Tensor Core, mang lại hiệu năng GPU mạnh mẽ.

Ultralytics YOLO11 với Jetson Orin Nano Super: Đưa AI thị giác đến thiết bị biên#

Giờ đây, khi đã hiểu rõ hơn về Jetson Orin Nano Super, hãy cùng xem YOLO11 có thể mang các khả năng AI thị giác đến thiết bị biên như thế nào. Các model Ultralytics YOLO, bao gồm YOLO11, có những mode linh hoạt như train, predict và export, giúp chúng thích ứng với nhiều workflow AI khác nhau.

Ví dụ, trong mode train, các model Ultralytics YOLO có thể được fine-tune và train trên các dataset tùy chỉnh cho những ứng dụng cụ thể, chẳng hạn như phát hiện các đối tượng đặc thù hoặc tối ưu hóa cho những môi trường cụ thể. Tương tự, mode predict được thiết kế cho inference, cho phép thực hiện tác vụ thị giác máy tính theo thời gian thực. Cuối cùng, mode export có thể được sử dụng để chuyển đổi model sang các format được tối ưu cho việc triển khai.

Hình 3. Các model Ultralytics YOLO hỗ trợ nhiều tính năng và mode khác nhau.

Ultralytics YOLO11 ở mode export hỗ trợ nhiều tùy chọn triển khai model, bao gồm:

• NVIDIA TensorRT: Format này được tối ưu cho GPU NVIDIA, cung cấp khả năng inference hiệu năng cao với độ trễ thấp trên Jetson Orin Nano Super.
• ONNX (Trao đổi mạng nơ-ron mở): Format này đảm bảo khả năng tương thích trên nhiều nền tảng, phù hợp với các hệ sinh thái phần cứng và phần mềm khác nhau.
• TorchScript: Format này lý tưởng cho các ứng dụng dựa trên PyTorch, hỗ trợ tích hợp liền mạch vào các workflow PyTorch.
• TFLite (TensorFlow Lite): Format được thiết kế cho các triển khai AI nhẹ, rất phù hợp với hệ thống di động và hệ thống nhúng.

Bằng cách sử dụng các format triển khai này, các nhà phát triển có thể tận dụng tối đa phần cứng của Jetson Orin Nano Super để chạy Ultralytics YOLO11 trong các ứng dụng theo thời gian thực như không gian thông minh, robot và tự động hóa bán lẻ.

Benchmark Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Tiếp theo, để hiểu rõ hơn về tốc độ chạy của Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super, hãy cùng khám phá hiệu năng và các benchmark ấn tượng của thiết bị bằng những format export được tăng tốc GPU như PyTorch, ONNX và TensorRT. Các thử nghiệm cho thấy Jetson Orin Nano Super đạt thời gian inference với các model YOLO11 tương đương, và đôi khi còn vượt qua, NVIDIA Jetson Orin NX 16GB hiện có (không có chế độ Super).

Hình 4. Benchmark Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super.

Điều khiến kết quả này càng ấn tượng hơn là mức giá hợp lý của Jetson Orin Nano Super. Với hiệu năng như vậy nhưng giá chưa bằng một nửa Jetson Orin NX 16GB, thiết bị mang lại giá trị vượt trội cho các nhà phát triển xây dựng ứng dụng Ultralytics YOLO11 hiệu năng cao. Sự kết hợp giữa chi phí và hiệu năng này khiến Jetson Orin Nano Super trở thành lựa chọn xuất sắc cho các tác vụ AI thị giác theo thời gian thực ở biên.

Hình 5. Benchmark Ultralytics YOLO11 trên Jetson Orin NX 16GB.

Trải nghiệm thực tế Ultralytics YOLO11 và NVIDIA Jetson Orin Nano Super#

Nếu bạn hào hứng muốn bắt đầu triển khai Ultralytics YOLO11 trên Jetson Orin Nano Super, tin vui là quy trình này khá đơn giản. Sau khi flash thiết bị bằng NVIDIA JetPack SDK, bạn có thể sử dụng image Docker dựng sẵn để thiết lập nhanh hoặc cài đặt thủ công các package cần thiết.

Đối với những ai muốn tích hợp nhanh và liền mạch hơn, container Docker JetPack 6 được cập nhật là giải pháp lý tưởng. Container Docker là một môi trường nhẹ, portable, bao gồm tất cả công cụ và dependency cần thiết để chạy phần mềm cụ thể.

Container Ultralytics, được tối ưu cho JetPack 6.1, được cài sẵn CUDA 12.6, TensorRT 10.3 và các công cụ thiết yếu như PyTorch và TorchVision, tất cả đều được tinh chỉnh cho kiến trúc ARM64 của Jetson. Bằng cách sử dụng container này, các nhà phát triển có thể tiết kiệm thời gian thiết lập và tập trung xây dựng, tối ưu hóa ứng dụng AI thị giác với YOLO11.

Các ứng dụng của Ultralytics YOLO11 trên NVIDIA Jetson Orin Nano Super#

Nếu bạn đang tìm cảm hứng cho dự án AI tiếp theo, các ứng dụng thị giác máy tính dựa trên thiết bị biên có tiềm năng xuất hiện ở khắp nơi xung quanh chúng ta.

Trong đời sống hằng ngày, AI biên đang định hình lại các không gian thông minh bằng cách cho phép hệ thống phát hiện và theo dõi đối tượng theo thời gian thực mà không cần phụ thuộc vào xử lý trên đám mây. Dù là giám sát giao thông trong một thành phố nhộn nhịp hay xác định hoạt động bất thường tại các không gian công cộng, AI thị giác biên đang nâng cao an ninh và hiệu quả.

Các nhà bán lẻ cũng đang tận dụng AI biên và thị giác máy tính. Từ kiểm kê hàng hóa tự động đến phòng chống trộm cắp, các model như Ultralytics YOLO11 giúp doanh nghiệp có thể triển khai trực tiếp các giải pháp theo thời gian thực tại cửa hàng.

Tương tự, trong lĩnh vực AI trong chăm sóc sức khỏe, hoạt động giám sát dựa trên thiết bị biên giúp đảm bảo an toàn cho bệnh nhân, phát hiện bất thường và duy trì việc tuân thủ quy định mà không bị chậm trễ do phụ thuộc vào đám mây. Với các công cụ như Jetson Orin Nano Super và Ultralytics YOLO11, tương lai của AI thị giác đang được hiện thực hóa ngay tại biên, nơi công nghệ này cần thiết nhất.

Những điểm chính#

Triển khai các model Ultralytics YOLO như YOLO11 trên Bộ công cụ dành cho nhà phát triển NVIDIA Jetson Orin Nano Super mang lại một giải pháp đáng tin cậy và hiệu quả cho các ứng dụng AI biên. Với hiệu năng GPU mạnh mẽ, khả năng hỗ trợ liền mạch cho PyTorch, ONNX và TensorRT cùng các benchmark ấn tượng, thiết bị rất phù hợp với những tác vụ thị giác máy tính theo thời gian thực như phát hiện và theo dõi đối tượng.

Các đổi mới và hoạt động hợp tác trong những công nghệ tiên tiến như AI thị giác và tăng tốc phần cứng đang chuyển đổi cách chúng ta làm việc, trao quyền cho các nhà phát triển xây dựng những giải pháp hiệu năng cao, có khả năng mở rộng tại biên. Khi AI tiếp tục phát triển, các công cụ như Ultralytics YOLO11 và Jetson Orin Nano Super đang giúp việc đưa các giải pháp thông minh, theo thời gian thực vào thực tế trở nên dễ dàng hơn bao giờ hết.

Bạn tò mò về AI? Hãy truy cập repository GitHub của chúng tôi để khám phá những đóng góp của chúng tôi và tham gia cùng cộng đồng. Tìm hiểu cách chúng tôi đang ứng dụng AI để tạo ra tác động trong các ngành như nông nghiệp và chăm sóc sức khỏe.