Ultralytics YOLO hợp tác với DEEPX: Suy luận Edge AI cho Physical AI

Tại Ultralytics, chúng tôi nhận thấy xu hướng ngày càng tăng trong việc chạy model thị giác máy tính trực tiếp trên thiết bị biên khi AI ngày càng gắn sâu vào thế giới vật lý. Từ robot và máy móc công nghiệp đến camera thông minh và phương tiện tự hành, ngày càng nhiều hệ thống thông minh cần quan sát, hiểu và hành động theo thời gian thực mà không phụ thuộc vào đám mây.

Làn sóng hệ thống thông minh mới này được gọi là AI vật lý, đòi hỏi khả năng tính toán hiệu năng cao, siêu tiết kiệm năng lượng và có thể hoạt động tự chủ trong thế giới thực. Các hệ thống thực tế cần AI thị giác chạy cục bộ, đáng tin cậy và hiệu quả trên phần cứng được thiết kế chuyên biệt cho biên.

Các model Ultralytics YOLO như Ultralytics YOLO26 được thiết kế cho thị giác máy tính thời gian thực, nhưng để khai thác tối đa tiềm năng trên thiết bị biên cần có sự kết hợp phù hợp giữa phần mềm và phần cứng. Vì vậy, chúng tôi rất vui mừng thông báo quan hệ đối tác mới với DEEPX.

Chúng tôi hợp tác với DEEPX để giới thiệu tích hợp xuất model mới, cho phép triển khai hiệu quả, hiệu năng cao các model Ultralytics YOLO trên phần cứng NPU của DEEPX. Cùng nhau, chúng tôi đang thiết lập một tiêu chuẩn toàn cầu thống nhất về cách xây dựng, triển khai và mở rộng AI vật lý.

Hình 1. Hệ sinh thái phần cứng DEEPX dành cho inference AI trên thiết bị, gồm module DX-M1 M.2 và hộp AI DX-AIPlayer N97.

Tầm nhìn chung về tương lai của AI vật lý#

Là framework thị giác máy tính được áp dụng rộng rãi nhất thế giới, Ultralytics cung cấp “đôi mắt” cho các hệ thống này. Là một trong những nhà sản xuất NPU hiệu quả nhất, DEEPX cung cấp “bộ não” để vận hành các hệ thống đó trên quy mô lớn.

Tại Ultralytics và DEEPX, chúng tôi đề cao khả năng tiếp cận, hiệu năng và thiết kế ưu tiên nhà phát triển. Bằng cách kết hợp hệ sinh thái Ultralytics và DEEPX, chúng tôi cung cấp một lộ trình thống nhất, đáng tin cậy để triển khai AI thị giác cho mục đích thương mại, dù bạn là công ty robot giai đoạn đầu đang phát hành sản phẩm đầu tiên hay nhà sản xuất trong danh sách Fortune 500 triển khai AI thị giác tại hàng nghìn cơ sở.

Điều này mang lại:

• Rút ngắn thời gian đưa sản phẩm ra thị trường: Từ gán nhãn đến triển khai chỉ trong vài ngày, thay vì vài tháng.
• Giảm chi phí triển khai: Hiệu năng tương đương GPU với mức tiêu thụ điện năng và chi phí silicon chỉ bằng một phần nhỏ, cung cấp hơn 250 FPS với công suất tiêu thụ 2-4 W.
• Cơ hội doanh thu mới: Xây dựng và đưa ra thị trường các sản phẩm AI biên trước đây không khả thi về mặt kinh tế.
• Khả năng mở rộng sẵn sàng cho tương lai: Pipeline CI/CD chuyên biệt đảm bảo mọi phiên bản Ultralytics mới đều hoạt động ngay với phần cứng DEEPX, được hỗ trợ bởi cam kết cung ứng nhiều năm của DEEPX.

Khám phá công nghệ NPU của DEEPX#

DEEPX là đơn vị đổi mới trong lĩnh vực bán dẫn AI, cung cấp phần cứng AI biên hiệu quả được thiết kế chuyên biệt cho các model thị giác như Ultralytics YOLO, với chỉ số số khung hình mỗi giây trên mỗi watt (FPS/W) hàng đầu. Thay vì tối ưu theo các chỉ số lý thuyết, DEEPX tập trung vào hiệu quả trong thực tế, giúp nhà phát triển đạt được kết quả tương đương GPU với mức tiêu thụ điện năng chỉ bằng một phần nhỏ.

Thiết kế full-stack giúp hiện thực hóa điều này. NPU DX-M1 được thiết kế chuyên biệt để tăng tốc các mô hình tính toán của model thị giác máy tính, với khả năng làm mát thụ động và mức tiêu thụ điện năng thấp, phù hợp cho triển khai quy mô sản xuất, nơi hiệu năng trên mỗi watt và độ tin cậy lâu dài rất quan trọng.

Khi AI edge ngày càng được ứng dụng rộng rãi, điều quan trọng là hiệu năng bền vững: chạy model tiên tiến một cách đáng tin cậy trong giới hạn chặt chẽ về năng lượng và nhiệt độ, đồng thời duy trì khả năng mở rộng cho triển khai thực tế. Vì vậy, FPS trên mỗi watt đã trở thành một trong những chỉ số quan trọng nhất để đánh giá nền tảng AI edge.

Hình 2. Benchmark đường Pareto của YOLO26, YOLO11 và YOLOv8 trên NPU DX-M1. Đo trên DX-M1 với máy chủ i5-14600K (RAM 32GB), SDK dx-com v2.3.0, chỉ tính chip NPU.

Khi thị trường chuyển từ PoC sang triển khai quy mô lớn, khách hàng ngày càng cần chạy đồng thời nhiều model AI trong cùng giới hạn năng lượng và nhiệt độ. Biểu đồ trên cho thấy YOLO26 luôn đạt được sự cân bằng tốt hơn giữa độ chính xác và hiệu quả: YOLO26n đạt khoảng 405 FPS/W trên DX-M1, cho phép nhà phát triển chạy các workload AI tiên tiến hơn mà không cần chuyển sang phần cứng lớn hơn, tiêu thụ nhiều năng lượng hơn.

Bắt đầu xuất model Ultralytics YOLO sang DEEPX#

Package Python Ultralytics và Ultralytics Platform cung cấp môi trường thống nhất, toàn diện để training, đánh giá và triển khai model YOLO trên tất cả tác vụ thị giác máy tính được hỗ trợ. Dù bạn thích làm việc với code hay thông qua workflow trực quan, liền mạch, cả hai phương thức đều cung cấp cách thức nhất quán và có khả năng mở rộng để đưa model từ dữ liệu đến triển khai.

Thông qua quan hệ đối tác này, Ultralytics đã giới thiệu tích hợp export mới với DEEPX, cho phép export model YOLO để triển khai trên phần cứng NPU DEEPX chỉ bằng một lệnh: format=deepx. Tích hợp này được hỗ trợ đầy đủ trên toàn hệ sinh thái Ultralytics, nghĩa là nhà phát triển có thể export sang DEEPX từ package Python hoặc trực tiếp từ Ultralytics Platform sau khi gán nhãn và training model. Trong quá trình export, model được biên dịch và lượng tử hóa INT8 thành tệp nhị phân .dxnn đã tối ưu; hiệu chuẩn dựa trên EMA đảm bảo hiệu năng NPU tối đa mà không làm giảm chất lượng model.

Trên thực tế, điều này có nghĩa là các nhóm thương mại có thể chuyển từ dữ liệu đã gán nhãn đến model sẵn sàng cho môi trường sản xuất, chạy trên NPU DEEPX chỉ với ba lệnh:

# Step 1: Install Ultralytics
pip install ultralytics

# Step 2: Export your YOLO model to DEEPX format
yolo export model=yolo26n.pt format=deepx

# Step 3: Run inference on DEEPX hardware
yolo detect predict model=yolo26n_deepx_model

Để xem hướng dẫn thiết lập đầy đủ, bao gồm cài đặt runtime và trực quan hóa bằng trình xem đồ thị dxtron của DEEPX, hãy tham khảo tài liệu tích hợp DEEPX.

Lợi ích chính khi chạy model Ultralytics YOLO trên NPU DEEPX#

Dưới đây là một số lợi ích chính khi triển khai model Ultralytics YOLO trên phần cứng DEEPX bằng tích hợp mới:

• Tích hợp liền mạch với workflow Ultralytics: Export model YOLO để triển khai trên DEEPX được tích hợp tự nhiên vào package Python Ultralytics, với một lệnh format=deepx duy nhất để chuẩn hóa quy trình triển khai edge.
• Hỗ trợ nhiều tác vụ thị giác máy tính: Bạn có thể triển khai model cho các tác vụ phát hiện đối tượng, phân đoạn đối tượng, phân loại, ước lượng tư thế và phát hiện hộp giới hạn định hướng (OBB) trên YOLOv8, YOLO11 và YOLO26, cùng với phân đoạn ngữ nghĩa và ước lượng độ sâu trên YOLO26.
• Suy luận biên siêu hiệu quả: NPU DEEPX mang lại hiệu năng tương đương GPU với mức tiêu thụ điện năng chỉ bằng một phần nhỏ, cùng khả năng làm mát thụ động và mức tiêu thụ điện siêu thấp, lý tưởng cho triển khai quy mô sản xuất.
• Nền tảng sẵn sàng cho tương lai: Pipeline CI/CD chuyên biệt đảm bảo khả năng tương thích ngay với mọi phiên bản Ultralytics mới, trong khi lộ trình từ DX-M1 đến DX-M2 mở rộng cùng software stack sang kỷ nguyên AI tác nhân.
• Khả năng mở rộng trên các ứng dụng AI vật lý: Từ giám sát thông minh và kiểm tra công nghiệp đến robot và hệ thống tự hành, tích hợp này hỗ trợ nhiều trường hợp sử dụng trong thực tế.

Nơi Ultralytics YOLO và phần cứng DEEPX có thể tạo ra tác động#

Vậy đâu là những ứng dụng AI vật lý phổ biến mà model Ultralytics YOLO có thể triển khai trên phần cứng DEEPX trong các tình huống thực tế?

Giám sát thông minh trên thiết bị biên#

Các hệ thống giám sát hiện đại đòi hỏi khả năng phát hiện theo thời gian thực mà không ảnh hưởng đến quyền riêng tư hay kết nối. Model Ultralytics YOLO chạy trên NPU DEEPX cho phép camera an ninh và hệ thống giám sát phân tích luồng video cục bộ, nhận diện người, phương tiện và hoạt động bất thường theo thời gian thực, với mức tiêu thụ điện năng thấp và không phụ thuộc vào đám mây. Khi việc thực thi GDPR được siết chặt ở châu Âu và hoạt động mua sắm của chính quyền địa phương ngày càng yêu cầu dữ liệu phải được lưu trữ trong phạm vi lãnh thổ, suy luận trên thiết bị trở thành lợi thế về tuân thủ quy định cũng như kỹ thuật.

Tự động hóa công nghiệp và kiểm soát chất lượng#

Tại các nhà máy và cơ sở sản xuất, AI thị giác ngày càng được sử dụng để tự động hóa kiểm soát chất lượng, phát hiện lỗi và giám sát quy trình. Kết hợp model Ultralytics YOLO với phần cứng DEEPX cho phép thực hiện kiểm tra trên thiết bị đáng tin cậy suốt 24/7 trong môi trường công nghiệp khắc nghiệt, giúp giảm lãng phí, nâng cao chất lượng sản phẩm và bảo vệ an toàn cho người lao động.

Robot và hệ thống tự hành#

Đối với robot, tốc độ và khả năng phản hồi là yếu tố then chốt. Dù di chuyển trong nhà kho, hoạt động trong môi trường công nghiệp biến động hay làm việc bên cạnh con người, robot cần diễn giải môi trường xung quanh ngay lập tức. Model Ultralytics YOLO chạy trên NPU DEEPX cho phép robot phát hiện chướng ngại vật, theo dõi người và nhận diện đối tượng theo thời gian thực, hỗ trợ di chuyển an toàn hơn và tăng khả năng tự chủ mà không cần phụ thuộc vào kết nối đám mây liên tục.

Điểm chính cần ghi nhớ#

Model Ultralytics YOLO và NPU DEEPX giúp đưa AI vật lý hiệu năng cao ra edge dễ dàng hơn bao giờ hết. Bằng cách đơn giản hóa việc triển khai với tiêu chuẩn format=deepx mới và tối ưu hóa model cho phần cứng tiết kiệm năng lượng của DEEPX, quan hệ đối tác này góp phần thu hẹp khoảng cách giữa phát triển và ứng dụng thương mại thực tế. Khi AI vật lý tiếp tục phát triển, sự hợp tác này là một bước tiến hướng tới việc giúp AI thị giác cấp độ sản xuất trở nên dễ tiếp cận, có chi phí hợp lý và có khả năng mở rộng cho doanh nghiệp ở mọi quy mô.

Bạn đã sẵn sàng đưa sản phẩm AI biên ra thị trường nhanh hơn chưa?

• Yêu cầu giấy phép để tiếp cận hỗ trợ thương mại và các model YOLO Enterprise.
• Dùng thử Ultralytics Platform để gán nhãn, huấn luyện và triển khai model đầu tiên tương thích với DEEPX.
• Trở thành đối tác Ultralytics để khám phá các cơ hội triển khai chung.
• Đọc tài liệu để xem hướng dẫn kỹ thuật đầy đủ.

Tìm hiểu cách những đổi mới như AI trong robot và AI trong sản xuất đang định hình tương lai.