Ultralytics YOLO hợp tác với DEEPX: Inference edge AI cho Physical AI

Tại Ultralytics, chúng tôi nhận thấy xu hướng ngày càng rõ rệt là chạy trực tiếp model thị giác máy tính trên các thiết bị edge khi AI ngày càng được tích hợp sâu hơn vào thế giới vật lý. Từ robot và máy móc công nghiệp đến camera thông minh và phương tiện tự hành, ngày càng có nhiều hệ thống thông minh được yêu cầu quan sát, hiểu và hành động theo thời gian thực mà không phụ thuộc vào cloud.

Làn sóng hệ thống thông minh mới này được gọi là Physical AI và đòi hỏi năng lực điện toán hiệu năng cao, siêu tiết kiệm năng lượng, có thể hoạt động tự chủ trong thế giới thực. Các hệ thống thực tế cần vision AI chạy cục bộ, ổn định và hiệu quả trên phần cứng được thiết kế chuyên biệt cho edge.

Các model Ultralytics YOLO như Ultralytics YOLO26 được thiết kế cho thị giác máy tính theo thời gian thực, nhưng để khai thác tối đa tiềm năng trên edge cần có sự kết hợp phù hợp giữa software và hardware. Vì vậy, chúng tôi vui mừng thông báo về mối quan hệ hợp tác mới với DEEPX.

Chúng tôi đã hợp tác với DEEPX để giới thiệu một tích hợp export mới, cho phép triển khai hiệu quả các model Ultralytics YOLO với hiệu năng cao trên phần cứng NPU của DEEPX. Cùng nhau, chúng tôi đang thiết lập một tiêu chuẩn toàn cầu thống nhất cho cách Physical AI được xây dựng, triển khai và mở rộng.

Hình 1. Hệ sinh thái phần cứng DEEPX cho suy luận AI trên thiết bị, gồm module DX-M1 M.2 và AI Box DX-AIPlayer N97*.*

Tầm nhìn chung về tương lai của Physical AI#

Là framework thị giác máy tính được áp dụng rộng rãi nhất trên thế giới, Ultralytics cung cấp “đôi mắt” cho các hệ thống này. Là một trong những nhà sản xuất NPU hiệu quả nhất, DEEPX cung cấp “bộ não” để vận hành chúng ở quy mô lớn.

Tại Ultralytics và DEEPX, chúng tôi tin tưởng và được thúc đẩy bởi tính dễ tiếp cận, hiệu năng và thiết kế ưu tiên developer. Bằng cách kết hợp hệ sinh thái Ultralytics và DEEPX, chúng tôi cung cấp một lộ trình duy nhất, đáng tin cậy để triển khai vision AI cho mục đích thương mại, dù bạn là một công ty robot ở giai đoạn đầu đang phát hành sản phẩm đầu tiên hay một nhà sản xuất Fortune 500 triển khai vision AI tại hàng nghìn cơ sở.

Điều này có nghĩa là:

• Rút ngắn thời gian đưa sản phẩm ra thị trường: Từ gán nhãn đến triển khai trong vài ngày, thay vì vài tháng.
• Giảm chi phí triển khai: Hiệu năng cấp GPU với chi phí điện năng và silicon chỉ bằng một phần, mang lại hơn 250 FPS ở mức tiêu thụ điện 2–4 W.
• Cơ hội doanh thu mới: Xây dựng và phát hành các sản phẩm edge AI trước đây không khả thi về mặt kinh tế.
• Khả năng mở rộng sẵn sàng cho tương lai: Một pipeline CI/CD chuyên biệt đảm bảo mọi bản phát hành mới của Ultralytics đều hoạt động ngay với phần cứng DEEPX, được hỗ trợ bởi cam kết cung ứng trong nhiều năm của DEEPX.

Khám phá công nghệ NPU của DEEPX#

DEEPX là đơn vị đổi mới trong lĩnh vực bán dẫn AI, cung cấp phần cứng edge AI hiệu quả, được thiết kế chuyên biệt cho các model thị giác như Ultralytics YOLO, với chỉ số khung hình trên mỗi watt (FPS/W) dẫn đầu phân khúc. Thay vì tối ưu cho các chỉ số lý thuyết, DEEPX tập trung vào hiệu quả trong thế giới thực, giúp developer đạt được kết quả cấp GPU với ngân sách điện năng chỉ bằng một phần.

Thiết kế full-stack chính là yếu tố giúp điều này khả thi. NPU DX-M1 được thiết kế chuyên biệt để tăng tốc các dạng tính toán của model thị giác máy tính, với khả năng tản nhiệt thụ động và mức tiêu thụ điện thấp, phù hợp với các triển khai quy mô production, nơi hiệu năng trên mỗi watt và độ tin cậy lâu dài đóng vai trò quan trọng.

Khi Edge AI được áp dụng rộng rãi, yếu tố quan trọng là hiệu năng bền vững: vận hành các model tiên tiến một cách ổn định trong giới hạn chặt chẽ về điện năng và nhiệt, đồng thời vẫn có thể mở rộng cho triển khai trong thế giới thực. Đây là lý do FPS trên mỗi watt đã trở thành một trong những chỉ số quan trọng nhất để đánh giá các platform edge AI.

Hình 2. Benchmark Pareto front của YOLO26, YOLO11 và YOLOv8 trên NPU DX-M1. Đo trên DX-M1 với host i5-14600K (RAM 32GB), SDK dx-com v2.3.0, chỉ chip NPU.

Khi thị trường chuyển từ PoC sang triển khai quy mô lớn, khách hàng ngày càng cần nhiều model AI chạy đồng thời trong cùng ngân sách điện năng và nhiệt. Biểu đồ trên cho thấy YOLO26 liên tục mang lại sự cân bằng tốt hơn giữa độ chính xác và hiệu quả: YOLO26n đạt khoảng 405 FPS/W trên DX-M1, cho phép developer chạy các workload AI tiên tiến hơn mà không cần chuyển sang phần cứng lớn hơn và tiêu thụ nhiều điện hơn.

Bắt đầu export model Ultralytics YOLO sang DEEPX#

Python package Ultralytics và Ultralytics Platform cung cấp một môi trường hoàn chỉnh, thống nhất để train, đánh giá và triển khai các model YOLO trên cả năm tác vụ thị giác máy tính. Dù bạn предпочитаете làm việc bằng code hay thông qua workflow trực quan không ma sát, cả hai phương thức đều mang lại cách nhất quán và có khả năng mở rộng để đưa một model từ dữ liệu đến triển khai.

Thông qua mối quan hệ hợp tác này, Ultralytics đã giới thiệu một tích hợp export mới với DEEPX, cho phép export các model YOLO để triển khai trên phần cứng NPU DEEPX bằng một lệnh duy nhất: format=deepx. Tích hợp này được hỗ trợ đầy đủ trong hệ sinh thái Ultralytics, nghĩa là developer có thể export sang DEEPX từ Python package hoặc trực tiếp từ Ultralytics Platform sau khi gán nhãn và train model. Trong quá trình export, model được biên dịch và quantize INT8 thành binary .dxnn được tối ưu hóa, với quá trình hiệu chuẩn dựa trên EMA đảm bảo hiệu năng NPU tối đa mà không làm giảm chất lượng model.

Trên thực tế, điều này có nghĩa là các đội ngũ thương mại có thể chuyển từ dữ liệu đã gán nhãn đến một model sẵn sàng cho production chạy trên NPU DEEPX chỉ với ba lệnh:

# Step 1: Install Ultralytics
pip install ultralytics

# Step 2: Export your YOLO model to DEEPX format
yolo export model=yolo26n.pt format=deepx

# Step 3: Run inference on DEEPX hardware
yolo detect predict model=yolo26n_deepx_model

Để xem đầy đủ thông tin thiết lập, bao gồm cài đặt runtime và trực quan hóa bằng trình xem graph dxtron của DEEPX, hãy tham khảo tài liệu tích hợp DEEPX.

Các lợi ích chính khi chạy model Ultralytics YOLO trên NPU DEEPX#

Dưới đây là một số ưu điểm chính khi triển khai model Ultralytics YOLO trên phần cứng DEEPX bằng tích hợp mới:

• Tích hợp liền mạch với workflow Ultralytics: Việc export model YOLO để triển khai trên DEEPX tích hợp tự nhiên vào Python package Ultralytics, với một lệnh format=deepx duy nhất giúp chuẩn hóa quy trình triển khai edge.
• Hỗ trợ nhiều tác vụ thị giác máy tính: Bạn có thể triển khai model cho các tác vụ phát hiện vật thể, phân đoạn, ước tính pose, phát hiện bounding box định hướng (OBB) và phân loại trên YOLOv8, YOLO11 và YOLO26.
• Suy luận edge siêu hiệu quả: NPU DEEPX mang lại hiệu năng cấp GPU với mức điện năng chỉ bằng một phần, cùng khả năng tản nhiệt thụ động và mức tiêu thụ điện siêu thấp, lý tưởng cho các triển khai quy mô production.
• Nền tảng sẵn sàng cho tương lai: Một pipeline CI/CD chuyên biệt đảm bảo khả năng tương thích ngay với mọi bản phát hành mới của Ultralytics, trong khi lộ trình từ DX-M1 đến DX-M2 mở rộng cùng software stack này sang kỷ nguyên Agentic AI.
• Có khả năng mở rộng trên các ứng dụng Physical AI: Từ giám sát thông minh và kiểm tra công nghiệp đến robot và hệ thống tự hành, tích hợp này hỗ trợ nhiều use case trong thế giới thực.

Ultralytics YOLO và phần cứng DEEPX có thể tạo ra tác động ở đâu#

Vậy đâu là một số ứng dụng Physical AI phổ biến mà các model Ultralytics YOLO có thể được triển khai trên phần cứng DEEPX trong các kịch bản thực tế?

Giám sát thông minh trên edge#

Các hệ thống giám sát hiện đại đòi hỏi khả năng phát hiện theo thời gian thực mà không ảnh hưởng đến quyền riêng tư hay khả năng kết nối. Các model Ultralytics YOLO chạy trên NPU DEEPX cho phép camera an ninh và hệ thống giám sát phân tích luồng video cục bộ, nhận diện người, phương tiện và hoạt động bất thường theo thời gian thực, với mức tiêu thụ điện thấp và không phụ thuộc vào cloud. Khi việc thực thi GDPR ngày càng nghiêm ngặt tại châu Âu và hoạt động mua sắm công ngày càng yêu cầu lưu trữ dữ liệu tại địa phương, suy luận trên thiết bị trở thành một lợi thế về quy định cũng như về kỹ thuật.

Tự động hóa công nghiệp và kiểm soát chất lượng#

Trong các nhà máy và cơ sở sản xuất, vision AI ngày càng được sử dụng để tự động hóa kiểm soát chất lượng, phát hiện lỗi và giám sát quy trình. Việc kết hợp các model Ultralytics YOLO với phần cứng DEEPX cho phép kiểm tra trên thiết bị hoạt động ổn định 24/7 trong các môi trường công nghiệp khắc nghiệt, giúp giảm lãng phí, cải thiện chất lượng sản phẩm và bảo vệ an toàn cho người lao động.

Robot và hệ thống tự hành#

Đối với robot, tốc độ và khả năng phản hồi là yếu tố then chốt. Dù đang điều hướng trong kho hàng, hoạt động trong môi trường công nghiệp năng động hay làm việc cùng con người, robot cần diễn giải môi trường xung quanh ngay lập tức. Các model Ultralytics YOLO chạy trên NPU DEEPX cho phép robot phát hiện chướng ngại vật, theo dõi người và nhận diện vật thể theo thời gian thực, hỗ trợ di chuyển an toàn hơn và tăng tính tự chủ mà không phụ thuộc vào kết nối cloud liên tục.

Những điểm chính#

Các model Ultralytics YOLO và NPU DEEPX giúp việc đưa Physical AI hiệu năng cao lên edge trở nên dễ dàng hơn bao giờ hết. Bằng cách đơn giản hóa triển khai với tiêu chuẩn format=deepx mới và tối ưu hóa model cho phần cứng tiết kiệm năng lượng của DEEPX, mối quan hệ hợp tác này giúp thu hẹp khoảng cách giữa quá trình phát triển và các ứng dụng thương mại trong thế giới thực. Khi Physical AI tiếp tục phát triển, sự hợp tác này là một bước tiến hướng tới việc giúp vision AI cấp production trở nên dễ tiếp cận, hợp túi tiền và có khả năng mở rộng cho doanh nghiệp ở mọi quy mô.

Sẵn sàng đưa sản phẩm edge AI của bạn ra thị trường nhanh hơn?

• Yêu cầu license để tiếp cận hỗ trợ thương mại và các model YOLO Enterprise.
• Dùng thử Ultralytics Platform để gán nhãn, train và triển khai model đầu tiên sẵn sàng cho DEEPX.
• Trở thành đối tác của Ultralytics để khám phá các cơ hội triển khai chung.
• Đọc tài liệu để xem hướng dẫn kỹ thuật đầy đủ.

Tìm hiểu cách các đổi mới như AI trong robot và AI trong sản xuất đang định hình tương lai.