Đưa các model Ultralytics YOLO lên phần cứng Axelera AI cho Edge AI

Tại Ultralytics, chúng tôi nhận thấy xu hướng ngày càng tăng trong việc chạy model thị giác máy tính trực tiếp trên thiết bị edge khi AI được ứng dụng rộng rãi hơn. Qua các cuộc trò chuyện với cộng đồng thị giác máy tính, cả trực tuyến lẫn trực tiếp tại các hội nghị công nghệ gần đây, nhóm chúng tôi nhận thấy sự quan tâm ngày càng lớn đến việc triển khai AI thị giác gần nơi dữ liệu được tạo ra hơn.

Từ môi trường bán lẻ thông minh và tự động hóa công nghiệp đến robot, thông tin chuyên sâu theo thời gian thực ngày càng trở nên thiết yếu, và chỉ dựa vào cloud không còn đủ nữa.

Nói một cách đơn giản, AI biên là việc chạy model AI cục bộ trên thiết bị thay vì gửi dữ liệu đến máy chủ tập trung để xử lý. Cách này giúp giảm độ trễ, cải thiện độ tin cậy và phản hồi các sự kiện trong thế giới thực theo thời gian thực.

Tuy nhiên, việc triển khai model hiệu suất cao trong các môi trường này cũng có những thách thức riêng, vì tài nguyên tính toán và năng lượng hạn chế đòi hỏi model phải hiệu quả và được tối ưu hóa cho phần cứng chạy model.

Các model Ultralytics YOLO như Ultralytics YOLO26 được thiết kế cho thị giác máy tính thời gian thực, nhưng để khai thác tối đa tiềm năng của model ở edge cần có sự kết hợp phù hợp giữa phần mềm và phần cứng. Vì vậy, chúng tôi rất vui mừng thông báo về sự hợp tác với Axelera AI.

Chúng tôi đã hợp tác với Axelera AI để giới thiệu tích hợp export được cập nhật, cho phép triển khai hiệu quả, hiệu suất cao các model Ultralytics YOLO trên Bộ xử lý AI Metis® (AIPU).

Hình 1. Tổng quan về một Bộ xử lý AI Metis (Nguồn)

Trong bài viết này, chúng ta sẽ tìm hiểu cách biên dịch dễ dàng các model Ultralytics YOLO để triển khai trên Metis. Bắt đầu thôi!

AI biên là tương lai của thị giác máy tính#

Khi các ứng dụng thị giác máy tính tiếp tục phát triển, nhu cầu xử lý nhanh hơn và hiệu quả hơn ngày càng trở nên quan trọng. Các phương pháp truyền thống dựa trên cloud có thể gây độ trễ, phụ thuộc vào kết nối ổn định và không đáp ứng được yêu cầu thời gian thực của nhiều trường hợp sử dụng thị giác thông minh.

AI biên giải quyết những thách thức này bằng cách cho phép model chạy trực tiếp trên thiết bị cục bộ, nhờ đó dữ liệu được xử lý gần nguồn phát sinh hơn. Ví dụ, hãy xem xét drone tích hợp công nghệ thị giác được sử dụng trong các hoạt động tìm kiếm và cứu hộ.

Các hệ thống này cần phân tích luồng video theo thời gian thực để phát hiện người, chướng ngại vật hoặc mối nguy, thường ở những khu vực hẻo lánh có kết nối internet hạn chế hoặc không có kết nối. Bằng cách chạy model thị giác máy tính trực tiếp trên drone, AI biên cho phép ra quyết định nhanh hơn và hoạt động đáng tin cậy hơn mà không cần dựa vào cơ sở hạ tầng cloud.

Sự chuyển dịch này đang mở ra nhiều khả năng mới trong các ngành công nghiệp. Các ứng dụng như phát hiện đối tượng bán lẻ theo thời gian thực, kiểm tra chất lượng tự động trong sản xuất và nhận thức trong robot đều được hưởng lợi từ thời gian phản hồi nhanh hơn và độ tin cậy cao hơn.

AI biên đang nhanh chóng trở thành yếu tố then chốt giúp triển khai các hệ thống thị giác máy tính có khả năng mở rộng và phản hồi nhanh trong môi trường thực tế.

Tìm hiểu về Bộ xử lý AI Metis của Axelera AI#

Trước khi tìm hiểu tích hợp export mới, hãy cùng tìm hiểu thêm về Bộ xử lý AI Metis của Axelera AI và vai trò của bộ xử lý này trong việc hỗ trợ AI biên hiệu quả.

Axelera AI phát triển phần cứng chuyên dụng được thiết kế riêng để tăng tốc suy luận AI tại edge. Một thành phần quan trọng là Metis AIPU, hay Bộ xử lý AI, một bộ xử lý chuyên biệt được xây dựng để chạy mạng neural hiệu quả trên các thiết bị edge.

Không giống các bộ xử lý trung tâm đa năng (CPUs) hay thậm chí bộ xử lý đồ họa (GPUs), AIPU được thiết kế để xử lý các mô hình tính toán đặc thù của workload AI. Nhờ đó, AIPU có thể mang lại hiệu suất cao đồng thời duy trì mức tiêu thụ điện năng thấp, điều rất quan trọng trong môi trường edge nơi tài nguyên thường bị hạn chế.

Điểm đặc biệt sáng tạo trong phương pháp của Axelera AI là thiết kế full-stack. Metis được xây dựng với công nghệ tính toán số trong bộ nhớ (D-IMC) và RISC-V để đạt hiệu suất cao cùng hiệu quả năng lượng cần thiết cho điện toán edge. Bốn lõi của Metis có thể được lập trình độc lập, nghĩa là bạn có thể chạy song song bốn model trên mỗi chip. Bên cạnh phần cứng, Voyager SDK bao gồm compiler và runtime phối hợp với nhau để tối ưu hóa model cho quá trình triển khai.

Điều này giúp nhà phát triển chuyển từ model đã huấn luyện sang suy luận sẵn sàng cho production hiệu quả hơn. Cụ thể, Metis AIPU cho phép chạy trực tiếp các model thị giác máy tính tiên tiến, như model Ultralytics YOLO, trên thiết bị edge trong các môi trường doanh nghiệp, bán lẻ, chăm sóc sức khỏe và sản xuất, cũng như trên thiết bị nông nghiệp, thiết bị công nghiệp và vệ tinh.

Export model Ultralytics YOLO để triển khai trên Metis#

Gói Python Ultralytics cung cấp giao diện thống nhất để huấn luyện, đánh giá và triển khai model YOLO trên nhiều tác vụ thị giác máy tính. Model YOLO thường được phát triển và huấn luyện bằng PyTorch, một framework phù hợp cho thử nghiệm và phát triển model.

Tuy nhiên, khi triển khai các model này trên phần cứng edge chuyên dụng, cần chuyển đổi chúng sang định dạng được tối ưu hóa cho thiết bị đích. Đây là lúc các tích hợp export được gói Python Ultralytics hỗ trợ phát huy tác dụng.

Ultralytics cung cấp nhiều tùy chọn export cho phép chuyển đổi model YOLO sang các định dạng khác nhau tùy theo mục tiêu triển khai, chẳng hạn như ONNX, TensorRT và các backend dành riêng cho phần cứng khác. Các tích hợp này đơn giản hóa quy trình chuẩn bị model cho ứng dụng thực tế bằng cách xử lý các bước tối ưu hóa và chuyển đổi cần thiết.

Dựa trên nền tảng này, Ultralytics đã giới thiệu tích hợp với Axelera AI được cập nhật, cho phép export model YOLO để triển khai trên Metis AIPU.

Trong quá trình export, model được biên dịch và lượng tử hóa thành dạng biểu diễn tối ưu hóa dành riêng cho phần cứng Axelera. Quá trình này tạo ra model đã biên dịch ở định dạng ".axm", cùng với metadata cần thiết cho triển khai và suy luận.

Hình 2. Có thể chạy model Ultralytics YOLO trên Metis AIPU. (Nguồn)

Tích hợp này hỗ trợ nhiều tác vụ thị giác máy tính trên Ultralytics YOLOv8, Ultralytics YOLO11 và model Ultralytics YOLO26, bao gồm phát hiện đối tượng, ước tính tư thế, phân đoạn instance, phát hiện bounding box định hướng (OBB) và phân loại hình ảnh. Hầu hết tác vụ đều được hỗ trợ trực tiếp thông qua quy trình export, còn tính năng phân đoạn của YOLO26 có thể được sử dụng thông qua model zoo cùng Voyager SDK.

Phạm vi hỗ trợ mở rộng này mang đến cho nhà phát triển sự linh hoạt để triển khai các loại model thị giác khác nhau tùy theo ứng dụng, từ phát hiện đối tượng theo thời gian thực đến hiểu cảnh, theo dõi chuyển động và phân tích dữ liệu hình ảnh phức tạp.

Sau khi export, model có thể được triển khai và chạy mà không cần PyTorch trong thời gian suy luận. Thay vào đó, model được thực thi bằng runtime Voyager SDK, hỗ trợ xây dựng các pipeline đầu cuối cho những tác vụ như xử lý video, phát hiện thời gian thực và theo dõi trực tiếp trên thiết bị edge.

Bắt đầu export model Ultralytics YOLO#

Giờ đây, khi đã hiểu rõ hơn về tích hợp export mới, hãy cùng tìm hiểu cách export model Ultralytics YOLO sang định dạng tùy chỉnh này và chạy model trên phần cứng Metis tại edge.

Bước 1: Cài đặt gói Python Ultralytics#

Để bắt đầu, trước tiên bạn cần cài đặt gói Python Ultralytics. Gói này cung cấp giao diện đơn giản và nhất quán để huấn luyện, đánh giá và export model YOLO.

Bạn có thể cài đặt bằng pip bằng cách chạy lệnh sau trong terminal hoặc command prompt:

pip install ultralytics

Nếu gặp vấn đề trong quá trình cài đặt hoặc export, tài liệu Ultralytics chính thức và hướng dẫn Sự cố thường gặp là những tài nguyên hữu ích để khắc phục.

Bước 2: Cài đặt driver Axelera và Voyager SDK#

Để export và chạy model trên phần cứng Axelera, bạn cũng cần cài đặt driver Axelera và Voyager SDK. Bước này cho phép giao tiếp với Metis AIPU và cung cấp các công cụ runtime cùng compiler cần thiết.

Các bước dưới đây phải được thực hiện trong môi trường Linux có quyền truy cập phần cứng Axelera AI Metis. Mở terminal trên hệ thống hoặc sử dụng một ô notebook nếu bạn chạy Jupyter Notebook trên cấu hình cục bộ tương thích, rồi thực thi các lệnh bên dưới.

Trước tiên, hãy thêm khóa repository Axelera như sau:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Tiếp theo, thêm repository Axelera vào hệ thống như minh họa bên dưới:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Sau đó, cài đặt Voyager SDK và tải driver Metis như sau:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Sau khi hoàn tất các bước này, hệ thống của bạn sẽ sẵn sàng export và chạy model Ultralytics YOLO trên thiết bị Axelera AI Metis.

Bước 3: Export model Ultralytics YOLO#

Sau khi cài đặt gói Ultralytics, bạn có thể tải model YOLO và export model thành một gói đã biên dịch dành cho Metis. Quá trình này chuyển đổi model sang định dạng được tối ưu hóa để triển khai trên phần cứng Axelera AI Metis.

Trong ví dụ dưới đây, chúng ta sử dụng model YOLO26 nano pretrained và export model cho Metis. Model đã export sẽ được lưu trong thư mục có tên "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Bước 4: Chạy suy luận bằng model đã export#

Sau khi export model, bạn có thể tải model và chạy suy luận trên hình ảnh chưa thấy trước đó hoặc luồng video. Điều này cho phép thực hiện trực tiếp các tác vụ thị giác máy tính thời gian thực trên thiết bị Axelera AI Metis.

Ví dụ, đoạn mã bên dưới minh họa cách tải model đã export và chạy suy luận trên một URL công khai.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Trong trường hợp này, model phân tích hình ảnh đầu vào và phát hiện đối tượng, sau đó lưu kết quả vào thư mục "runs/detect/predict".

Ultralytics YOLO và phần cứng Axelera AI có thể tạo ra tác động ở đâu#

Tiếp theo, hãy cùng thảo luận một số ứng dụng AI biên phổ biến trong các tình huống thực tế, nơi có thể triển khai model Ultralytics YOLO trên phần cứng Axelera AI.

Metis AIPU của Axelera AI được thiết kế cho nhiều môi trường triển khai, từ hệ thống nhúng và PC công nghiệp đến robot và máy chủ edge. Với khả năng suy luận hiệu suất cao, tiết kiệm năng lượng, AIPU cho phép các ứng dụng thị giác máy tính chạy trực tiếp trên thiết bị trong nhiều ngành công nghiệp. Voyager SDK cũng bao gồm trình xây dựng pipeline dành cho kỹ sư ML và APP để đưa model lên edge thành sản phẩm.

Hệ thống thị giác thông minh bán lẻ hoạt động tại edge#

Trong môi trường bán lẻ, hiểu hành vi khách hàng theo thời gian thực có thể tạo ra khác biệt đáng kể.

Với model Ultralytics YOLO chạy trên phần cứng Axelera AI, cửa hàng có thể giám sát lưu lượng người đi lại, đếm số người và phân tích mô hình di chuyển bên trong cửa hàng ngay khi hoạt động diễn ra. Vì mọi thứ chạy trên thiết bị, thông tin chuyên sâu có thể được tạo tức thì mà không cần kết nối cloud, giúp các nhóm phản ứng nhanh hơn đồng thời bảo vệ quyền riêng tư dữ liệu.

Hình 3. Phát hiện và đếm người tại trung tâm thương mại bằng Ultralytics YOLO26

Ứng dụng AI biên để kiểm tra tiện ích và cơ sở hạ tầng#

Việc bảo trì cơ sở hạ tầng quy mô lớn như đường dây điện rất phức tạp và tiêu tốn nhiều nguồn lực. Các mạng lưới này thường trải dài trên những khoảng cách lớn, khiến việc kiểm tra mất nhiều thời gian, tốn kém và tiềm ẩn nguy hiểm. Khi sự cố hoặc dấu hiệu hao mòn ban đầu không được phát hiện, chúng có thể dẫn đến mất điện, hư hỏng thiết bị hoặc rủi ro an toàn.

Drone ngày càng được sử dụng nhiều để nâng cao hiệu quả kiểm tra. Drone có thể bao quát quãng đường dài, tiếp cận những khu vực khó đến và ghi lại hình ảnh độ phân giải cao của các tài sản trọng yếu.

Việc kết hợp drone với edge AI giúp nâng cao hơn nữa các quy trình này. Các model Ultralytics YOLO chạy trên phần cứng Axelera AI cho phép phân tích theo thời gian thực trong quá trình kiểm tra, xác định lỗi, phân loại cấu phần và phát hiện bất thường tại chỗ. Điều này giảm nhu cầu rà soát thủ công và hỗ trợ giám sát hạ tầng nhanh hơn, đáng tin cậy hơn.

Hình 4. Phát hiện nhiều bộ phận của đường dây điện bằng Ultralytics YOLO26

Tăng cường năng lực robot bằng thông tin chuyên sâu từ vision AI theo thời gian thực#

Đối với robot, tốc độ và khả năng phản hồi là yếu tố then chốt. Dù đang di chuyển trong nhà kho hay vận hành trong môi trường công nghiệp biến động, robot cần diễn giải môi trường xung quanh ngay lập tức.

Các model Ultralytics YOLO chạy trên phần cứng Axelera AI cho phép robot diễn giải môi trường xung quanh theo thời gian thực, từ phát hiện chướng ngại vật đến theo dõi người và nhận diện vật thể. Nhờ đó, hệ thống có thể di chuyển an toàn hơn, thích ứng với các điều kiện biến động và hoạt động tự chủ hơn mà không phụ thuộc vào kết nối đám mây liên tục.

Lợi ích chính khi chạy model Ultralytics YOLO trên AIPU Metis#

Dưới đây là một số lợi thế chính khi triển khai model Ultralytics YOLO trên phần cứng Metis của Axelera AI bằng tích hợp mới:

• Tích hợp liền mạch với quy trình Ultralytics: Việc export model YOLO để triển khai trên Metis được tích hợp tự nhiên vào package Python của Ultralytics, đơn giản hóa quá trình chuyển từ training sang inference.
• Hỗ trợ nhiều tác vụ computer vision: Bạn có thể triển khai model cho các tác vụ phát hiện đối tượng, ước tính tư thế, phân đoạn, phân loại và nhiều tác vụ khác trên YOLOv8, YOLO11 và YOLO26.
• Chạy các model song song: AIPU Metis được thiết kế với bốn lõi có thể lập trình độc lập, đủ khả năng chạy song song bốn model riêng biệt để đáp ứng nhu cầu của bạn.
• Khả năng mở rộng trên các ứng dụng edge AI: Từ phân tích bán lẻ và kiểm tra công nghiệp đến robot và hạ tầng thông minh, tích hợp này hỗ trợ nhiều trường hợp sử dụng thực tế.

Điểm chính cần ghi nhớ#

Các model Ultralytics YOLO và AIPU Metis của Axelera AI giúp đưa computer vision hiệu năng cao lên edge dễ dàng hơn. Bằng cách đơn giản hóa quá trình triển khai và tối ưu hóa model cho phần cứng chuyên dụng, tích hợp này giúp thu hẹp khoảng cách giữa quá trình phát triển và ứng dụng thực tế.

Khi edge AI tiếp tục phát triển, các tùy chọn triển khai hiệu quả và có khả năng mở rộng sẽ là yếu tố then chốt để xây dựng hệ thống phản hồi nhanh và đáng tin cậy. Sự hợp tác này là một bước tiến hướng tới việc giúp vision AI tiên tiến dễ tiếp cận hơn trong nhiều ngành.

Bạn muốn tìm hiểu thêm về AI? Khám phá repository GitHub, kết nối với cộng đồng của chúng tôi và xem các tùy chọn cấp phép để bắt đầu dự án computer vision của bạn. Tìm hiểu cách những đổi mới như AI trong bán lẻ và computer vision trong y tế đang định hình tương lai.