Đưa model Ultralytics YOLO lên phần cứng Axelera AI cho edge AI
Tìm hiểu về tích hợp export mới được hỗ trợ bởi package Ultralytics Python, hợp tác cùng Axelera AI để mang lại hiệu năng cao và hiệu quả cho edge AI.
Tại Ultralytics, chúng tôi nhận thấy xu hướng ngày càng tăng là chạy các model thị giác máy tính trực tiếp trên thiết bị biên khi AI được ứng dụng rộng rãi hơn. Qua các cuộc trò chuyện với cộng đồng thị giác máy tính, cả trực tuyến lẫn gặp trực tiếp tại các hội nghị công nghệ gần đây, đội ngũ chúng tôi nhận thấy sự quan tâm ngày càng lớn đến việc triển khai AI thị giác gần hơn với nơi dữ liệu được tạo ra.
Từ môi trường bán lẻ thông minh và tự động hóa công nghiệp đến robot, thông tin chuyên sâu theo thời gian thực đang trở nên thiết yếu, và chỉ dựa vào đám mây không còn đủ nữa.
Nói đơn giản, edge AI là việc chạy các model AI cục bộ trên thiết bị thay vì gửi dữ liệu đến máy chủ tập trung để xử lý. Cách này giúp giảm độ trễ, tăng độ tin cậy và phản hồi các sự kiện trong thế giới thực theo thời gian thực.
Tuy nhiên, việc triển khai các model hiệu năng cao trong những môi trường này cũng có những thách thức riêng, vì tài nguyên tính toán và công suất hạn chế đòi hỏi model phải vừa hiệu quả vừa được tối ưu cho phần cứng chạy chúng.
Các model Ultralytics YOLO như Ultralytics YOLO26 được thiết kế cho thị giác máy tính thời gian thực, nhưng để khai thác tối đa tiềm năng của chúng ở biên cần có sự kết hợp phù hợp giữa phần mềm và phần cứng. Đó là lý do chúng tôi vui mừng thông báo về sự hợp tác với Axelera AI.
Chúng tôi đã hợp tác với Axelera AI để giới thiệu bản tích hợp export được cập nhật, cho phép triển khai hiệu quả, hiệu năng cao các model Ultralytics YOLO trên Bộ xử lý AI Metis® (AIPU).
Hình 1. Hình ảnh Bộ xử lý AI Metis (Nguồn)
Trong bài viết này, chúng ta sẽ tìm hiểu cách dễ dàng biên dịch các model Ultralytics YOLO để triển khai trên Metis. Bắt đầu nhé!
Edge AI là tương lai của thị giác máy tính#
Khi các ứng dụng thị giác máy tính không ngừng phát triển, nhu cầu xử lý nhanh hơn và hiệu quả hơn ngày càng trở nên cấp thiết. Các phương pháp truyền thống dựa trên đám mây có thể gây độ trễ, phụ thuộc vào kết nối ổn định và không đáp ứng được yêu cầu thời gian thực của nhiều ứng dụng thị giác thông minh.
Edge AI giải quyết những thách thức này bằng cách cho phép model chạy trực tiếp trên thiết bị cục bộ, nhờ đó dữ liệu được xử lý gần nguồn hơn. Ví dụ, hãy xem xét drone tích hợp thị giác được sử dụng trong các hoạt động tìm kiếm và cứu hộ.
Các hệ thống này cần phân tích luồng video theo thời gian thực để phát hiện người, chướng ngại vật hoặc mối nguy, thường là ở những khu vực hẻo lánh có kết nối internet hạn chế hoặc không có kết nối. Bằng cách chạy các model thị giác máy tính trực tiếp trên drone, edge AI cho phép đưa ra quyết định nhanh hơn và hoạt động đáng tin cậy hơn mà không phụ thuộc vào hạ tầng đám mây.
Sự chuyển dịch này đang mở ra những khả năng mới trong nhiều ngành. Các ứng dụng như phát hiện đối tượng theo thời gian thực trong bán lẻ, kiểm tra chất lượng tự động trong sản xuất và nhận thức trong robot đều hưởng lợi từ thời gian phản hồi nhanh hơn và độ tin cậy cao hơn.
Edge AI đang nhanh chóng trở thành yếu tố then chốt giúp triển khai các hệ thống thị giác máy tính có khả năng mở rộng và phản hồi nhanh trong môi trường thực tế.
Khám phá Bộ xử lý AI Metis của Axelera AI#
Trước khi tìm hiểu sâu về bản tích hợp export mới, hãy cùng tìm hiểu thêm về Bộ xử lý AI Metis của Axelera AI và vai trò của bộ xử lý này trong việc hỗ trợ edge AI hiệu quả.
Axelera AI phát triển phần cứng chuyên dụng, được thiết kế riêng để tăng tốc suy luận AI ở biên. Một thành phần quan trọng trong đó là Metis AIPU, hay Bộ xử lý AI, một bộ xử lý chuyên biệt được xây dựng để chạy mạng nơ-ron hiệu quả trên thiết bị biên.
Không giống bộ xử lý trung tâm đa năng (CPU) hay thậm chí bộ xử lý đồ họa (GPU), AIPU được thiết kế để xử lý các dạng thức tính toán đặc thù của workload AI. Nhờ đó, AIPU mang lại hiệu năng cao đồng thời duy trì mức tiêu thụ điện năng thấp, yếu tố thiết yếu trong môi trường biên, nơi tài nguyên thường bị hạn chế.
Điểm tạo nên tính đổi mới đặc biệt trong phương pháp của Axelera AI là thiết kế full-stack. Metis được xây dựng với công nghệ tính toán số trong bộ nhớ (D-IMC) và RISC-V để đạt hiệu năng cao cùng hiệu quả năng lượng mà điện toán biên đòi hỏi. Bốn lõi của Metis có thể lập trình độc lập, nghĩa là bạn có thể chạy song song bốn model trên mỗi chip. Ngoài phần cứng, Voyager SDK bao gồm compiler và runtime phối hợp với nhau để tối ưu model cho việc triển khai.
Điều này giúp developer chuyển từ model đã huấn luyện sang suy luận sẵn sàng cho môi trường production hiệu quả hơn. Cụ thể, Metis AIPU cho phép chạy các model thị giác máy tính tiên tiến, như các model Ultralytics YOLO, trực tiếp trên thiết bị biên trong nhiều môi trường, từ doanh nghiệp, bán lẻ, chăm sóc sức khỏe và sản xuất đến nông nghiệp, thiết bị công nghiệp và vệ tinh.
Export các model Ultralytics YOLO để triển khai trên Metis#
Gói Python Ultralytics cung cấp giao diện thống nhất để huấn luyện, đánh giá và triển khai model YOLO cho nhiều tác vụ thị giác máy tính. Model YOLO thường được phát triển và huấn luyện bằng PyTorch, nền tảng phù hợp cho thử nghiệm và phát triển model.
Tuy nhiên, khi triển khai những model này trên phần cứng biên chuyên dụng, cần chuyển đổi chúng sang định dạng được tối ưu cho thiết bị đích. Đây là lúc các tích hợp export được gói Python Ultralytics hỗ trợ phát huy tác dụng.
Ultralytics cung cấp nhiều tùy chọn export, cho phép chuyển đổi model YOLO sang các định dạng khác nhau tùy theo mục tiêu triển khai, chẳng hạn như ONNX, TensorRT và các backend chuyên biệt cho phần cứng khác. Những tích hợp này đơn giản hóa quá trình chuẩn bị model cho ứng dụng thực tế bằng cách xử lý các bước tối ưu hóa và chuyển đổi cần thiết.
Dựa trên nền tảng này, Ultralytics đã giới thiệu bản tích hợp với Axelera AI được cập nhật, cho phép export model YOLO để triển khai trên Metis AIPU.
Trong quá trình export, model được biên dịch và lượng tử hóa thành dạng biểu diễn tối ưu, được thiết kế riêng cho phần cứng Axelera. Quy trình này tạo ra model đã biên dịch ở định dạng ".axm", cùng với metadata cần thiết cho việc triển khai và suy luận.
Hình 2. Có thể chạy các model Ultralytics YOLO trên Metis AIPU. (Nguồn)
Tích hợp này hỗ trợ nhiều tác vụ thị giác máy tính trên Ultralytics YOLOv8, Ultralytics YOLO11 và các model Ultralytics YOLO26, bao gồm phát hiện đối tượng, ước tính tư thế, phân đoạn instance, phát hiện hộp giới hạn định hướng (OBB) và phân loại ảnh. Hầu hết tác vụ được hỗ trợ trực tiếp thông qua quy trình export; riêng phân đoạn YOLO26 có thể sử dụng thông qua model zoo với Voyager SDK.
Hỗ trợ mở rộng này mang lại cho developer sự linh hoạt để triển khai nhiều loại model thị giác tùy theo ứng dụng, từ phát hiện đối tượng theo thời gian thực đến hiểu cảnh, theo dõi chuyển động và phân tích dữ liệu hình ảnh phức tạp.
Sau khi export, model có thể được triển khai và chạy mà không cần PyTorch tại thời điểm suy luận. Thay vào đó, model được thực thi bằng runtime Voyager SDK, hỗ trợ xây dựng pipeline đầu cuối cho các tác vụ như xử lý video, phát hiện thời gian thực và theo dõi trực tiếp trên thiết bị biên.
Bắt đầu export các model Ultralytics YOLO#
Giờ đây khi đã hiểu rõ hơn về bản tích hợp export mới, hãy cùng tìm hiểu cách export model Ultralytics YOLO sang định dạng tùy chỉnh này và chạy model trên phần cứng Metis ở biên.
Bước 1: Cài đặt package Ultralytics Python#
Để bắt đầu, trước tiên bạn cần cài đặt gói Python Ultralytics. Gói này cung cấp giao diện đơn giản và nhất quán để huấn luyện, đánh giá và export model YOLO.
Bạn có thể cài đặt bằng pip bằng cách chạy lệnh sau trong terminal hoặc command prompt:
pip install ultralyticsNếu gặp vấn đề trong quá trình cài đặt hoặc export, tài liệu Ultralytics chính thức và hướng dẫn Các vấn đề thường gặp là những tài liệu hữu ích để khắc phục sự cố.
Bước 2: Cài đặt driver Axelera và Voyager SDK#
Để export và chạy model trên phần cứng Axelera, bạn cũng cần cài đặt driver Axelera và Voyager SDK. Bước này cho phép giao tiếp với Metis AIPU và cung cấp các công cụ runtime cùng compiler cần thiết.
Các bước dưới đây phải được thực hiện trong môi trường Linux có quyền truy cập phần cứng Axelera AI Metis. Mở terminal trên hệ thống hoặc dùng một ô notebook nếu bạn đang chạy Jupyter Notebook trên cấu hình cục bộ tương thích, rồi thực thi các lệnh bên dưới.
Trước tiên, hãy thêm khóa repository Axelera như sau:
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"Tiếp theo, thêm repository Axelera vào hệ thống như minh họa bên dưới:
sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"Sau đó, cài đặt Voyager SDK và nạp driver Metis như sau:
sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metisSau khi hoàn tất các bước này, hệ thống của bạn sẽ sẵn sàng export và chạy model Ultralytics YOLO trên thiết bị Axelera AI Metis.
Bước 3: Export model Ultralytics YOLO#
Sau khi cài đặt gói Ultralytics, bạn có thể tải model YOLO và export model thành một gói đã biên dịch để triển khai trên Metis. Quy trình này chuyển đổi model sang định dạng được tối ưu cho việc triển khai trên phần cứng Axelera AI Metis.
Trong ví dụ dưới đây, chúng ta sử dụng model YOLO26 nano đã huấn luyện trước và export model để chạy trên Metis. Model đã export sẽ được lưu trong thư mục có tên "/yolo26n_axelera_model".
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
model.export(format="axelera")Bước 4: Chạy suy luận với model đã export#
Sau khi export model, bạn có thể tải model và chạy suy luận trên ảnh chưa từng thấy hoặc luồng video. Nhờ đó, các tác vụ thị giác máy tính thời gian thực có thể chạy trực tiếp trên thiết bị Axelera AI Metis.
Ví dụ, đoạn mã bên dưới minh họa cách tải model đã export và chạy suy luận trên một URL công khai.
axelera_model = YOLO("yolo26n_axelera_model")
results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)Trong trường hợp này, model phân tích ảnh đầu vào và phát hiện các đối tượng, sau đó lưu kết quả vào thư mục "runs/detect/predict".
Ultralytics YOLO và phần cứng Axelera AI có thể tạo tác động ở đâu#
Tiếp theo, hãy cùng tìm hiểu một số ứng dụng edge AI phổ biến trong đó có thể triển khai model Ultralytics YOLO trên phần cứng Axelera AI trong các tình huống thực tế.
Metis AIPU của Axelera AI được thiết kế cho nhiều môi trường triển khai, từ hệ thống nhúng và PC công nghiệp đến robot và máy chủ biên. Với khả năng suy luận hiệu năng cao, tiết kiệm năng lượng, các thiết bị này cho phép ứng dụng thị giác máy tính chạy trực tiếp trên thiết bị trong nhiều ngành. Voyager SDK cũng có trình dựng pipeline dành cho kỹ sư ML và APP để đưa model vào sản phẩm ở biên.
Hệ thống thị giác thông minh hoạt động ở biên trong lĩnh vực bán lẻ#
Trong môi trường bán lẻ, việc hiểu hành vi khách hàng theo thời gian thực có thể tạo ra khác biệt đáng kể.
Với các model Ultralytics YOLO chạy trên phần cứng Axelera AI, cửa hàng có thể giám sát lưu lượng khách, đếm người và phân tích diễn biến di chuyển bên trong cửa hàng ngay khi chúng xảy ra. Vì mọi thứ chạy trực tiếp trên thiết bị, thông tin chuyên sâu có thể được tạo tức thì mà không phụ thuộc vào kết nối đám mây, giúp các nhóm phản ứng nhanh hơn đồng thời bảo vệ quyền riêng tư dữ liệu.
Hình 3. Phát hiện và đếm người tại trung tâm thương mại bằng Ultralytics YOLO26
Ứng dụng edge AI trong kiểm tra tiện ích và hạ tầng#
Việc bảo trì hạ tầng quy mô lớn như đường dây điện rất phức tạp và tiêu tốn nhiều nguồn lực. Các mạng lưới này thường trải dài trên những khoảng cách rất lớn, khiến công tác kiểm tra tốn thời gian, chi phí cao và tiềm ẩn nguy hiểm. Khi sự cố hoặc dấu hiệu hao mòn ban đầu không được phát hiện, chúng có thể dẫn đến mất điện, hư hỏng thiết bị hoặc rủi ro an toàn.
Drone ngày càng được sử dụng để nâng cao hiệu quả kiểm tra. Drone có thể bao quát khoảng cách xa, tiếp cận những khu vực khó đến và ghi lại hình ảnh độ phân giải cao của các tài sản trọng yếu.
Kết hợp drone với edge AI giúp nâng cao hơn nữa quy trình này. Các model Ultralytics YOLO chạy trên phần cứng Axelera AI cho phép phân tích theo thời gian thực trong quá trình kiểm tra, nhận diện sự cố, phân loại bộ phận và phát hiện bất thường ngay tại hiện trường. Cách này giảm nhu cầu rà soát thủ công và hỗ trợ giám sát hạ tầng nhanh chóng, đáng tin cậy hơn.
Hình 4. Phát hiện nhiều bộ phận khác nhau của đường dây điện bằng Ultralytics YOLO26
Tăng cường năng lực cho robot bằng thông tin chuyên sâu AI thị giác thời gian thực#
Đối với robot, tốc độ và khả năng phản hồi rất quan trọng. Dù di chuyển trong nhà kho hay hoạt động trong môi trường công nghiệp năng động, robot cần diễn giải môi trường xung quanh ngay tức thì.
Các model Ultralytics YOLO chạy trên phần cứng Axelera AI cho phép robot diễn giải môi trường xung quanh theo thời gian thực, từ phát hiện chướng ngại vật đến theo dõi người và nhận diện đối tượng. Nhờ đó, hệ thống có thể di chuyển an toàn hơn, thích ứng với điều kiện luôn thay đổi và hoạt động tự chủ hơn mà không phụ thuộc vào kết nối đám mây liên tục.
Lợi ích chính khi chạy model Ultralytics YOLO trên Metis AIPU#
Dưới đây là một số lợi thế chính khi triển khai model Ultralytics YOLO trên phần cứng Metis của Axelera AI bằng tích hợp mới:
- Tích hợp liền mạch với quy trình Ultralytics: Export model YOLO để triển khai trên Metis phù hợp tự nhiên với gói Python Ultralytics, giúp đơn giản hóa quá trình chuyển từ huấn luyện sang suy luận.
- Hỗ trợ nhiều tác vụ thị giác máy tính: Bạn có thể triển khai model cho các tác vụ phát hiện đối tượng, ước tính tư thế, phân đoạn, phân loại và nhiều tác vụ khác trên YOLOv8, YOLO11 và YOLO26.
- Chạy model song song: Metis AIPU được thiết kế với bốn lõi có thể lập trình độc lập, có khả năng chạy song song bốn model riêng biệt để đáp ứng nhu cầu của bạn.
- Có thể mở rộng cho các ứng dụng edge AI: Từ phân tích bán lẻ và kiểm tra công nghiệp đến robot và hạ tầng thông minh, tích hợp này hỗ trợ nhiều trường hợp sử dụng thực tế.
Những điểm chính cần nhớ#
Các model Ultralytics YOLO và Metis AIPU của Axelera AI giúp đưa thị giác máy tính hiệu năng cao lên biên dễ dàng hơn. Bằng cách đơn giản hóa việc triển khai và tối ưu model cho phần cứng chuyên dụng, tích hợp này góp phần thu hẹp khoảng cách giữa phát triển và ứng dụng thực tế.
Khi edge AI tiếp tục phát triển, các tùy chọn triển khai hiệu quả và có khả năng mở rộng sẽ đóng vai trò then chốt trong việc xây dựng những hệ thống phản hồi nhanh và đáng tin cậy. Sự hợp tác này là một bước tiến hướng tới việc giúp AI thị giác tiên tiến dễ tiếp cận hơn trong nhiều ngành.
Bạn muốn tìm hiểu thêm về AI? Khám phá repository GitHub của chúng tôi, kết nối với cộng đồng của chúng tôi và xem các tùy chọn cấp phép để bắt đầu dự án thị giác máy tính của bạn. Tìm hiểu cách những đổi mới như AI trong bán lẻ và thị giác máy tính trong chăm sóc sức khỏe đang định hình tương lai.
