Đưa các mô hình Ultralytics YOLO đến phần cứng Axelera AI cho Edge AI

Tại Ultralytics, chúng tôi đang nhận thấy sự chuyển dịch ngày càng lớn sang việc chạy các computer vision models trực tiếp trên các thiết bị biên (edge devices) khi AI trở nên phổ biến hơn. Trong các cuộc trò chuyện với cộng đồng thị giác máy tính, cả trực tuyến lẫn trực tiếp tại các hội nghị công nghệ gần đây, đội ngũ của chúng tôi đã thấy sự quan tâm ngày càng tăng đối với việc triển khai AI thị giác gần hơn với nơi dữ liệu được tạo ra.

Từ môi trường bán lẻ thông minh và tự động hóa công nghiệp cho đến robot, các thông tin chi tiết theo thời gian thực đang trở nên thiết yếu, và việc chỉ dựa vào đám mây là không còn đủ nữa.

Nói một cách đơn giản, edge AI bao gồm việc chạy các model AI cục bộ trên thiết bị thay vì gửi dữ liệu đến các máy chủ tập trung để xử lý. Điều này giúp giảm độ trễ, cải thiện độ tin cậy và phản hồi các sự kiện trong thế giới thực theo thời gian thực.

Tuy nhiên, việc triển khai các model hiệu năng cao trong những môi trường này đi kèm với những thách thức riêng, vì tài nguyên tính toán hạn chế và các ràng buộc về năng lượng đòi hỏi các model phải vừa hiệu quả vừa được tối ưu hóa cho phần cứng mà chúng chạy trên đó.

Các model Ultralytics YOLO như Ultralytics YOLO26 được thiết kế cho thị giác máy tính thời gian thực, nhưng để khai thác tối đa tiềm năng của chúng ở biên đòi hỏi sự kết hợp đúng đắn giữa phần mềm và phần cứng. Đó là lý do tại sao chúng tôi rất vui mừng thông báo về sự hợp tác với Axelera AI.

Chúng tôi đã hợp tác với Axelera AI để giới thiệu bản tích hợp xuất model cập nhật, cho phép triển khai hiệu quả, hiệu năng cao các model Ultralytics YOLO trên Metis® AI Processing Units (AIPUs).

Hình 1. Cái nhìn về Metis AI Processing Unit (Nguồn)

Trong bài viết này, chúng ta sẽ khám phá cách các model Ultralytics YOLO có thể được biên dịch dễ dàng để triển khai trên Metis. Hãy cùng bắt đầu!

Link to this sectionEdge AI là tương lai của thị giác máy tính#

Khi các ứng dụng thị giác máy tính tiếp tục phát triển, nhu cầu về xử lý nhanh hơn và hiệu quả hơn đang trở nên cực kỳ quan trọng. Các phương pháp dựa trên đám mây truyền thống có thể gây ra độ trễ, phụ thuộc vào kết nối ổn định và có thể không đáp ứng được các yêu cầu thời gian thực của nhiều trường hợp sử dụng thị giác thông minh.

Edge AI giải quyết những thách thức này bằng cách cho phép các model chạy trực tiếp trên thiết bị cục bộ, cho phép dữ liệu được xử lý gần nguồn hơn. Ví dụ, hãy xem xét các drone hỗ trợ thị giác được sử dụng trong các hoạt động tìm kiếm và cứu nạn.

Những hệ thống này cần phân tích luồng video theo thời gian thực để phát hiện người, vật cản hoặc các mối nguy hiểm, thường là ở những khu vực xa xôi có kết nối internet hạn chế hoặc không có. Bằng cách chạy các model thị giác máy tính trực tiếp trên drone, edge AI cho phép ra quyết định nhanh hơn và hiệu suất tin cậy hơn mà không cần phụ thuộc vào cơ sở hạ tầng đám mây.

Sự thay đổi này đang mở ra những khả năng mới trên các ngành công nghiệp. Các ứng dụng như phát hiện đối tượng thời gian thực trong bán lẻ, kiểm tra chất lượng tự động trong sản xuất và nhận thức trong robot đều được hưởng lợi từ thời gian phản hồi nhanh hơn và độ tin cậy cao hơn.

Edge AI đang nhanh chóng trở thành yếu tố kích hoạt chính cho việc triển khai các hệ thống thị giác máy tính có khả năng mở rộng và phản hồi nhanh trong các môi trường thực tế.

Link to this sectionKhám phá các Metis AI Processing Units của Axelera AI#

Trước khi đi sâu vào bản tích hợp xuất model mới, hãy lùi lại một bước và tìm hiểu thêm về Metis AI Processing Units của Axelera AI và vai trò của chúng trong việc kích hoạt edge AI hiệu quả.

Axelera AI phát triển phần cứng chuyên dụng được thiết kế riêng để tăng tốc inference AI tại biên. Một phần quan trọng của điều này là Metis AIPU, hay AI Processing Unit, một bộ xử lý chuyên dụng được xây dựng để chạy các mạng thần kinh hiệu quả trên các thiết bị biên.

Không giống như các bộ xử lý trung tâm (CPUs) đa năng hay thậm chí là bộ xử lý đồ họa (GPUs), các AIPU được thiết kế để xử lý các mô hình tính toán đặc thù của khối lượng công việc AI. Điều này cho phép chúng cung cấp hiệu năng cao trong khi vẫn duy trì mức tiêu thụ điện năng thấp, điều này rất quan trọng đối với môi trường biên nơi tài nguyên thường hạn chế.

Điều làm cho cách tiếp cận của Axelera AI trở nên đặc biệt sáng tạo là thiết kế full-stack. Metis được xây dựng với công nghệ digital in-memory compute (D-IMC) và RISC-V cho hiệu năng cao với hiệu quả năng lượng mà điện toán biên đòi hỏi. Bốn nhân của Metis có thể lập trình độc lập, nghĩa là bạn có thể chạy bốn model trên mỗi chip song song. Ngoài phần cứng, Voyager SDK bao gồm một trình biên dịch và runtime cùng hoạt động để tối ưu hóa các model cho việc triển khai.

Điều này cho phép các nhà phát triển chuyển từ các model đã được huấn luyện sang inference sẵn sàng cho sản xuất hiệu quả hơn. Cụ thể, các Metis AIPU giúp khả thi việc chạy các model thị giác máy tính tiên tiến, như các model Ultralytics YOLO, trực tiếp trên các thiết bị biên từ các môi trường doanh nghiệp, bán lẻ, chăm sóc sức khỏe và sản xuất cho đến các thiết bị nông nghiệp, công nghiệp và vệ tinh.

Link to this sectionXuất các model Ultralytics YOLO để triển khai trên Metis#

Gói Ultralytics Python package cung cấp một giao diện thống nhất để huấn luyện, đánh giá và triển khai các model YOLO trên nhiều tác vụ thị giác máy tính. Các model YOLO thường được phát triển và huấn luyện bằng PyTorch, vốn rất phù hợp cho việc thử nghiệm và phát triển model.

Tuy nhiên, khi triển khai các model này trên phần cứng biên chuyên dụng, chúng cần được chuyển đổi sang định dạng được tối ưu hóa cho thiết bị mục tiêu. Đây là nơi các export integrations được hỗ trợ bởi gói Ultralytics Python phát huy tác dụng.

Ultralytics cung cấp nhiều tùy chọn xuất cho phép các model YOLO được chuyển đổi sang các định dạng khác nhau tùy thuộc vào mục tiêu triển khai, chẳng hạn như ONNX, TensorRT và các backend phần cứng cụ thể khác. Các tích hợp này đơn giản hóa quá trình chuẩn bị model cho các ứng dụng thực tế bằng cách xử lý các bước tối ưu hóa và chuyển đổi cần thiết.

Dựa trên đó, Ultralytics đã giới thiệu bản cập nhật tích hợp với Axelera AI, cho phép các model YOLO được xuất để triển khai trên các Metis AIPU.

Trong quá trình xuất, model được biên dịch và lượng tử hóa thành một biểu diễn tối ưu hóa được thiết kế dành riêng cho phần cứng Axelera. Quá trình này tạo ra một model đã biên dịch ở định dạng ".axm", cùng với siêu dữ liệu cần thiết cho việc triển khai và inference.

Hình 2. Các model Ultralytics YOLO có thể được chạy trên các Metis AIPU. (Nguồn)

Tích hợp này hỗ trợ nhiều tác vụ thị giác máy tính trên các model Ultralytics YOLOv8, Ultralytics YOLO11 và Ultralytics YOLO26, bao gồm phát hiện đối tượng, ước tính tư thế, phân đoạn thực thể, phát hiện hộp bao định hướng (OBB) và phân loại hình ảnh. Trong khi hầu hết các tác vụ được hỗ trợ trực tiếp thông qua quy trình xuất, tính năng phân đoạn của YOLO26 có thể được sử dụng thông qua model zoo với Voyager SDK.

Sự hỗ trợ mở rộng này mang lại cho các nhà phát triển sự linh hoạt để triển khai các loại model thị giác khác nhau tùy thuộc vào ứng dụng của họ, từ phát hiện đối tượng theo thời gian thực đến hiểu bối cảnh, theo dõi chuyển động và phân tích dữ liệu hình ảnh phức tạp.

Sau khi xuất, các model có thể được triển khai và chạy mà không cần dựa vào PyTorch tại thời điểm inference. Thay vào đó, chúng được thực thi bằng runtime của Voyager SDK, hỗ trợ xây dựng các pipeline end-to-end cho các tác vụ như xử lý video, phát hiện thời gian thực và theo dõi trực tiếp trên các thiết bị biên.

Link to this sectionBắt đầu với việc xuất các model Ultralytics YOLO#

Bây giờ chúng ta đã hiểu rõ hơn về bản tích hợp xuất mới, hãy cùng xem qua cách xuất các model Ultralytics YOLO sang định dạng tùy chỉnh này và chạy chúng trên phần cứng Metis tại biên.

Link to this sectionBước 1: Cài đặt gói Python của Ultralytics#

Để bắt đầu, trước tiên bạn cần cài đặt gói Ultralytics Python. Nó cung cấp một giao diện đơn giản và nhất quán để huấn luyện, đánh giá và xuất các model YOLO.

Bạn có thể cài đặt nó bằng pip bằng cách chạy lệnh sau trong terminal hoặc command prompt của bạn:

pip install ultralytics

Nếu bạn gặp bất kỳ vấn đề nào trong quá trình cài đặt hoặc xuất, tài liệu chính thức của Ultralytics và hướng dẫn về các vấn đề thường gặp là những tài nguyên tuyệt vời để khắc phục sự cố.

Link to this sectionBước 2: Cài đặt các trình điều khiển Axelera và Voyager SDK#

Để xuất và chạy các model trên phần cứng Axelera, bạn cũng cần cài đặt các trình điều khiển Axelera và Voyager SDK. Bước này cho phép giao tiếp với Metis AIPU và cung cấp các công cụ runtime và trình biên dịch cần thiết.

Các bước dưới đây phải được thực hiện trong môi trường Linux có quyền truy cập vào phần cứng Axelera AI Metis. Mở terminal trên hệ thống của bạn, hoặc sử dụng một ô notebook nếu bạn đang chạy Jupyter Notebook trên một thiết lập cục bộ tương thích, và thực thi các lệnh dưới đây.

Bắt đầu bằng cách thêm khóa kho lưu trữ Axelera như sau:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Tiếp theo, như được hiển thị bên dưới, hãy thêm kho lưu trữ Axelera vào hệ thống của bạn:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Sau đó cài đặt Voyager SDK và tải trình điều khiển Metis như sau:

sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

Sau khi hoàn thành các bước này, hệ thống của bạn sẽ sẵn sàng để xuất và chạy các model Ultralytics YOLO trên các thiết bị Axelera AI Metis.

Link to this sectionBước 3: Xuất các model Ultralytics YOLO#

Sau khi gói Ultralytics được cài đặt, bạn có thể tải model YOLO của mình và xuất nó dưới dạng gói đã biên dịch cho Metis. Quá trình này chuyển đổi model sang một định dạng được tối ưu hóa để triển khai trên phần cứng Axelera AI Metis.

Trong ví dụ dưới đây, chúng tôi sử dụng một model YOLO26 nano đã được huấn luyện sẵn và xuất nó cho Metis. Model đã xuất sẽ được lưu trong một thư mục có tên "/yolo26n_axelera_model".

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

model.export(format="axelera")

Link to this sectionBước 4: Chạy inference với model đã xuất#

Sau khi xuất model, bạn có thể tải nó và chạy inference trên các hình ảnh hoặc luồng video chưa được thấy trước đó. Điều này cho phép các tác vụ thị giác máy tính thời gian thực trực tiếp trên các thiết bị Axelera AI Metis.

Ví dụ, đoạn mã dưới đây cho thấy cách tải model đã xuất và chạy inference trên một URL công khai.

axelera_model = YOLO("yolo26n_axelera_model")

results = axelera_model("https://ultralytics.com/images/bus.jpg", save=True)

Trong trường hợp này, model phân tích hình ảnh đầu vào và phát hiện các đối tượng, lưu kết quả vào thư mục "runs/detect/predict".

Link to this sectionNơi các model Ultralytics YOLO và phần cứng Axelera AI có thể tạo ra tác động#

Tiếp theo, hãy cùng thảo luận về một số ứng dụng edge AI phổ biến mà các model Ultralytics YOLO có thể được triển khai trên phần cứng Axelera AI trong các kịch bản thực tế.

Các Metis AIPU của Axelera AI được thiết kế cho nhiều môi trường triển khai, từ hệ thống nhúng và PC công nghiệp đến robot và máy chủ biên. Với inference hiệu năng cao và tiết kiệm năng lượng, chúng cho phép các ứng dụng thị giác máy tính chạy trực tiếp trên thiết bị trong các ngành công nghiệp. Voyager SDK cũng bao gồm một bộ xây dựng pipeline cho các kỹ sư ML và APP để đưa các model ra thị trường tại biên.

Link to this sectionCác hệ thống thị giác thông minh trong bán lẻ hoạt động tại biên#

Trong môi trường bán lẻ, việc hiểu hành vi khách hàng theo thời gian thực có thể tạo ra sự khác biệt đáng kể.

Sử dụng các model Ultralytics YOLO chạy trên phần cứng Axelera AI, các cửa hàng có thể giám sát lưu lượng khách hàng, đếm người và phân tích các mẫu di chuyển trong cửa hàng khi chúng xảy ra. Vì mọi thứ chạy trên thiết bị, các thông tin chi tiết có thể được tạo ngay lập tức mà không cần dựa vào kết nối đám mây, giúp các đội ngũ phản hồi nhanh hơn trong khi vẫn duy trì quyền riêng tư dữ liệu.

Hình 3. Phát hiện và đếm người tại một trung tâm mua sắm bằng YOLO26

Link to this sectionSử dụng edge AI cho việc kiểm tra tiện ích và cơ sở hạ tầng#

Việc duy trì cơ sở hạ tầng quy mô lớn như đường dây điện rất phức tạp và tốn kém tài nguyên. Các mạng lưới này thường trải dài trên khoảng cách lớn, khiến việc kiểm tra trở nên tốn thời gian, tốn kém và có khả năng nguy hiểm. Khi các lỗi hoặc dấu hiệu hao mòn sớm không được phát hiện, chúng có thể leo thang thành sự cố mất điện, hư hỏng thiết bị hoặc rủi ro an toàn.

Các drone ngày càng được sử dụng để cải thiện hiệu quả kiểm tra. Chúng có thể bao quát khoảng cách dài, tiếp cận các khu vực khó tiếp cận và chụp ảnh độ phân giải cao về các tài sản quan trọng.

Việc kết hợp drone với edge AI giúp nâng cao hơn nữa các quy trình này. Các model Ultralytics YOLO chạy trên phần cứng Axelera AI cho phép phân tích thời gian thực trong quá trình kiểm tra, xác định lỗi, phân loại các thành phần và phát hiện các điểm bất thường tại chỗ. Điều này giảm nhu cầu đánh giá thủ công và hỗ trợ giám sát cơ sở hạ tầng nhanh hơn, tin cậy hơn.

Hình 4. Phát hiện các bộ phận khác nhau của một đường dây điện bằng YOLO26

Link to this sectionCung cấp sức mạnh cho robot bằng các thông tin chi tiết về AI thị giác theo thời gian thực#

Đối với robot, tốc độ và khả năng phản hồi là rất quan trọng. Cho dù đang điều hướng trong nhà kho hay hoạt động trong các môi trường công nghiệp năng động, robot cần diễn giải môi trường xung quanh chúng ngay lập tức.

Các model Ultralytics YOLO chạy trên phần cứng Axelera AI cho phép robot diễn giải môi trường xung quanh theo thời gian thực, từ việc phát hiện vật cản đến theo dõi người và xác định đối tượng. Điều này cho phép các hệ thống di chuyển an toàn hơn, thích nghi với các điều kiện năng động và hoạt động với sự tự chủ cao hơn mà không phụ thuộc vào kết nối đám mây liên tục.

Link to this sectionCác lợi ích chính của việc chạy các model Ultralytics YOLO trên Metis AIPUs#

Dưới đây là một số lợi thế chính của việc triển khai các model Ultralytics YOLO trên phần cứng Metis của Axelera AI bằng cách sử dụng bản tích hợp mới:

• Tích hợp liền mạch với quy trình làm việc của Ultralytics: Việc xuất các model YOLO cho triển khai trên Metis phù hợp tự nhiên với gói Ultralytics Python, đơn giản hóa việc chuyển đổi từ huấn luyện sang inference.
• Hỗ trợ nhiều tác vụ thị giác máy tính: Bạn có thể triển khai các model cho phát hiện đối tượng, ước tính tư thế, phân đoạn, phân loại và nhiều hơn nữa trên YOLOv8, YOLO11 và YOLO26.
• Chạy các model song song: Các Metis AIPU được thiết kế với bốn nhân có thể lập trình độc lập, có khả năng chạy bốn model riêng biệt song song để phù hợp với nhu cầu của bạn.
• Khả năng mở rộng trên các ứng dụng edge AI: Từ phân tích bán lẻ và kiểm tra công nghiệp đến robot và cơ sở hạ tầng thông minh, bản tích hợp hỗ trợ nhiều trường hợp sử dụng thực tế.

Link to this sectionCác điểm chính cần lưu ý#

Các model Ultralytics YOLO và Metis AIPU của Axelera AI giúp việc mang thị giác máy tính hiệu năng cao đến biên trở nên dễ dàng hơn. Bằng cách đơn giản hóa việc triển khai và tối ưu hóa các model cho phần cứng chuyên dụng, bản tích hợp này giúp thu hẹp khoảng cách giữa phát triển và các ứng dụng thực tế.

Khi edge AI tiếp tục phát triển, việc có các tùy chọn triển khai hiệu quả, có khả năng mở rộng sẽ là chìa khóa để xây dựng các hệ thống phản hồi nhanh và tin cậy. Sự hợp tác này là một bước tiến hướng tới việc làm cho AI thị giác tiên tiến trở nên dễ tiếp cận hơn trên các ngành công nghiệp.

Bạn muốn tìm hiểu thêm về AI? Khám phá GitHub repository của chúng tôi, kết nối với cộng đồng của chúng tôi và xem qua các tùy chọn cấp phép của chúng tôi để khởi động dự án thị giác máy tính của bạn. Tìm hiểu cách các đổi mới như AI trong bán lẻ và thị giác máy tính trong chăm sóc sức khỏe đang định hình tương lai.