Mang đến Ultralytics YOLO các mô hình cho phần cứng Axelera AI dành cho AI biên

Tại Ultralytics Chúng ta đang chứng kiến ​​sự dịch chuyển ngày càng tăng hướng tới việc chạy các mô hình thị giác máy tính trực tiếp trên các thiết bị biên khi trí tuệ nhân tạo (AI) được ứng dụng rộng rãi hơn. Trong các cuộc trò chuyện với cộng đồng thị giác máy tính, cả trực tuyến và trực tiếp tại các hội nghị công nghệ gần đây, nhóm của chúng tôi đã nhận thấy sự quan tâm ngày càng tăng đối với việc triển khai AI thị giác gần hơn với nơi dữ liệu được tạo ra.

Từ môi trường bán lẻ thông minh và tự động hóa công nghiệp đến robot, thông tin chi tiết theo thời gian thực đang trở nên thiết yếu, và việc chỉ dựa vào điện toán đám mây là không còn đủ nữa.

Nói một cách đơn giản, AI biên (edge ​​AI) cho phép chạy các mô hình AI cục bộ trên thiết bị thay vì gửi dữ liệu đến các máy chủ tập trung để xử lý. Điều này giúp giảm độ trễ, cải thiện độ tin cậy và phản hồi các sự kiện trong thế giới thực theo thời gian thực. 

Tuy nhiên, việc triển khai các mô hình hiệu năng cao trong môi trường này cũng gặp phải những thách thức riêng, vì tài nguyên tính toán hạn chế và các ràng buộc về nguồn điện đòi hỏi các mô hình phải vừa hiệu quả vừa được tối ưu hóa cho phần cứng mà chúng chạy trên đó.

Ultralytics YOLO Các mô hình như Ultralytics YOLO26 được thiết kế cho thị giác máy tính thời gian thực, nhưng để khai thác tối đa tiềm năng của chúng ở biên mạng cần sự kết hợp phù hợp giữa phần mềm và phần cứng. Đó là lý do tại sao chúng tôi rất vui mừng thông báo về sự hợp tác với Axelera AI.

Chúng tôi đã hợp tác với Axelera AI để giới thiệu tính năng tích hợp xuất dữ liệu được cập nhật, cho phép triển khai hiệu quả và hiệu suất cao. Ultralytics YOLO các mô hình trên Bộ xử lý AI Metis ^® (AIPU) .

Trong bài viết này, chúng ta sẽ tìm hiểu về cách thức... Ultralytics YOLO Các mô hình có thể dễ dàng được biên dịch để triển khai trên Metis. Hãy bắt đầu nào!

Trí tuệ nhân tạo biên (Edge AI) là tương lai của thị giác máy tính.

Khi các ứng dụng thị giác máy tính tiếp tục phát triển, nhu cầu xử lý nhanh hơn và hiệu quả hơn ngày càng trở nên quan trọng. Các phương pháp dựa trên điện toán đám mây truyền thống có thể gây ra độ trễ, phụ thuộc vào kết nối ổn định và có thể không đáp ứng được nhu cầu thời gian thực của nhiều trường hợp sử dụng thị giác thông minh. 

Trí tuệ nhân tạo biên (Edge AI) giải quyết những thách thức này bằng cách cho phép các mô hình chạy trực tiếp trên các thiết bị cục bộ, cho phép xử lý dữ liệu gần hơn với nguồn gốc của nó. Ví dụ, hãy xem xét các máy bay không người lái sử dụng thị giác máy tính trong các hoạt động tìm kiếm và cứu hộ. 

Các hệ thống này cần phân tích nguồn cấp dữ liệu video trong thời gian thực để detect Con người, chướng ngại vật hoặc mối nguy hiểm, thường ở những khu vực hẻo lánh với kết nối internet hạn chế hoặc không có. Bằng cách chạy các mô hình thị giác máy tính trực tiếp trên máy bay không người lái, AI biên cho phép đưa ra quyết định nhanh hơn và hiệu suất đáng tin cậy hơn mà không cần dựa vào cơ sở hạ tầng đám mây.

Sự chuyển đổi này đang mở ra những khả năng mới trên nhiều ngành công nghiệp. Các ứng dụng như phát hiện vật thể theo thời gian thực trong bán lẻ, kiểm tra chất lượng tự động trong sản xuất và nhận thức trong robot đều được hưởng lợi từ thời gian phản hồi nhanh hơn và độ tin cậy cao hơn. 

Trí tuệ nhân tạo biên (Edge AI) đang nhanh chóng trở thành yếu tố then chốt giúp triển khai các hệ thống thị giác máy tính có khả năng mở rộng và phản hồi nhanh trong môi trường thực tế.

Khám phá các đơn vị xử lý AI Metis của Axelera AI 

Trước khi đi sâu vào tích hợp xuất dữ liệu mới, hãy cùng tìm hiểu thêm về Bộ xử lý AI Metis của Axelera AI và vai trò của chúng trong việc hỗ trợ AI biên hiệu quả.

Axelera AI phát triển phần cứng chuyên dụng được thiết kế đặc biệt để tăng tốc quá trình suy luận AI tại biên. Một phần quan trọng trong đó là Metis AIPU, hay Bộ xử lý AI, một bộ xử lý chuyên dụng được xây dựng để chạy các mạng nơ-ron một cách hiệu quả trên các thiết bị biên.

Khác với các bộ xử lý trung tâm (CPU) đa năng hoặc thậm chí cả các bộ xử lý đồ họa (GPU), AIPU được thiết kế để xử lý các mô hình tính toán cụ thể của khối lượng công việc AI. Điều này cho phép chúng mang lại hiệu suất cao trong khi vẫn duy trì mức tiêu thụ điện năng thấp, điều rất quan trọng đối với môi trường biên nơi tài nguyên thường bị hạn chế.

Điều làm cho phương pháp tiếp cận của Axelera AI trở nên đặc biệt sáng tạo là thiết kế toàn diện của nó. Metis được xây dựng với khả năng tính toán trong bộ nhớ kỹ thuật số (D-IMC) và kiến ​​trúc RISC-V để đạt hiệu suất cao với yêu cầu tiết kiệm năng lượng của điện toán biên. Bốn lõi của Metis có thể lập trình độc lập, nghĩa là bạn có thể chạy bốn mô hình trên mỗi chip song song. Ngoài phần cứng, bộ công cụ phát triển phần mềm Voyager SDK còn bao gồm trình biên dịch và môi trường chạy hoạt động cùng nhau để tối ưu hóa các mô hình cho việc triển khai. 

Điều này cho phép các nhà phát triển chuyển đổi từ các mô hình đã được huấn luyện sang suy luận sẵn sàng cho sản xuất một cách hiệu quả hơn. Cụ thể, Metis AIPU cho phép chạy các mô hình thị giác máy tính tiên tiến, chẳng hạn như Ultralytics YOLO các mô hình, trực tiếp trên các thiết bị đầu cuối từ môi trường doanh nghiệp, bán lẻ, chăm sóc sức khỏe và sản xuất đến thiết bị nông nghiệp và công nghiệp và vệ tinh.

Xuất khẩu Ultralytics YOLO mô hình triển khai Metis

Gói phần mềm Ultralytics dành cho Python cung cấp giao diện thống nhất để huấn luyện, đánh giá và triển khai. YOLO các mô hình trên nhiều nhiệm vụ thị giác máy tính khác nhau. YOLO Các mô hình thường được phát triển và huấn luyện bằng cách sử dụng PyTorch Điều này rất phù hợp cho việc thử nghiệm và phát triển mô hình.

Tuy nhiên, khi triển khai các mô hình này trên phần cứng biên chuyên dụng, chúng cần được chuyển đổi sang định dạng được tối ưu hóa cho thiết bị đích. Đây là lúc các tích hợp xuất dữ liệu được hỗ trợ bởi... Ultralytics Python Gói hàng được gửi đến.

Ultralytics cung cấp một loạt các tùy chọn xuất khẩu cho phép YOLO các mô hình cần được chuyển đổi sang các định dạng khác nhau tùy thuộc vào mục tiêu triển khai, chẳng hạn như ONNX , TensorRT và các hệ thống phụ trợ chuyên dụng cho phần cứng khác. Những sự tích hợp này đơn giản hóa quá trình chuẩn bị mô hình cho các ứng dụng thực tế bằng cách xử lý các bước tối ưu hóa và chuyển đổi cần thiết.

Tiếp nối điều này, Ultralytics đã giới thiệu tính năng tích hợp xuất dữ liệu được cập nhật với Axelera AI , cho phép YOLO Các mô hình sẽ được xuất khẩu để triển khai trên Metis AIPU.

Trong quá trình xuất khẩu, mô hình được biên dịch và lượng tử hóa thành một dạng biểu diễn tối ưu được thiết kế đặc biệt cho phần cứng Axelera. Quá trình này tạo ra một mô hình đã biên dịch ở định dạng ".axm", cùng với siêu dữ liệu cần thiết cho việc triển khai và suy luận.

Sự tích hợp này hỗ trợ nhiều tác vụ thị giác máy tính trên Ultralytics YOLOv8 , Ultralytics YOLO11 và... Ultralytics YOLO26 hỗ trợ các mô hình bao gồm phát hiện đối tượng, ước lượng tư thế, phân đoạn đối tượng, phát hiện hộp giới hạn định hướng (OBB) và phân loại hình ảnh. Mặc dù hầu hết các tác vụ được hỗ trợ trực tiếp thông qua quy trình xuất, nhưng phân đoạn YOLO26 có thể được sử dụng thông qua kho mô hình với Voyager SDK.

Sự hỗ trợ mở rộng này mang lại cho các nhà phát triển sự linh hoạt để triển khai các loại mô hình thị giác khác nhau tùy thuộc vào ứng dụng của họ, từ việc phát hiện đối tượng trong thời gian thực đến hiểu cảnh vật, theo dõi chuyển động và phân tích dữ liệu hình ảnh phức tạp.

Sau khi xuất khẩu, các mô hình có thể được triển khai và chạy mà không cần phụ thuộc vào bất kỳ yếu tố nào khác. PyTorch Tại thời điểm suy luận. Thay vào đó, chúng được thực thi bằng cách sử dụng môi trường chạy Voyager SDK, hỗ trợ xây dựng các quy trình đầu cuối cho các tác vụ như xử lý video, phát hiện thời gian thực và theo dõi trực tiếp trên các thiết bị biên.

Bắt đầu xuất khẩu Ultralytics YOLO mô hình

Giờ đây, khi đã hiểu rõ hơn về tính năng tích hợp xuất khẩu mới, hãy cùng tìm hiểu cách xuất khẩu. Ultralytics YOLO chuyển đổi các mô hình sang định dạng tùy chỉnh này và chạy chúng trên phần cứng Metis ở vùng biên.

Bước 1: Cài đặt Ultralytics Python bưu kiện

Để bắt đầu, trước tiên bạn cần cài đặt... Ultralytics Python Gói phần mềm này cung cấp giao diện đơn giản và nhất quán để đào tạo, đánh giá và xuất khẩu. YOLO mô hình.

Bạn có thể cài đặt nó bằng pip bằng cách chạy lệnh sau trong terminal hoặc dấu nhắc lệnh:

cài đặt pip ultralytics

Nếu bạn gặp bất kỳ sự cố nào trong quá trình cài đặt hoặc xuất dữ liệu, tài liệu chính thức Ultralytics và hướng dẫn về các sự cố thường gặp là những nguồn tài liệu hữu ích để khắc phục sự cố.

Bước 2: Cài đặt trình điều khiển Axelera và Voyager SDK

Để xuất và chạy các mô hình trên phần cứng Axelera, bạn cũng cần cài đặt trình điều khiển Axelera và Voyager SDK. Bước này cho phép giao tiếp với Metis AIPU và cung cấp các công cụ biên dịch và thời gian chạy cần thiết.

Các bước dưới đây cần được thực hiện trong môi trường Linux có quyền truy cập vào phần cứng Axelera AI Metis. Mở cửa sổ dòng lệnh trên hệ thống của bạn, hoặc sử dụng ô lệnh trong sổ tay Jupyter Notebook nếu bạn đang chạy trên thiết lập cục bộ tương thích, và thực hiện các lệnh bên dưới.

Hãy bắt đầu bằng cách thêm khóa kho lưu trữ Axelera như sau:

sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

Tiếp theo, như hình bên dưới, hãy thêm kho lưu trữ Axelera vào hệ thống của bạn:

sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

Sau đó, cài đặt Voyager SDK và tải trình điều khiển Metis như sau:

sudo apt update

cài đặt sudo apt -y metis-dkms=1.4.16

sudo modprobe metis

Sau khi hoàn thành các bước này, hệ thống của bạn sẽ sẵn sàng để xuất và chạy. Ultralytics YOLO các mô hình trên thiết bị Axelera AI Metis.

Bước 3: Xuất khẩu Ultralytics YOLO mô hình

Khi Ultralytics Gói phần mềm đã được cài đặt, bạn có thể tải nó lên. YOLO Mô hình này được tạo ra và xuất ra dưới dạng gói đã biên dịch cho Metis. Quá trình này chuyển đổi mô hình sang định dạng được tối ưu hóa để triển khai trên phần cứng Axelera AI Metis.

Trong ví dụ bên dưới, chúng ta sử dụng mô hình YOLO26 nano đã được huấn luyện trước và xuất nó cho giống chó Metis. Mô hình đã xuất sẽ được lưu trong thư mục có tên "/yolo26n_axelera_model". 

từ ultralytics nhập khẩu YOLO

mô hình = YOLO ("yolo26n.pt")

model.export(format="axelera")  

Bước 4: Chạy suy luận với mô hình đã xuất

Sau khi xuất mô hình, bạn có thể tải nó lên và chạy suy luận trên các hình ảnh hoặc luồng video chưa từng thấy. Điều này cho phép thực hiện các tác vụ thị giác máy tính theo thời gian thực trực tiếp trên các thiết bị Axelera AI Metis.

Ví dụ, đoạn mã dưới đây cho thấy cách tải mô hình đã xuất và chạy suy luận trên một URL công khai.

axelera_model = YOLO ("yolo26n_axelera_model")

results = axelera_model("https:// ultralytics .com/images/bus.jpg", save=True)

Trong trường hợp này, mô hình phân tích ảnh đầu vào và phát hiện các đối tượng, lưu kết quả vào "runs/" detect Thư mục "/predict".

Ở đâu Ultralytics YOLO và phần cứng AI của Axelera có thể tạo ra tác động.

Tiếp theo, chúng ta hãy thảo luận về một số ứng dụng AI biên phổ biến, trong đó... Ultralytics YOLO Các mô hình có thể được triển khai trên phần cứng Axelera AI trong các tình huống thực tế.

Bộ xử lý AIPU Metis của Axelera AI được thiết kế cho nhiều môi trường triển khai khác nhau, từ hệ thống nhúng và máy tính công nghiệp đến robot và máy chủ biên. Với khả năng suy luận hiệu suất cao và tiết kiệm năng lượng, chúng cho phép các ứng dụng thị giác máy tính chạy trực tiếp trên thiết bị trong nhiều ngành công nghiệp. Bộ SDK Voyager cũng bao gồm một công cụ xây dựng quy trình cho các kỹ sư học máy và ứng dụng để thương mại hóa các mô hình cho điện toán biên.

Hệ thống thị giác thông minh trong bán lẻ hoạt động ở cấp độ biên

Trong môi trường bán lẻ, việc hiểu hành vi khách hàng trong thời gian thực có thể tạo ra sự khác biệt đáng kể. 

Sử dụng Ultralytics YOLO Với các mô hình chạy trên phần cứng AI của Axelera, các cửa hàng có thể theo dõi lưu lượng người ra vào, đếm số người và phân tích các mô hình di chuyển trong cửa hàng ngay khi chúng diễn ra. Vì mọi thứ đều chạy trên thiết bị, thông tin chi tiết có thể được tạo ra ngay lập tức mà không cần phụ thuộc vào kết nối đám mây, giúp các nhóm phản hồi nhanh hơn trong khi vẫn đảm bảo quyền riêng tư dữ liệu.

Sử dụng trí tuệ nhân tạo biên (edge ​​AI) để kiểm tra tiện ích và cơ sở hạ tầng.

Việc bảo trì các cơ sở hạ tầng quy mô lớn như đường dây điện rất phức tạp và tốn nhiều nguồn lực. Các mạng lưới này thường trải dài trên những khoảng cách rộng lớn, khiến việc kiểm tra tốn nhiều thời gian, chi phí và tiềm ẩn nhiều nguy hiểm. Khi các sự cố hoặc dấu hiệu hư hỏng ban đầu không được phát hiện, chúng có thể dẫn đến mất điện, hư hại thiết bị hoặc rủi ro về an toàn.

Máy bay không người lái ngày càng được sử dụng rộng rãi để nâng cao hiệu quả kiểm tra. Chúng có thể hoạt động trên quãng đường dài, tiếp cận các khu vực khó tiếp cận và chụp ảnh độ phân giải cao các tài sản quan trọng.

Việc kết hợp máy bay không người lái với trí tuệ nhân tạo tại chỗ (edge ​​AI) sẽ giúp nâng cao hơn nữa các quy trình làm việc này. Ultralytics YOLO Các mô hình chạy trên phần cứng Axelera AI cho phép phân tích thời gian thực trong quá trình kiểm tra, xác định lỗi, phân loại linh kiện và phát hiện các bất thường tại chỗ. Điều này giảm thiểu nhu cầu xem xét thủ công và hỗ trợ giám sát cơ sở hạ tầng nhanh hơn, đáng tin cậy hơn.

Tăng cường sức mạnh cho robot bằng những hiểu biết AI thị giác thời gian thực.

Đối với robot, tốc độ và khả năng phản hồi là vô cùng quan trọng. Cho dù di chuyển trong kho hàng hay hoạt động trong môi trường công nghiệp năng động, robot cần phải hiểu và nhận biết môi trường xung quanh ngay lập tức. 

Ultralytics YOLO Các mô hình chạy trên phần cứng AI của Axelera cho phép robot diễn giải môi trường xung quanh trong thời gian thực, từ việc phát hiện chướng ngại vật đến theo dõi người và nhận dạng vật thể. Điều này cho phép các hệ thống di chuyển an toàn hơn, thích ứng với các điều kiện động và hoạt động tự chủ hơn mà không cần phụ thuộc vào kết nối đám mây liên tục.

Những lợi ích chính của việc chạy bộ Ultralytics YOLO các mô hình về AIPU của người Métis

Dưới đây là một số ưu điểm chính của việc triển khai Ultralytics YOLO Các mô hình trên phần cứng Metis của Axelera AI sử dụng tính năng tích hợp mới:

• Tích hợp liền mạch với quy trình làm việc Ultralytics : Xuất dữ liệu YOLO các mô hình triển khai Metis phù hợp một cách tự nhiên với Ultralytics Python gói này giúp đơn giản hóa quá trình chuyển đổi từ huấn luyện sang suy luận.
• Hỗ trợ nhiều tác vụ thị giác máy tính: Bạn có thể triển khai các mô hình để phát hiện đối tượng, ước lượng tư thế, phân đoạn, phân loại, v.v. trên nhiều hệ thống khác nhau. YOLOv8 , YOLO11 và YOLO26.
• Chạy các mô hình song song: Bộ xử lý AIPU của Metis được thiết kế với bốn lõi lập trình độc lập, có khả năng chạy bốn mô hình riêng biệt song song để đáp ứng nhu cầu của bạn.
• Có khả năng mở rộng trên nhiều ứng dụng AI biên: Từ phân tích bán lẻ và kiểm tra công nghiệp đến robot và cơ sở hạ tầng thông minh, sự tích hợp này hỗ trợ nhiều trường hợp sử dụng thực tế.

Những điều cần nhớ

Ultralytics YOLO Sự kết hợp giữa các mô hình và bộ xử lý AIPU Metis của Axelera AI giúp dễ dàng đưa công nghệ thị giác máy tính hiệu năng cao đến các thiết bị biên. Bằng cách đơn giản hóa việc triển khai và tối ưu hóa các mô hình cho phần cứng chuyên dụng, sự tích hợp này giúp thu hẹp khoảng cách giữa quá trình phát triển và các ứng dụng thực tế.

Khi trí tuệ nhân tạo biên (edge ​​AI) tiếp tục phát triển, việc có các tùy chọn triển khai hiệu quả và có khả năng mở rộng sẽ là chìa khóa để xây dựng các hệ thống phản hồi nhanh và đáng tin cậy. Sự hợp tác này là một bước tiến hướng tới việc giúp trí tuệ nhân tạo thị giác tiên tiến trở nên dễ tiếp cận hơn trong nhiều ngành công nghiệp.

Bạn muốn tìm hiểu thêm về AI? Khám phá kho lưu trữ GitHub của chúng tôi, kết nối với cộng đồng của chúng tôi và xem các tùy chọn cấp phép của chúng tôi để khởi động dự án thị giác máy tính của bạn. Tìm hiểu cách các đổi mới như AI trong bán lẻ và thị giác máy tính trong chăm sóc sức khỏe đang định hình tương lai.