Axelera AI cung cấp 34 FPS cho inference AI ở biên sử dụng Ultralytics YOLO

Axelera AI là một công ty bán dẫn châu Âu chuyên xây dựng các chip AI mạnh mẽ, tiết kiệm năng lượng để chạy thị giác máy tính tại biên. Ví dụ, các bộ vi xử lý AI Metis AIPU của họ được sử dụng trong các ngành công nghiệp như bán lẻ, an ninh và sản xuất.

Để giúp khách hàng xây dựng và triển khai các ứng dụng AI dễ dàng hơn, Axelera đã tích hợp Ultralytics YOLO models vào Voyager SDK của họ, một nền tảng phần mềm giúp đơn giản hóa quá trình tối ưu hóa, triển khai và tăng tốc model trên các Metis AIPU, giúp Vision AI thời gian thực trở nên nhanh hơn, đơn giản hơn và có khả năng mở rộng cao hơn.

Định nghĩa lại khả năng tăng tốc phần cứng Vision AI#

Được thành lập vào năm 2021 và có trụ sở tại Hà Lan, Axelera AI đặt mục tiêu giải quyết một vấn đề cơ bản: phần cứng AI truyền thống được xây dựng cho đám mây, chứ không phải cho edge. Để thu hẹp khoảng cách này, công ty đã phát triển Metis AIPU.

Đây là một chip hiệu năng cao, tiêu thụ điện năng thấp được thiết kế dành riêng cho các khối lượng công việc tại biên - các tác vụ AI chạy cục bộ trên thiết bị nơi tốc độ, quyền riêng tư và hiệu quả năng lượng là những yếu tố tối quan trọng.

Nó được hỗ trợ bởi công nghệ Digital In-Memory Compute (D-IMC) độc quyền của họ, cho phép xử lý dữ liệu trực tiếp tại nơi lưu trữ và giảm đáng kể độ trễ cũng như mức tiêu thụ năng lượng. Với hệ sinh thái phần mềm tích hợp đầy đủ và sứ mệnh dân chủ hóa AI, Axelera đang làm cho AI hiệu năng cao trở nên dễ tiếp cận hơn.

Thách thức khi chạy các model trên phần cứng AI tại biên#

Để mang lại trải nghiệm AI mượt mà tại biên, Axelera AI hướng đến việc cung cấp nhiều hơn là phần cứng hiệu năng cao. Khách hàng cũng yêu cầu một cách đơn giản và đáng tin cậy để chạy các giải pháp computer vision thời gian thực mà không liên quan đến các công cụ phức tạp hoặc tùy chỉnh tốn thời gian. Nhiều model hiện có quá lớn, quá chậm hoặc không phù hợp cho môi trường bị hạn chế tài nguyên.

Phân tích bán lẻ, tự động hóa nhà máy và hệ thống giám sát thường dựa vào những thông tin hình ảnh nhanh chóng và chính xác để hỗ trợ vận hành. Tuy nhiên, các model truyền thống và giải pháp dựa trên đám mây thường không đáp ứng được các yêu cầu về độ trễ thấp, hiệu quả năng lượng và xử lý tại thiết bị của các ứng dụng AI tại biên này.

Axelera bắt đầu tìm kiếm một bộ model chính xác, dễ triển khai và có khả năng chạy hiệu quả trên các Metis AI Processing Units của mình. Giải pháp phù hợp sẽ bổ sung cho các khả năng phần cứng của họ, đồng thời đơn giản hóa quá trình phát triển và đẩy nhanh quá trình triển khai trong nhiều trường hợp sử dụng AI tại biên.

Tăng tốc suy luận AI tại biên với Ultralytics YOLO#

Axelera AI đã tích hợp các model Ultralytics YOLO vào Voyager SDK của mình để giúp việc xây dựng và triển khai các ứng dụng edge AI nhanh hơn, dễ dàng hơn và có khả năng mở rộng cao hơn. SDK bao gồm một Model Zoo với các model YOLO sẵn sàng sử dụng và tự động hóa toàn bộ pipeline, bao gồm tiền xử lý, inference và hậu xử lý, được tối ưu hóa cho Metis AI Processing Units.

Hình 1. Metis AI Processing Unit (AIPU).

Tích hợp này cho phép khách hàng sử dụng các model Ultralytics YOLO tiền huấn luyện ngay lập tức hoặc sử dụng model riêng của họ với khả năng tăng tốc liền mạch trên phần cứng tại biên. Với sự hỗ trợ cho việc thực thi model song song và nối tiếp, Metis AIPUs cho phép thiết lập các cấu hình đa model nâng cao như ước tính tư thế (pose estimation) theo sau là phân đoạn (segmentation). Điều này rất lý tưởng cho các tác vụ phức tạp trong ngành bán lẻ, an ninh và tự động hóa công nghiệp.

Sự kết hợp giữa các computer vision tasks thời gian thực được hỗ trợ bởi các model Ultralytics YOLO và ngăn xếp phần cứng và phần mềm hiệu quả của Axelera mang lại hiệu suất vượt trội trên mỗi watt và mỗi đô la. Đối với khách hàng, điều này có nghĩa là kết quả chính xác hơn, triển khai nhanh hơn và rào cản thấp hơn để mở rộng Vision AI tại biên.

Tại sao lại chọn các mô hình Ultralytics YOLO?#

Axelera AI đã hợp tác với Ultralytics để tích hợp các model Ultralytics YOLO vào nền tảng của họ vì sự cân bằng đặc biệt giữa độ chính xác, tốc độ và tính dễ sử dụng. Với sự hỗ trợ cho nhiều biến thể Ultralytics YOLO, khách hàng của Axelera AI có thể đánh giá một loạt các khối lượng công việc và nhu cầu hiệu năng trên Metis AIPU.

Thông qua Ultralytics Enterprise License, Axelera cung cấp quyền truy cập vào bộ đầy đủ các model YOLO để đánh giá và phát triển. Đối với việc triển khai thương mại, khách hàng bắt buộc phải lấy giấy phép riêng trực tiếp từ Ultralytics thông qua biểu mẫu cấp phép, đảm bảo tuân thủ và hỗ trợ đổi mới có thể mở rộng trong Vision AI tại biên.

Tận dụng các model Ultralytics YOLO trên quy mô lớn với Voyager SDK của Axelera AI#

Với các model Ultralytics YOLO và Voyager SDK của Axelera AI, người dùng có thể triển khai các ứng dụng thị giác máy tính chính xác, độ trễ thấp trực tiếp trên Metis AI Processing Units. Ngoài ra, việc có quyền truy cập vào nhiều biến thể YOLO cho phép khách hàng điều chỉnh hiệu năng dựa trên nhu cầu cụ thể của ứng dụng.

Ví dụ, Axelera AI đã thấy khách hàng thử nghiệm các giải pháp dựa trên YOLO trên nhiều lĩnh vực khác nhau như:

• Bán lẻ: Các pipeline đa model kết hợp ước tính tư thế, phân đoạn và phát hiện đối tượng có thể được sử dụng để hỗ trợ các tác vụ như giảm thiểu thất thoát hàng hóa và theo dõi tồn kho. Các triển khai này chạy hiệu quả trên các nền tảng nhúng như Raspberry Pi 5 kết hợp với Metis AIPU.
• Sản xuất: Khách hàng có thể sử dụng thực thi model song song để thực hiện các tác vụ đồng thời, chẳng hạn như phát hiện lỗi, phân loại sản phẩm và ước tính tư thế, trên một chip duy nhất để cải thiện thông lượng và giảm chi phí phần cứng.
• Giám sát: Các tính năng object detection thời gian thực của YOLO có thể được sử dụng để phân tích các luồng video 4K và 8K ở độ phân giải đầy đủ, tạo điều kiện giám sát an toàn độ chính xác cao và nhận thức tình huống trong các môi trường quan trọng. Đây là một giải pháp tốt hơn nhiều so với việc giảm độ phân giải truyền thống trên các camera độ phân giải cao.
• Chăm sóc sức khỏe: Các pipeline YOLO đã tối ưu hóa có thể hỗ trợ xác định khối u, mang lại tốc độ suy luận cao và độ chính xác đáng tin cậy cho hình ảnh y tế ngay trên thiết bị.

Các trường hợp sử dụng này cho thấy phần cứng AI tại biên và các model Ultralytics YOLO của Axelera AI thúc đẩy những đổi mới Vision AI hiệu năng cao, tiết kiệm năng lượng trên khắp các ngành công nghiệp.

Thúc đẩy làn sóng AI tại biên tiếp theo với Ultralytics YOLO#

Trong khi Axelera AI tiếp tục tập trung vào việc mở rộng khả năng tiếp cận AI tại biên hiệu năng cao, họ đang kết hợp phần cứng mạnh mẽ và các model thị giác đáng tin cậy để giúp khách hàng xây dựng các ứng dụng thông minh hơn, nhanh hơn.

Với các model Ultralytics YOLO có sẵn thông qua Voyager SDK và Metis AIPU hardware, người dùng có thể dễ dàng phát triển và mở rộng các giải pháp thị giác máy tính thời gian thực trên các ngành công nghiệp. Sự hợp tác này hỗ trợ một cộng đồng ngày càng phát triển gồm các nhà phát triển và doanh nghiệp đang nỗ lực đưa AI đến gần hơn với nơi dữ liệu được tạo ra, cải thiện hiệu quả, khả năng phản hồi và đổi mới tại biên.

Bạn đã sẵn sàng tăng tốc hành trình edge AI của mình chưa? Khám phá GitHub repository của chúng tôi để xem cách các model YOLO đang cung cấp năng lượng cho những đổi mới như AI in retail và computer vision in logistics. Trải nghiệm trực tiếp các công cụ Vision AI của chúng tôi, tìm hiểu về licensing options, và khám phá cách bạn có thể khai thác thị giác máy tính hiệu năng cao, tiết kiệm năng lượng tại biên.