Axelera AI cung cấp 34 FPS cho inference AI ở biên sử dụng Ultralytics YOLO

Axelera AI là một công ty bán dẫn châu Âu chuyên xây dựng các chip AI mạnh mẽ, tiết kiệm năng lượng để chạy thị giác máy tính tại biên. Ví dụ, các Metis AI Processing Units (AIPUs) của họ được sử dụng trong các ngành công nghiệp như bán lẻ, an ninh và sản xuất.

Để giúp khách hàng xây dựng và triển khai các ứng dụng AI dễ dàng hơn, Axelera đã tích hợp các model Ultralytics YOLO vào Voyager SDK của họ, một nền tảng phần mềm giúp tinh giản việc tối ưu hóa, triển khai và tăng tốc model trên Metis AIPUs, làm cho Vision AI thời gian thực trở nên nhanh hơn, đơn giản hơn và dễ mở rộng hơn.

Link to this sectionĐịnh nghĩa lại khả năng tăng tốc phần cứng Vision AI#

Được thành lập vào năm 2021 và có trụ sở tại Hà Lan, Axelera AI đặt mục tiêu giải quyết một vấn đề cơ bản: phần cứng AI truyền thống được xây dựng cho đám mây, không phải cho biên. Để thu hẹp khoảng cách này, công ty đã phát triển Metis AIPU.

Đây là một chip hiệu năng cao, tiêu thụ điện năng thấp được thiết kế dành riêng cho các khối lượng công việc tại biên - các tác vụ AI chạy cục bộ trên thiết bị nơi tốc độ, quyền riêng tư và hiệu quả năng lượng là những yếu tố tối quan trọng.

Nó được hỗ trợ bởi công nghệ Digital In-Memory Compute (D-IMC) độc quyền của họ, cho phép xử lý dữ liệu trực tiếp tại nơi lưu trữ và giảm đáng kể độ trễ cũng như mức tiêu thụ năng lượng. Với hệ sinh thái phần mềm tích hợp đầy đủ và sứ mệnh dân chủ hóa AI, Axelera đang làm cho AI hiệu năng cao trở nên dễ tiếp cận hơn.

Link to this sectionThách thức khi chạy các model trên phần cứng AI tại biên#

Để mang lại trải nghiệm AI liền mạch tại biên, Axelera AI không chỉ muốn cung cấp phần cứng hiệu năng cao. Khách hàng còn cần một cách đơn giản và đáng tin cậy để chạy các giải pháp thị giác máy tính thời gian thực mà không cần các công cụ phức tạp hoặc tùy chỉnh mất thời gian. Nhiều model hiện có quá lớn, quá chậm hoặc không phù hợp cho các môi trường hạn chế tài nguyên.

Phân tích bán lẻ, tự động hóa nhà máy và hệ thống giám sát thường dựa vào những thông tin hình ảnh nhanh chóng và chính xác để hỗ trợ vận hành. Tuy nhiên, các model truyền thống và giải pháp dựa trên đám mây thường không đáp ứng được các yêu cầu về độ trễ thấp, hiệu quả năng lượng và xử lý tại thiết bị của các ứng dụng AI tại biên này.

Axelera bắt đầu tìm kiếm một bộ model chính xác, dễ triển khai và có khả năng chạy hiệu quả trên các Metis AI Processing Units của mình. Giải pháp phù hợp sẽ bổ sung cho các khả năng phần cứng của họ, đồng thời đơn giản hóa quá trình phát triển và đẩy nhanh quá trình triển khai trong nhiều trường hợp sử dụng AI tại biên.

Link to this sectionTăng tốc suy luận AI tại biên với Ultralytics YOLO#

Axelera AI đã tích hợp các model Ultralytics YOLO vào Voyager SDK của họ để làm cho việc xây dựng và triển khai các ứng dụng AI tại biên trở nên nhanh hơn, dễ dàng hơn và có khả năng mở rộng tốt hơn. SDK bao gồm một Model Zoo với các model YOLO sẵn sàng sử dụng và tự động hóa toàn bộ pipeline, bao gồm tiền xử lý, suy luận và hậu xử lý, được tối ưu hóa cho Metis AI Processing Units.

Hình 1. Metis AI Processing Unit (AIPU).

Tích hợp này cho phép khách hàng sử dụng các model Ultralytics YOLO tiền huấn luyện ngay lập tức hoặc sử dụng model riêng của họ với khả năng tăng tốc liền mạch trên phần cứng tại biên. Với sự hỗ trợ cho việc thực thi model song song và nối tiếp, Metis AIPUs cho phép thiết lập các cấu hình đa model nâng cao như ước tính tư thế (pose estimation) theo sau là phân đoạn (segmentation). Điều này rất lý tưởng cho các tác vụ phức tạp trong ngành bán lẻ, an ninh và tự động hóa công nghiệp.

Sự kết hợp giữa các tác vụ thị giác máy tính thời gian thực được hỗ trợ bởi các model Ultralytics YOLO cùng hệ sinh thái phần cứng và phần mềm hiệu quả của Axelera mang lại hiệu suất vượt trội trên mỗi watt và mỗi đô la. Đối với khách hàng, điều này đồng nghĩa với kết quả chính xác hơn, triển khai nhanh hơn và rào cản thấp hơn để mở rộng Vision AI tại biên.

Link to this sectionTại sao lại chọn các mô hình Ultralytics YOLO?#

Axelera AI đã hợp tác với Ultralytics để tích hợp các model Ultralytics YOLO vào nền tảng của họ vì sự cân bằng đặc biệt giữa độ chính xác, tốc độ và tính dễ sử dụng. Với sự hỗ trợ cho nhiều biến thể Ultralytics YOLO, khách hàng của Axelera AI có thể đánh giá một loạt các khối lượng công việc và nhu cầu hiệu năng trên Metis AIPU.

Thông qua Giấy phép Doanh nghiệp Ultralytics, Axelera cung cấp quyền truy cập vào bộ đầy đủ các model YOLO để đánh giá và phát triển. Đối với việc triển khai thương mại, khách hàng được yêu cầu lấy giấy phép riêng trực tiếp từ Ultralytics thông qua biểu mẫu cấp phép, đảm bảo tuân thủ và hỗ trợ sự đổi mới có thể mở rộng trong Vision AI tại biên.

Link to this sectionTận dụng các model Ultralytics YOLO trên quy mô lớn với Voyager SDK của Axelera AI#

Với các model Ultralytics YOLO và Voyager SDK của Axelera AI, người dùng có thể triển khai các ứng dụng thị giác máy tính chính xác, độ trễ thấp trực tiếp trên Metis AI Processing Units. Ngoài ra, việc có quyền truy cập vào nhiều biến thể YOLO cho phép khách hàng điều chỉnh hiệu năng dựa trên nhu cầu cụ thể của ứng dụng.

Ví dụ, Axelera AI đã thấy khách hàng thử nghiệm các giải pháp dựa trên YOLO trên nhiều lĩnh vực khác nhau như:

• Bán lẻ: Các pipeline đa model kết hợp ước tính tư thế, phân đoạn và phát hiện đối tượng có thể được sử dụng để hỗ trợ các tác vụ như giảm thiểu thất thoát hàng hóa và theo dõi tồn kho. Các triển khai này chạy hiệu quả trên các nền tảng nhúng như Raspberry Pi 5 kết hợp với Metis AIPU.
• Sản xuất: Khách hàng có thể sử dụng thực thi model song song để thực hiện các tác vụ đồng thời, chẳng hạn như phát hiện lỗi, phân loại sản phẩm và ước tính tư thế, trên một chip duy nhất để cải thiện thông lượng và giảm chi phí phần cứng.
• Giám sát: Các khả năng phát hiện đối tượng thời gian thực của YOLO có thể được sử dụng để phân tích các luồng video 4K và 8K ở độ phân giải đầy đủ, hỗ trợ giám sát an toàn có độ chính xác cao và nhận thức tình huống trong các môi trường quan trọng. Đây là giải pháp tốt hơn nhiều so với việc giảm độ phân giải truyền thống trên các camera có độ phân giải cao.
• Chăm sóc sức khỏe: Các pipeline YOLO đã tối ưu hóa có thể hỗ trợ xác định khối u, mang lại tốc độ suy luận cao và độ chính xác đáng tin cậy cho hình ảnh y tế ngay trên thiết bị.

Các trường hợp sử dụng này cho thấy phần cứng AI tại biên và các model Ultralytics YOLO của Axelera AI thúc đẩy những đổi mới Vision AI hiệu năng cao, tiết kiệm năng lượng trên khắp các ngành công nghiệp.

Link to this sectionThúc đẩy làn sóng AI tại biên tiếp theo với Ultralytics YOLO#

Trong khi Axelera AI tiếp tục tập trung vào việc mở rộng khả năng tiếp cận AI tại biên hiệu năng cao, họ đang kết hợp phần cứng mạnh mẽ và các model thị giác đáng tin cậy để giúp khách hàng xây dựng các ứng dụng thông minh hơn, nhanh hơn.

Với các model Ultralytics YOLO khả dụng thông qua Voyager SDK và phần cứng Metis AIPU, người dùng có thể dễ dàng phát triển và mở rộng các giải pháp thị giác máy tính thời gian thực trên khắp các ngành công nghiệp. Sự hợp tác này hỗ trợ một cộng đồng các nhà phát triển và doanh nghiệp ngày càng lớn mạnh đang nỗ lực đưa AI đến gần hơn với nơi dữ liệu được tạo ra, cải thiện hiệu quả, khả năng phản hồi và đổi mới tại biên.

Bạn đã sẵn sàng tăng tốc hành trình AI tại biên của mình chưa? Hãy khám phá kho lưu trữ GitHub của chúng tôi để xem các model YOLO đang thúc đẩy những đổi mới như AI trong bán lẻ và thị giác máy tính trong logistics như thế nào. Hãy bắt đầu trải nghiệm với các công cụ Vision AI của chúng tôi, tìm hiểu về các tùy chọn cấp phép và khám phá cách bạn có thể mở khóa thị giác máy tính hiệu năng cao, tiết kiệm năng lượng tại biên.