STMicroelectronics chạy Ultralytics YOLO trên MCU với chỉ 9,4 mJ mỗi lượt inference

Khi việc áp dụng AI ngày càng tăng trên các ngành công nghiệp, nhu cầu về các giải pháp hiệu năng cao, công suất thấp có khả năng chạy inference thời gian thực tại edge đang tăng lên. Để đáp ứng nhu cầu công nghệ này, STMicroelectronics đã giới thiệu vi điều khiển STM32N6, tích hợp Neural Processing Unit (NPU) được thiết kế cho các tác vụ AI nhúng.

Bằng cách chạy các Ultralytics YOLO models trên STM32N6, STMicroelectronics đã chứng minh rằng Vision AI nhúng chính xác và hiệu quả là hoàn toàn khả thi trên vi điều khiển, mở ra nhiều cơ hội mới cho trí tuệ nhân tạo trên thiết bị có khả năng mở rộng trên các lĩnh vực như thành phố thông minh, y tế và điện tử tiêu dùng.

Khám phá Vision AI cho các thiết bị công suất thấp tại edge#

STMicroelectronics là công ty dẫn đầu toàn cầu về công nghệ bán dẫn, với hơn 50.000 nhân viên và hơn 200.000 khách hàng trên toàn thế giới. Họ thiết kế và sản xuất các con chip cho phép tạo ra các ứng dụng từ xe điện và thiết bị công nghiệp đến các thiết bị nhà thông minh và điện tử tiêu dùng.

Khi ngày càng nhiều ngành công nghiệp chuyển hướng sang AI để làm cho các thiết bị thông minh và phản hồi tốt hơn, STMicroelectronics đã tập trung mang lại các khả năng đó trực tiếp đến biên (edge). Chẳng hạn, vi điều khiển STM32N6 của họ, một con chip mạnh mẽ và tiết kiệm năng lượng, có thể xử lý các tác vụ AI trên thiết bị như computer vision.

Để giúp các nhà phát triển xây dựng các ứng dụng thị giác nhúng trên STM32N6, STMicroelectronics đã tìm kiếm các model linh hoạt, hiệu năng cao có thể chạy hiệu quả trên vi điều khiển. Các model Ultralytics YOLO hóa ra là sự lựa chọn tuyệt vời, cung cấp sự kết hợp đáng tin cậy giữa tốc độ, độ chính xác và khả năng tích hợp dễ dàng.

Những hạn chế trong việc kích hoạt các hệ thống nhúng hỗ trợ AI#

Trước khi khái niệm Edge AI được chấp nhận rộng rãi, các model thị giác máy tính thường được phát triển để chạy trên các hệ thống lớn, tập trung như máy chủ cloud hoặc GPU (Graphics Processing Units). Các nền tảng này cung cấp khả năng tính toán cần thiết để huấn luyện và triển khai các model lớn, nhưng chúng cũng gây ra những hạn chế như tiêu thụ năng lượng cao, phụ thuộc mạng, độ trễ và tăng chi phí vận hành.

Khi sự quan tâm đến việc triển khai các real-time applications thông minh hơn trong các ngành như y tế, điện tử tiêu dùng và thành phố thông minh tăng lên, rõ ràng việc đẩy quá trình xử lý AI lại gần hơn với nơi dữ liệu được tạo ra, ngay trên thiết bị, vừa là một nhu cầu kỹ thuật vừa là một cơ hội chiến lược.

Tuy nhiên, việc chạy các model AI trên các vi điều khiển công suất thấp có thể là một thách thức. Những thiết bị này thường có bộ nhớ, sức mạnh tính toán và dung lượng năng lượng hạn chế, gây khó khăn cho việc triển khai các model thị giác phức tạp mà không làm ảnh hưởng đến hiệu năng hoặc độ chính xác.

STMicroelectronics cần xác định một bộ các model đủ linh hoạt để mang lại khả năng thị giác máy tính thời gian thực, đáng tin cậy cho vi điều khiển STM32N6 của họ mà không yêu cầu các nhà phát triển phải đơn giản hóa đáng kể model hoặc quy trình làm việc. Mục tiêu của họ là cung cấp AI on-device có ý nghĩa trong khi vẫn nằm trong các giới hạn nghiêm ngặt của hệ thống nhúng.

Triển khai model YOLO được tinh giản trên vi điều khiển#

Để kích hoạt AI tiên tiến trên các thiết bị nhúng công suất thấp, STMicroelectronics đã giới thiệu STM32N6, một vi điều khiển hiệu năng cao được trang bị Neural-ART Accelerator™. Đây là một Neural Processing Unit (NPU) nội bộ được xây dựng đặc biệt cho các tác vụ Edge AI. Công nghệ này giúp các nhà phát triển có thể chạy các inference AI trực tiếp trên thiết bị, giảm sự phụ thuộc vào điện toán cloud trong khi cải thiện tốc độ, khả năng phản hồi và hiệu quả năng lượng.

STMicroelectronics đã hợp tác với Ultralytics để đánh giá và giới thiệu các khả năng của STM32N6 bằng cách chạy các model Ultralytics YOLO trên vi điều khiển. Nổi tiếng với sự cân bằng giữa tốc độ và độ chính xác, các model Ultralytics YOLO rất phù hợp cho các môi trường hạn chế về tài nguyên và các triển khai nhúng.

Fig 1. Một ví dụ về việc chạy mô hình Ultralytics YOLO trên STM32N6.

Bằng cách chạy các biến thể mô hình YOLO khác nhau trực tiếp trên STM32N6, STMicroelectronics đã có thể chứng minh một loạt các trường hợp sử dụng Vision AI, chẳng hạn như object detection, phân loại và theo dõi, tất cả đều nằm trong giới hạn năng lượng và bộ nhớ của một vi điều khiển. Sự hợp tác này cung cấp cho các nhà phát triển một lựa chọn đáng tin cậy để triển khai các hệ thống nhúng tích hợp AI, thời gian thực bằng cách sử dụng các mô hình thị giác có khả năng mở rộng và sẵn sàng cho sản xuất.

Tại sao lại chọn các mô hình Ultralytics YOLO?#

Các model Ultralytics YOLO cung cấp cho STMicroelectronics sự kết hợp phù hợp giữa độ chính xác, hiệu quả và tính linh hoạt cần thiết cho các hệ thống nhúng hỗ trợ AI. Các model này đủ nhẹ để chạy trên các vi điều khiển công suất thấp như STM32N6, nhưng vẫn đủ mạnh để mang lại hiệu năng object detection và instance segmentation thời gian thực.

Ví dụ, khi chạy mô hình Ultralytics YOLOv8n ở độ phân giải 256x256 trên STM32N6, hệ thống đạt 34 khung hình mỗi giây với mỗi lần suy luận mất khoảng 29 mili giây. Các phép đo công suất cho thấy hệ thống chỉ tiêu thụ 9.4 millijoules per inference, khiến nó rất phù hợp cho các tác vụ thị giác thời gian thực trên các thiết bị công suất thấp.

Với sự hỗ trợ cho nhiều biến thể model YOLO, các nhà phát triển có sự linh hoạt để tinh chỉnh theo tốc độ, kích thước hoặc độ chính xác tùy thuộc vào hạn chế của ứng dụng. Kiến trúc dễ tích hợp, kết hợp với sự hỗ trợ mạnh mẽ từ cộng đồng và tài liệu, đã làm cho Ultralytics YOLO trở thành một lựa chọn tự nhiên cho mục tiêu tăng tốc áp dụng Vision AI của STMicroelectronics trên nhiều trường hợp sử dụng nhúng.

Thông qua Ultralytics Enterprise license, STMicroelectronics cung cấp cho khách hàng quyền truy cập vào bộ đầy đủ các mô hình YOLO để thử nghiệm và phát triển nội bộ. Tuy nhiên, đối với bất kỳ việc triển khai thương mại nào, khách hàng phải yêu cầu giấy phép thương mại của riêng họ trực tiếp từ Ultralytics thông qua biểu mẫu cấp phép. Điều này đảm bảo sự tuân thủ và hỗ trợ lộ trình hướng tới các giải pháp Vision AI sẵn sàng cho sản xuất có khả năng mở rộng.

Từ đô thị thông minh đến chăm sóc sức khỏe: Edge AI có thể mở rộng trong thực tế#

Khả năng chạy các model Ultralytics YOLO trực tiếp trên vi điều khiển STM32N6 đã mở ra hàng loạt các ứng dụng Vision AI cho STMicroelectronics và hệ sinh thái nhà phát triển của họ. Bằng cách cung cấp inference nhanh, chính xác ngay trên thiết bị mà không cần dựa vào xử lý bên ngoài hoặc kết nối cloud, giải pháp này giúp triển khai các tính năng thông minh trong các hệ thống nhỏ gọn, công suất thấp.

Khách hàng đang khám phá các trường hợp sử dụng trên các lĩnh vực như phát hiện người đi bộ và phương tiện thời gian thực trong cơ sở hạ tầng thành phố thông minh, kiểm tra an toàn trên thiết bị và kiểm soát chất lượng trong tự động hóa công nghiệp, và chẩn đoán hỗ trợ bởi AI trong các công cụ y tế di động. Tương tự, trong không gian điện tử tiêu dùng, các mô hình YOLO hỗ trợ các tính năng phản hồi nhanh như phát hiện sự hiện diện, nhận dạng cử chỉ và object tracking - tất cả đều nằm trong các ràng buộc hiệu suất của các thiết bị chạy bằng pin.

Xây dựng các giải pháp Vision AI của tương lai ngay hôm nay#

Khi AI tiếp tục phát triển, STMicroelectronics tập trung vào việc làm cho việc mang các giải pháp mạnh mẽ, hiệu quả đến các thiết bị edge trở nên dễ dàng hơn. Bằng cách hợp tác chặt chẽ với các đối tác như Ultralytics, họ đang giúp các nhà phát triển bắt đầu nhanh hơn với các model, công cụ và tài nguyên tương thích với STM32 đã sẵn sàng để sử dụng.

Hãy bước tiếp theo trong đổi mới AI ở biên. Truy cập GitHub repository của chúng tôi để khám phá cách các mô hình Ultralytics YOLO đang chuyển đổi thị giác nhúng. Khám phá các ứng dụng của AI in healthcare và computer vision in retail, và xem ngay licensing options của chúng tôi!