STMicroelectronics chạy Ultralytics YOLO trên MCU với chỉ 9,4 mJ mỗi lượt inference

Khi việc áp dụng AI ngày càng tăng trên các ngành công nghiệp, nhu cầu về các giải pháp hiệu năng cao, công suất thấp có khả năng chạy inference thời gian thực tại edge đang tăng lên. Để đáp ứng nhu cầu công nghệ này, STMicroelectronics đã giới thiệu vi điều khiển STM32N6, tích hợp Neural Processing Unit (NPU) được thiết kế cho các tác vụ AI nhúng.

Bằng cách chạy Ultralytics YOLO models trên STM32N6, STMicroelectronics đã chứng minh rằng Vision AI nhúng chính xác và hiệu quả là khả thi trên các vi điều khiển, mở ra những cơ hội mới cho trí thông minh on-device có thể mở rộng trên các lĩnh vực như đô thị thông minh, chăm sóc sức khỏe và điện tử tiêu dùng.

Link to this sectionKhám phá Vision AI cho các thiết bị công suất thấp tại edge#

STMicroelectronics là công ty dẫn đầu toàn cầu về công nghệ bán dẫn, với hơn 50.000 nhân viên và hơn 200.000 khách hàng trên toàn thế giới. Họ thiết kế và sản xuất các con chip cho phép tạo ra các ứng dụng từ xe điện và thiết bị công nghiệp đến các thiết bị nhà thông minh và điện tử tiêu dùng.

Khi ngày càng nhiều ngành công nghiệp chuyển sang sử dụng AI để làm cho thiết bị thông minh hơn và phản hồi nhanh hơn, STMicroelectronics đã tập trung vào việc mang các khả năng đó trực tiếp đến edge. Ví dụ, vi điều khiển STM32N6 của họ, một con chip mạnh mẽ và tiết kiệm năng lượng, có thể xử lý các tác vụ AI on-device như computer vision.

Để giúp các nhà phát triển xây dựng các ứng dụng thị giác nhúng trên STM32N6, STMicroelectronics đã tìm kiếm các model linh hoạt, hiệu năng cao có thể chạy hiệu quả trên vi điều khiển. Các model Ultralytics YOLO hóa ra là sự lựa chọn tuyệt vời, cung cấp sự kết hợp đáng tin cậy giữa tốc độ, độ chính xác và khả năng tích hợp dễ dàng.

Link to this sectionNhững hạn chế trong việc kích hoạt các hệ thống nhúng hỗ trợ AI#

Trước khi khái niệm Edge AI được chấp nhận rộng rãi, các model thị giác máy tính thường được phát triển để chạy trên các hệ thống lớn, tập trung như máy chủ cloud hoặc GPU (Graphics Processing Units). Các nền tảng này cung cấp khả năng tính toán cần thiết để huấn luyện và triển khai các model lớn, nhưng chúng cũng gây ra những hạn chế như tiêu thụ năng lượng cao, phụ thuộc mạng, độ trễ và tăng chi phí vận hành.

Khi sự quan tâm đến việc triển khai các real-time applications thông minh hơn trong các ngành như chăm sóc sức khỏe, điện tử tiêu dùng và đô thị thông minh tăng lên, rõ ràng việc đẩy quá trình xử lý AI đến gần nơi tạo ra dữ liệu, ngay trên chính thiết bị, vừa là một nhu cầu kỹ thuật vừa là một cơ hội chiến lược.

Tuy nhiên, việc chạy các model AI trên các vi điều khiển công suất thấp có thể là một thách thức. Những thiết bị này thường có bộ nhớ, sức mạnh tính toán và dung lượng năng lượng hạn chế, gây khó khăn cho việc triển khai các model thị giác phức tạp mà không làm ảnh hưởng đến hiệu năng hoặc độ chính xác.

STMicroelectronics cần xác định một bộ các model đủ linh hoạt để mang lại khả năng thị giác máy tính thời gian thực, đáng tin cậy cho vi điều khiển STM32N6 của họ mà không yêu cầu các nhà phát triển phải đơn giản hóa đáng kể model hoặc quy trình làm việc. Mục tiêu của họ là cung cấp AI on-device có ý nghĩa trong khi vẫn nằm trong các giới hạn nghiêm ngặt của hệ thống nhúng.

Link to this sectionTriển khai model YOLO được tinh giản trên vi điều khiển#

Để kích hoạt AI tiên tiến trên các thiết bị nhúng công suất thấp, STMicroelectronics đã giới thiệu STM32N6, một vi điều khiển hiệu năng cao được trang bị Neural-ART Accelerator™. Đây là một Neural Processing Unit (NPU) nội bộ được xây dựng đặc biệt cho các tác vụ Edge AI. Công nghệ này giúp các nhà phát triển có thể chạy các inference AI trực tiếp trên thiết bị, giảm sự phụ thuộc vào điện toán cloud trong khi cải thiện tốc độ, khả năng phản hồi và hiệu quả năng lượng.

STMicroelectronics đã hợp tác với Ultralytics để đánh giá và giới thiệu các khả năng của STM32N6 bằng cách chạy các model Ultralytics YOLO trên vi điều khiển. Nổi tiếng với sự cân bằng giữa tốc độ và độ chính xác, các model Ultralytics YOLO rất phù hợp cho các môi trường hạn chế về tài nguyên và các triển khai nhúng.

Fig 1. Ví dụ về việc chạy một model Ultralytics YOLO trên STM32N6.

Bằng cách chạy các biến thể model YOLO khác nhau trực tiếp trên STM32N6, STMicroelectronics đã chứng minh được hàng loạt trường hợp sử dụng Vision AI như object detection, phân loại và theo dõi, tất cả đều nằm trong giới hạn năng lượng và bộ nhớ của vi điều khiển. Sự hợp tác này cung cấp cho các nhà phát triển một lựa chọn đáng tin cậy để triển khai các hệ thống nhúng chạy AI thời gian thực bằng cách sử dụng các model thị giác sẵn sàng cho sản xuất và có thể mở rộng.

Link to this sectionTại sao lại chọn các mô hình Ultralytics YOLO?#

Các model Ultralytics YOLO cung cấp cho STMicroelectronics sự kết hợp phù hợp giữa độ chính xác, hiệu quả và tính linh hoạt cần thiết cho các hệ thống nhúng hỗ trợ AI. Các model này đủ nhẹ để chạy trên các vi điều khiển công suất thấp như STM32N6, nhưng vẫn đủ mạnh để mang lại hiệu năng object detection và instance segmentation thời gian thực.

Ví dụ, khi chạy model Ultralytics YOLOv8n ở độ phân giải 256 x 256 trên STM32N6, hệ thống đạt 34 khung hình mỗi giây với mỗi inference mất khoảng 29 mili giây. Các phép đo năng lượng cho thấy nó chỉ sử dụng 9.4 millijoules per inference, khiến nó rất phù hợp cho các tác vụ thị giác thời gian thực trên các thiết bị công suất thấp.

Với sự hỗ trợ cho nhiều biến thể model YOLO, các nhà phát triển có sự linh hoạt để tinh chỉnh theo tốc độ, kích thước hoặc độ chính xác tùy thuộc vào hạn chế của ứng dụng. Kiến trúc dễ tích hợp, kết hợp với sự hỗ trợ mạnh mẽ từ cộng đồng và tài liệu, đã làm cho Ultralytics YOLO trở thành một lựa chọn tự nhiên cho mục tiêu tăng tốc áp dụng Vision AI của STMicroelectronics trên nhiều trường hợp sử dụng nhúng.

Thông qua Ultralytics Enterprise license, STMicroelectronics cung cấp cho khách hàng quyền truy cập vào bộ đầy đủ các model YOLO để thử nghiệm và phát triển nội bộ. Tuy nhiên, đối với bất kỳ triển khai thương mại nào, khách hàng được yêu cầu phải tự xin giấy phép thương mại trực tiếp từ Ultralytics thông qua biểu mẫu cấp phép. Điều này đảm bảo tính tuân thủ và hỗ trợ lộ trình mở rộng đến các giải pháp Vision AI sẵn sàng cho sản xuất.

Link to this sectionTừ đô thị thông minh đến chăm sóc sức khỏe: Edge AI có thể mở rộng trong thực tế#

Khả năng chạy các model Ultralytics YOLO trực tiếp trên vi điều khiển STM32N6 đã mở ra hàng loạt các ứng dụng Vision AI cho STMicroelectronics và hệ sinh thái nhà phát triển của họ. Bằng cách cung cấp inference nhanh, chính xác ngay trên thiết bị mà không cần dựa vào xử lý bên ngoài hoặc kết nối cloud, giải pháp này giúp triển khai các tính năng thông minh trong các hệ thống nhỏ gọn, công suất thấp.

Khách hàng đang khám phá các trường hợp sử dụng trên khắp các lĩnh vực như phát hiện người đi bộ và phương tiện thời gian thực trong cơ sở hạ tầng đô thị thông minh, kiểm tra an toàn và kiểm soát chất lượng on-device trong tự động hóa công nghiệp và chẩn đoán hỗ trợ AI trong các công cụ chăm sóc sức khỏe di động. Tương tự, trong lĩnh vực điện tử tiêu dùng, các model YOLO kích hoạt các tính năng phản hồi nhanh như phát hiện sự hiện diện, nhận dạng cử chỉ và object tracking - tất cả đều nằm trong giới hạn hiệu năng của các thiết bị chạy bằng pin.

Link to this sectionXây dựng các giải pháp Vision AI của tương lai ngay hôm nay#

Khi AI tiếp tục phát triển, STMicroelectronics tập trung vào việc làm cho việc mang các giải pháp mạnh mẽ, hiệu quả đến các thiết bị edge trở nên dễ dàng hơn. Bằng cách hợp tác chặt chẽ với các đối tác như Ultralytics, họ đang giúp các nhà phát triển bắt đầu nhanh hơn với các model, công cụ và tài nguyên tương thích với STM32 đã sẵn sàng để sử dụng.

Hãy thực hiện bước tiếp theo trong đổi mới Edge AI. Truy cập GitHub repository của chúng tôi để khám phá cách các model Ultralytics YOLO đang chuyển đổi thị giác nhúng. Khám phá các ứng dụng của AI in healthcare và computer vision in retail, và xem các licensing options của chúng tôi ngay hôm nay!